CN114175098A - 高尔夫球杆的检测方法及利用其的感测装置 - Google Patents

高尔夫球杆的检测方法及利用其的感测装置 Download PDF

Info

Publication number
CN114175098A
CN114175098A CN202080055396.3A CN202080055396A CN114175098A CN 114175098 A CN114175098 A CN 114175098A CN 202080055396 A CN202080055396 A CN 202080055396A CN 114175098 A CN114175098 A CN 114175098A
Authority
CN
China
Prior art keywords
golf club
shadow
image
club
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080055396.3A
Other languages
English (en)
Inventor
朴贤陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Golfzon Co Ltd
Original Assignee
Golfzon Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Golfzon Co Ltd filed Critical Golfzon Co Ltd
Publication of CN114175098A publication Critical patent/CN114175098A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B60/00—Details or accessories of golf clubs, bats, rackets or the like
    • A63B60/46—Measurement devices associated with golf clubs, bats, rackets or the like for measuring physical parameters relating to sporting activity, e.g. baseball bats with impact indicators or bracelets for measuring the golf swing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A63B69/3623—Training appliances or apparatus for special sports for golf for driving
    • A63B69/3632—Clubs or attachments on clubs, e.g. for measuring, aligning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32—Golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Golf Clubs (AREA)

Abstract

本发明用于解决如上所述的现有技术的问题，旨在提供一种作为在影像上检测出高尔夫球杆的新的方法的高尔夫球杆的检测方法及利用其的感测装置，所述高尔夫球杆的检测方法并非在影像上直接检测高尔夫球杆，而是能够通过分析通过照明形成于地板上的高尔夫球杆的阴影来准确地检测进行高尔夫挥杆时的高尔夫球杆的形状以准确地分析诸如高尔夫球杆的弯曲等的举动特性。

Description

高尔夫球杆的检测方法及利用其的感测装置
技术领域
本发明涉及一种感测进行高尔夫挥杆时的高尔夫球杆的举动的感测装置和通过该感测装置检测高尔夫球杆的方法。
背景技术
近来，正积极开展对能够在室内或特定场所通过模拟以交互运动模拟(Interactive Sports Simulation)的形式享受诸如棒球、足球、篮球以及高尔夫等的流行运动比赛的多种模拟器及用于其的装置的开发。
尤其，近来随着出现所谓的屏幕高尔夫系统，正开发一种当用户通过持高尔夫球杆进行高尔夫挥杆击打置于击球垫上的球时，感测装置对其进行感测并提取移动的高尔夫球的物理特性，并能够基于此在虚拟高尔夫球场模拟球的轨迹，使得用户能够在虚拟现实中享受实际高尔夫的技术。
为了通过这样的交互运动模拟器进行对利用高尔夫球等球的运动的模拟，当前正非常积极地进行对用于准确地感测关于运动的球的运动的物理信息的各种感测系统的研究和开发。
例如，利用红外传感器的感测装置、利用激光传感器的感测装置、利用声响传感器的感测装置、利用摄像头传感器的感测装置等多样的感测方式正在涌现，并且正积极进行对为了准确地感测运动的球的状态而获取并分析对运动的球的图像的摄像头传感器方式的感测装置的研究。
但是，需要通过由摄像头获取的图像分别特定球的位置和高尔夫球杆的位置，然而，不同于特定球的位置的方法，在高尔夫球杆的情况下，由于其大小、形状、样貌、颜色、材质等不尽相同，很难从图像中完整地提取并识别高尔夫球杆。
为了解决这样的问题，出现了一种关于将特定标记贴附在高尔夫球杆的球杆杆身和杆头上并在图像中找到该特定标记以特定高尔夫球杆的位置的方法的技术，但是，所存在的致命的问题是，当用户在进行高尔夫练习或虚拟高尔夫比赛时必须使用贴有特定标记的特定高尔夫球杆，并且，即使贴附特定标记，根据高尔夫挥杆，也存在该标记在图像上并不完整地出现或被遮挡的情况，因而存在着使得准确的高尔夫球杆的准确的位置的特定变得困难的问题。
为了解决这样的问题，已开发出韩国专利申请第10-2011-0025149号、韩国专利申请第10-2016-0064881以及韩国专利申请第10-2016-0156308等现有技术文献中公开的有关高尔夫球杆的检测的技术。
在上述现有技术文献中公开的有关高尔夫球杆的检测的技术中，由于难以从用户进行高尔夫挥杆时对其获取到的影像上提取出高尔夫球杆，通过在影像上利用例如霍夫变换(Hough Transform)等技术检测直线分量，将检测到的该直线分量视为高尔夫球杆的球杆杆身来分析对进行高尔夫挥杆时的高尔夫球杆的举动的信息。
即，如图1的(a)所示，当用户进行高尔夫挥杆时，例如关于瞬间的高尔夫球杆检测如用附图标记10指代的直线，将检测到的该直线视为高尔夫球杆的球杆杆身进行对高尔夫挥杆的分析。
图2示出通过如上所述的霍夫变换检测影像上的直线分量的结果。
在图2中，根据挥杆的阶段在图像上检测到的直线分量被示为一个图像，图2中所示的L1～L5表示示从下挥杆到撞击时间点之后为止的高尔夫球杆的球杆杆身近似的球杆近似直线。
这样的球杆近似直线L1～L5是将高尔夫球杆的球杆杆身近似为直线的结果，完全没有考虑实际挥杆时的球杆杆身的弯曲等。
然而，如图1的(b)所示，在进行高尔夫挥杆时，高尔夫球杆11实际上根据球杆杆身的材质或多或少地发生弯曲而达到撞击。又如，在图1的(c)中，可以看出高尔夫球杆12在撞击后立即弯曲得相当严重。
如此，当在进行高尔夫挥杆时发生高尔夫球杆的弯曲时，会对考虑弯曲时和不考虑弯曲时的高尔夫球杆和球的感测结果造成相当大的影响。
对此，参照图3，如图3的(a)至(c)所示，可以看出，在进行高尔夫挥杆时，根据高尔夫球杆的球杆杆身弯曲的程度，会对所击打的球的打球造成较大的影响。
即，如图3的(a)所示的硬杆身(Stiff Shaft)的高尔夫球杆GC1、如图3的(b)所示的中杆身(Medium Shaft)的高尔夫球杆GC2、以及如图3的(c)所示的软杆身(FlexibleShaft)的高尔夫球杆GC3在进行高尔夫挥杆时，尤其在撞击时，每个球杆杆头ch1、ch2、ch3在击打球b1、b2、b3时的动态杆头倾角、动态杆面倾角等多种重要的参数会根据球杆杆身的弯曲的程度而受较大的影响，并且打球的结果也会呈现出较大的差异。
以往，由于如上所述检测进行高尔夫挥杆时的高尔夫球杆存在局限性，因此针对高尔夫球杆检测球杆近似直线，并基于此分析了高尔夫球杆的举动，但由于实际进行高尔夫挥杆时的高尔夫球杆的举动如图3所示会根据球杆杆身的材质而或多或少对发生弯曲，因此存在着利用球杆近似直线的高尔夫球杆的举动特性不可避免地与实际存在差异的问题。
现有技术文献
韩国专利申请第10-2011-0025149号
韩国专利申请第10-2016-0064881号
韩国专利申请第10-2016-0156308号
发明内容
技术问题
本发明用于解决如上所述的现有技术的问题，旨在提供一种作为在影像上检测出高尔夫球杆的新的方法的高尔夫球杆的检测方法及利用其的感测装置，所述高尔夫球杆的检测方法并非在影像上直接检测高尔夫球杆，而是能够通过分析通过照明形成于地板上的高尔夫球杆的阴影来准确地检测进行高尔夫挥杆时的高尔夫球杆的形状以准确地分析诸如高尔夫球杆的弯曲等的举动特性。
技术方案
本发明的一实施例的高尔夫球杆的检测方法包括：以包括进行高尔夫挥杆的用户所持的高尔夫球杆的视角获取影像的步骤；从所述影像计算对形成于地板上的所述高尔夫球杆的阴影区域的信息的步骤；以及通过对所述阴影区域的信息的分析检测所述高尔夫球杆的步骤。
此外，优选地，计算对所述阴影区域的信息的步骤包括：照射所述影像上的像素以检测对应于所述阴影区域的有效像素，并利用所述有效像素计算对所述高尔夫球杆的阴影区域的信息的步骤。
此外，优选地，计算对所述阴影区域的信息的步骤包括：从摄像头、照明、地面的结构关系计算照明向量的步骤；利用计算出的所述照明向量计算对所述阴影的轮廓的模型的步骤；以及基于对所述阴影的轮廓的模型照射所述影像上的像素以计算对所述高尔夫球杆的阴影区域的信息的步骤。
此外，优选地，计算对所述阴影区域的信息的步骤包括：通过分析所述影像，检测使所述高尔夫球杆的球杆杆身近似的球杆近似直线的步骤；以将检测出的所述球杆近似直线投影到地板上的直线分量为基准计算对所述高尔夫球杆的阴影的轮廓的模型的步骤；以及通过基于计算出的所述对阴影的轮廓的模型照射对所获取的所述影像的差分影像的像素以检测对应于所述高尔夫球杆的阴影区域的有效像素，计算对所述高尔夫球杆的阴影区域的信息的步骤。
此外，优选地，检测所述高尔夫球杆的步骤包括：从对所述高尔夫球杆的阴影区域的信息计算球杆杆身的中心线的模型的步骤；以及通过将对计算出的所述球杆杆身的中心线的模型的二维坐标转换为三维坐标，检测所述高尔夫球杆的步骤。
此外，优选地，检测所述高尔夫球杆的步骤包括：通过利用泰勒级数的近似从对所述高尔夫球杆的阴影区域的信息计算中心点候选数据的步骤；通过对所述中心点候选数据中去除对应于异常点的数据的中心点候选数据的拟合计算球杆杆身的中心线的模型的步骤；以及通过将对计算出的所述球杆杆身的中心线的模型的二维坐标转换为三维坐标，检测所述高尔夫球杆的步骤。
此外，优选地，计算对所述阴影区域的信息的步骤包括：从摄像头、照明、地面的结构关系检测所述高尔夫球杆的阴影推定区域并计算对阴影的轮廓的模型作为所述阴影推定区域的轮廓的步骤；在对所获取的所述影像的差分影像中，针对检测到的所述阴影推定区域内的每个像素以各像素为中心生成对应于对所述阴影的轮廓的模型的大小的检查窗口，并照射所生成的该检查窗口的内部的所有像素以判断其中心的像素是否为有效像素的步骤；以及通过决定所述阴影推定区域内的所有像素中的所述有效像素，计算对包括关于所决定的所述有效像素的信息的所述阴影区域的信息的步骤。
另一方面，本发明的另一实施例的高尔夫球杆的检测方法包括：推定对进行高尔夫挥杆的用户所持的高尔夫球杆的阴影的轮廓的步骤；通过利用以包括所述高尔夫球杆的视角获取的影像在影像上照射所推定的所述轮廓内的像素，检测对应于所述阴影的有效像素，并从中计算对所述高尔夫球杆的阴影区域的信息的步骤；以及通过对所述阴影区域的信息的分析检测所述高尔夫球杆的步骤。
此外，优选地，计算对所述阴影区域的信息的步骤包括：由从所获取的所述影像中去除背景的差分影像检测所推定的所述轮廓内的所述有效像素的步骤；以及计算由检测到的所述有效像素决定的阴影模型的步骤，检测所述高尔夫球杆的步骤包括：通过由计算出的所述阴影模型定义的所述影像上的数据计算球杆杆身的中心线的模型的步骤；以及通过将对计算出的所述球杆杆身的中心线的模型的二维坐标转换为三维坐标，检测所述高尔夫球杆的步骤。
另一方面，本发明的又一实施例的高尔夫球杆的检测方法包括：以包括进行高尔夫挥杆的用户所持的高尔夫球杆的视角获取影像的步骤；通过分析所述影像，检测使所述高尔夫球杆的球杆杆身近似的球杆近似直线的步骤；以将检测到的所述球杆近似直线投影到地板上的直线分量为基准从所述影像计算包括对应于形成在所述地板上的所述高尔夫球杆的阴影区域的像素的信息的阴影信息的步骤；以及通过所述阴影信息的数据分析来检测所述高尔夫球杆的步骤。
另一方面，本发明的一实施例提供一种感测装置，其检测进行高尔夫挥杆时的高尔夫球杆，所述感测装置包括：摄像头，其以包括进行高尔夫挥杆的用户所持的高尔夫球杆的视角获取影像；以及感测处理部，其从所述影像特定形成于地板上的所述高尔夫球杆的阴影区域，并通过对所特定的所述阴影区域的信息的分析检测所述高尔夫球杆。
此外，优选地，所述感测处理部构成为：推定所述阴影的轮廓；通过在所述影像上照射所推定的所述轮廓内的像素以检测对应于所述阴影区域的有效像素，特定所述高尔夫球杆的阴影区域；从对应于所特定的所述高尔夫球杆的阴影区域的数据计算球杆杆身的中心线的模型；并且通过将对计算出的所述球杆杆身的中心线的模型的二维坐标转换为三维坐标，检测所述高尔夫球杆。
发明的效果
本发明的高尔夫球杆的检测方法及利用其的感测装置具有能够通过分析通过照明形成于地板上的高尔夫球杆的阴影来准确地检测进行高尔夫挥杆时的高尔夫球杆的形状以准确地分析诸如高尔夫球杆的弯曲等的举动特性的效果。
附图说明
图1的(a)示出根据现有技术对用户进行高尔夫挥杆时的高尔夫球杆进行直线近似，图1的(b)和图1的(c)示出实际进行高尔夫挥杆时的高尔夫球杆发生弯曲。
图2是示出根据现有技术对进行高尔夫挥杆时的高尔夫球杆计算球杆近似直线的一例。
图3的(a)至图3的(c)是用于说明根据进行高尔夫挥杆时的高尔夫球杆的球杆杆身弯曲的程度会对所击打的球的打球造成较大的影响的图。
图4是示出本发明的一实施例的感测装置的构成的框图。
图5是用于说明本发明的一实施例的高尔夫球杆的检测方法及其感测装置的功能和检测原理的图。
图6是说明关于本发明的一实施例的高尔夫球杆的检测方法的过程的流程图。
图7是示出通过本发明的一实施例的感测装置的摄像头拍摄的图像的一例的图。
图8和图9是用于说明本发明的一实施例的高尔夫球杆的检测方法中推定高尔夫球杆的阴影的轮廓的过程的图。
图10至图12是用于说明本发明的一实施例的高尔夫球杆的检测方法中从影像计算对高尔夫球杆的阴影区域的信息的过程的图。
图13至图15是用于说明本发明的一实施例的高尔夫球杆的检测方法中利用对阴影区域的信息检测球杆杆身的中心线的过程的图。
具体实施方式
将参照附图对关于本发明的高尔夫球杆的检测方法及利用其的感测装置的更具体的内容进行说明。
首先，参照图4和图5对本发明的一实施例的感测装置的构成和功能、检测原理等进行描述。图4是示出本发明的一实施例的感测装置的构成的框图，图5是示出用户为了进行高尔夫挥杆而持高尔夫球杆并取准备击球的姿势的图，是用于说明本发明的一实施例的高尔夫球杆检测方法及其感测装置的功能和检测原理的图。
本发明涉及一种分析在用户利用高尔夫球杆进行高尔夫挥杆以击打高尔夫球时对其进行拍摄的图像以检测高尔夫球杆的方法和利用其的感测装置。
无论利用多么高性能的摄像头进行拍摄，也很难从拍摄到的该图像照片中特定并提取高尔夫球杆，并且无论利用何种技术提取对应于高尔夫球杆的部分的像素，所提取的部分的准确度也必然下降很多。
本发明的目的在于，通过检测进行高尔夫挥杆时的高尔夫球杆的准确的形状来准确地检测到高尔夫球杆随着挥杆而弯曲，为此，其特征在于，并非从影像中提取出高尔夫球杆，而是在影像中提取高尔夫球杆的阴影区域，并通过该阴影区域的分析来检测高尔夫球杆的准确的形状。
在利用摄像头的感测装置的情况下，总是同时设有摄像头和照明，并在朝向被摄体提供照明而进行拍摄，因而始终对持高尔夫球杆站立的用户提供恒定照明而形成对高尔夫球杆等的恒定的阴影，由于难以从影像上准确地提取高尔夫球杆的形状，而所发生的高尔夫球杆的阴影与高尔夫球杆的材质或颜色等无关地总是较暗，因此，可以提供对其进行分析来准确地检测高尔夫球杆的形状，本发明提供如上所述通过针对高尔夫球杆的形状分析高尔夫球杆的阴影，计算影像上的高尔夫球杆所存在的位置的像素的坐标信息，并利用该信息检测高尔夫球杆的方法及装置。
如图4所示，本发明的一实施例的感测装置包括摄像头部100和感测处理部200，所述感测处理部200可以被配置为包括图像处理部210和信息计算部220。
所述摄像头部100被配置为以观察运动的客体(高尔夫球杆和高尔夫球)的视角连续获取图像，为了计算对运动的客体的三维空间上的位置信息，优选地，在所述摄像头部100中，使以彼此不同的视角对相同的对象分别获取图像的多个摄像头，例如如图4所示使第一摄像头11和第二摄像头120彼此同步而以立体方式配置。
如上所述，通过使摄像头部100的多个摄像头110、120彼此同步而以立体方式配置，可以将针对相同的客体通过第一摄像头110获取的图像和通过第二摄像头120获取的图像各自中提取的该客体的二维信息转换为三维信息。
另外，所述第一摄像头110和第二摄像头120中的某一个可以被配置为为了根据本发明的一实施例的高尔夫球杆的检测方法分析高尔夫球杆的阴影而以包括进行高尔夫挥杆的用户所持的高尔夫球杆的视角获取图像。
即，为了获取高尔夫球的三维空间上的坐标信息以计算对应于被高尔夫球杆击打而运动的高尔夫球的运动的物理特性信息，同时驱动所述第一摄像头和第二摄像头而以立体方式拍摄被摄体并分析所拍摄的该影像，而高尔夫球的阴影分析可以通过对由所述第一摄像头和第二摄像头中的特定的一个拍摄的影像的分析来进行。
另一方面，图4中的感测处理部200可以被配置为包括：图像处理部210，其从所述摄像头部100的各摄像头110、120收集图像并执行预定的图像处理以提取相应客体；以及信息计算部220，其由从图像中提取到的客体的二维位置信息计算三维位置信息等。
所述感测处理部200从通过所述摄像头部100的各摄像头110、120收集的图像中的每一个提取运动的客体并计算相应客体的位置信息并向客户端300传输计算出的该信息，使得所述客户端300能够利用接收到的所述客体的位置信息执行客户端300固有的功能，如计算新的信息，或者计算分析信息等。
例如，当将客户端300实现为用于屏幕高尔夫系统的模拟器时，可以从感测处理部200接收高尔夫球和高尔夫球杆的位置信息，并利用其实现球在虚拟的高尔夫球场上飞行的轨迹的模拟影像。
此外，当将所述客户端300实现为高尔夫挥杆分析装置时，可以实现为从感测处理部200接收高尔夫球和高尔夫球杆的位置信息，并利用其提供对用户的高尔夫挥杆的分析信息、挥杆的问题诊断以及用于解决其的教学(lesson)信息等。
所述图像处理部210生成对由所述摄像头部100连续获取的图像中的每一个的基准图像的差分运算图像(差分影像)，并生成对应于残留在该差分影像中的客体，即高尔夫球杆部分、高尔夫球部分、高尔夫球杆等的阴影部分、用户的身体的一部分等的像素。
所生成的所述像素由信息计算部220分析，基于上述分析，所述信息计算部220既会计算和运动的高尔夫球的速度、方向、高度角、旋转等各种参数，也会计算关于高尔夫球杆的举动的分析信息。
尤其，所述信息计算部220可以执行基于本发明的一实施例的高尔夫球杆的检测方法的过程以从影像中准确地提取高尔夫球杆的形状。
如图4所示，所述信息计算部220可以被配置为包括在感测装置中，但不限于此，也可以被配置为包括在客户端300中。即，感测装置也可以执行到通过图像的获取和图像处理来提取运动的客体的功能，并将提取到的该信息传输至客户端的信息计算部，以进行提取到的所述运动的客体的位置信息及利用其的各种信息的计算。
为了更有效地利用本发明的一实施例的高尔夫球杆的检测方法，可以在所述感测处理部200分析阴影之前预先计算几种信息。
例如，可以通过霍夫变换等方式求出本申请人申请的韩国专利申请第10-2016-0156308号中公开的使高尔夫球杆近似于直线的球杆近似直线，并且对应于球杆杆身与球杆杆头的边界的颈(Neck)部分(可以是与杆颈(Hozel)的位置相同的位置)的位置坐标信息(所述球杆近似直线的检测和颈部分的位置坐标的检测并非只能基于韩国专利申请第10-2016-0156308号中公开的方法来求出，而是可以通过任意方法计算)。
参照图5所示，用户U正手持高尔夫球杆GC以进行高尔夫挥杆，此时，由于感测装置的摄像头(未图示)和照明装置朝向用户侧，因而如图5所示阴影SD生成在高尔夫球杆GC的下侧和后侧。图5中附图标记SM表示高尔夫球垫。
只要摄像头式的感测装置获取图像，就会提供用于获取图像的照明，因此，总是几乎恒定地生成如图5所示的阴影SD。
由于这样的阴影SD非常准确地反映高尔夫球杆GC，尤其球杆杆身cs的形状，因此，代替从影像中直接提取高尔夫球杆地，可以通过从影像中分析高尔夫球杆的阴影SD来计算高尔夫球杆的坐标以从影像上非常准确地提取高尔夫球杆的形状，本发明涉及这样的方法和利用其的感测装置。
将参照图6所示的流程图对这样的本发明的一实施例的感测装置的高尔夫球杆的检测方法进行描述。
本发明的一实施例的高尔夫球杆的检测方法的特征在于，以包括进行高尔夫挥杆的用户所持的高尔夫球杆的视角获取影像，基于获取到的该影像或对其进行预定的影像处理(差分影像等)的影像，照射高尔夫球杆的阴影区域并计算对阴影区域的信息，并通过计算出的该信息的分析检测高尔夫球杆。
为了基于本发明检测高尔夫球杆，如图6所示，可能需要首先推定高尔夫球杆的阴影的轮廓(S100)。
图7示出通过本发明的一实施例的感测装置的摄像头获取的影像IM的一例，从图7所示的摄像头获取的影像IM中看，示出了对应于高尔夫球杆的球杆杆身的部分ics、对应于球杆杆头的部分ich、对应于阴影的部分iSD、以及对应于高尔夫球垫的部分iSM等。
然而，当用人眼观察时，虽然容易在影像IM上认知哪个部分是对应于球杆杆身的部分ics，哪个部分是对应于阴影的部分iSD等，但在通过图像的分析特定并识别客体的计算机等运算装置(即，感测处理部)的立场上，根本无法认知哪个部分是球杆杆身，哪个部分是阴影等。
因此，为了有效地推定并分析对应于阴影的部分，可能首先需要图6的步骤S100的高尔夫球杆的阴影的轮廓的推定，这可以通过计算对阴影的轮廓的模型来执行。
本发明的一实施例的感测装置基本上可以被配置为感测高尔夫球被击打时被打击的高尔夫球的运动，并且，为了计算高尔夫球等的位置坐标，基本上以x-y-z的三维坐标系为基准定义如图5所示进行高尔夫挥杆的空间。
但是，若以上述x-y-z坐标系定义并运算对应于高尔夫球杆的阴影的部分，运算可能会变得复杂且困难，因而优选定义用于更容易且有效地进行阴影的分析的单独的坐标系，并将对应于在该单独的坐标系中计算出的最终模型的坐标信息转换为x-y-z坐标系的三维坐标。
关于单独的坐标系的定义，图5和图7示出为了阴影分析而设置的s-t坐标系。
由于高尔夫球杆的阴影SD形成于高尔夫球杆的下方，因此优选以高尔夫球杆为基准设置新的坐标系，即，s-t坐标系，并且，如图5所示，可以将s-t坐标系的原点(st原点)设置为将对应于高尔夫球杆GC的球杆杆身cs与球杆杆头ch的边界的颈(Neck)部分cn的位置(例如，杆颈(Hozel)的位置)沿摄像头视线投影到地面上的点O。
然后，如图5所示，可以将使高尔夫球杆GC的球杆杆身cs近似于直线的球杆近似直线LC上的点沿摄像头视线投影到地面，并将从st原点O向将所述球杆近似直线上的点投影到地面上的点的方向设置为s轴方向，t轴可以被设置为与s轴正交的方向。
这里，成为st原点的计算的基准的颈(Neck)部分的检测和成为s轴方向的基础的球杆近似直线的检测可以通过多种方式求出，例如，可以基于本申请人申请的韩国专利申请第10-2016-0156308号中公开的方法通过影像分析来进行上述球杆近似直线和颈部分的检测。
虽然也可以如上所述地基于颈部分的位置和球杆近似直线来分别决定s-t坐标系的st原点和s轴，但本发明不限于此，也可以以其他任意的基准来决定。
此外，由于上述s-t坐标系的设置是为了进行有效的阴影分析，因此显然也可以照原样使用现有的x-y-z坐标系。
在图6所示的流程图中，推定高尔夫球杆的阴影的轮廓的步骤S100可以以如上所述地定义的s-t坐标系为基准进行，图8示出对其的方法的一例。
图8是用于说明本发明的一实施例的高尔夫球杆的检测方法中推定高尔夫球杆的阴影的轮廓的原理的图，是图5中感测装置设于用户的头部上方时平行于yz平面的面。
图8中用附图标记cs1表示的部分示出球杆杆身被平面截取的截面，附图标记111和112表示设于用户头部上方(或者，踏入击球区的用户的正面侧亦是如此)的感测装置的摄像头111和照明112。
这里，本发明的一实施例的感测装置如图4所示包括立体式的第一摄像头110和第二摄像头120，阴影的分析可以通过两台所述摄像头中的某一个摄像头进行。
为了推定高尔夫球杆的阴影的轮廓，可以利用用于设置s-t坐标系的球杆直线的检测和高尔夫球杆的颈部分的检测结果，并且关于摄像头111和照明112的位置和地面的位置的信息等可以基本上用作已被测量而设置的值。
即，优选关于图8中的摄像头111和照明112与地面之间的距离等的信息已经被设置为默认值。
如图8所示，由照明112提供的光被高尔夫球杆(作为球杆杆身的截面的cs1)遮挡，因而地面上会在高尔夫球杆的球杆杆身周边形成阴影。此时，将被推定为高尔夫球杆的阴影的区域称为阴影推定区域Sa。
在如图8所示的状态下，可以从摄像头、照明、地面等的结构关系求出照明向量，即从照明的末端向阴影推定区域Sa的轮廓的照明向量Vs。
为了求照明向量Vs，首先，设位于照明112的中心的摄像头111的视线Lc1经球杆杆身cs1的一侧轮廓而到达地面的点为Pc，设从所述点Pc经球杆杆身cs1的另一侧轮廓而到达照明112的点为PLe。
所述点PLe是对阴影的形成造成影响的照明的末端部分的点，由摄像头111和照明112中的点PLe与中心之间的区域(A区域)提供的照明被球杆杆身cs1遮挡而在地面上形成阴影的右侧，而阴影的左侧部分由A区域的右侧对称的位置的照明部分制成(图8中仅示出形成阴影的右侧部分，阴影的左侧部分可以作为右侧部分的对称而求出)。
在图8中，作为从照明的点PLe经球杆杆身cs1的右侧轮廓到达地面的点的点Ps对应于阴影推定区域Sa的轮廓位置。即，点Pc与点Ps之间的区间为阴影推定区域Sa。
所述Ps对应于s-t坐标系中的点Ps的t坐标到阴影推定区域的一侧轮廓的长度。
通过以如上所述的方式沿球杆杆身对所有yz平面求Ps，可以获得图9的(a)所示在s-t坐标系中计算出的Ps的数据的集合Pt。
如图9的(a)所示的对s-t坐标系上的Ps的数据的集合Pt对应于与阴影推定区域Sa的轮廓相对应的点的坐标数据。
可以从对应于所述阴影区域的轮廓的点的坐标数据计算对阴影的轮廓的模型，并且可以以对所述阴影的轮廓的模型为n次多项式来进行拟合(Polynomial fitting)。其中，n是2以上的自然数。n越大，拟合的模型的n次多项式越能提高轮廓的准确度，但可能会成为计算机的运算的负担，因此，优选地，可以用三次多项式对阴影的轮廓建模。
图9的(b)示出通过对如上所述在s-t坐标系中计算出的Ps的数据的集合Pt以n次多项式拟合而算出的模型，即，对阴影轮廓的模型Mt。
当如上所述以s轴为基准获得了对阴影的一侧的阴影推定区域的信息时，也可以获得对以所述s轴为基准对称的相反侧的阴影推定区域的信息，通过对整个阴影推定区域的信息可以从影像提取对应于该整个阴影推定区域的部分，并且可以照射所提取的该区域的像素来决定实际的阴影区域。
如图6所示，本发明的一实施例的感测装置的感测处理部在步骤S100中执行推定高尔夫球杆的阴影的轮廓之后，利用其执行通过影像(由摄像头获取的影像或对该影像的差分影像)的分析计算对阴影区域的信息的步骤(S110)。
在对通过所述步骤S110计算“对阴影区域的信息”进行描述之前，先从术语“阴影区域”的定义进行说明。
当从由图7所示的摄像头获取的影像IM中提取与预先设置的基准图像(这可能仅包括背景的图像)的差分影像，并从该差分影像中提取对应于如上所述的阴影推定区域的部分时，可以获得如图10所示的影像信息。图10示出对应于高尔夫球杆的球杆杆身的部分ics弯曲的情况(示出对应于球杆杆身的部分ics是为了促进理解，显然感测处理部无法识别该部分是否为对应于球杆杆身的部分)。
由于本发明的感测装以观察手持高尔夫球杆进行挥杆的用户的视角获取图像，因此难以单独仅提取对应于高尔夫球杆的阴影的部分，并且，如图7所示获取高尔夫球杆遮挡阴影的状态的影像，因此实际上并非单独仅提取对应于阴影的部分并照射像素，而是照射对应于阴影的部分和对应于高尔夫球杆的部分整体的区域，即阴影区域。
即，上述“阴影区域”是不仅包括影像上的阴影本身而且还包括对应于遮挡阴影的高尔夫球杆的部分的区域。
设前已述及的所提取的对应于阴影推定区域的部分为图10所示的ER。
对应于阴影推定区域的部分可以从差分影像提取，当求出关于由摄像头获取的图像与背景的基准图像的差分影像时，两个图像中相同的部分(具有相同的像素信息的部分)被全部去除而存在差异的部分被全部留下，如图10所示，差分影像留下的部分的像素因分别具有预定的像素值(即，亮度值)而成为亮的部分，而被去除的部分因像素值为0而呈现黑色。
上述阴影区域虽然是阴影和高尔夫球杆部分均包括在内的影像上的区域，但其是对应于实际阴影的部分，由于作为如上所述的阴影推定区域提取的区域ER内存在所述阴影区域，因而有必要照射作为如图10所示的阴影推定区域提取的区域ER的所有像素来决定对应于阴影区域的像素(设其为“有效像素”)。
关于图6的流程图中记载的通过影像分析和计算对阴影区域的信息的步骤S110的一例，将利用图9和图10进行更具体的描述。
图9的(b)中示出如通过图8所描述的从摄像头、照明、地板、高尔夫球杆等的位置的结构关系求出照明向量并利用其求出对阴影推定区域的轮廓，即阴影的轮廓的模型的一例。
图9的(b)所示的拟合的曲线是对阴影的轮廓的模型Mt，该模型Mt上的所有点均具有s轴和t轴的坐标值。
例如，如图9的(b)所示以具有[s1,t1]值的点(设为p1)具有[s2,t2]值的点(设为p2)、具有[s3,t3]值的点(设为p3)为例进行说明。
从图10的差分影像中提取的阴影推定区域ER中的点p1、p2、p3分别如图9的(b)所示具有[s1,t1]、[s2,t2]、[s3,t3]的值。
这里，t1、t2、t3的值是分别对应于阴影推定区域的半径的值，以其大小为基准生成检查窗口。
即，作为图10的阴影推定区域提取的对区域的所有像素生成以各像素为中心以半径的大小为基准的检查窗口，当该检查窗口内部的像素满足预先设置的要求时，将其中心的像素决定为有效像素。
作为决定上述有效像素的的要求，例如，可以对检查窗口内部的像素中的每一个预先设置为具有预定的值以上的像素值的像素的数量为总数的规定比率(例如50％)以上的情况。
当假定一个以特定像素为中心的检查窗口时，所述检查窗口的大小是对应于阴影推定区域的半径的大小，当该检查窗口内部的像素中具有预定值以上的像素值的像素超过一半时，其中心的像素可以被判断为是阴影区域内的像素，倘若检查窗口内部的像素中具有预定值以上的像素值的像素不到一半，则其中心的像素可以被视作阴影区域外的像素。
在图10中，以p1、p2、p3以及p1'、p2'、p3'的像素为例进行说明(这里，虽然以6个像素为例进行说明，但对所有像素以相同的方式进行照射)。
这里，假设p1、p2、p3是阴影推定区域的轮廓附近的像素，并且具有与p1等同的s坐标的p1'、具有与p2等同的s坐标的p2'、具有与p3等同的s坐标的p3'分别是位于阴影区域内的像素(p1'、p2'、p3'虽然位于阴影区域内，但在利用检查窗口的有效像素的照射之前无法知道是否位于阴影区域内)。
另外，阴影推定区域和阴影区域可能彼此不一致。所述阴影推定区域是通过利用照明向量的几何分析来推定的，而对应于实际阴影的部分时阴影区域，因此大部分情况下两者彼此不一致。
图10旨在描述的是，针对被提取为阴影推定区域的区域内的所有像素，对所有像素均采用对应于该阴影推定区域的半径大小的检查窗口，以判断某一像素是否为对应于阴影区域的有效像素。
在图10中，p1和p1'具有相同的s1的值作为s轴坐标，以像素p1为中心生成以对应于阴影推定区域的半径的t1值(阴影的轮廓模型中对应于s1值的t坐标值)为横向及纵向的大小的检查窗口w1并照射其内部的像素，并以像素p1'为中心生成与检查窗口w1相同大小的检查窗口w1'并照射其内部的像素。
由于检查窗口w1内部的具有预定值的像素值的像素不到一半，因而可以判断为像素p1不是有效像素，并且，由于检查窗口w1'内部的具有预定值的像素值的像素远远超过一半，因此像素p1’可以被判断为有效像素。
通过这种方式，针对具有s1坐标值的所有像素，利用t1大小的检查窗口决定是否为有效像素。
另外，通过这样的方式，针对所有具有s轴的坐标值的像素中的每一个，以如上所述的方式利用检查窗口判断并决定是否为有效像素。
此时，优选检查窗口的大小以图9的(b)所示的阴影的轮廓模型中对应于s轴的坐标值的t轴的坐标值为基准。由此，可以有效地特定阴影区域，倘若针对所有像素利用相同的检查窗口判断是否为有效像素，则阴影区域会变成t轴的坐标值均具有相同的(垂直线形态的)轮廓线的区域，因此，可以说，将检查窗口的大小基于前面求出的阴影的轮廓模型可变地适用于每个像素对提取阴影区域而言是重要的部分。
如同前文中针对像素p1和像素p1’利用检查窗口w1、w1'判断是否为有效像素，针对图10所示的像素p2和像素p2'，也同样可以进行照射以判断是否为有效像素。
在图10中，p2和p2'具有相同的s2的值作为s轴坐标，以像素p2为中心生成以对应于阴影推定区域的半径的t2值(阴影的轮廓模型中对应于s2值的t坐标值)为横向及纵向的大小的检查窗口w2并照射其内部的像素，并以像素p2'为中心生成与检查窗口w2相同大小的检查窗口w2'并照射其内部的像素。
由于检查窗口w2内部的具有预定值的像素值的像素不到一半，因而可以判断为像素p2不是有效像素，并且，由于检查窗口w2'内部的具有预定值的像素值的像素远远超过一半，因而像素p2'可以被判断为有效像素。
通过这种方式，针对具有s2坐标值所有像素，利用t2大小的检查窗口决定是否为有效像素。
另外，在图10中，p3和p3'具有相同的s3的值作为s轴坐标，以像素p3为中心生成以对应于阴影推定区域的半径的t3值(阴影的轮廓模型中对应于s3值的t坐标值)为横向及纵向的大小的检查窗口w3并照射其内部的像素，并以像素p3'为中心生成与检查窗口w3相同大小的检查窗口w3'并照射其内部的像素。
由于检查窗口w3内部的具有预定值的像素值的像素不到一半，因而可以判断为像素p3不是有效像素，并且，由于检查窗口w3'内部的具有预定值的像素值的像素远远超过一半，因而像素p3'可以被判断为有效像素。
通过这种方式，针对具有s3坐标值的所有像素，利用t3大小的检查窗口决定是否为有效像素。
通过针对以如上所述的方式提取的阴影推定区域内的所有像素照射来判断是否为有效像素，最终可以特定阴影区域。
当如上所述特定了包括有效像素的阴影区域时，构成该阴影区域的像素中的每一个的像素值并不重要，全部可以被视为相同的阴影。
在如上所述提取阴影区域之后，针对对应于该阴影区域的所有像素，可以进行距离变换(Distance Transform)，即变换为使所有像素均具有几何距离的值。对此，图11和图12进行了图示，因而参照图11和图12进行更具体的描述。
图11是示出通过对图10中通过利用检查窗口的有效像素的照射决定为有效像素的像素(即，阴影区域的像素)执行距离变换(Distance Transform)而得出的结果的阴影信息图，设其为图6的步骤S110所称"对阴影区域的信息"。图11所示对阴影区域的信息SDM的所有像素具有s-t坐标系的s值和t值，以及距离值d。这里，距离值d是每个像素通过上述距离变换(Distance Transform)而会具有的值，对此，参照图12进行说明。
假设图12所示的左侧图像中存在像素值为1的像素Po，当通过距离变换(DistanceTransform)对其进行变换时，如右侧的图像所示，几何学上位于最中心的像素Td3具有最高的距离值，以这些像素为中心，几何学上与中心的像素的距离越近，距离值越高，与中心的像素的距离越远，距离值越低。
例如，图12的右侧的图像(距离变换(Distance Transform)后的图像)中的中心的像素Td3的值为3，根据与其中心的像素的距离，Td2的像素可以变换为具有2的值，并且Td1的像素可以变换为具有1的值。
若通过利用前已述及的检查窗口检测到的有效像素对阴影区域的所有像素执行上述距离变换(Distance Transform)，则阴影区域的所有像素可以被变换为几何学上越靠近中心距离值越高。
因此，就图11所示的对阴影区域的信息SDM而言，所有像素具有通过上述距离变换(Distance Transform)的距离值d。即，所有像素具有[s,t,d]的值。
这里，所述距离值d是Distance Transform(距离变换)的结果值，设将其变换为符合s-t坐标系的单位的值为D，则最终对阴影区域的信息SDM上的所有像素具有[s,t,D]的值。
如图11所示的阴影区域以s-t坐标系为基准，对阴影区域的轮廓的模型可以通过向n次多项式的拟合(polynomial fitting)来决定，例如，可以将以3次多项式进行多项式拟合(polynomial fitting)的结果表示如下，并且可以将其决定为对阴影区域的模型。
[数学式1]
R(s)＝A s3+B s2+C s+E
这里，R(s)是表示从阴影区域的中心到轮廓的距离的模型，是在如上所述通过距离变换(Distance Transform)计算出的[s,t,D]数据中例如s＝s1的所有数据，即[s1,t,D]数据中到轮廓的距离，因而D为最大值时的其最大值D为R(s1)。
即，R(s)成为表示对所有s的最大值D的模型。R(s)是表示对所有s的阴影区域的规模(这可以作为半径或大小或到轮廓的距离来代表)的模型。
这里，A、B、C、E均是常数，是通过拟合决定的值。
再回到图6，若以如上所述的方式计算对步骤S110的阴影区域的信息，则执行从对该阴影区域的信息计算中心点候选数据步骤(S120)。
在图11所示的阴影区域中经过其中心的线，即中心线成为高尔夫球杆的球杆杆身的中心线，因而有必要求所述中心线，为了求所述中心线，先求中心点候选。
就包括阴影的被检测的对象物而言，例如，如图7所示，阴影的厚度朝向高尔夫球杆的握把变得越厚。对此，如图5所示高尔夫球杆相对于地板倾斜放置，因而从靠近地板的球杆杆头侧朝向握把侧，球杆杆身的阴影部分必然逐渐变厚。
由于在对这样变厚的阴影区域检测中心线时会出现较大的误差，为了更具体地求中心线，优选执行在图11中述及的对关于阴影区域的信息适用诸如泰勒级数(TaylorSeries)的近似函数以使分散得广而均匀的数据高密度地聚集到中央的作业。
如图11所示的对阴影区域的信息的各数据具有[s,t,D]的值，将其标记为D(s,t)。这意指在坐标s,t处具有D值。
设对应于球杆杆身中心的未知的t为tc，查找tc时利用D(s,t)数据。
为了进行求对未知的tc的D(s,tc)的接近以展开利用D(s,t)的数学式，使D(s,tc)在D(s,t)处近似展开为泰勒级数。
图11中，由于阴影区域的信息上的沿s轴所在的数据的距离值D沿s轴方向几乎没有变化，因而s的微分分量可以被视为“0”。即，可以表示如下。
Figure BDA0003494967720000191
因此，若仅对变量t展开泰勒级数，则如下所示。
[数学式2]
Figure BDA0003494967720000192
s-t坐标系和D值均为相同的单位，表示对图11所示的阴影区域的信息的图SDM上的距离值D在t轴方向上恒定对增减。
因此，
Figure BDA0003494967720000193
近似于|1|，并且沿增减的方向具有(+)、(-)符号。
由于
Figure BDA0003494967720000194
是常数，因而对二次以上的t的导函数为0。
因此，在上所述数学式2所示的泰勒级数展开式中，若只留下对t的一次导函数项进行整理，则如下所示。
[数学式3]
Figure BDA0003494967720000195
在所述数学式3中，当tc>t时，为了向tc接近，应
Figure BDA0003494967720000196
当tc<t时，应
Figure BDA0003494967720000197
因此，考虑两种情况的式如下所示。
[数学式4]
D(s,tc)＝D(s,t)+|tc-t|
阴影区域的中心tc处的距离值D是到阴影区域的轮廓的距离，这等同于上述数学式1所示的阴影区域的模型，即R(s)。
因此，将所述数学式4中的D(s,tc)代替为R(s)，可以获得如下数学式5。
[数学式5]
R(s)＝D(s,t)+|tc-t|
利用所述数学式5，为了求阴影区域的中心，即tc的位置而对tc整理数学式，则如下所示。
[数学式6]
|tc-t|＝R(s)-D(s,t)
在所述数学式6中，当tc>t时，求得如下数学式7。
[数学式7]
tc＝R(s)-D(s,t)+t
在所述数学式6中，当tc<t时，求得如下数学式8。
[数学式8]
tc＝-R(s)+D(s,t)+t
由于作为上述阴影区域的中心点的tc是未知的值，因而数学式6中tc和t之间的大小关系是未知的状态。
因此，针对如图11所示的阴影区域上的所有数据D(s,t)数据，将基于所述数学式7的tc和基于所述数学式8的tc全部求出。
如上所述通过数学式7、8对所有D(s,t)数据求得的tc的值成为中心点tc候选数据。
再回到图6的流程图，若如上所述从对阴影区域的信息计算中心点tc候选数据(S120)，则欲求出的中心线(尚为未知的信息)周边聚有中心点候选数据的趋势呈现得非常明显，对此，执行拟合(fitting)(S130)，并通过上述拟合计算球杆杆身的中心线的模型(S140)。
对此，将参照图13至图15进行描述。
若如上所述通过数学式7、8求出中心点tc，则每个D(s,t)数据均出现一对结果，此时该一对tc结果中的一个向阴影区域的中心靠近，而另一个处于更远离中心的位置。
通过图13和图14举例而言，图13的(a)是摘取图11的一部分示出的，其以多样的图形示出了阴影区域上的D(s,t)数据中具有作为s坐标值的s1值的数据Gp(每个图形是表示数据的点，表示彼此不同的数据，是为了便于描述而示出的)。
若对这些数据Gp利用泰勒级数通过上述数学式7、8求出中心点候选数据，则对每个数据各生成一对数据，如图14所示。
例如，图13的(b)所示的数据Gp中pm1数据通过利用泰勒级数的收敛(即，通过上述数学式7、8)被示为图14所示的ps1-1和ps1-2的数据。
如此，通过对图13的(b)所示的数据Gp中的每一个的级数展开，生成如图14所示的多个数据，如图14所示，一对数据中的一个向中心收敛，另一个存在于远离收敛至其中心的数据的位置，从而生成整体上如图14所示中心处的数据的密度ND分布得较高的结果。
图13的(a)和图13的(b)以及图14中对具有s1值的数据进行了示例性说明，但若以这样的方式所有D(s,t)数据获得通过泰勒级数的中心点候选数据，则会呈现大部分的数据向中心收敛，而其余数据向周边分散的状态。
因此，如上所述的向周边分散的数据会相对于向中心靠近的数据被区分得可辨别。
图15的(a)示出如上所述的中心点候选数据的一例(图中表示得有些夸张是为了促进对说明的理解)。
图15的(a)中示出在如图11所示的阴影区域的信息SDM中适用前已述及的泰勒级数来计算的中心点候选数据Ps1，这些数据Ps1如通过图13的(a)和图13的(b)以及图14所述被区分为向中心附近收敛的数据和分散到其周边的数据而显示，通过对这些中心点候选数据Ps1进行拟合，可以以向中心附近收敛的数据为中心求出中心线Lt1。
通过如上所述的拟合(Polynomial fitting)，可以求出n次函数，例如3次函数，其可以表示如下。
[数学式9]
tc(s)＝A's3+B's2+C's+E'
这里，A'、B'、C'、E'均为常数，并且是通过拟合来决定的值。
基于如上所述向中心收敛的数据，可以通过拟合来拟合n次函数的线，这是球杆杆身的中心线(S140，参照图6)。
另一方面，再回到图6，虽然如上所述通过对中心点候选数据的拟合求出了球杆杆身的中心线，但为了提高其准确度，可以以计算出的所述中心线模型为基准照射所有数据中的每一个的距离，并将超出规定距离的数据作为异常点(outlier)去除，并且可以通过对去除该异常点后剩下的数据(inlier)再进行拟合(S150)求出更准确的中心线的模型，并将其决定为最终中心线模型(S160)。
图15的(b)示出以在图15的(a)中求得的中心线Lt1为基准去除了异常点。可以对去除异常点后剩下的数据，即对应于内点(inlier)的数据Ps2再求出如上述数学式9所示的3次函数的中心线模型Lt2。
既可以将上述中心线模型Lt2决定为最终中心线模型，也可以通过以以所述中心线模型Lt2为基准再次去除异常点后剩下的内点(inlier)数据为中心对中心线进行拟合来计算最终中心线模型。
图15的(c)示出最终计算出的中心线Ltc。
若通过如上所述的过程最终求出球杆杆身的中心线模型，则其具有s-t的二维坐标值，可以将其转换为三维坐标，通过那样转换为三维坐标，可以准确地检测出三维空间上的高尔夫球杆(S170)。
例如，求基于用户的高尔夫挥杆的挥杆平面(Swing Plane)的技术是公知技术，若通过如上所述的本发明的方法求出s-t平面上的球杆杆身的中心线模型，则可以将该球杆杆身的中心线上的坐标映射到挥杆平面以获得三维空间上的球杆杆身的坐标信息。
由于这样获得的球杆杆身的三维坐标连同在进行高尔夫挥杆时发生的球杆杆身弯曲都能检测出，因而与以往以进行高尔夫挥杆时的高尔夫球杆的球杆杆身近似为直线来导出感测结果相比，具有可以最接近实际高尔夫挥杆的结果地计算出准确的结果的优点。
此外，由于本发明可以如上所述将高尔夫球杆的球杆杆身的弯曲全部检测出来，因而具有可以测量作为在进行高尔夫挥杆时球杆杆身弯曲的点的弯曲点(Kick Point)，并且可以非常准确地测量与杆面倾角和弹道等相关的挥杆要素，尤其在以往的技术中难以检测而只能推定的多种挥杆要素的优点。
工业上的可利用性
本发明的高尔夫球杆的检测方法及利用其的感测装置可以利用于有关基于对进行高尔夫挥杆时的高尔夫球杆的运动的分析的高尔夫分析的领域或有关虚拟高尔夫模拟系统的领域。

Claims (12)

1.一种高尔夫球杆的检测方法，其特征在于，包括：
以包括进行高尔夫挥杆的用户所持的高尔夫球杆的视角获取影像的步骤；
从所述影像计算对形成于地板上的所述高尔夫球杆的阴影区域的信息的步骤；以及
通过对所述阴影区域的信息的分析检测所述高尔夫球杆的步骤。
2.根据权利要求1所述的高尔夫球杆的检测方法，其特征在于，
计算对所述阴影区域的信息的步骤包括：
照射所述影像上的像素以检测对应于所述阴影区域的有效像素，并利用所述有效像素计算对所述高尔夫球杆的阴影区域的信息的步骤。
3.根据权利要求1所述的高尔夫球杆的检测方法，其特征在于，
计算对所述阴影区域的信息的步骤包括：
从摄像头、照明、地面的结构关系计算照明向量的步骤；
利用计算出的所述照明向量计算对所述高尔夫球杆的阴影的轮廓的模型的步骤；以及
基于对所述阴影的轮廓的模型照射所述影像上的像素以计算对所述高尔夫球杆的阴影区域的信息的步骤。
4.根据权利要求1所述的高尔夫球杆的检测方法，其特征在于，
计算对所述阴影区域的信息的步骤包括：
通过分析所述影像，检测使所述高尔夫球杆的球杆杆身近似的球杆近似直线的步骤；
以将检测出的所述球杆近似直线投影到地板上的直线分量为基准计算对所述高尔夫球杆的阴影的轮廓的模型的步骤；以及
通过基于计算出的所述对阴影的轮廓的模型照射对所获取的所述影像的差分影像的像素以检测对应于所述高尔夫球杆的阴影区域的有效像素，计算对所述高尔夫球杆的阴影区域的信息的步骤。
5.根据权利要求1所述的高尔夫球杆的检测方法，其特征在于，
检测所述高尔夫球杆的步骤包括：
从对所述高尔夫球杆的阴影区域的信息计算球杆杆身的中心线的模型的步骤；以及
通过将对计算出的所述球杆杆身的中心线的模型的二维坐标转换为三维坐标，检测所述高尔夫球杆的步骤。
6.根据权利要求1所述的高尔夫球杆的检测方法，其特征在于，
检测所述高尔夫球杆的步骤包括：
通过利用泰勒级数的近似从对所述高尔夫球杆的阴影区域的信息计算中心点候选数据的步骤；
通过对所述中心点候选数据中去除对应于异常点的数据的中心点候选数据的拟合计算球杆杆身的中心线的模型的步骤；以及
通过将对计算出的所述球杆杆身的中心线的模型的二维坐标转换为三维坐标，检测所述高尔夫球杆的步骤。
7.根据权利要求1所述的高尔夫球杆的检测方法，其特征在于，
计算对所述阴影区域的信息的步骤包括：
从摄像头、照明、地面的结构关系检测所述高尔夫球杆的阴影推定区域并计算对阴影的轮廓的模型作为所述阴影推定区域的轮廓的步骤；
在对所获取的所述影像的差分影像中，针对检测到的所述阴影推定区域内的每个像素以各像素为中心生成对应于对所述阴影的轮廓的模型的大小的检查窗口，并照射所生成的该检查窗口的内部的所有像素以判断其中心的像素是否为有效像素的步骤；以及
通过决定所述阴影推定区域内的所有像素中的所述有效像素，计算对包括关于所决定的所述有效像素的信息的所述阴影区域的信息的步骤。
8.一种高尔夫球杆的检测方法，其特征在于，包括：
推定对进行高尔夫挥杆的用户所持的高尔夫球杆的阴影的轮廓的步骤；
通过利用以包括所述高尔夫球杆的视角获取的影像在影像上照射所推定的所述轮廓内的像素，检测对应于所述阴影的有效像素，并从中计算对所述高尔夫球杆的阴影区域的信息的步骤；以及
通过对所述阴影区域的信息的分析检测所述高尔夫球杆的步骤。
9.根据权利要求8所述的高尔夫球杆的检测方法，
计算对所述阴影区域的信息的步骤包括：
由从所获取的所述影像中去除背景的差分影像检测所推定的所述轮廓内的所述有效像素的步骤；以及
计算由检测到的所述有效像素决定的阴影模型的步骤，
检测所述高尔夫球杆的步骤包括：
通过由计算出的所述阴影模型定义的所述影像上的数据计算球杆杆身的中心线的模型的步骤；以及
通过将对计算出的所述球杆杆身的中心线的模型的二维坐标转换为三维坐标，检测所述高尔夫球杆的步骤。
10.一种高尔夫球杆的检测方法，其特征在于，包括：
以包括进行高尔夫挥杆的用户所持的高尔夫球杆的视角获取影像的步骤；
通过分析所述影像，检测使所述高尔夫球杆的球杆杆身近似的球杆近似直线的步骤；
以将检测到的所述球杆近似直线投影到地板上的直线分量为基准从所述影像计算包括对应于形成在所述地板上的所述高尔夫球杆的阴影区域的像素的信息的阴影信息的步骤；以及
通过所述阴影信息的数据分析来检测所述高尔夫球杆的步骤。
11.一种感测装置，其检测进行高尔夫挥杆时的高尔夫球杆，所述感测装置的特征在于，包括：
摄像头，其以包括进行高尔夫挥杆的用户所持的高尔夫球杆的视角获取影像；以及
感测处理部，其从所述影像特定形成于地板上的所述高尔夫球杆的阴影区域，并通过对所特定的所述阴影区域的信息的分析检测所述高尔夫球杆。
12.根据权利要求11所述的感测装置，其特征在于，
所述感测处理部构成为：
推定所述阴影的轮廓；通过在所述影像上照射所推定的所述轮廓内的像素以检测对应于所述阴影区域的有效像素，特定所述高尔夫球杆的阴影区域；
从对应于所特定的所述高尔夫球杆的阴影区域的数据计算球杆杆身的中心线的模型；并且
通过将对计算出的所述球杆杆身的中心线的模型的二维坐标转换为三维坐标，检测所述高尔夫球杆。
CN202080055396.3A 2019-07-30 2020-07-24 高尔夫球杆的检测方法及利用其的感测装置 Pending CN114175098A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190092460A KR20210014409A (ko) 2019-07-30 2019-07-30 골프클럽 센싱방법 및 이를 이용한 센싱장치
KR10-2019-0092460 2019-07-30
PCT/KR2020/009760 WO2021020813A1 (ko) 2019-07-30 2020-07-24 골프클럽의 검출 방법 및 이를 이용한 센싱장치

Publications (1)

Publication Number Publication Date
CN114175098A true CN114175098A (zh) 2022-03-11

Family

ID=74230753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080055396.3A Pending CN114175098A (zh) 2019-07-30 2020-07-24 高尔夫球杆的检测方法及利用其的感测装置

Country Status (5)

Country Link
US (1) US20220273998A1 (zh)
KR (2) KR20210014409A (zh)
CN (1) CN114175098A (zh)
CA (1) CA3149314A1 (zh)
WO (1) WO2021020813A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7281857B1 (ja) * 2023-01-06 2023-05-26 有限会社Amplus 表示制御装置およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4647761B2 (ja) * 2000-09-13 2011-03-09 浜松ホトニクス株式会社 スイング物体の速度測定装置
KR100493718B1 (ko) * 2003-02-25 2005-06-02 (유)동진정보통신 골프스윙객체 자세추적방법
KR100977335B1 (ko) * 2008-01-10 2010-08-20 최성열 골프 타구 분석 시스템
KR100920949B1 (ko) * 2008-12-12 2009-10-09 (주) 알디텍 스크린 골프 시스템에서 클럽 헤드의 진입각, 공간속도 및타격점을 알기 위한 센싱 시스템
KR101248836B1 (ko) * 2010-06-07 2013-03-29 (주) 알디텍 골프 타격 정보 측정 시스템 및 방법
KR20170103365A (ko) * 2016-03-04 2017-09-13 한국전자통신연구원 고속 동작 물체의 객체 궤적 추적장치 및 그 방법

Also Published As

Publication number Publication date
WO2021020813A1 (ko) 2021-02-04
CA3149314A1 (en) 2021-02-04
KR20210082140A (ko) 2021-07-02
US20220273998A1 (en) 2022-09-01
KR102563102B1 (ko) 2023-08-03
KR20210014409A (ko) 2021-02-09

Similar Documents

Publication Publication Date Title
KR101078975B1 (ko) 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법
KR101048090B1 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
TWI448318B (zh) 虛擬高爾夫模擬裝置及其使用之感測裝置與感測方法
KR101723432B1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
JP3778427B2 (ja) 打球診断システム
KR20090130003A (ko) 삼차원 물체를 트래킹하기 위한 시스템 및 방법
KR20190031111A (ko) 가상 테니스 시뮬레이션 시스템, 이에 이용되는 센싱장치 및 센싱방법
KR101826837B1 (ko) 볼의 비행정보 연산장치, 볼의 비행정보 연산방법 및 이를 기록한 컴퓨팅장치에 의해 판독 가능한 기록매체
KR101913667B1 (ko) 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템 및 이를 이용한 골프 스윙 분석 방법
JP5572853B2 (ja) 運動するオブジェクトに対するセンシング装置、センシング処理方法及びそれを用いた仮想ゴルフシミュレーション装置
JP4205004B2 (ja) キャリブレーション方法
KR101932525B1 (ko) 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
KR102563102B1 (ko) 골프클럽의 센싱방법 및 이를 이용한 센싱장치
TWI635887B (zh) 用於計算使用者的高爾夫擊球的資訊的感測裝置及利用其的感測方法
KR20220133143A (ko) 카메라를 이용한 평면 이동 구체의 운동 센싱장치 및 방법과, 퍼팅매트를 이동하는 골프공의 운동 센싱장치 및 방법
WO2018207388A1 (ja) モーションキャプチャに関するプログラム、装置および方法
KR101078954B1 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
CN117716388A (zh) 用于感测移动的球的影像分析方法及利用其的传感装置
KR20220035616A (ko) 골프스윙에 대한 센싱장치 및 이를 이용한 클럽헤드의 임팩트 위치 센싱방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination