JP2021033775A - Image generation system, estimation system, image generation method, estimation method, and program - Google Patents

Image generation system, estimation system, image generation method, estimation method, and program Download PDF

Info

Publication number
JP2021033775A
JP2021033775A JP2019154905A JP2019154905A JP2021033775A JP 2021033775 A JP2021033775 A JP 2021033775A JP 2019154905 A JP2019154905 A JP 2019154905A JP 2019154905 A JP2019154905 A JP 2019154905A JP 2021033775 A JP2021033775 A JP 2021033775A
Authority
JP
Japan
Prior art keywords
image
golf ball
learning
shot
golf club
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019154905A
Other languages
Japanese (ja)
Other versions
JP7307334B2 (en
Inventor
三枝　宏
Hiroshi Saegusa
宏 三枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PRGR Co Ltd
Original Assignee
PRGR Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PRGR Co Ltd filed Critical PRGR Co Ltd
Priority to JP2019154905A priority Critical patent/JP7307334B2/en
Publication of JP2021033775A publication Critical patent/JP2021033775A/en
Application granted granted Critical
Publication of JP7307334B2 publication Critical patent/JP7307334B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

To provide an image generation system, an estimation system, an image generation method, an estimation method, and a program that can learn a machine learning model that can accurately estimate a type of golf club with few images.SOLUTION: A learning data acquisition unit 94 acquires a basic image representing at least a golf club and a golf ball used for a shot. A preprocessing unit 96 generates a learning input image that represents at least the golf club and the golf ball but is different from the basic image based on at least one of the position, size, and color of a region occupied by an image of the golf ball in the basic image.SELECTED DRAWING: Figure 4

Description

本発明は、画像生成システム、推定システム、画像生成方法、推定方法及びプログラムに関する。 The present invention relates to an image generation system, an estimation system, an image generation method, an estimation method and a program.

特許文献１には、ゴルフボールを打った瞬間を挟んだ前後のスイングの映像が再生可能な装置が記載されている。 Patent Document 1 describes a device capable of reproducing an image of a swing before and after the moment when a golf ball is hit.

また、ゴルフショップ内における試打の場面やゴルフ練習場におけるゴルフの練習の場面に用いることができるゴルフ測定装置が知られている。このようなゴルフ測定装置では、例えば、ショットの際の、ヘッドスピード、ボールスピード、ボールの打ち出し角度、スピン量、シミュレーション飛距離、ヘッド軌道、ダイナミックロフト、フェース角、ライ角、打点位置などの値が測定可能である。 Further, a golf measuring device that can be used in a test hitting scene in a golf shop or a golf practice scene in a driving range is known. In such a golf measuring device, for example, values such as head speed, ball speed, ball launch angle, spin amount, simulation flight distance, head trajectory, dynamic loft, face angle, lie angle, and hitting point position at the time of a shot. Is measurable.

特開平５−１５６２８号公報Japanese Unexamined Patent Publication No. 5-15628

ゴルフ測定装置のなかには、ショットの際の測定値を示すショットデータを、当該ショットに用いられたゴルフクラブの種類（番手、モデル名、型番、など）に関連付けて管理できるものがある。このようにすることで、例えば、クラブ開発におけるショット分析や顧客へのショットデータの提供の場面などにおけるショットデータの活用性が向上する。 Some golf measuring devices can manage shot data indicating a measured value at the time of a shot in association with the type of golf club (count, model name, model number, etc.) used for the shot. By doing so, for example, the utilization of shot data in the scene of shot analysis in club development and the scene of providing shot data to customers is improved.

ところが従来のゴルフ測定装置では、ゴルフクラブの種類をオペレータが手作業で入力する必要があった。そのため、誤入力が見逃されたり、入力に手間がかかることから入力が行われなかったりすることがあった。 However, in the conventional golf measuring device, the operator has to manually input the type of golf club. Therefore, the erroneous input may be overlooked, or the input may not be performed due to the time and effort required for the input.

このことに着目し、発明者は、ゴルフクラブの画像の入力に基づいて、当該ゴルフクラブの種類を推定する機械学習モデルの開発を検討している。ここで、精度の高い推定を可能にするためには、一般的に、当該機械学習モデルの学習において、多くのゴルフクラブの画像を用意する必要があり面倒である。 Focusing on this, the inventor is considering the development of a machine learning model for estimating the type of the golf club based on the input of the image of the golf club. Here, in order to enable highly accurate estimation, it is generally necessary to prepare images of many golf clubs in learning the machine learning model, which is troublesome.

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ゴルフクラブの種類を的確に推定できる機械学習モデルの学習を少ない画像を用いて行うことができる画像生成システム、推定システム、画像生成方法、推定方法及びプログラムを提供することにある。 The present invention has been made in view of the above circumstances, and one of the purposes thereof is an image generation system capable of learning a machine learning model capable of accurately estimating the type of golf club using a small number of images. To provide an estimation system, an image generation method, an estimation method and a program.

上記課題を解決するために、本発明に係る画像生成システムは、ショットに用いられたゴルフクラブの種類を推定する機械学習モデルの学習に用いられる学習入力画像を生成する画像生成システムであって、ゴルフクラブ及びゴルフボールを少なくとも表す基礎画像を取得する基礎画像取得手段と、前記基礎画像内において前記ゴルフボールの画像が占める領域の位置、大きさ、又は、色のうちの少なくとも１つに基づいて、前記ゴルフクラブ及び前記ゴルフボールを少なくとも表す、前記基礎画像とは異なる、前記学習入力画像を生成する学習入力画像生成手段と、を含む。 In order to solve the above problems, the image generation system according to the present invention is an image generation system that generates a learning input image used for learning a machine learning model for estimating the type of golf club used for a shot. Based on a basic image acquisition means for acquiring at least a basic image representing a golf club and a golf ball, and at least one of the position, size, or color of an area occupied by the image of the golf ball in the basic image. , A learning input image generating means for generating the learning input image, which is different from the basic image and represents at least the golf club and the golf ball.

本発明の一態様では、前記学習入力画像生成手段は、当該学習入力画像内における前記ゴルフボールの画像が占める領域の位置が所定の位置である前記学習入力画像を生成する。 In one aspect of the present invention, the learning input image generating means generates the learning input image in which the position of the region occupied by the image of the golf ball in the learning input image is a predetermined position.

また、本発明の一態様では、前記学習入力画像生成手段は、前記ゴルフボールの画像が占める領域の大きさが所定の大きさである前記学習入力画像を生成する。 Further, in one aspect of the present invention, the learning input image generating means generates the learning input image in which the size of the region occupied by the image of the golf ball is a predetermined size.

また、本発明の一態様では、前記学習入力画像生成手段は、前記ゴルフボールの画像が占める領域の色が所定色となるよう画像全体が色補正された前記学習入力画像を生成する。 Further, in one aspect of the present invention, the learning input image generating means generates the learning input image in which the entire image is color-corrected so that the color of the region occupied by the image of the golf ball becomes a predetermined color.

また、本発明の一態様では、前記基礎画像は、人工芝をさらに表す画像であり、前記学習入力画像生成手段は、前記人工芝の画像が示す領域の色が所定色となるよう画像全体が色補正された前記学習入力画像を生成する。 Further, in one aspect of the present invention, the basic image is an image further representing the artificial turf, and the learning input image generation means has the entire image so that the color of the region indicated by the image of the artificial turf is a predetermined color. The color-corrected learning input image is generated.

この態様では、前記学習入力画像生成手段は、前記人工芝の縁の向きが所定の向きとなるよう画像全体が回転された前記学習入力画像を生成してもよい。 In this aspect, the learning input image generation means may generate the learning input image in which the entire image is rotated so that the orientation of the edges of the artificial turf is a predetermined orientation.

また、本発明の一態様では、前記基礎画像は、人工芝をさらに表す画像であり、前記学習入力画像生成手段は、前記人工芝の縁の向きが所定の向きとなるよう画像全体が回転された前記学習入力画像を生成する。 Further, in one aspect of the present invention, the basic image is an image further representing the artificial turf, and the learning input image generation means rotates the entire image so that the direction of the edge of the artificial turf becomes a predetermined direction. The learning input image is generated.

また、本発明の一態様では、前記基礎画像は、ティーをさらに表す画像であり、前記学習入力画像生成手段は、前記ティーの向きが所定の向きとなるよう画像全体が回転された前記学習入力画像を生成する。 Further, in one aspect of the present invention, the basic image is an image further representing a tee, and the learning input image generation means is the learning input in which the entire image is rotated so that the direction of the tee is a predetermined direction. Generate an image.

また、本発明の一態様では、前記学習入力画像を前記機械学習モデルに入力した際の出力を用いて、前記機械学習モデルの学習を実行する学習手段、をさらに含む。 Further, one aspect of the present invention further includes a learning means for executing learning of the machine learning model by using the output when the learning input image is input to the machine learning model.

また、本発明に係る推定システムは、学習済の機械学習モデルを用いて、ショットに用いられたゴルフクラブの種類を推定する推定システムであって、ゴルフクラブ及びゴルフボールを少なくとも表すターゲット画像を取得するターゲット画像取得手段と、前記ターゲット画像内において前記ゴルフボールの画像が占める領域の位置、大きさ、又は、色のうちの少なくとも１つに基づいて、前記ゴルフクラブ及び前記ゴルフボールを少なくとも表す、前記ターゲット画像とは異なる、入力画像を生成する入力画像生成手段と、前記入力画像を前記学習済の前記機械学習モデルに入力した際の出力に基づいて、前記ゴルフクラブの種類を推定する推定手段と、を含む。 Further, the estimation system according to the present invention is an estimation system that estimates the type of golf club used for a shot by using a trained machine learning model, and acquires at least a target image representing a golf club and a golf ball. The golf club and the golf ball are at least represented based on at least one of the target image acquisition means and the position, size, or color of the area occupied by the image of the golf ball in the target image. An input image generation means for generating an input image different from the target image, and an estimation means for estimating the type of the golf club based on the output when the input image is input to the trained machine learning model. And, including.

また、本発明に係る画像生成方法は、ショットに用いられたゴルフクラブの種類を推定する機械学習モデルの学習に用いられる学習入力画像を生成する画像生成方法であって、ゴルフクラブ及びゴルフボールを少なくとも表す基礎画像を取得するステップと、前記基礎画像内において前記ゴルフボールの画像が占める領域の位置、大きさ、又は、色のうちの少なくとも１つに基づいて、前記ゴルフクラブ及び前記ゴルフボールを少なくとも表す、前記基礎画像とは異なる、前記学習入力画像を生成するステップと、を含む。 Further, the image generation method according to the present invention is an image generation method for generating a learning input image used for learning a machine learning model for estimating the type of golf club used for a shot, and is used to generate a golf club and a golf ball. The golf club and the golf ball are based on at least one of the steps of acquiring a representative image and at least one of the position, size, or color of the area occupied by the image of the golf ball in the basic image. It includes, at least, a step of generating the learning input image, which is different from the basic image.

また、本発明に係る推定方法は、学習済の機械学習モデルを用いて、ショットに用いられたゴルフクラブの種類を推定する推定方法であって、ゴルフクラブ及びゴルフボールを少なくとも表すターゲット画像を取得するステップと、前記ターゲット画像内において前記ゴルフボールの画像が占める領域の位置、大きさ、又は、色のうちの少なくとも１つに基づいて、前記ゴルフクラブ及び前記ゴルフボールを少なくとも表す、前記ターゲット画像とは異なる、入力画像を生成するステップと、前記入力画像を前記学習済の前記機械学習モデルに入力した際の出力に基づいて、前記ゴルフクラブの種類を推定するステップと、を含む。 Further, the estimation method according to the present invention is an estimation method for estimating the type of golf club used for a shot by using a trained machine learning model, and acquires at least a target image representing a golf club and a golf ball. The target image representing at least the golf club and the golf ball based on at least one of the steps to be performed and the position, size, or color of the area occupied by the image of the golf ball in the target image. It includes a step of generating an input image different from the above, and a step of estimating the type of the golf club based on the output when the input image is input to the trained machine learning model.

また、本発明に係るプログラムは、ショットに用いられたゴルフクラブの種類を推定する機械学習モデルの学習に用いられる学習入力画像を生成するコンピュータに、ゴルフクラブ及びゴルフボールを少なくとも表す基礎画像を取得する手順、前記基礎画像内において前記ゴルフボールの画像が占める領域の位置、大きさ、又は、色のうちの少なくとも１つに基づいて、前記ゴルフクラブ及び前記ゴルフボールを少なくとも表す、前記基礎画像とは異なる、前記学習入力画像を生成する手順、を実行させる。 Further, the program according to the present invention acquires at least a basic image representing a golf club and a golf ball on a computer that generates a learning input image used for learning a machine learning model that estimates the type of golf club used for a shot. With the basic image representing at least the golf club and the golf ball based on at least one of the position, size, or color of the area occupied by the image of the golf ball in the basic image. Is different, the procedure for generating the learning input image is executed.

また、本発明に係る別のプログラムは、学習済の機械学習モデルを用いて、ショットに用いられたゴルフクラブの種類を推定するコンピュータに、ゴルフクラブ及びゴルフボールを少なくとも表すターゲット画像を取得する手順、前記ターゲット画像内において前記ゴルフボールの画像が占める領域の位置、大きさ、又は、色のうちの少なくとも１つに基づいて、前記ゴルフクラブ及び前記ゴルフボールを少なくとも表す、前記ターゲット画像とは異なる、入力画像を生成する手順、前記入力画像を前記学習済の前記機械学習モデルに入力した際の出力に基づいて、前記ゴルフクラブの種類を推定する手順、を実行させる。 Another program according to the present invention is a procedure for acquiring at least a target image representing a golf club and a golf ball on a computer that estimates the type of golf club used for a shot by using a trained machine learning model. Different from the target image, which represents at least the golf club and the golf ball based on at least one of the position, size, or color of the area occupied by the image of the golf ball in the target image. , A procedure for generating an input image, and a procedure for estimating the type of the golf club based on the output when the input image is input to the trained machine learning model.

本発明の一実施形態に係るショット測定システムの構成の一例を示す図である。It is a figure which shows an example of the structure of the shot measurement system which concerns on one Embodiment of this invention. 本発明の一実施形態に係るショット測定装置の構成の一例を示す図である。It is a figure which shows an example of the structure of the shot measuring apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る学習装置の構成の一例を示す図である。It is a figure which shows an example of the structure of the learning apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る学習装置の機能の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of the function of the learning apparatus which concerns on one Embodiment of this invention. 基礎画像の一例を模式的に示す図である。It is a figure which shows an example of the basic image schematically. 学習入力画像の一例を模式的に示す図である。It is a figure which shows an example of the learning input image schematically. 基礎画像の一例を模式的に示す図である。It is a figure which shows an example of the basic image schematically. 基礎画像の一例を模式的に示す図である。It is a figure which shows an example of the basic image schematically. 本発明の一実施形態に係る学習装置で行われる処理の流れの一例を示すフロー図である。It is a flow figure which shows an example of the flow of the process performed by the learning apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係るショット管理装置の機能の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of the function of the shot management apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係るショット管理装置で行われる処理の流れの一例を示すフロー図である。It is a flow chart which shows an example of the flow of the process performed by the shot management apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る集計装置の構成の一例を示す図である。It is a figure which shows an example of the structure of the totalizing apparatus which concerns on one Embodiment of this invention.

以下、本発明の一実施形態について、図面を参照しながら説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

図１は、本発明の一実施形態に係るショット測定システム１の構成の一例を示す図である。図１に示すように、本実施形態に係るショット測定システム１には、ショット管理装置１０と、ショット測定装置２２と、が含まれる。 FIG. 1 is a diagram showing an example of a configuration of a shot measurement system 1 according to an embodiment of the present invention. As shown in FIG. 1, the shot measurement system 1 according to the present embodiment includes a shot management device 10 and a shot measurement device 22.

本実施形態に係るショット管理装置１０は、パーソナルコンピュータなどのコンピュータである。図１に示すようにショット管理装置１０は、例えば、プロセッサ１２、記憶部１４、通信部１６、表示部１８、操作部２０を含んでいる。 The shot management device 10 according to the present embodiment is a computer such as a personal computer. As shown in FIG. 1, the shot management device 10 includes, for example, a processor 12, a storage unit 14, a communication unit 16, a display unit 18, and an operation unit 20.

プロセッサ１２は、例えばショット管理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。 The processor 12 is, for example, a program control device such as a CPU that operates according to a program installed in the shot management device 10.

記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。 The storage unit 14 is a storage element such as a ROM or RAM, a hard disk drive, or the like. The storage unit 14 stores a program or the like executed by the processor 12.

通信部１６は、例えばネットワークボードなどの通信インタフェースである。本実施形態では通信部１６を介してショット管理装置１０は、ショット測定装置２２と通信可能となっている。 The communication unit 16 is a communication interface such as a network board. In the present embodiment, the shot management device 10 can communicate with the shot measuring device 22 via the communication unit 16.

表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に
従って各種の画像を表示する。 The display unit 18 is a display device such as a liquid crystal display, and displays various images according to the instructions of the processor 12.

操作部２０は、キーボードやマウスなどといったユーザインタフェースであって、ユー
ザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。 The operation unit 20 is a user interface such as a keyboard or a mouse, receives an operation input of the user, and outputs a signal indicating the contents to the processor 12.

なお、ショット管理装置１０は、ＤＶＤ−ＲＯＭやＢｌｕ−ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。 The shot management device 10 may include an optical disk drive for reading an optical disk such as a DVD-ROM or a Blu-ray (registered trademark) disc, a USB (Universal Serial Bus) port, or the like.

図２は、本実施形態に係るショット測定装置２２の構成の一例を示す図である。図２に示すように、本実施形態に係るショット測定装置２２には、弾道測定器３０、ヘッド挙動測定器３２、ヘッド撮影装置３４が含まれている。 FIG. 2 is a diagram showing an example of the configuration of the shot measuring device 22 according to the present embodiment. As shown in FIG. 2, the shot measuring device 22 according to the present embodiment includes a ballistic measuring device 30, a head behavior measuring device 32, and a head photographing device 34.

弾道測定器３０には、ＬＥＤなどのフラッシュ光源４０が、左右及び中央のそれぞれに縦に並んで３個ずつ、計９個設けられている。また、弾道測定器３０には、左側のフラッシュ光源４０と中央のフラッシュ光源４０との間、及び、右側のフラッシュ光源４０と中央のフラッシュ光源４０との間に、ステレオカメラ４２が設けられている。また、弾道測定器３０の右端には、ボール有無判別センサ４４が設けられている。また、弾道測定器３０には、ヘッドスピードセンサ４６が設けられている。 The ballistic measuring instrument 30 is provided with three flash light sources 40 such as LEDs arranged vertically on each of the left and right sides and the center, for a total of nine. Further, the ballistic measuring instrument 30 is provided with a stereo camera 42 between the flash light source 40 on the left side and the flash light source 40 in the center, and between the flash light source 40 on the right side and the flash light source 40 in the center. .. Further, a ball presence / absence determination sensor 44 is provided at the right end of the ballistic measuring instrument 30. Further, the ballistic measuring instrument 30 is provided with a head speed sensor 46.

本実施形態では例えば、弾道測定器３０の前方に、異なる種類の複数のマーカが表面の異なる場所に張り付けられたゴルフボール４８が配置される。 In the present embodiment, for example, a golf ball 48 in which a plurality of markers of different types are attached to different locations on the surface is arranged in front of the ballistic measuring instrument 30.

そして当該ゴルフボール４８のショット直後の弾道が、複数のステレオカメラ４２によって複数の方向から同時に撮影される。本実施形態では例えば、フラッシュ光源４０を複数回断続的に点灯する間に、多重露光によりゴルフボール４８の複数の像を含む画像が撮影される。なお、ステレオカメラ４２が高速度カメラであり、当該高速度カメラによってゴルフボール４８の像を含む画像が連続撮影されてもよい。 Then, the trajectory of the golf ball 48 immediately after the shot is simultaneously photographed by the plurality of stereo cameras 42 from a plurality of directions. In the present embodiment, for example, while the flash light source 40 is intermittently turned on a plurality of times, an image including a plurality of images of the golf ball 48 is photographed by multiple exposure. The stereo camera 42 is a high-speed camera, and the high-speed camera may continuously capture images including an image of a golf ball 48.

そして、撮影された画像はショット管理装置１０に送信される。そして、ショット管理装置１０において、ステレオ画像計測技術により、撮影される画像に基づく、ゴルフボール４８の挙動の三次元計測が行われる。 Then, the captured image is transmitted to the shot management device 10. Then, in the shot management device 10, the behavior of the golf ball 48 is three-dimensionally measured based on the captured image by the stereo image measurement technique.

そして本実施形態では、ショット管理装置１０において、ゴルフボール４８の三次元計測の結果に基づいて、ボールスピードデータ、打出し角度データ、スピン量データ、及び、飛距離データを含む部分ボールデータが生成される。 Then, in the present embodiment, the shot management device 10 generates partial ball data including ball speed data, launch angle data, spin amount data, and flight distance data based on the result of three-dimensional measurement of the golf ball 48. Will be done.

ここで、ボールスピードデータは、例えば、ゴルフボール４８のボールスピード（例えば初速度）を示すデータである。また、打出し角度データは、例えば、ゴルフボール４８の上下、左右の打出し角度を示すデータである。また、スピン量データは、例えば、ゴルフボール４８のバックスピン量とサイドスピン量を示すデータである。また、飛距離データは、例えば、ゴルフボール４８のシミュレーション飛距離を示すデータである。 Here, the ball speed data is data indicating, for example, the ball speed (for example, the initial speed) of the golf ball 48. Further, the launch angle data is, for example, data indicating the vertical and horizontal launch angles of the golf ball 48. Further, the spin amount data is, for example, data showing the backspin amount and the side spin amount of the golf ball 48. Further, the flight distance data is, for example, data indicating a simulated flight distance of the golf ball 48.

また、本実施形態では、ヘッドスピードセンサ４６によって計測される、ゴルフボール４８のショットに用いられるゴルフクラブのヘッドスピードを示すヘッドスピードデータが、弾道測定器３０からショット管理装置１０に送信される。 Further, in the present embodiment, the head speed data indicating the head speed of the golf club used for the shot of the golf ball 48, which is measured by the head speed sensor 46, is transmitted from the ballistic measuring device 30 to the shot management device 10.

そして、本実施形態では、ショット管理装置１０において、弾道測定器３０から送信されるヘッドスピードデータと、上述の部分ボールデータと、を含む、ボールデータが生成される。 Then, in the present embodiment, the shot management device 10 generates ball data including the head speed data transmitted from the ballistic measuring device 30 and the above-mentioned partial ball data.

ボール有無判別センサ４４は、ティー５０の上に配置されたゴルフボール４８の存在の有無を検知するセンサである。本実施形態では例えば、ボール有無判別センサ４４によって、ゴルフボール４８がティー５０の上に配置されていない状態から配置されている状態に変化したことが検出された際にステレオカメラ４２による撮影準備が開始される。そして、ボール有無判別センサ４４によって、ゴルフボール４８がティー５０の上に配置された状態からティー５０の上に配置されていない状態に変化した際に、ステレオカメラ４２による撮影が行われる。 The ball presence / absence determination sensor 44 is a sensor that detects the presence / absence of the golf ball 48 arranged on the tee 50. In the present embodiment, for example, when the ball presence / absence determination sensor 44 detects that the golf ball 48 has changed from the state in which it is not placed on the tee 50 to the state in which it is placed, the stereo camera 42 prepares for shooting. It will be started. Then, when the golf ball 48 is changed from the state where the golf ball 48 is arranged on the tee 50 to the state where the golf ball 48 is not arranged on the tee 50 by the ball presence / absence determination sensor 44, the stereo camera 42 takes a picture.

以下、ゴルフボール４８がティー５０の上に配置されていない状態から配置されている状態に変化したことの検出を配置検出と呼ぶこととする。また、ゴルフボール４８がティー５０の上に配置されている状態から配置されていない状態に変化したことの検出をショット検出と呼ぶこととする。 Hereinafter, the detection that the golf ball 48 has changed from the state in which it is not placed on the tee 50 to the state in which it is placed is referred to as placement detection. Further, the detection that the golf ball 48 has changed from the state in which it is placed on the tee 50 to the state in which it is not placed is referred to as shot detection.

また、本実施形態において、ボール有無判別センサ４４による配置検出のタイミングに、ボール有無判別センサ４４が、所定の配置検出信号をショット管理装置１０に送信してもよい。また、本実施形態において、ボール有無判別センサ４４によるショット検出のタイミングに、ボール有無判別センサ４４が、所定のショット検出信号をショット管理装置１０に送信してもよい。 Further, in the present embodiment, the ball presence / absence determination sensor 44 may transmit a predetermined arrangement detection signal to the shot management device 10 at the timing of the arrangement detection by the ball presence / absence determination sensor 44. Further, in the present embodiment, the ball presence / absence determination sensor 44 may transmit a predetermined shot detection signal to the shot management device 10 at the timing of shot detection by the ball presence / absence determination sensor 44.

また、本実施形態では、ゴルフボール４８の三次元計測の結果に基づいて、ゴルフボール４８の弾道のシミュレーション結果を表す画像を表示部１８に表示できるようになっている。 Further, in the present embodiment, an image showing the simulation result of the trajectory of the golf ball 48 can be displayed on the display unit 18 based on the result of the three-dimensional measurement of the golf ball 48.

ヘッド挙動測定器３２には、左右に並んで２つのユニットが設けられている。それぞれのユニットには、ＬＥＤなどのフラッシュ光源５２が、上側と下側のそれぞれに、横に３個並んで、計６個設けられている。 The head behavior measuring instrument 32 is provided with two units arranged side by side on the left and right sides. Each unit is provided with three flash light sources 52 such as LEDs arranged side by side on each of the upper side and the lower side, for a total of six.

また、それぞれのユニットの中央には、ゴルフボール４８のショットに用いられるゴルフクラブのクラブヘッドを撮影するカメラ５４が設けられている。 Further, in the center of each unit, a camera 54 for photographing the club head of the golf club used for the shot of the golf ball 48 is provided.

また、右側のユニットの左側には、前方の反射板５６に向かって赤外線等を照射することにより、ゴルフボール４８のショットに用いられるゴルフクラブの通過を検出する通過センサ５８が設けられている。 Further, on the left side of the unit on the right side, a passage sensor 58 is provided to detect the passage of the golf club used for the shot of the golf ball 48 by irradiating the front reflector 56 with infrared rays or the like.

ヘッド挙動測定器３２では、カメラ５４によって複数の方向から、ゴルフボール４８のショットに用いられるゴルフクラブのクラブヘッドが撮影される。本実施形態では例えば、フラッシュ光源５２を複数回断続的に点灯する間に、多重露光によりクラブヘッドの複数の像を含む画像が撮影される。本実施形態において、通過センサ５８がゴルフクラブの通過を検出したタイミングに、カメラ５４による画像の撮影が行われてもよい。なお、カメラ５４が高速度カメラであり、当該高速度カメラによってクラブヘッドの像を含む画像が連続撮影されてもよい。 In the head behavior measuring device 32, the club head of the golf club used for the shot of the golf ball 48 is photographed from a plurality of directions by the camera 54. In the present embodiment, for example, while the flash light source 52 is intermittently turned on a plurality of times, an image including a plurality of images of the club head is captured by multiple exposure. In the present embodiment, the image may be taken by the camera 54 at the timing when the passage sensor 58 detects the passage of the golf club. The camera 54 is a high-speed camera, and the high-speed camera may continuously capture images including an image of a club head.

また、本実施形態において、通過センサ５８によってゴルフクラブの通過が検出されるタイミングに、通過センサ５８が、所定の通過検出信号をショット管理装置１０に送信してもよい。 Further, in the present embodiment, the passage sensor 58 may transmit a predetermined passage detection signal to the shot management device 10 at the timing when the passage sensor 58 detects the passage of the golf club.

そして、撮影された画像はショット管理装置１０に送信される。そして、ショット管理装置１０において、撮影される画像に基づく、クラブヘッドの姿勢及び軌道の三次元計測が行われる。なお、本実施形態において、ゴルフボール４８のショットに用いられるゴルフクラブの上面に、マーカが設けられていてもよい。そして、撮影される画像に基づいて特定される、ゴルフクラブの上面のマーカの三次元座標値に基づいて、クラブヘッドの姿勢及び軌道の三次元計測が行われてもよい。 Then, the captured image is transmitted to the shot management device 10. Then, the shot management device 10 performs three-dimensional measurement of the posture and trajectory of the club head based on the captured image. In the present embodiment, a marker may be provided on the upper surface of the golf club used for the shot of the golf ball 48. Then, the posture and trajectory of the club head may be three-dimensionally measured based on the three-dimensional coordinate values of the markers on the upper surface of the golf club, which are specified based on the captured image.

そして本実施形態では、ショット管理装置１０において、三次元計測の結果に基づいて、フェーススピードデータ、ヘッド軌道データ、ダイナミックロフトデータ、フェース角データ、ライ角データ、打点位置データ、法線角度データ、及び、フェースローテーションデータを含む、ヘッドデータが生成される。 Then, in the present embodiment, in the shot management device 10, based on the result of the three-dimensional measurement, face speed data, head trajectory data, dynamic loft data, face angle data, lie angle data, hitting point position data, normal angle data, And head data including face rotation data is generated.

ここで、フェーススピードデータは、例えば、インパクト時のクラブヘッドのフェーススピードを示すデータである。また、ヘッド軌道データは、例えば、インパクト時のクラブヘッドの上下方向、左右方向の進入角を示すデータである。また、ダイナミックロフトデータは、例えば、インパクト時のクラブヘッドのロフト角を示すデータである。また、フェース角データは、例えば、インパクト時のクラブヘッドのフェース角を示すデータである。また、ライ角データは、例えば、インパクト時のクラブヘッドのライ角を示すデータである。また、打点位置データは、例えば、ショットされたゴルフボール４８の打点位置を示すデータである。また、法線角度データは、例えば、インパクト時のクラブヘッドのフェース面の向きを示すデータである。フェースローテーションは、例えば、ショットの際のクラブヘッドのフェースローテーションの大きさを示すデータである。 Here, the face speed data is, for example, data indicating the face speed of the club head at the time of impact. Further, the head trajectory data is, for example, data indicating an approach angle in the vertical direction and the horizontal direction of the club head at the time of impact. Further, the dynamic loft data is, for example, data indicating the loft angle of the club head at the time of impact. Further, the face angle data is, for example, data indicating the face angle of the club head at the time of impact. The lie angle data is, for example, data indicating the lie angle of the club head at the time of impact. Further, the hitting point position data is, for example, data indicating the hitting point position of the shot golf ball 48. The normal angle data is, for example, data indicating the orientation of the face surface of the club head at the time of impact. The face rotation is, for example, data indicating the magnitude of the face rotation of the club head at the time of a shot.

また、本実施形態では、クラブヘッドの三次元計測の結果に基づいて、インパクトの直前のクラブヘッドの動きを表示部１８にアニメーション表示させることができるようになっている。 Further, in the present embodiment, the movement of the club head immediately before the impact can be animated and displayed on the display unit 18 based on the result of the three-dimensional measurement of the club head.

ヘッド撮影装置３４には、本実施形態では例えば、ゴルフボール４８のショットに用いられるゴルフクラブのクラブヘッドを側方から撮影するカメラ６０が設けられている。本実施形態では、カメラ６０が、所定のフレームレートでフレーム画像を撮影する。ヘッド撮影装置３４は、クラブヘッドがアドレスの際に位置する範囲を撮影範囲として撮影するので、アドレスの際のクラブヘッドを確実に撮影することができる。クラブヘッドの撮影の際には、撮影時刻も併せて記録される。 In the present embodiment, the head photographing device 34 is provided with, for example, a camera 60 that photographs the club head of the golf club used for the shot of the golf ball 48 from the side. In this embodiment, the camera 60 captures a frame image at a predetermined frame rate. Since the head photographing device 34 photographs the range in which the club head is located at the address as the photographing range, the club head at the time of the address can be reliably photographed. When shooting the club head, the shooting time is also recorded.

ヘッド撮影装置３４のカメラ６０は、ショットにおけるアドレスのタイミングに撮影を開始し、当該ショットのタイミングに撮影を終了してもよい。例えば、ヘッド撮影装置３４は、ボール有無判別センサ４４による配置検出がされたタイミングにカメラ６０による画像の撮影を開始してもよい。そして、ヘッド撮影装置３４は、例えば、ボール有無判別センサ４４によるショット検出がされたタイミングにカメラ６０による画像の撮影を終了してもよい。 The camera 60 of the head photographing device 34 may start shooting at the timing of the address in the shot and end the shooting at the timing of the shot. For example, the head photographing device 34 may start photographing an image by the camera 60 at the timing when the arrangement is detected by the ball presence / absence determination sensor 44. Then, the head photographing device 34 may end the photographing of the image by the camera 60 at the timing when the shot is detected by the ball presence / absence determination sensor 44, for example.

撮影された画像は、撮影時刻の情報に関連付けられた上で、ショット管理装置１０に送信される。本実施形態では、当該撮影時刻の情報が、撮影タイミングを示す情報として取り扱われる。そして、ショット管理装置１０において、学習済の機械学習モデルを用いて、当該画像に写っているゴルフクラブの種類の推定が行われる。 The captured image is transmitted to the shot management device 10 after being associated with the shooting time information. In the present embodiment, the information on the shooting time is treated as information indicating the shooting timing. Then, the shot management device 10 estimates the type of golf club shown in the image by using the trained machine learning model.

図３は、上述の機械学習モデルの学習に用いられる学習装置７０の構成の一例を示す図である。 FIG. 3 is a diagram showing an example of the configuration of the learning device 70 used for learning the above-mentioned machine learning model.

本実施形態に係る学習装置７０は、パーソナルコンピュータなどのコンピュータである。図３に示すように学習装置７０は、例えば、プロセッサ７２、記憶部７４、通信部７６、表示部７８、操作部８０を含んでいる。 The learning device 70 according to the present embodiment is a computer such as a personal computer. As shown in FIG. 3, the learning device 70 includes, for example, a processor 72, a storage unit 74, a communication unit 76, a display unit 78, and an operation unit 80.

プロセッサ７２は、例えば学習装置７０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。 The processor 72 is, for example, a program control device such as a CPU that operates according to a program installed in the learning device 70.

記憶部７４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部７４には、プロセッサ７２によって実行されるプログラムなどが記憶される。 The storage unit 74 is a storage element such as a ROM or RAM, a hard disk drive, or the like. The storage unit 74 stores a program or the like executed by the processor 72.

通信部７６は、例えばネットワークボードなどの通信インタフェースである。 The communication unit 76 is a communication interface such as a network board.

表示部７８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ７２の指示に従って各種の画像を表示する。 The display unit 78 is a display device such as a liquid crystal display, and displays various images according to the instructions of the processor 72.

操作部８０は、キーボードやマウスなどといったユーザインタフェースであって、ユー
ザの操作入力を受け付けて、その内容を示す信号をプロセッサ７２に出力する。 The operation unit 80 is a user interface such as a keyboard or a mouse, receives an operation input of the user, and outputs a signal indicating the contents to the processor 72.

なお、学習装置７０は、ＤＶＤ−ＲＯＭやＢｌｕ−ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。 The learning device 70 may include an optical disk drive for reading an optical disk such as a DVD-ROM or a Blu-ray (registered trademark) disc, a USB (Universal Serial Bus) port, or the like.

なお、ショット管理装置１０を学習装置７０に流用してもよい。 The shot management device 10 may be diverted to the learning device 70.

図４は、本実施形態に係る学習装置７０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る学習装置７０で、図４に示す機能のすべてが実装される必要はなく、また、図４に示す機能以外の機能が実装されていても構わない。 FIG. 4 is a functional block diagram showing an example of the functions implemented in the learning device 70 according to the present embodiment. It should be noted that the learning device 70 according to the present embodiment does not have to be equipped with all the functions shown in FIG. 4, and may be equipped with functions other than the functions shown in FIG.

図４に示すように、学習装置７０には、機能的には例えば、機械学習モデル９０、学習データ記憶部９２、学習データ取得部９４、前処理部９６、学習部９８が含まれる。機械学習モデル９０は、プロセッサ７２及び記憶部７４を主として実装される。 As shown in FIG. 4, the learning device 70 functionally includes, for example, a machine learning model 90, a learning data storage unit 92, a learning data acquisition unit 94, a preprocessing unit 96, and a learning unit 98. The machine learning model 90 mainly implements the processor 72 and the storage unit 74.

学習データ記憶部９２は、記憶部７４を主として実装される。学習データ取得部９４、前処理部９６、学習部９８は、プロセッサ７２を主として実装される。 The learning data storage unit 92 mainly implements the storage unit 74. The learning data acquisition unit 94, the preprocessing unit 96, and the learning unit 98 mainly implement the processor 72.

以上の機能は、コンピュータである学習装置７０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ７２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して学習装置７０に供給されてもよい。 The above functions may be implemented by executing the program including the instructions corresponding to the above functions installed in the learning device 70, which is a computer, on the processor 72. This program may be supplied to the learning device 70 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet or the like.

機械学習モデル９０は、本実施形態では例えば、アダブースト、ランダムフォレスト、ニューラルネットワーク、サポートベクタマシン（ＳＶＭ）、最近傍識別器、などの機械学習が実装された機械学習モデルである。 In this embodiment, the machine learning model 90 is a machine learning model in which machine learning such as AdaBoost, Random Forest, Neural Network, Support Vector Machine (SVM), and Nearest Discriminator is implemented.

機械学習モデル９０は、本実施形態では例えば、ショットに用いられたゴルフクラブの種類（例えば、番手、モデル名、型番、などのうちの少なくとも１つ）を推定する。 In this embodiment, the machine learning model 90 estimates, for example, the type of golf club used for the shot (for example, at least one of a count, a model name, a model number, and the like).

学習データ記憶部９２は、本実施形態では例えば、機械学習モデル９０の学習に用いられる複数の学習データを記憶する。学習データには、例えば、ゴルフクラブ及びゴルフボール４８を少なくとも表す基礎画像と、当該ゴルフクラブの種類を示す教師データと、が含まれている。ここで複数の学習データのそれぞれに含まれる基礎画像には、様々な種類のゴルフクラブが写っていることが望ましい。 In the present embodiment, the learning data storage unit 92 stores a plurality of learning data used for learning the machine learning model 90, for example. The learning data includes, for example, a basic image showing at least a golf club and a golf ball 48, and teacher data showing the type of the golf club. Here, it is desirable that various types of golf clubs are shown in the basic image included in each of the plurality of learning data.

学習データ取得部９４は、本実施形態では例えば、機械学習モデル９０の学習に用いられる学習データを取得する。ここで学習データ取得部９４は、学習データ記憶部９２に記憶されている学習データを取得してもよい。 In the present embodiment, the learning data acquisition unit 94 acquires learning data used for learning the machine learning model 90, for example. Here, the learning data acquisition unit 94 may acquire the learning data stored in the learning data storage unit 92.

前処理部９６は、本実施形態では例えば、学習データに含まれる基礎画像に基づいて、ゴルフクラブ及びゴルフボール４８を少なくとも表す、当該基礎画像とは異なる学習入力画像を生成する。前処理部９６は、例えば、テンプレートマッチング技術を用いることで、基礎画像内におけるゴルフボール４８の画像が占める領域を特定する。具体的には例えば、基礎画像内における白色の円形の領域が、ゴルフボール４８の画像が占める領域と特定される。そして、前処理部９６は、例えば、基礎画像内においてゴルフボール４８の画像が占める領域の位置、大きさ、又は、色のうちの少なくとも１つに基づいて、学習入力画像を生成する。 In the present embodiment, the preprocessing unit 96 generates, for example, a learning input image different from the basic image, which represents at least the golf club and the golf ball 48, based on the basic image included in the learning data. The preprocessing unit 96 specifies, for example, a region occupied by the image of the golf ball 48 in the basic image by using a template matching technique. Specifically, for example, the white circular region in the basic image is specified as the region occupied by the image of the golf ball 48. Then, the preprocessing unit 96 generates a learning input image based on, for example, at least one of the position, size, or color of the region occupied by the image of the golf ball 48 in the basic image.

ここで、前処理部９６が、学習入力画像内におけるゴルフボール４８の画像が占める領域の位置が所定の位置である学習入力画像を生成してもよい。 Here, the preprocessing unit 96 may generate a learning input image in which the position of the region occupied by the image of the golf ball 48 in the learning input image is a predetermined position.

また、前処理部９６が、ゴルフボール４８の画像が占める領域の大きさが所定の大きさである学習入力画像を生成してもよい。 Further, the preprocessing unit 96 may generate a learning input image in which the size of the region occupied by the image of the golf ball 48 is a predetermined size.

図５は、基礎画像の一例を模式的に示す図である。図５に示す基礎画像には、ゴルフボール４８、ティー５０、ゴルフクラブ１００の像が写っている。図５に示す基礎画像では、下方向がＸ軸正方向であり、右方向がＹ軸正方向であることとする。そして、図５に示す基礎画像の縦の長さがｘ１であり、横の長さがｙ１であるとする。また、基礎画像に写るゴルフボール４８の像の直径はＤ１であることとする。また、基礎画像に写るゴルフボール４８の像の中心の座標値が（ｘ２，ｙ２）であることとする。 FIG. 5 is a diagram schematically showing an example of a basic image. The basic image shown in FIG. 5 shows images of a golf ball 48, a tee 50, and a golf club 100. In the basic image shown in FIG. 5, it is assumed that the downward direction is the X-axis positive direction and the right direction is the Y-axis positive direction. Then, it is assumed that the vertical length of the basic image shown in FIG. 5 is x1 and the horizontal length is y1. Further, it is assumed that the diameter of the image of the golf ball 48 shown in the basic image is D1. Further, it is assumed that the coordinate value of the center of the image of the golf ball 48 shown in the basic image is (x2, y2).

図６は、本実施形態において生成されるべき学習入力画像の一例を模式的に示す図である。図６に示す学習入力画像では、下方向がＸ軸正方向であり、右方向がＹ軸正方向であることとする。また、図６の示す学習入力画像の縦の長さがｘ０であり、横の長さがｙ０であるとする。また、基礎画像に写るゴルフボール４８の像の直径はＤ０であることとする。また、学習入力画像に写るゴルフボール４８の像の中心の座標値が（ａ，ｂ）であることとする。 FIG. 6 is a diagram schematically showing an example of a learning input image to be generated in the present embodiment. In the learning input image shown in FIG. 6, it is assumed that the downward direction is the X-axis positive direction and the right direction is the Y-axis positive direction. Further, it is assumed that the vertical length of the learning input image shown in FIG. 6 is x0 and the horizontal length is y0. Further, it is assumed that the diameter of the image of the golf ball 48 shown in the basic image is D0. Further, it is assumed that the coordinate values of the center of the image of the golf ball 48 shown in the learning input image are (a, b).

この場合、前処理部９６は、図５に示す基礎画像に写るゴルフボール４８の像の直径Ｄ１に基づいて、基礎画像の拡縮率をＤ０／Ｄ１と決定する。そして、前処理部９６は、図５に示す基礎画像から４頂点の座標値がそれぞれ（ｘ２−（Ｄ１／Ｄ０）×ａ，ｙ２−（Ｄ１／Ｄ０）×ｂ）、（ｘ２−（Ｄ１／Ｄ０）×ａ，ｙ２＋（Ｄ１／Ｄ０）×（ｙ０−ｂ））、（ｘ２＋（Ｄ１／Ｄ０）×（ｘ０−ａ），ｙ２−（Ｄ１／Ｄ０）×ｂ）、（ｘ２＋（Ｄ１／Ｄ０）×（ｘ０−ａ），ｙ２＋（Ｄ１／Ｄ０）×（ｙ０−ｂ））である長方形の領域Ｒ１を切り出す。 In this case, the preprocessing unit 96 determines the scaling ratio of the basic image to be D0 / D1 based on the diameter D1 of the image of the golf ball 48 shown in the basic image shown in FIG. Then, in the preprocessing unit 96, the coordinate values of the four vertices from the basic image shown in FIG. 5 are (x2- (D1 / D0) × a, y2- (D1 / D0) × b) and (x2- (D1 / D1 /), respectively. D0) xa, y2 + (D1 / D0) x (y0-b)), (x2 + (D1 / D0) x (x0-a), y2- (D1 / D0) xb), (x2 + (D1 / D0) ) X (x0-a), y2 + (D1 / D0) x (y0-b)).

ここで例えば、図５に示す基礎画像に写るゴルフボール４８の像の直径Ｄ１が直径Ｄ０と同じである場合は、図５に示す基礎画像から４頂点の座標値がそれぞれ（ｘ２−ａ，ｙ２−ｂ）、（ｘ２−ａ，ｙ２＋（ｙ０−ｂ））、（ｘ２＋（ｘ０−ａ），ｙ２−ｂ）、（ｘ２＋（ｘ０−ａ），ｙ２＋（ｙ０−ｂ））である長方形の領域Ｒ１が切り出される。 Here, for example, when the diameter D1 of the image of the golf ball 48 shown in the basic image shown in FIG. 5 is the same as the diameter D0, the coordinate values of the four vertices from the basic image shown in FIG. 5 are (x2-a, y2, respectively). -B), (x2-a, y2 + (y0-b)), (x2 + (x0-a), y2-b), (x2 + (x0-a), y2 + (y0-b)) R1 is cut out.

そして、前処理部９６は、切り出された領域Ｒ１の縦横の長さをＤ０／Ｄ１倍にした学習入力画像を生成する。なお、図５に示す基礎画像に写るゴルフボール４８の像の直径Ｄ１が直径Ｄ０と同じである場合は、基礎画像から領域Ｒ１を切り出した画像自体が学習入力画像となる。このようにして、図５に示す基礎画像に対応する学習入力画像が生成される。 Then, the preprocessing unit 96 generates a learning input image in which the vertical and horizontal lengths of the cut out region R1 are multiplied by D0 / D1. When the diameter D1 of the image of the golf ball 48 shown in the basic image shown in FIG. 5 is the same as the diameter D0, the image itself obtained by cutting out the region R1 from the basic image becomes the learning input image. In this way, the learning input image corresponding to the basic image shown in FIG. 5 is generated.

図７は、基礎画像の別の一例を模式的に示す図である。図７に示す基礎画像には、ゴルフボール４８、ティー５０、ゴルフクラブ１００の像が写っている。図７に示す基礎画像では、下方向がＸ軸正方向であり、右方向がＹ軸正方向であることとする。そして、図７の示す基礎画像の縦の長さがｘ３であり、横の長さがｙ３であるとする。また、基礎画像に写るゴルフボール４８の像の直径はＤ２であることとする。また、基礎画像に写るゴルフボール４８の像の中心の座標値が（ｘ４，ｙ４）であることとする。 FIG. 7 is a diagram schematically showing another example of the basic image. The basic image shown in FIG. 7 shows images of a golf ball 48, a tee 50, and a golf club 100. In the basic image shown in FIG. 7, it is assumed that the downward direction is the X-axis positive direction and the right direction is the Y-axis positive direction. Then, it is assumed that the vertical length of the basic image shown in FIG. 7 is x3 and the horizontal length is y3. Further, it is assumed that the diameter of the image of the golf ball 48 shown in the basic image is D2. Further, it is assumed that the coordinate value of the center of the image of the golf ball 48 shown in the basic image is (x4, y4).

この場合、前処理部９６は、図７に示す基礎画像に写るゴルフボール４８の像の直径Ｄ２に基づいて、基礎画像の拡縮率をＤ０／Ｄ２と決定する。そして、前処理部９６は、図７に示す基礎画像から４頂点の座標値がそれぞれ（ｘ４−（Ｄ２／Ｄ０）×ａ，ｙ４−（Ｄ２／Ｄ０）×ｂ）、（ｘ４−（Ｄ２／Ｄ０）×ａ，ｙ４＋（Ｄ２／Ｄ０）×（ｙ０−ｂ））、（ｘ４＋（Ｄ２／Ｄ０）×（ｘ０−ａ），ｙ４−（Ｄ２／Ｄ０）×ｂ）、（ｘ４＋（Ｄ２／Ｄ０）×（ｘ０−ａ），ｙ４＋（Ｄ２／Ｄ０）×（ｙ０−ｂ））である長方形の領域Ｒ２を切り出す。 In this case, the preprocessing unit 96 determines the scaling ratio of the basic image to be D0 / D2 based on the diameter D2 of the image of the golf ball 48 shown in the basic image shown in FIG. Then, in the preprocessing unit 96, the coordinate values of the four vertices from the basic image shown in FIG. 7 are (x4- (D2 / D0) × a, y4- (D2 / D0) × b), (x4- (D2 /), respectively. D0) xa, y4 + (D2 / D0) x (y0-b)), (x4 + (D2 / D0) x (x0-a), y4- (D2 / D0) xb), (x4 + (D2 / D0) ) X (x0-a), y4 + (D2 / D0) x (y0-b)), and a rectangular region R2 is cut out.

ここで例えば、図７に示す基礎画像に写るゴルフボール４８の像の直径Ｄ２が直径Ｄ０の１２５％である場合は、図７に示す基礎画像から４頂点の座標値がそれぞれ（ｘ４−１．２５×ａ，ｙ４−１．２５×ｂ）、（ｘ４−１．２５×ａ，ｙ４＋１．２５×（ｙ０−ｂ））、（ｘ４＋１．２５×（ｘ０−ａ），ｙ４−１．２５×ｂ）、（ｘ４＋１．２５×（ｘ０−ａ），ｙ４＋１．２５×（ｙ０−ｂ））である長方形の領域Ｒ２が切り出される。 Here, for example, when the diameter D2 of the image of the golf ball 48 shown in the basic image shown in FIG. 7 is 125% of the diameter D0, the coordinate values of the four vertices from the basic image shown in FIG. 7 are (x4-1. 25 × a, y4-1.25 × b), (x4-1.25 × a, y4 + 1.25 × (y0-b)), (x4 + 1.25 × (x0-a), y4-1.25 × b), (x4 + 1.25 × (x0-a), y4 + 1.25 × (y0-b)), a rectangular region R2 is cut out.

そして、前処理部９６は、切り出された領域Ｒ２の縦横の長さをＤ０／Ｄ２倍にした学習入力画像を生成する。なお、図７に示す基礎画像に写るゴルフボール４８の像の直径Ｄ２が直径Ｄ０の１２５％である場合は、基礎画像から領域Ｒ２を切り出した画像の縦横の長さを８０％にした学習入力画像が生成される。このようにして、図７に示す基礎画像に対応する学習入力画像が生成される。 Then, the preprocessing unit 96 generates a learning input image in which the vertical and horizontal lengths of the cut out region R2 are doubled by D0 / D2. When the diameter D2 of the image of the golf ball 48 shown in the basic image shown in FIG. 7 is 125% of the diameter D0, the learning input in which the vertical and horizontal lengths of the image obtained by cutting out the region R2 from the basic image is 80%. An image is generated. In this way, the learning input image corresponding to the basic image shown in FIG. 7 is generated.

以上のようにして、図５に示す基礎画像に基づく学習入力画像も、図７に示す基礎画像に基づく学習入力画像も、学習入力画像内におけるゴルフボール４８の画像が占める領域の位置が所定の位置（例えば、中心の座標値が（ａ，ｂ）である位置）となる。また、図５に示す基礎画像に基づく学習入力画像も、図７に示す基礎画像に基づく学習入力画像も、学習入力画像内におけるゴルフボール４８の画像が占める領域の直径は所定の長さ（例えば、Ｄ０）となる。 As described above, in both the learning input image based on the basic image shown in FIG. 5 and the learning input image based on the basic image shown in FIG. 7, the position of the region occupied by the image of the golf ball 48 in the learning input image is predetermined. It becomes a position (for example, a position where the coordinate value of the center is (a, b)). Further, in both the learning input image based on the basic image shown in FIG. 5 and the learning input image based on the basic image shown in FIG. 7, the diameter of the region occupied by the image of the golf ball 48 in the learning input image is a predetermined length (for example). , D0).

また、基礎画像がティー５０をさらに表す画像であってもよい。そして、前処理部９６が、ティー５０の向きが所定の向きとなるよう画像全体が回転された学習入力画像を生成する。 Further, the basic image may be an image further representing the tee 50. Then, the preprocessing unit 96 generates a learning input image in which the entire image is rotated so that the orientation of the tee 50 is a predetermined orientation.

また、基礎画像が人工芝をさらに表す画像であってもよい。そして、前処理部９６が、人工芝の縁の向きが所定の向きとなるよう画像全体が回転された学習入力画像を生成してもよい。 Further, the basic image may be an image further representing the artificial turf. Then, the preprocessing unit 96 may generate a learning input image in which the entire image is rotated so that the orientation of the edges of the artificial turf is a predetermined orientation.

図８は、基礎画像のさらに別の一例を模式的に示す図である。ここで前処理部９６が、前処理部９６は、ティー５０の向きが上下方向となるよう図８に示す基礎画像を回転させてもよい。あるいは、前処理部９６は、人工芝の縁１０２の向きが左右方向となるよう図８に示す基礎画像を回転させてもよい。そして、図５及び図７に示す基礎画像を参照して説明した上述の処理と同様の処理を、回転後の基礎画像に対して実行することにより、図８に示す基礎画像から長方形の領域Ｒ３が切り出されてもよい。そして、切り出された領域Ｒ３に基づく学習入力画像が生成されてもよい。例えば、切り出された領域Ｒ３を上述のようにして拡大又は縮小することで学習入力画像が生成されてもよい。 FIG. 8 is a diagram schematically showing still another example of the basic image. Here, the pretreatment unit 96 may rotate the basic image shown in FIG. 8 so that the tee 50 is oriented in the vertical direction. Alternatively, the pretreatment unit 96 may rotate the basic image shown in FIG. 8 so that the edge 102 of the artificial turf is oriented in the left-right direction. Then, by executing the same processing as the above-described processing described with reference to the basic images shown in FIGS. 5 and 7 on the rotated basic image, the rectangular region R3 from the basic image shown in FIG. 8 is executed. May be cut out. Then, a learning input image based on the cut out region R3 may be generated. For example, the learning input image may be generated by enlarging or reducing the cut out region R3 as described above.

また、前処理部９６は、ゴルフボール４８の画像が占める領域の色が所定色となるよう画像全体が色補正された学習入力画像を生成してもよい。ここで例えば、前処理部９６は、ゴルフボール４８の画像が占める領域の色に基づいて、複数の所定色（例えば、白、黄色、ピンク）のうちから、最も色差が小さい色を特定してもよい。そして、前処理部９６は、ゴルフボール４８の画像が占める領域が特定された色となるよう画像全体を色補正することにより、学習入力画像を生成してもよい。 Further, the preprocessing unit 96 may generate a learning input image in which the entire image is color-corrected so that the color of the region occupied by the image of the golf ball 48 becomes a predetermined color. Here, for example, the preprocessing unit 96 identifies a color having the smallest color difference from a plurality of predetermined colors (for example, white, yellow, and pink) based on the color of the area occupied by the image of the golf ball 48. May be good. Then, the preprocessing unit 96 may generate a learning input image by color-correcting the entire image so that the region occupied by the image of the golf ball 48 has a specified color.

また、基礎画像に人工芝の像が含まれている場合に、前処理部９６は、人工芝の画像が示す領域の色が所定色（例えば、緑色）となるよう画像全体が色補正された学習入力画像を生成してもよい。 Further, when the basic image includes an image of artificial turf, the preprocessing unit 96 color-corrects the entire image so that the color of the region indicated by the image of artificial turf becomes a predetermined color (for example, green). A learning input image may be generated.

なお、図５、図７、図８に示す基礎画像にはドライバーが写っている。しかし、上述のように、複数の学習データのそれぞれに含まれる基礎画像には、ドライバーに限らず、フェアウェイウッド、ユーティリティ、アイアン、ウェッジなど様々な番手のゴルフクラブ１００が写っていることが望ましい。また、複数の学習データのそれぞれに含まれる基礎画像には、様々なモデルや型番のゴルフクラブ１００が写っていることが望ましい。 The driver is shown in the basic images shown in FIGS. 5, 7, and 8. However, as described above, it is desirable that the basic image included in each of the plurality of training data shows not only the driver but also golf clubs 100 having various counts such as fairway woods, utilities, irons, and wedges. Further, it is desirable that the golf club 100 of various models and model numbers is shown in the basic image included in each of the plurality of learning data.

学習部９８は、本実施形態では例えば、学習入力画像を機械学習モデル９０に入力した際の出力を用いて、機械学習モデル９０の学習を実行する。ここで例えば、学習データに含まれる基礎画像に基づいて生成された学習入力画像を機械学習モデル９０に入力した際の出力と、当該学習データに含まれる教師データと、が比較されてもよい。そして当該比較の結果に基づいて機械学習モデル９０のパラメータの値が更新される教師あり学習が実行されてもよい。 In the present embodiment, the learning unit 98 executes learning of the machine learning model 90 by using, for example, the output when the learning input image is input to the machine learning model 90. Here, for example, the output when the learning input image generated based on the basic image included in the learning data is input to the machine learning model 90 and the teacher data included in the learning data may be compared. Then, supervised learning in which the value of the parameter of the machine learning model 90 is updated based on the result of the comparison may be executed.

ここで、本実施形態に係る学習装置７０で行われる学習処理の流れの一例を、図９に例示するフロー図を参照しながら説明する。ここでは例えば複数の学習データが学習データ記憶部９２に記憶されていることとする。 Here, an example of the flow of the learning process performed by the learning device 70 according to the present embodiment will be described with reference to the flow diagram illustrated in FIG. Here, for example, it is assumed that a plurality of learning data are stored in the learning data storage unit 92.

まず、学習データ取得部９４が、学習データ記憶部９２に記憶されている複数の学習データのうち、Ｓ１０２〜Ｓ１０４に示す処理が実行されていないものを１つ取得する（Ｓ１０１）。 First, the learning data acquisition unit 94 acquires one of the plurality of learning data stored in the learning data storage unit 92 in which the processes shown in S102 to S104 have not been executed (S101).

そして、前処理部９６が、Ｓ１０１に示す処理で取得された学習データに含まれる基礎画像に基づいて、上述のようにして、当該基礎画像に対応する学習入力画像を生成する（Ｓ１０２）。 Then, the preprocessing unit 96 generates a learning input image corresponding to the basic image as described above based on the basic image included in the learning data acquired in the process shown in S101 (S102).

そして、学習部９８が、Ｓ１０２に示す処理で生成された学習入力画像を機械学習モデル９０に入力する（Ｓ１０３）。 Then, the learning unit 98 inputs the learning input image generated by the process shown in S102 into the machine learning model 90 (S103).

そして、学習部９８が、Ｓ１０３に示す処理における学習入力画像の入力に応じた機械学習モデル９０の出力を用いた、機械学習モデル９０の学習を実行する（Ｓ１０４）。ここで例えば、当該出力と、Ｓ１０１に示す処理で取得された学習データに含まれる教師データと、の比較に基づいて、機械学習モデル９０のパラメータの値が更新されてもよい。 Then, the learning unit 98 executes learning of the machine learning model 90 using the output of the machine learning model 90 in response to the input of the learning input image in the process shown in S103 (S104). Here, for example, the value of the parameter of the machine learning model 90 may be updated based on the comparison between the output and the teacher data included in the learning data acquired in the process shown in S101.

そして学習部９８が、学習データ記憶部９２に記憶されている複数の学習データのすべてについてＳ１０２〜Ｓ１０４に示す処理が実行されたか否かを確認する（Ｓ１０５）。 Then, the learning unit 98 confirms whether or not the processes shown in S102 to S104 have been executed for all of the plurality of learning data stored in the learning data storage unit 92 (S105).

学習データ記憶部９２に記憶されている複数の学習データのすべてについてＳ１０２〜Ｓ１０４に示す処理が実行されていないことが確認された場合は（Ｓ１０５：Ｎ）、Ｓ１０１に示す処理に戻る。 When it is confirmed that the processes shown in S102 to S104 have not been executed for all of the plurality of learning data stored in the learning data storage unit 92 (S105: N), the process returns to the process shown in S101.

学習データ記憶部９２に記憶されている複数の学習データのすべてについてＳ１０２〜Ｓ１０４に示す処理が実行されたことが確認された場合は（Ｓ１０５：Ｙ）、本処理例に示す処理は終了される。 When it is confirmed that the processes shown in S102 to S104 have been executed for all of the plurality of learning data stored in the learning data storage unit 92 (S105: Y), the processes shown in this processing example are terminated. ..

本実施形態では、以上のようにして複数の学習データが学習された学習済の機械学習モデル９０が生成される。そして生成された機械学習モデル９０は、ショット管理装置１０の記憶部１４に記憶される。 In the present embodiment, the trained machine learning model 90 in which the plurality of training data are learned as described above is generated. Then, the generated machine learning model 90 is stored in the storage unit 14 of the shot management device 10.

そして、本実施形態では、ショット管理装置１０に記憶された学習済の機械学習モデル９０を用いて、ヘッド撮影装置３４のカメラ６０により撮影される画像に写っているゴルフクラブの種類の推定が行われる。 Then, in the present embodiment, the type of golf club shown in the image taken by the camera 60 of the head photographing apparatus 34 is estimated by using the learned machine learning model 90 stored in the shot management apparatus 10. It is said.

以下、ヘッド撮影装置３４のカメラ６０により撮影される画像に写っているゴルフクラブの種類の推定を中心に、本実施形態に係るショット管理装置１０の機能、及び、ショット管理装置１０で実行される処理について、さらに説明する。 Hereinafter, the function of the shot management device 10 according to the present embodiment and the shot management device 10 are executed, focusing on the estimation of the type of golf club shown in the image captured by the camera 60 of the head photographing device 34. The processing will be further described.

図１０は、本実施形態に係るショット管理装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るショット管理装置１０で、図１０に示す機能のすべてが実装される必要はなく、また、図１０に示す機能以外の機能が実装されていても構わない。 FIG. 10 is a functional block diagram showing an example of the functions implemented in the shot management device 10 according to the present embodiment. It should be noted that the shot management device 10 according to the present embodiment does not need to be equipped with all the functions shown in FIG. 10, and may be equipped with functions other than the functions shown in FIG.

図１０に示すように、ショット管理装置１０には、機能的には例えば、機械学習モデル９０、受信部１１０、ショットデータ生成部１１２、ターゲット画像特定部１１４、クラブ種類推定部１１６、ショット管理データ生成部１１８、ショット管理データ記憶部１２０、集計部１２２、提供部１２４、が含まれる。 As shown in FIG. 10, functionally, the shot management device 10 includes a machine learning model 90, a reception unit 110, a shot data generation unit 112, a target image identification unit 114, a club type estimation unit 116, and shot management data. A generation unit 118, a shot management data storage unit 120, an aggregation unit 122, and a provision unit 124 are included.

機械学習モデル９０は、プロセッサ１２及び記憶部１４を主として実装される。受信部１１０は、通信部１６を主として実装される。ショットデータ生成部１１２、ターゲット画像特定部１１４、クラブ種類推定部１１６、ショット管理データ生成部１１８、集計部１２２は、プロセッサ１２を主として実装される。ショット管理データ記憶部１２０は、記憶部１４を主として実装される。提供部１２４は、プロセッサ１２及び表示部１８を主として実装される。 The machine learning model 90 mainly implements the processor 12 and the storage unit 14. The receiving unit 110 mainly mounts the communication unit 16. The shot data generation unit 112, the target image identification unit 114, the club type estimation unit 116, the shot management data generation unit 118, and the aggregation unit 122 are mainly implemented with the processor 12. The shot management data storage unit 120 mainly implements the storage unit 14. The providing unit 124 mainly implements the processor 12 and the display unit 18.

以上の機能は、コンピュータであるショット管理装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してショット管理装置１０に供給されてもよい。 The above functions may be implemented by executing the program including the instructions corresponding to the above functions installed in the shot management device 10 which is a computer on the processor 12. This program may be supplied to the shot management device 10 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet or the like. ..

機械学習モデル９０は、本実施形態では例えば、図４〜図９を参照して説明したようにして生成された学習済の機械学習モデルである。 The machine learning model 90 is, for example, a trained machine learning model generated as described with reference to FIGS. 4 to 9 in the present embodiment.

受信部１１０は、本実施形態では例えば、ヘッドスピードデータ、ステレオカメラ４２により撮影された画像、カメラ５４により撮影された画像、及び、カメラ６０により撮影された画像をショット測定装置２２から受信する。 In the present embodiment, the receiving unit 110 receives, for example, head speed data, an image taken by the stereo camera 42, an image taken by the camera 54, and an image taken by the camera 60 from the shot measuring device 22.

本実施形態では、１回のショットが行われる度に、受信部１１０は、当該ショットに対応付けられるヘッドスピードデータを弾道測定器３０から受信する。また、受信部１１０は、当該ショットに対応付けられる、ステレオカメラ４２により撮影された１又は複数の画像を弾道測定器３０から受信する。また、受信部１１０は、当該ショットに対応付けられる、カメラ５４により撮影された１又は複数の画像をヘッド挙動測定器３２から受信する。また、受信部１１０は、当該ショットに対応付けられる、カメラ６０により撮影された１又は複数の画像をヘッド撮影装置３４から受信する。 In the present embodiment, each time a shot is taken, the receiving unit 110 receives the head speed data associated with the shot from the ballistic measuring instrument 30. Further, the receiving unit 110 receives one or a plurality of images taken by the stereo camera 42 associated with the shot from the ballistic measuring instrument 30. Further, the receiving unit 110 receives one or a plurality of images taken by the camera 54 associated with the shot from the head behavior measuring device 32. Further, the receiving unit 110 receives one or a plurality of images taken by the camera 60 associated with the shot from the head photographing device 34.

また、受信部１１０が、ボール有無判別センサ４４から送信される上述の配置検出信号を受信してもよい。また、受信部１１０が、ボール有無判別センサ４４から送信される上述のショット検出信号を受信してもよい。また、受信部１１０が、通過センサ５８から送信される上述の通過検出信号を受信してもよい。 Further, the receiving unit 110 may receive the above-mentioned arrangement detection signal transmitted from the ball presence / absence determination sensor 44. Further, the receiving unit 110 may receive the above-mentioned shot detection signal transmitted from the ball presence / absence determination sensor 44. Further, the receiving unit 110 may receive the above-mentioned passage detection signal transmitted from the passage sensor 58.

ショットデータ生成部１１２は、本実施形態では例えば、ゴルフボール４８をショットする際の当該ゴルフボール４８をショットするゴルフクラブの挙動又はゴルフボール４８の挙動のうちの少なくとも一方を示すショットデータを生成する。ここでは例えば、上述のボールデータ、及び、上述のクラブデータを含む、ショットデータが生成される。 In the present embodiment, the shot data generation unit 112 generates shot data indicating at least one of the behavior of the golf club that shoots the golf ball 48 and the behavior of the golf ball 48 when the golf ball 48 is shot, for example. .. Here, for example, shot data including the above-mentioned ball data and the above-mentioned club data is generated.

ターゲット画像特定部１１４は、本実施形態では例えば、受信部１１０が受信する、１回のショットに対応付けられる、カメラ６０により撮影された１又は複数の画像のうちから、ゴルフクラブの推定に用いられるターゲット画像を特定する。本実施形態に係るターゲット画像には、ゴルフボール４８及び当該ゴルフボール４８をショットするゴルフクラブが表れている。 In the present embodiment, the target image specifying unit 114 is used for estimating a golf club from, for example, one or a plurality of images taken by the camera 60 associated with one shot received by the receiving unit 110. Identify the target image to be. The target image according to the present embodiment shows a golf ball 48 and a golf club that shoots the golf ball 48.

ターゲット画像特定部１１４は、例えば、ショットにおけるアドレスのタイミングから当該ショットのタイミングまでの間に撮影された画像を、ターゲット画像に特定してもよい。この場合、例えば、配置検出信号の受信タイミングが、アドレスのタイミングとして取り扱われてもよい。また、例えば、ショット検出信号の受信タイミングが、ショットのタイミングとして取り扱われてもよい。 The target image specifying unit 114 may specify, for example, an image taken between the timing of the address in the shot and the timing of the shot as the target image. In this case, for example, the reception timing of the arrangement detection signal may be treated as the address timing. Further, for example, the reception timing of the shot detection signal may be treated as the shot timing.

ここで、ターゲット画像特定部１１４は、例えば、検出されるショットのタイミングの所定時間前にカメラ６０によって撮影された画像を、ターゲット画像に特定してもよい。 Here, the target image specifying unit 114 may specify, for example, an image taken by the camera 60 before a predetermined time of the timing of the detected shot as the target image.

例えば、ターゲット画像特定部１１４が、ゴルフボール４８が配置されている状態から配置されていない状態への変化が検出されたタイミングの所定時間前にカメラ６０によって撮影された画像を、ターゲット画像に特定してもよい。例えば、ショット検出信号を受信したタイミングの所定時間前にカメラ６０によって撮影された画像が、ターゲット画像に特定されてもよい。 For example, the target image identification unit 114 identifies an image taken by the camera 60 as a target image before a predetermined time when a change from the state in which the golf ball 48 is arranged to the state in which the golf ball 48 is not arranged is detected. You may. For example, an image taken by the camera 60 before a predetermined time when the shot detection signal is received may be specified as the target image.

また、ターゲット画像特定部１１４は、ゴルフクラブの通過が検出されたタイミングの所定時間前にカメラ６０によって撮影された画像を、ターゲット画像に特定してもよい。例えば、通過検出信号を受信したタイミングの所定時間前にカメラ６０によって撮影された画像が、ターゲット画像に特定されてもよい。 Further, the target image specifying unit 114 may specify an image taken by the camera 60 as a target image before a predetermined time when the passage of the golf club is detected. For example, an image taken by the camera 60 before a predetermined time when the passage detection signal is received may be specified as the target image.

また、ターゲット画像特定部１１４は、受信部１１０が通過検出信号を受信してから所定時間以内にショット検出信号を受信した際に、ショットが行われたことを特定してもよい。そして、このようにしてショットが行われたことが特定された場合に、ショット検出信号を受信したタイミングの所定時間前にカメラ６０によって撮影された画像が、ターゲット画像に特定されてもよい。あるいは、このようにしてショットのタイミングが特定された場合に、通過検出信号を受信したタイミングの所定時間前にカメラ６０によって撮影された画像が、ターゲット画像に特定されてもよい。 Further, the target image specifying unit 114 may specify that the shot has been performed when the receiving unit 110 receives the shot detection signal within a predetermined time after receiving the passage detection signal. Then, when it is specified that the shot has been performed in this way, the image taken by the camera 60 before the predetermined time of the timing at which the shot detection signal is received may be specified as the target image. Alternatively, when the shot timing is specified in this way, the image taken by the camera 60 before the predetermined time of the timing at which the passage detection signal is received may be specified as the target image.

また、上述のように、ボール有無判別センサ４４による配置検出がされたタイミングにカメラ６０による画像の撮影が開始されてもよい。そして、ターゲット画像特定部１１４は、配置検出がされたタイミング以後にカメラ６０によって撮影された画像を、ターゲット画像に特定してもよい。 Further, as described above, the camera 60 may start taking an image at the timing when the arrangement is detected by the ball presence / absence determination sensor 44. Then, the target image specifying unit 114 may specify the image taken by the camera 60 after the timing when the arrangement is detected as the target image.

クラブ種類推定部１１６は、本実施形態では例えば、ターゲット画像に基づいて、当該ターゲット画像が表すショットに用いられたゴルフクラブの種類を推定する。ここで、クラブ種類推定部１１６は、学習済の機械学習モデル９０にターゲット画像を入力した際の出力に基づいて、当該ターゲット画像が表すショットに用いられたゴルフクラブの種類を推定してもよい。そして、クラブ種類推定部１１６は、本実施形態では例えば、推定されたゴルフクラブの種類を示すクラブ種類データを生成する。 In the present embodiment, the club type estimation unit 116 estimates the type of golf club used for the shot represented by the target image, for example, based on the target image. Here, the club type estimation unit 116 may estimate the type of golf club used for the shot represented by the target image based on the output when the target image is input to the trained machine learning model 90. .. Then, in the present embodiment, the club type estimation unit 116 generates, for example, club type data indicating the estimated golf club type.

ショット管理データ生成部１１８は、本実施形態では例えば、１回のショットに対応付けられる上述のショットデータに、当該ショットについてクラブ種類推定部１１６によって推定されるゴルフクラブの種類を示すクラブ種類データを関連付ける。ここでは例えば、１回のショットに対応付けられる上述のショットデータと、当該ショットについて推定されたゴルフクラブの種類を示すクラブ種類データと、を含むショット管理データが生成される。なお、ショット管理データに、例えば、ショット検出信号の受信時刻などといったショットタイミングを示すショットタイミングデータが含まれるようにしてもよい。 In the present embodiment, the shot management data generation unit 118, for example, adds club type data indicating the type of golf club estimated by the club type estimation unit 116 for the shot to the above-mentioned shot data associated with one shot. Associate. Here, for example, shot management data including the above-mentioned shot data associated with one shot and club type data indicating the type of golf club estimated for the shot is generated. The shot management data may include shot timing data indicating the shot timing, such as the reception time of the shot detection signal.

ショット管理データ記憶部１２０は、本実施形態では例えば、ショット管理データ生成部１１８により生成されるショット管理データを記憶する。本実施形態ではショットが行われる度に、当該ショットに対応するショット管理データが生成される。そして、生成されるショット管理データがショット管理データ記憶部１２０に記憶される。 In the present embodiment, the shot management data storage unit 120 stores, for example, the shot management data generated by the shot management data generation unit 118. In the present embodiment, each time a shot is taken, shot management data corresponding to the shot is generated. Then, the generated shot management data is stored in the shot management data storage unit 120.

集計部１２２は、本実施形態では例えば、ショット管理データ記憶部１２０に記憶されている複数のショット管理データを集計する。ここで、集計部１２２が、例えば、共通のゴルフクラブの種類に関連付けられている複数のショットデータのそれぞれが示す値の代表値を計算してもよい。例えば、集計部１２２が、ユーザにより指定された種類を示すクラブ種類データを含む複数のショット管理データを特定してもよい。 In the present embodiment, the aggregation unit 122 aggregates a plurality of shot management data stored in the shot management data storage unit 120, for example. Here, the aggregation unit 122 may calculate, for example, a representative value of a value indicated by each of a plurality of shot data associated with a common golf club type. For example, the aggregation unit 122 may specify a plurality of shot management data including club type data indicating the type specified by the user.

そして、集計部１２２が、当該複数のショット管理データにそれぞれに含まれるショットデータが示す値の代表値を計算してもよい。 Then, the aggregation unit 122 may calculate a representative value of the value indicated by the shot data included in each of the plurality of shot management data.

例えば、ボールスピードデータ、打出し角度データ、スピン量データ、飛距離データ、ヘッドスピードデータ、フェーススピードデータ、ヘッド軌道データ、ダイナミックロフトデータ、フェース角データ、ライ角データ、打点位置データ、法線角度データ、又は、フェースローテーションデータのうちの少なくとも１つについて、当該データの値の代表値（例えば、平均値、標準偏差、最大値、又は、最小値のうちの少なくとも１つ）が計算されてもよい。 For example, ball speed data, launch angle data, spin amount data, flight distance data, head speed data, face speed data, head trajectory data, dynamic loft data, face angle data, lie angle data, hitting point position data, normal angle. For at least one of the data or face rotation data, even if a representative value of the value of the data (for example, at least one of the average value, the standard deviation, the maximum value, or the minimum value) is calculated. Good.

提供部１２４は、本実施形態では、集計部１２２により計算される集計結果をユーザに提供する。ここで、提供部１２４は、本実施形態では、集計部１２２により計算される集計結果を表示部１８に表示させてもよい。また、集計部１２２により計算される集計結果が印刷出力されてもよい。 In the present embodiment, the providing unit 124 provides the user with the aggregation result calculated by the aggregation unit 122. Here, in the present embodiment, the providing unit 124 may display the aggregation result calculated by the aggregation unit 122 on the display unit 18. Further, the aggregation result calculated by the aggregation unit 122 may be printed out.

ここで、例えば、集計部１２２が、ユーザによるゴルフクラブの種類の指定に応じて、集計部１２２が当該種類に関連付けられている複数のショットデータのそれぞれが示す値の代表値を計算してもよい。例えば、集計部１２２が、指定された種類を示すクラブ種類データを含む複数のショット管理データを特定してもよい。そして、集計部１２２が、これら複数のショット管理データが示す値の代表値を計算してもよい。そして、提供部１２４が、計算された代表値を、表示部１８に表示させたり、印刷出力したりしてもよい。ここで、提供部１２４は、これら複数のショット管理データのそれぞれが示す値の一覧を併せて表示部１８に表示させたり、印刷出力したりしてもよい。 Here, for example, even if the aggregation unit 122 calculates the representative value of the value indicated by each of the plurality of shot data associated with the type according to the user's designation of the golf club type. Good. For example, the aggregation unit 122 may specify a plurality of shot management data including club type data indicating the specified type. Then, the aggregation unit 122 may calculate a representative value of the values indicated by the plurality of shot management data. Then, the providing unit 124 may display the calculated representative value on the display unit 18 or print out the calculated representative value. Here, the providing unit 124 may display a list of values indicated by each of the plurality of shot management data on the display unit 18 or print out the list.

また、提供部１２４が、ゴルフクラブの種類ごとに、当該種類に対応する複数のショット管理データが示す値の代表値を計算してもよい。そして、ゴルフクラブの種類ごとの代表値の一覧を、表示部１８に表示させたり、印刷出力したりしてもよい。 Further, the providing unit 124 may calculate a representative value of a value indicated by a plurality of shot management data corresponding to the type of the golf club for each type of golf club. Then, a list of representative values for each type of golf club may be displayed on the display unit 18 or printed out.

ここで、本実施形態に係るショット管理装置１０で行われる処理の流れの一例を、図１１に例示するフロー図を参照しながら説明する。図１１に示す処理例では、ショット検出信号の受信に応じて、１回のショットに対応付けられるショット管理データが生成され、記憶される。 Here, an example of the flow of processing performed by the shot management device 10 according to the present embodiment will be described with reference to the flow chart illustrated in FIG. In the processing example shown in FIG. 11, shot management data associated with one shot is generated and stored in response to the reception of the shot detection signal.

まず、ショットデータ生成部１１２が、受信部１１０によるショット検出信号の受信を待機する（Ｓ２０１）。 First, the shot data generation unit 112 waits for the reception unit 110 to receive the shot detection signal (S201).

そして、受信部１１０によるショット検出信号の受信が検出されると、ショットデータ生成部１１２は、ショットデータを生成する（Ｓ２０２）。ここでは例えば、受信部１１０が、ショット検出信号の受信タイミング以前又は以後の所定時間以内に、弾道測定器３０及びヘッド挙動測定器３２から受信した画像、並びに、弾道測定器３０から受信したヘッドスピードデータが特定される。そして、特定された画像及びヘッドスピードデータに基づいて、ショットデータが生成される。 Then, when the reception of the shot detection signal by the receiving unit 110 is detected, the shot data generation unit 112 generates shot data (S202). Here, for example, the image received by the receiving unit 110 from the ballistic measuring device 30 and the head behavior measuring device 32 within a predetermined time before or after the reception timing of the shot detection signal, and the head speed received from the ballistic measuring device 30. The data is identified. Then, shot data is generated based on the specified image and head speed data.

そして、ターゲット画像特定部１１４が、上述のようにして、ターゲット画像を特定する（Ｓ２０３）。 Then, the target image specifying unit 114 identifies the target image as described above (S203).

そして、クラブ種類推定部１１６が、Ｓ２０３に示す処理で特定されたターゲット画像に基づいて、当該ターゲット画像に表れているゴルフクラブの種類を推定し、推定されたゴルフクラブの種類を示すクラブ種類データを生成する（Ｓ２０４）。ここで上述のように、ターゲット画像を機械学習モデル９０に入力した際の出力に基づいて、ゴルフクラブの種類が推定されてもよい。 Then, the club type estimation unit 116 estimates the type of golf club appearing in the target image based on the target image specified by the process shown in S203, and the club type data indicating the estimated type of golf club. Is generated (S204). Here, as described above, the type of golf club may be estimated based on the output when the target image is input to the machine learning model 90.

そして、ショット管理データ生成部１１８が、Ｓ２０２に示す処理で生成されたショットデータと、Ｓ２０４に示す処理で生成されたクラブ種類データと、を含むショット管理データを生成する（Ｓ２０５）。 Then, the shot management data generation unit 118 generates shot management data including the shot data generated by the process shown in S202 and the club type data generated by the process shown in S204 (S205).

そして、ショット管理データ生成部１１８が、Ｓ２０５に示す処理で生成されたショット管理データをショット管理データ記憶部１２０に記憶させて（Ｓ２０６）、本処理例に示す処理は終了される。 Then, the shot management data generation unit 118 stores the shot management data generated in the process shown in S205 in the shot management data storage unit 120 (S206), and the process shown in this processing example is completed.

本実施形態では、基礎画像に対して前処理が実行されることで生成される学習入力画像により、機械学習モデル９０の学習が実行される。そのため、ゴルフクラブの種類を的確に推定できる機械学習モデル９０の学習を少ない画像を用いて行うことができることとなる。 In the present embodiment, the learning of the machine learning model 90 is executed by the learning input image generated by executing the preprocessing on the basic image. Therefore, the machine learning model 90, which can accurately estimate the type of golf club, can be learned by using a small number of images.

また、本実施形態では、集計部１２２により、ゴルフクラブの種類ごとのショットデータが集計される。そのため、本実施形態によれば、ゴルフクラブの種類ごとのショットデータの集計の手間を低減できることとなる。 Further, in the present embodiment, the totaling unit 122 aggregates shot data for each type of golf club. Therefore, according to the present embodiment, it is possible to reduce the time and effort required to aggregate shot data for each type of golf club.

なお、本実施形態において、クラブ種類推定部１１６が、ターゲット画像内においてゴルフボール４８の画像が占める領域の位置、大きさ、又は、色のうちの少なくとも１つに基づいて、ゴルフクラブ及びゴルフボール４８を少なくとも表す、ターゲット画像とは異なる、入力画像を生成してもよい。例えば、基礎画像に基づいて学習入力画像を生成する際に用いられるアルゴリズムと同様のアルゴリズムにより、ターゲット画像に基づいて入力画像が生成されてもよい。 In the present embodiment, the club type estimation unit 116 bases the golf club and the golf ball based on at least one of the position, size, or color of the area occupied by the image of the golf ball 48 in the target image. An input image different from the target image, which represents at least 48, may be generated. For example, the input image may be generated based on the target image by an algorithm similar to the algorithm used when generating the learning input image based on the basic image.

例えば、クラブ種類推定部１１６が、入力画像内におけるゴルフボール４８の画像が占める領域の位置が所定の位置である入力画像を生成してもよい。 For example, the club type estimation unit 116 may generate an input image in which the position of the region occupied by the image of the golf ball 48 in the input image is a predetermined position.

また、例えば、クラブ種類推定部１１６が、ゴルフボール４８の画像が占める領域の大きさが所定の大きさである入力画像を生成してもよい。 Further, for example, the club type estimation unit 116 may generate an input image in which the size of the region occupied by the image of the golf ball 48 is a predetermined size.

また、例えば、クラブ種類推定部１１６が、ゴルフボール４８の画像が占める領域の色が所定色となるよう画像全体が色補正された入力画像を生成してもよい。 Further, for example, the club type estimation unit 116 may generate an input image in which the entire image is color-corrected so that the color of the region occupied by the image of the golf ball 48 becomes a predetermined color.

また、例えば、ターゲット画像が、人工芝をさらに表す画像であり、クラブ種類推定部１１６が、人工芝の画像が示す領域の色が所定色となるよう画像全体が色補正された入力画像を生成してもよい。 Further, for example, the target image is an image further representing the artificial turf, and the club type estimation unit 116 generates an input image in which the entire image is color-corrected so that the color of the region indicated by the artificial turf image becomes a predetermined color. You may.

また、例えば、クラブ種類推定部１１６が、人工芝の縁の向きが所定の向きとなるよう画像全体が回転された入力画像を生成してもよい。 Further, for example, the club type estimation unit 116 may generate an input image in which the entire image is rotated so that the orientation of the edges of the artificial turf is a predetermined orientation.

また、例えば、ターゲット画像が、ティー５０をさらに表す画像であり、クラブ種類推定部１１６が、ティー５０の向きが所定の向きとなるよう画像全体が回転された入力画像を生成してもよい。 Further, for example, the target image may be an image further representing the tee 50, and the club type estimation unit 116 may generate an input image in which the entire image is rotated so that the orientation of the tee 50 becomes a predetermined orientation.

そして、クラブ種類推定部１１６が、入力画像を機械学習モデル９０に入力した際の出力に基づいて、ゴルフクラブの種類を推定してもよい。 Then, the club type estimation unit 116 may estimate the type of the golf club based on the output when the input image is input to the machine learning model 90.

なおこの場合、機械学習モデル９０が、前処理部９６により生成される学習入力画像の入力に応じた出力を用いた学習が実行された機械学習モデルでなくても構わない。例えば、ゴルフクラブ及びゴルフボール４８が所定の向きとなり、所定の画角で、所定の色味となるよう撮影された学習入力画像と、当該ゴルフクラブの種類を示す教師データと、を含むよう予め作成された複数の学習データを用いた学習が実行された機械学習モデルであっても構わない。 In this case, the machine learning model 90 does not have to be a machine learning model in which learning using the output corresponding to the input of the learning input image generated by the preprocessing unit 96 is executed. For example, a learning input image taken so that the golf club and the golf ball 48 are oriented in a predetermined direction, have a predetermined angle of view, and have a predetermined color, and teacher data indicating the type of the golf club are included in advance. It may be a machine learning model in which training is executed using a plurality of created training data.

以上のように、ゴルフボール４８、ティー５０、人工芝の像を頼りに、ターゲット画像に基づいて生成された、学習入力画像に似た入力画像を機械学習モデル９０に入力した際の出力に基づいて、ゴルフクラブの種類を推定してもよい。この場合、機械学習モデル９０が前処理部９６により生成される学習入力画像の入力に応じた出力を用いた学習が実行されたものであるか否かに関わらず、ゴルフクラブの種類を的確に推定できる機械学習モデル９０の学習を少ない画像を用いて行うことができる。 As described above, based on the output when an input image similar to the training input image generated based on the target image is input to the machine learning model 90, relying on the images of the golf ball 48, the tee 50, and the artificial turf. The type of golf club may be estimated. In this case, regardless of whether or not the machine learning model 90 has been trained using the output corresponding to the input of the learning input image generated by the preprocessing unit 96, the type of golf club is accurately selected. Learning of the machine learning model 90 that can be estimated can be performed using a small number of images.

なお、本発明は上述の実施形態に限定されるものではない。 The present invention is not limited to the above-described embodiment.

例えば、ショット測定装置２２が打音を検出する打音検出センサを備えていてもよい。そして、打音検出センサによって打音が検出されたタイミングに、打音検出センサが、所定のショット検出信号をショット管理装置１０に送信してもよい。そして、受信部１１０が当該ショット検出信号を受信してもよい。 For example, the shot measuring device 22 may include a tapping sound detection sensor that detects the tapping sound. Then, at the timing when the tapping sound is detected by the tapping sound detection sensor, the tapping sound detection sensor may transmit a predetermined shot detection signal to the shot management device 10. Then, the receiving unit 110 may receive the shot detection signal.

そしてこの場合に、ターゲット画像特定部１１４が、打音が検出されたタイミングの所定時間前にヘッド撮影装置３４のカメラ６０により撮影された画像を、ターゲット画像に特定してもよい。例えば、打音検出センサが送信するショット検出信号を受信部１１０が受信したタイミングの所定時間前にカメラ６０により撮影された画像が、ターゲット画像に特定されてもよい。 In this case, the target image specifying unit 114 may specify the image taken by the camera 60 of the head photographing device 34 as the target image before a predetermined time at the timing when the tapping sound is detected. For example, an image taken by the camera 60 before a predetermined time when the receiving unit 110 receives the shot detection signal transmitted by the tapping sound detection sensor may be specified as the target image.

また、ショット管理装置１０とショット測定装置２２との役割分担は上述のものには限定されない。例えば、ショット管理装置１０で実装される図１０に示す機能の一部又は全部がショット測定装置２２で実装されてもよい。また、例えば、ショット管理装置１０でヘッドスピードデータが生成されてもよい。 Further, the division of roles between the shot management device 10 and the shot measuring device 22 is not limited to the above. For example, a part or all of the functions shown in FIG. 10 mounted on the shot management device 10 may be mounted on the shot measuring device 22. Further, for example, the shot management device 10 may generate head speed data.

また、ヘッド撮影装置３４の機能が、ヘッド挙動測定器３２に実装されていてもよい。 Further, the function of the head photographing device 34 may be mounted on the head behavior measuring device 32.

また、例えば、図１２に示すように、複数のショット測定システム１が、ショット管理装置１０と同様の、パーソナルコンピュータなどのコンピュータである集計装置１３０と通信可能であってもよい。そして、それぞれのショット測定システム１が、ショット管理データ生成部１１８によって生成されたショット管理データを、集計装置１３０に送信してもよい。この場合、送信されるショット管理データには、当該ショット管理データを送信するショット測定システム１の識別情報が関連付けられていてもよい。 Further, for example, as shown in FIG. 12, a plurality of shot measurement systems 1 may be able to communicate with a totaling device 130, which is a computer such as a personal computer, similar to the shot management device 10. Then, each shot measurement system 1 may transmit the shot management data generated by the shot management data generation unit 118 to the aggregation device 130. In this case, the shot management data to be transmitted may be associated with the identification information of the shot measurement system 1 that transmits the shot management data.

そして、集計装置１３０が、上述の集計部１２２や提供部１２４の機能を担っていてもよい。例えば、集計装置１３０が、上述したように、複数のショット測定システム１から受信した複数のショット管理データを集計してもよい。そして集計装置１３０が、集計装置１３０により計算される集計結果を、集計装置１３０のユーザに提供してもよい。 Then, the totaling device 130 may take on the functions of the above-mentioned totaling unit 122 and the providing unit 124. For example, the aggregation device 130 may aggregate a plurality of shot management data received from the plurality of shot measurement systems 1 as described above. Then, the totaling device 130 may provide the totaling result calculated by the totaling device 130 to the user of the totaling device 130.

複数のゴルフショップのそれぞれに、ショット測定システム１が設けられている場合に以上のようにすることで、複数のゴルフショップで生成されたショットデータを横断的に分析することができる。例えば、ゴルフショットごと、ショットに用いられたゴルフクラブの種類ごとのショットデータの分析を行うことができる。 When the shot measurement system 1 is provided in each of the plurality of golf shops, the shot data generated by the plurality of golf shops can be analyzed in a cross-sectional manner by performing the above. For example, it is possible to analyze shot data for each golf shot and for each type of golf club used for the shot.

なお、本実施形態に係るショット測定システム１が設けられる場所は特に問わず、例えば、ゴルフ練習場にショット測定システム１が設けられていてもよい。 The place where the shot measurement system 1 according to the present embodiment is provided is not particularly limited, and for example, the shot measurement system 1 may be provided at a golf driving range.

また、上述の集計部１２２や提供部１２４の機能に限らず、例えば、図１０に示す機械学習モデル９０、受信部１１０、ショットデータ生成部１１２、ターゲット画像特定部１１４、クラブ種類推定部１１６、ショット管理データ生成部１１８、ショット管理データ記憶部１２０の機能の一部又は全部が、集計装置１３０で実装されてもよい。 Further, the functions are not limited to the above-mentioned aggregation unit 122 and provision unit 124, and for example, the machine learning model 90, the reception unit 110, the shot data generation unit 112, the target image identification unit 114, and the club type estimation unit 116 shown in FIG. A part or all of the functions of the shot management data generation unit 118 and the shot management data storage unit 120 may be implemented in the aggregation device 130.

また、クラブ種類推定部１１６は、学習済の機械学習モデル９０を用いずに、ターゲット画像が表すショットに用いられたゴルフクラブの種類を推定してもよい。 Further, the club type estimation unit 116 may estimate the type of golf club used for the shot represented by the target image without using the trained machine learning model 90.

例えば、クラブ種類推定部１１６が、ターゲット画像内のクラブヘッドに対応した特定範囲の画素値を有する画素を、例えば、人工芝等の緑色の背景に対応した画素値を有する画素から切り分けて抽出してもよい。 For example, the club type estimation unit 116 separates and extracts pixels having a pixel value in a specific range corresponding to the club head in the target image from pixels having a pixel value corresponding to a green background such as artificial turf. You may.

そして、クラブヘッドの大きさ、又は、クラブヘッドの形状に関する第１特徴情報が特定されてもよい。ここで、抽出されたクラブヘッドの像の画素の総数をクラブヘッドの大きさとしてもよい。また、抽出されたクラブヘッドの画像の領域から、クラブヘッドのシャフトが挿入される筒形状のソケット部の像を除去して得られるクラウン部及びサイド部の像の輪郭形状の情報が特定されてもよい。輪郭形状は、ウッド系のゴルフクラブの場合、種類によって大きく異なるので、抽出されたクラウン部の像の輪郭形状から、ゴルフクラブの種類を判別することができる。輪郭形状は、例えば輪郭を表す曲線の傾斜角度あるいは曲線の曲率によって特徴付けることができる。また、クラウン部及びサイド部の像の縦横比が特定されてもよい。 Then, the first feature information regarding the size of the club head or the shape of the club head may be specified. Here, the total number of pixels of the extracted club head image may be the size of the club head. Further, from the extracted area of the club head image, information on the contour shape of the image of the crown portion and the side portion obtained by removing the image of the tubular socket portion into which the shaft of the club head is inserted is specified. May be good. In the case of a wood-based golf club, the contour shape differs greatly depending on the type, so that the type of golf club can be determined from the contour shape of the extracted image of the crown portion. The contour shape can be characterized by, for example, the tilt angle of the curve representing the contour or the curvature of the curve. Further, the aspect ratio of the images of the crown portion and the side portion may be specified.

そして、特定された第１特徴情報に基づいて、ゴルフクラブの種類が推定されてもよい。例えばクラブ種類推定部１１６が、第１特徴情報とゴルフクラブの種類とを対応付けた参照テーブルを予め保持していてもよい。そして、特定された第１特徴情報から、この参照テーブルを参照することにより、ゴルフクラブの種類が推定されてもよい。 Then, the type of golf club may be estimated based on the specified first feature information. For example, the club type estimation unit 116 may hold in advance a reference table in which the first feature information and the type of the golf club are associated with each other. Then, the type of golf club may be estimated by referring to this reference table from the specified first feature information.

また、クラブ種類推定部１１６が、ゴルフクラブのモデル名あるいは型番と対応付けることができる、模様、記号、又は色彩のうちの少なくとも１つの第２特徴情報を有する複数のクラブヘッドの参照画像を予め保持していてもよい。そして、ターゲット画像内のクラブヘッドの像について、保持している参照画像を呼び出して、それぞれの参照画像中の第２特徴情報とのマッチングを行うことにより、ゴルフクラブのモデル名あるいは型番が推定されてもよい。 Further, the club type estimation unit 116 holds in advance reference images of a plurality of club heads having at least one second feature information of a pattern, a symbol, or a color, which can be associated with a model name or model number of a golf club. You may be doing it. Then, the model name or model number of the golf club is estimated by calling the held reference image for the image of the club head in the target image and matching it with the second feature information in each reference image. You may.

第２特徴情報は、クラブヘッドの輪郭形状、フェース面に設けられたスコアラインの模様、フェース面に設けられたパンチマークの形態、フェース面に形成された装飾模様、又はクラブヘッドに設けられたロゴマークの少なくともいずれか１つを含んでいてもよい。 The second feature information is provided on the contour shape of the club head, the pattern of the score line provided on the face surface, the form of the punch mark provided on the face surface, the decorative pattern formed on the face surface, or the club head. It may contain at least one of the logo marks.

また、本実施形態において、ゴルフクラブの種類の推定結果に応じて、弾道測定器３０のステレオカメラ４２による撮影タイミング及び撮影範囲が変更されてもよい。 Further, in the present embodiment, the shooting timing and shooting range of the ballistic measuring instrument 30 by the stereo camera 42 may be changed according to the estimation result of the type of golf club.

また、上記の具体的な数値は例示であり、これらの数値には限定されない。 Moreover, the above-mentioned specific numerical values are examples, and are not limited to these numerical values.

１ ショット測定システム、１０ ショット管理装置、１２ プロセッサ、１４ 記憶部、１６ 通信部、１８ 表示部、２０ 操作部、２２ ショット測定装置、３０ 弾道測定器、３２ ヘッド挙動測定器、３４ ヘッド撮影装置、４０ フラッシュ光源、４２ ステレオカメラ、４４ ボール有無判別センサ、４６ ヘッドスピードセンサ、４８ ゴルフボール、５０ ティー、５２ フラッシュ光源、５４ カメラ、５６ 反射板、５８ 通過センサ、６０ カメラ、７０ 学習装置、７２ プロセッサ、７４ 記憶部、７６ 通信部、７８ 表示部、８０ 操作部、９０ 機械学習モデル、９２ 学習データ記憶部、９４ 学習データ取得部、９６ 前処理部、９８ 学習部、１００ ゴルフクラブ、１０２ 縁、１１０ 受信部、１１２ ショットデータ生成部、１１４ ターゲット画像特定部、１１６ クラブ種類推定部、１１８ ショット管理データ生成部、１２０ ショット管理データ記憶部、１２２ 集計部、１２４ 提供部、１３０ 集計装置。 1 shot measurement system, 10 shot management device, 12 processor, 14 storage unit, 16 communication unit, 18 display unit, 20 operation unit, 22 shot measurement device, 30 ballistic measurement device, 32 head behavior measurement device, 34 head imaging device, 40 flash light source, 42 stereo camera, 44 ball presence / absence sensor, 46 head speed sensor, 48 golf ball, 50 tee, 52 flash light source, 54 camera, 56 reflector, 58 pass sensor, 60 camera, 70 learning device, 72 processor , 74 storage unit, 76 communication unit, 78 display unit, 80 operation unit, 90 machine learning model, 92 learning data storage unit, 94 learning data acquisition unit, 96 preprocessing unit, 98 learning unit, 100 golf club, 102 edge, 110 receiving unit, 112 shot data generation unit, 114 target image identification unit, 116 club type estimation unit, 118 shot management data generation unit, 120 shot management data storage unit, 122 aggregation unit, 124 provision unit, 130 aggregation device.

Claims (14)

ショットに用いられたゴルフクラブの種類を推定する機械学習モデルの学習に用いられる学習入力画像を生成する画像生成システムであって、
ゴルフクラブ及びゴルフボールを少なくとも表す基礎画像を取得する基礎画像取得手段と、
前記基礎画像内において前記ゴルフボールの画像が占める領域の位置、大きさ、又は、色のうちの少なくとも１つに基づいて、前記ゴルフクラブ及び前記ゴルフボールを少なくとも表す、前記基礎画像とは異なる、前記学習入力画像を生成する学習入力画像生成手段と、
を含むことを特徴とする画像生成システム。 An image generation system that generates a learning input image used for learning a machine learning model that estimates the type of golf club used for a shot.
A basic image acquisition means for acquiring at least a basic image representing a golf club and a golf ball,
Different from the basic image, which represents at least the golf club and the golf ball based on at least one of the position, size, or color of the area occupied by the image of the golf ball in the basic image. A learning input image generating means for generating the learning input image and
An image generation system characterized by including. 前記学習入力画像生成手段は、当該学習入力画像内における前記ゴルフボールの画像が占める領域の位置が所定の位置である前記学習入力画像を生成する、
ことを特徴とする請求項１に記載の画像生成システム。 The learning input image generation means generates the learning input image in which the position of the region occupied by the golf ball image in the learning input image is a predetermined position.
The image generation system according to claim 1. 前記学習入力画像生成手段は、前記ゴルフボールの画像が占める領域の大きさが所定の大きさである前記学習入力画像を生成する、
ことを特徴とする請求項１又は２に記載の画像生成システム。 The learning input image generation means generates the learning input image in which the size of the region occupied by the image of the golf ball is a predetermined size.
The image generation system according to claim 1 or 2. 前記学習入力画像生成手段は、前記ゴルフボールの画像が占める領域の色が所定色となるよう画像全体が色補正された前記学習入力画像を生成する、
ことを特徴とする請求項１から３のいずれか一項に記載の画像生成システム。 The learning input image generation means generates the learning input image in which the entire image is color-corrected so that the color of the region occupied by the golf ball image becomes a predetermined color.
The image generation system according to any one of claims 1 to 3, wherein the image generation system is characterized by the above. 前記基礎画像は、人工芝をさらに表す画像であり、
前記学習入力画像生成手段は、前記人工芝の画像が示す領域の色が所定色となるよう画像全体が色補正された前記学習入力画像を生成する、
ことを特徴とする請求項１から３のいずれか一項に記載の画像生成システム。 The basic image is an image further representing artificial turf, and is an image.
The learning input image generation means generates the learning input image in which the entire image is color-corrected so that the color of the region indicated by the artificial turf image becomes a predetermined color.
The image generation system according to any one of claims 1 to 3, wherein the image generation system is characterized by the above. 前記学習入力画像生成手段は、前記人工芝の縁の向きが所定の向きとなるよう画像全体が回転された前記学習入力画像を生成する、
ことを特徴とする請求項５に記載の画像生成システム。 The learning input image generation means generates the learning input image in which the entire image is rotated so that the direction of the edge of the artificial turf is a predetermined direction.
The image generation system according to claim 5. 前記基礎画像は、人工芝をさらに表す画像であり、
前記学習入力画像生成手段は、前記人工芝の縁の向きが所定の向きとなるよう画像全体が回転された前記学習入力画像を生成する、
ことを特徴とする請求項１から４のいずれか一項に記載の画像生成システム。 The basic image is an image further representing artificial turf, and is an image.
The learning input image generation means generates the learning input image in which the entire image is rotated so that the direction of the edge of the artificial turf is a predetermined direction.
The image generation system according to any one of claims 1 to 4, wherein the image generation system is characterized by the above. 前記基礎画像は、ティーをさらに表す画像であり、
前記学習入力画像生成手段は、前記ティーの向きが所定の向きとなるよう画像全体が回転された前記学習入力画像を生成する、
ことを特徴とする請求項１から５のいずれか一項に記載の画像生成システム。 The basic image is an image further representing the tee, and is an image.
The learning input image generation means generates the learning input image in which the entire image is rotated so that the direction of the tee is a predetermined direction.
The image generation system according to any one of claims 1 to 5, wherein the image generation system is characterized in that. 前記学習入力画像を前記機械学習モデルに入力した際の出力を用いて、前記機械学習モデルの学習を実行する学習手段、をさらに含む、
ことを特徴とする請求項１から８のいずれか一項に記載の画像生成システム。 A learning means for executing learning of the machine learning model by using the output when the learning input image is input to the machine learning model is further included.
The image generation system according to any one of claims 1 to 8, wherein the image generation system is characterized by the above. 学習済の機械学習モデルを用いて、ショットに用いられたゴルフクラブの種類を推定する推定システムであって、
ゴルフクラブ及びゴルフボールを少なくとも表すターゲット画像を取得するターゲット画像取得手段と、
前記ターゲット画像内において前記ゴルフボールの画像が占める領域の位置、大きさ、又は、色のうちの少なくとも１つに基づいて、前記ゴルフクラブ及び前記ゴルフボールを少なくとも表す、前記ターゲット画像とは異なる、入力画像を生成する入力画像生成手段と、
前記入力画像を前記学習済の前記機械学習モデルに入力した際の出力に基づいて、前記ゴルフクラブの種類を推定する推定手段と、
を含むことを特徴とする推定システム。 An estimation system that estimates the type of golf club used for a shot using a trained machine learning model.
A target image acquisition means for acquiring at least a target image representing a golf club and a golf ball,
Different from the target image, which represents at least the golf club and the golf ball based on at least one of the position, size, or color of the area occupied by the image of the golf ball in the target image. An input image generation means for generating an input image and
An estimation means for estimating the type of the golf club based on the output when the input image is input to the trained machine learning model.
An estimation system characterized by including. ショットに用いられたゴルフクラブの種類を推定する機械学習モデルの学習に用いられる学習入力画像を生成する画像生成方法であって、
ゴルフクラブ及びゴルフボールを少なくとも表す基礎画像を取得するステップと、
前記基礎画像内において前記ゴルフボールの画像が占める領域の位置、大きさ、又は、色のうちの少なくとも１つに基づいて、前記ゴルフクラブ及び前記ゴルフボールを少なくとも表す、前記基礎画像とは異なる、前記学習入力画像を生成するステップと、
を含むことを特徴とする画像生成方法。 An image generation method that generates a learning input image used for learning a machine learning model that estimates the type of golf club used for a shot.
Steps to get at least a basic image of a golf club and golf ball,
Different from the basic image, which represents at least the golf club and the golf ball based on at least one of the position, size, or color of the area occupied by the image of the golf ball in the basic image. The step of generating the training input image and
An image generation method comprising. 学習済の機械学習モデルを用いて、ショットに用いられたゴルフクラブの種類を推定する推定方法であって、
ゴルフクラブ及びゴルフボールを少なくとも表すターゲット画像を取得するステップと、
前記ターゲット画像内において前記ゴルフボールの画像が占める領域の位置、大きさ、又は、色のうちの少なくとも１つに基づいて、前記ゴルフクラブ及び前記ゴルフボールを少なくとも表す、前記ターゲット画像とは異なる、入力画像を生成するステップと、
前記入力画像を前記学習済の前記機械学習モデルに入力した際の出力に基づいて、前記ゴルフクラブの種類を推定するステップと、
を含むことを特徴とする推定方法。 An estimation method that estimates the type of golf club used for a shot using a trained machine learning model.
Steps to get at least a target image of a golf club and golf ball,
Different from the target image, which represents at least the golf club and the golf ball based on at least one of the position, size, or color of the area occupied by the image of the golf ball in the target image. Steps to generate the input image and
A step of estimating the type of the golf club based on the output when the input image is input to the trained machine learning model, and
An estimation method characterized by including. ショットに用いられたゴルフクラブの種類を推定する機械学習モデルの学習に用いられる学習入力画像を生成するコンピュータに、
ゴルフクラブ及びゴルフボールを少なくとも表す基礎画像を取得する手順、
前記基礎画像内において前記ゴルフボールの画像が占める領域の位置、大きさ、又は、色のうちの少なくとも１つに基づいて、前記ゴルフクラブ及び前記ゴルフボールを少なくとも表す、前記基礎画像とは異なる、前記学習入力画像を生成する手順、
を実行させることを特徴とするプログラム。 A computer that generates training input images used to train a machine learning model that estimates the type of golf club used for a shot.
Procedure for obtaining a basic image representing at least a golf club and a golf ball,
Different from the basic image, which represents at least the golf club and the golf ball based on at least one of the position, size, or color of the area occupied by the image of the golf ball in the basic image. The procedure for generating the training input image,
A program characterized by executing. 学習済の機械学習モデルを用いて、ショットに用いられたゴルフクラブの種類を推定するコンピュータに、
ゴルフクラブ及びゴルフボールを少なくとも表すターゲット画像を取得する手順、
前記ターゲット画像内において前記ゴルフボールの画像が占める領域の位置、大きさ、又は、色のうちの少なくとも１つに基づいて、前記ゴルフクラブ及び前記ゴルフボールを少なくとも表す、前記ターゲット画像とは異なる、入力画像を生成する手順、
前記入力画像を前記学習済の前記機械学習モデルに入力した際の出力に基づいて、前記ゴルフクラブの種類を推定する手順、
を実行させることを特徴とするプログラム。 A computer that estimates the type of golf club used for a shot using a trained machine learning model.
Procedure for acquiring a target image representing at least a golf club and a golf ball,
Different from the target image, which represents at least the golf club and the golf ball based on at least one of the position, size, or color of the area occupied by the image of the golf ball in the target image. Procedure to generate input image,
A procedure for estimating the type of golf club based on the output when the input image is input to the trained machine learning model.
A program characterized by executing.
JP2019154905A 2019-08-27 2019-08-27 Image generation system, estimation system, image generation method, estimation method and program Active JP7307334B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019154905A JP7307334B2 (en) 2019-08-27 2019-08-27 Image generation system, estimation system, image generation method, estimation method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019154905A JP7307334B2 (en) 2019-08-27 2019-08-27 Image generation system, estimation system, image generation method, estimation method and program

Publications (2)

Publication Number Publication Date
JP2021033775A true JP2021033775A (en) 2021-03-01
JP7307334B2 JP7307334B2 (en) 2023-07-12

Family

ID=74678302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019154905A Active JP7307334B2 (en) 2019-08-27 2019-08-27 Image generation system, estimation system, image generation method, estimation method and program

Country Status (1)

Country Link
JP (1) JP7307334B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342758A (en) * 2001-05-15 2002-11-29 Osamu Hasegawa Visual recognition system
JP2012212373A (en) * 2011-03-31 2012-11-01 Casio Comput Co Ltd Image processing device, image processing method and program
JP2012531941A (en) * 2009-06-30 2012-12-13 ゴルフゾン カンパニー リミテッド Golf simulation apparatus and method
JP2015219648A (en) * 2014-05-15 2015-12-07 カシオ計算機株式会社 Age estimation device, imaging device, age estimation method and program
JP2016127880A (en) * 2015-01-09 2016-07-14 セイコーエプソン株式会社 Information recording apparatus, information recording system, information recording method and information recording program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342758A (en) * 2001-05-15 2002-11-29 Osamu Hasegawa Visual recognition system
JP2012531941A (en) * 2009-06-30 2012-12-13 ゴルフゾン カンパニー リミテッド Golf simulation apparatus and method
JP2012212373A (en) * 2011-03-31 2012-11-01 Casio Comput Co Ltd Image processing device, image processing method and program
JP2015219648A (en) * 2014-05-15 2015-12-07 カシオ計算機株式会社 Age estimation device, imaging device, age estimation method and program
JP2016127880A (en) * 2015-01-09 2016-07-14 セイコーエプソン株式会社 Information recording apparatus, information recording system, information recording method and information recording program

Also Published As

Publication number Publication date
JP7307334B2 (en) 2023-07-12

Similar Documents

Publication Publication Date Title
JP5388932B2 (en) Information processing apparatus and control method thereof
TWI441669B (en) Virtual golf simulation apparatus and method
JP7051315B2 (en) Methods, systems, and non-temporary computer-readable recording media for measuring ball rotation.
JP5932059B2 (en) Golf club head measuring device
CN105288982B (en) The motion state measure device of golf
JP4271615B2 (en) Golf club head behavior measuring device
CN109562289B (en) Ball flight information calculation device, ball flight information calculation method, and computer-readable recording medium on which ball flight information calculation method is recorded
JP2013009771A (en) System, method, and program for measurement and analysis of behavior of golf club head in golf swing
JP5975711B2 (en) Golf swing classification method, classification system, classification device, and program
JP6828265B2 (en) Display method, swing analysis device, swing analysis system, swing analysis program, and recording medium
JP6582641B2 (en) How to display golf club swing
CN113926172A (en) Posture comparison and correction method using application program configured to check two golf images and result data in overlapped state
JP2017189490A (en) Display method, swing analysis device, swing analysis system, swing analysis program, and recording medium
KR102578896B1 (en) Theta data acquisition system and theta data acquisition method
JP2009045495A (en) Behavior measuring instrument for golf club head
JP7319540B2 (en) Shot management system, shot management method and program
KR101019801B1 (en) Apparatus and method for sensing moving object and virtual golf simulation device using the same
CN109254663B (en) Using method of auxiliary reading robot for books of children
JP7307334B2 (en) Image generation system, estimation system, image generation method, estimation method and program
JP7410370B2 (en) Shot management system and shot management method
JP7360023B2 (en) Shot management system, shot management method and program
WO2008073563A1 (en) Method and system for gaze estimation
TW201825155A (en) Sensing device for calculating information on golf shot of user and sensing method using the same
JP6710961B2 (en) Golf swing analysis method
US11224787B2 (en) Swing measurement device, swing measurement method, and swing measurement program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230612

R150 Certificate of patent or registration of utility model

Ref document number: 7307334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150