JP4283147B2

JP4283147B2 - Golf swing measurement method

Info

Publication number: JP4283147B2
Application number: JP2004091738A
Authority: JP
Inventors: 勝彦植田; 正秀大貫; 良明白井; 伸敬島田
Original assignee: Individual
Current assignee: Individual
Priority date: 2004-03-26
Filing date: 2004-03-26
Publication date: 2009-06-24
Anticipated expiration: 2024-03-26
Also published as: JP2005270534A

Description

本発明は、ゴルフスウィング計測方法に関し、詳しくは、ゴルファーのスウィング時の関節等の動きを撮影された画像から効率良く自動抽出するものに関する。 The present invention relates to a golf swing measurement method, and more particularly, to a method for automatically and efficiently extracting a motion of a joint or the like of a golfer from a photographed image.

従来、ゴルファーの打撃時のスウィングを撮影し、打球の飛距離や軌道等の各種情報をコンピュータで自動的に算出してゴルファーに表示可能とする装置が各種提供されている。これら装置によりゴルファーは自己の飛球の良し悪しを検討することが可能となるが、肝心のフォームを改善するための有用な情報を提供することはあまりできない問題があった。 2. Description of the Related Art Conventionally, various devices have been provided that can capture a swing when a golfer is hit, and automatically calculate various information such as a flying distance and a trajectory of the hit ball and display it on a golfer. Although these devices allow golfers to examine the quality of their own flying balls, there is a problem that it is not possible to provide useful information for improving the essential form.

そこで、特開２００３−１１７０４５号公報に開示されたスイングフォーム診断装置では、ゴルファーがスイングする画像を撮影してスイングフォームの診断のために重要な特定動作点の画像のみを抽出するようにしている。詳しくは、撮影された被験者の動画の中からスイング動作に関わるフレームを抽出し、各フレームと基準画像との差分画像における移動部分画像の解析結果に応じてスイング動作中の特定動作点を判定し、その特定動作点毎に対応するフレームを抽出して画像表示している。 Therefore, in the swing form diagnostic apparatus disclosed in Japanese Patent Application Laid-Open No. 2003-117045, an image of a golfer swinging is taken and only an image of a specific operating point important for swing form diagnosis is extracted. . Specifically, a frame related to the swing motion is extracted from the photographed subject's video, and a specific motion point during the swing motion is determined according to the analysis result of the moving partial image in the difference image between each frame and the reference image. The frame corresponding to each specific operating point is extracted and displayed as an image.

しかしながら、スウィング動作中の特定動作点に対応するフレームを抽出しても、その抽出画像をただ見るだけでは、ゴルファーはスウィング中の自己の体（関節など）の動きを具体的に提供してもらうことはできず、自己のフォームの何処が欠点で何を直すべきが分かり難い問題がある。 However, even if a frame corresponding to a specific operating point during the swing motion is extracted, the golfer will be specifically provided with the motion of his / her body (joint, etc.) during the swing simply by looking at the extracted image. I can't do it, and there are problems that I can't figure out what should be fixed in my form.

そこで、特許第２７９４０１８号で開示された動作診断装置では、ゴルフクラブヘッドおよび被診断者の体に複数の動作ポイントを設け、スウィング動画像中の動作ポイントの座標を取得してスウィング診断を行っている。しかし、スウィング動画像の全コマについて多数の動作ポイントの座標を抽出する計算を行わねばならず、計算量が膨大になると共に動作ポイントの位置座標の誤認率も増大する問題がある。また、ゴルフスウィングの動作中には前記動作ポイントが腕などで隠れてカメラから視認できない場合があり、動作ポイントの位置座標を取得できず診断エラーが発生する確率が多くなる問題もある。
特開２００３−１１７０４５号公報特許第２７９４０１８号 Therefore, in the motion diagnostic apparatus disclosed in Japanese Patent No. 2794018, a plurality of motion points are provided on the body of the golf club head and the person to be diagnosed, and the coordinates of the motion points in the swing moving image are acquired to perform the swing diagnosis. Yes. However, it is necessary to perform a calculation for extracting the coordinates of a large number of operation points for all the frames of the swing moving image, and there is a problem that the calculation amount becomes enormous and the misidentification rate of the position coordinates of the operation points increases. In addition, during the operation of the golf swing, the operation point may be hidden by an arm or the like and cannot be visually recognized from the camera, and there is a problem that the position coordinates of the operation point cannot be acquired and the probability of occurrence of a diagnostic error increases.
JP 2003-1117045 A Japanese Patent No. 2794018

本発明は、前記問題に鑑みてなされたもので、スウィング動作分析のために行うゴルファーの体の注目点の抽出に際して計算時間および誤認率を低減することを課題としている。 The present invention has been made in view of the above problems, and it is an object of the present invention to reduce the calculation time and the misperception rate when extracting the attention point of the golfer's body for the swing motion analysis.

前記課題を解決するため、本発明は、第一に、ゴルフクラブを把持してスウィングするゴルファーをカラー動画像で撮影してコンピュータに取り込み、該コンピュータは、
前記カラー動画像を構成する複数の静止画像から、アドレス、テイクバックシャフト８時、テイクバックシャフト９時、テイクバック非利き腕水平、トップ、ダウンスウィング非利き腕水平、ダウンスウィングシャフト９時、インパクト、フォローシャフト３時、フィニッシュから選択される少なくとも１つ以上のスウィング姿勢の画像をチェックポイント画像として抽出した後、
前記チェックポイント画像を前記ゴルファーが写らない背景画像で差分処理することによりゴルファーのシルエットを取得して該シルエットの輪郭抽出を行い、
前記輪郭抽出後に、下記の（１）（２）（３）のいずれかでスウィング中に動作する注目点の位置座標として特定していることを特徴とするゴルフスウィング計測方法を提供している。
（１）取得された輪郭情報のｘ座標あるいはｙ座標が極値となるピクセルを前記注目点の位置座標として特定する；
（２）取得された輪郭のうち曲率が極値となるピクセルを前記注目点の位置座標として特定する；
（３）取得された輪郭のうち曲率が−１０°〜１０°の範囲内のピクセルが所定の個数以上連続している箇所を直線部とし、この直線部を用いて上記注目点の位置座標を特定する：
本発明は、第二に、ゴルフクラブを把持してスウィングするゴルファーをカラー動画像で撮影してコンピュータに取り込み、該コンピュータは、
前記カラー動画像を構成する複数の静止画像から、アドレス、テイクバックシャフト８時、テイクバックシャフト９時、テイクバック非利き腕水平、トップ、ダウンスウィング非利き腕水平、ダウンスウィングシャフト９時、インパクト、フォローシャフト３時、フィニッシュから選択される少なくとも１つ以上のスウィング姿勢の画像をチェックポイント画像として抽出した後、
前記チェックポイント画像において、隣接するピクセルとの間での明るさの変化量が所定の閾値以上となっているピクセルをエッジとし、前記チェックポイント画像中のゴルファーについて前記エッジの抽出を行い、該エッジを用いてスウィング中に動作する注目点の位置座標を取得することを特徴としているゴルフスウィング計測方法を提供している。 In order to solve the above-mentioned problems, the present invention firstly captures a golfer who grips and swings a golf club with a color moving image and loads it into a computer.
From a plurality of still images constituting the color moving image, address, takeback shaft 8 o'clock, takeback shaft 9 o'clock, takeback non-dominant arm horizontal, top, down swing non-dominant arm horizontal, down swing shaft 9 o'clock, impact, follow After extracting at least one swing posture image selected from the finish at the shaft 3 as a checkpoint image,
The difference between the checkpoint image and a background image in which the golfer is not captured is used to obtain a silhouette of the golfer to extract the contour of the silhouette,
There is provided a golf swing measurement method characterized in that, after the contour extraction, the position coordinates of a point of interest operating during the swing are specified by any of the following (1), (2), and (3) .
(1) Specify a pixel whose extreme value is the x coordinate or y coordinate of the acquired contour information as the position coordinate of the attention point;
(2) A pixel having an extreme curvature in the acquired contour is specified as the position coordinate of the attention point;
(3) A portion where a predetermined number or more of pixels having a curvature within a range of −10 ° to 10 ° in the obtained contour is continuous is defined as a straight line portion, and the position coordinates of the attention point are determined using the straight line portion. Identify:
Secondly, the present invention secondly captures a golfer who grips and swings a golf club with a color moving image and loads it into a computer,
From a plurality of still images constituting the color moving image, address, takeback shaft 8 o'clock, takeback shaft 9 o'clock, takeback non-dominant arm horizontal, top, down swing non-dominant arm horizontal, down swing shaft 9 o'clock, impact, follow After extracting at least one swing posture image selected from the finish at the shaft 3 as a checkpoint image,
In the checkpoint image, a pixel whose brightness change amount between adjacent pixels is equal to or greater than a predetermined threshold is used as an edge, and the edge is extracted for a golfer in the checkpoint image. There is provided a golf swing measuring method characterized in that the position coordinates of a point of interest that operates during swinging are acquired using the.

前記方法によれば、ゴルフスウィング診断に有用な静止画像（チェックポイント画像）を選択的に抽出した上で、ゴルファーの注目点の位置座標を取得する手順としているので、撮影されたスウィング動画像の全コマ（静止画像）についてゴルファーの注目点の位置座標を取得する必要が無くなるので計算コストを低減できる。また、計算対象とする静止画像をチェックポイント画像だけに絞ることで、注目点の誤認率の低減にも貢献する。 According to the above method, since a still image (checkpoint image) useful for golf swing diagnosis is selectively extracted and the position coordinates of the attention point of the golfer are acquired, the procedure is as follows. Since it is not necessary to acquire the position coordinates of the golfer's attention point for all frames (still images), the calculation cost can be reduced. In addition, by limiting the still image to be calculated to only the checkpoint image, it contributes to a reduction in the misidentification rate of the attention point.

前記注目点は、前記ゴルファーの頭、首、肩、肘、腰、膝、足首、手首あるいは／および足先を含んでいる。
即ち、前記注目点を主に関節等に設定することで、スウィング動作の把握に有用な情報を得ることができる。なお、注目点はゴルファーの体の部分に限定されず、ゴルフクラブシャフトに取り付けたクラブ用色付マークやボール等のようにスウィング診断に有用と思われる箇所全般を含む。 The points of interest include the golfer's head, neck, shoulders, elbows, hips, knees, ankles, wrists and / or toes.
That is, by setting the attention point mainly to a joint or the like, information useful for grasping the swing motion can be obtained. The attention point is not limited to the golfer's body part, but includes all parts that are useful for swing diagnosis, such as a colored mark for a club attached to a golf club shaft or a ball.

少なくとも１つ以上の前記注目点には色付マークが設けられ、該色付マークより前記チェックポイント画像を抽出していることが好ましい。
前記チェックポイント画像上で前記色付マークが存在すると予測される領域である探索範囲を設定し、かつ、画像上のピクセル色情報が前記色付マークの基準色情報と同一色であるとみなすことのできる許容範囲である色範囲を設定し、
前記探索範囲において前記色範囲内であるピクセルを前記色付マークの位置とみなすことができる。 At least in one or more of the point of interest is provided colored mark, it is preferable that extracts the checkpoint image from the color marked.
A search range that is an area where the colored mark is predicted to exist on the checkpoint image is set, and pixel color information on the image is regarded as the same color as the reference color information of the colored mark. Set the color range that is the allowable range of
The within the color range pixel can position and all Succoth of marked the colors in the search range.

前記方法とすると、前記色付マークの位置を検出するために前記色範囲内であるか否かを判断する領域を全画面とせずに前記探索範囲内だけで判断しているので、前記色付マークと近似した色が静止画像中に含まれていても排除して誤認識を防止することができると共に計算時間も短縮化することができる。本発明では、静止画像の探索範囲内のピクセルについて前記背景画像との差分処理を行って背景画像を排除しているため、探索範囲内の背景画像中に色付マークの色と近似した色が存在しても排除してさらに誤認識を防止することができる。 According to the method, since the area for determining whether or not the color mark is within the color range is determined only within the search range without detecting the full screen, the color mark is detected. Even if a color approximate to the mark is included in the still image, it can be eliminated to prevent misrecognition, and the calculation time can be shortened. In the present invention, the background image is excluded by performing a difference process with the background image on the pixels within the search range of the still image, so that the color approximated to the color of the colored mark is included in the background image within the search range. Even if it exists, it can be eliminated to further prevent misrecognition.

前記のように、本発明では、チェックポイント画像を前記ゴルファーが写らない背景画像で差分処理することによりゴルファーのシルエットを取得して該シルエットの輪郭抽出を行い、取得された輪郭情報のｘ座標あるいはｙ座標が極値となるピクセルを前記注目点の位置座標として特定している。 As described above , according to the present invention, a checkpoint image is subjected to a difference process with a background image in which the golfer is not captured to acquire a golfer's silhouette and extract the contour of the silhouette. A pixel whose y coordinate is an extreme value is specified as the position coordinate of the target point.

前記方法とすると、前記チェックポイント画像上におけるゴルファーの注目点を認識するために、例えばゴルファーにマーク等が付されていない場合であっても、画像処理によって画像上のゴルファーの注目点位置座標を自動取得することができる。したがって、スイング計測を行う被診断者であるゴルファーの手間を省くことができ利便性が向上する。
また、上述した色付マークを用いた注目点位置の認識が失敗した際に、前記輪郭の極値を用いた注目点位置の特定方法などを使用するようにして二段構え以上にして位置座標の抽出をすれば、色付マークが腕などに隠れて見えない場合や、マークが影に入ってしまったために色が薄く若しくは暗くなってしまった場合でも、注目点位置の認識率を向上させることが可能となる。なお、ｘ方向は画像上の水平方向で、ｙ方向は画像上の垂直方向とする。 With this method, in order to recognize the golfer's attention point on the checkpoint image, for example, even when the golfer is not marked or the like, the golfer's attention point position coordinates on the image are obtained by image processing. Can be acquired automatically. Therefore, it is possible to save the trouble of the golfer who is the subject to be subjected to swing measurement, and the convenience is improved.
In addition, when the above-described attention point position recognition using the colored mark fails, the position coordinates are set in two or more stages by using a method for specifying the attention point position using the extreme value of the contour. If the colored mark is hidden behind the arm and cannot be seen, or the mark is in the shadow and the color becomes light or dark, the recognition rate of the point of interest is improved. It becomes possible. The x direction is the horizontal direction on the image, and the y direction is the vertical direction on the image.

あるいは、本発明では、前記チェックポイント画像を前記ゴルファーが写らない背景画像で差分処理することによりゴルファーのシルエットを取得して該シルエットの輪郭抽出を行い、取得された輪郭のうち曲率が極値となるピクセルを前記注目点の位置座標として特定している。 Alternatively, in the present invention, the checkpoint image is subjected to a difference process with a background image in which the golfer is not captured to acquire a silhouette of the golfer, and the contour of the silhouette is extracted, and the curvature of the acquired contour is an extreme value. Are specified as the position coordinates of the attention point .

あるいは、前記チェックポイント画像を前記ゴルファーが写らない背景画像で差分処理してゴルファーのシルエットを取得して該シルエットの輪郭抽出を行い、取得された輪郭のうち曲率が−１０°〜１０°の範囲内のピクセルが所定の個数以上連続している箇所を直線部とし、この直線部を用いて上記注目点の位置座標を特定している。 Alternatively, the checkpoint image is differentially processed with a background image in which the golfer is not captured to acquire a silhouette of the golfer, and the contour of the silhouette is extracted, and the curvature of the acquired contour is in a range of −10 ° to 10 ° A portion where a predetermined number or more of the pixels are continuous is defined as a straight line portion, and the position coordinates of the attention point are specified using the straight line portion.

前記方法とすると、例えば膝関節のように比較的直線状である大腿と脛との間に存在する関節の位置座標を抽出することができる。また、前記取得された輪郭の曲率を用いずに済むので、前記ゴルファーの輪郭の曲率が大きくない関節箇所を認識することができる利点がある。なお、直線部の判定基準となる前記曲率の数値範囲は−５°〜５°とすれば、抽出精度上より好ましい。 With this method, for example, position coordinates of a joint existing between a thigh and a shin that are relatively straight like a knee joint can be extracted. Further, since it is not necessary to use the curvature of the acquired contour, there is an advantage that a joint portion where the curvature of the golfer's contour is not large can be recognized. In addition, it is more preferable in terms of extraction accuracy if the numerical value range of the curvature, which is a criterion for determining the straight portion, is -5 ° to 5 °.

具体的には、前記直線部の延長線が前記輪郭と交差する位置のピクセルを前記注目点の位置座標として特定したり、或いは、前記輪郭から抽出された前記直線部のうち、２つの直線部の延長線同士が交差する位置のピクセルあるいは交差する位置に最も近い輪郭点を前記注目点の位置座標として特定していると好ましい。 Specifically, a pixel at a position where an extension of the straight line intersects the contour is specified as the position coordinate of the point of interest, or two straight lines of the straight line extracted from the contour It is preferable that the pixel at the position where the extension lines intersect or the contour point closest to the intersecting position is specified as the position coordinates of the attention point.

前記のように、第二の発明では、チェックポイント画像において、隣接するピクセルとの間での明るさの変化量が所定の閾値以上となっているピクセルをエッジとし、前記チェックポイント画像中のゴルファーについて前記エッジの抽出を行い、該エッジを用いて上記注目点の位置座標を特定している。 As described above, in the second invention, in the checkpoint image, a pixel whose brightness change amount between adjacent pixels is not less than a predetermined threshold is used as an edge, and the golfer in the checkpoint image The edge is extracted for and the position coordinates of the attention point are specified using the edge.

即ち、シルエット輪郭の内側に注目点が存在する場合には、その注目点は輪郭情報を用いて認識することはできないが、前記方法とすれば、ゴルファーのシルエットから得られる輪郭を抽出しただけでは分からない体のラインを抽出することができるので、輪郭の内側にある体のライン、つまり、エッジを用いることで注目点を特定することができる。 In other words, if there is a point of interest inside the silhouette contour, the point of interest cannot be recognized using the contour information, but if the above method is used, the contour obtained from the golfer's silhouette is simply extracted. Since an unknown body line can be extracted, a point of interest can be specified by using a body line inside the contour, that is, an edge.

以上の説明より明らかなように、本発明によれば、撮影されたスウィング動画像からゴルフスウィング診断に有用なチェックポイント画像を選択的に抽出し、そのチェックポイント画像についてのみゴルファーの注目点の位置座標を取得するようにしているので、スウィング動画像の全コマについて注目点位置座標を取得する必要が無くなるので計算時間および誤認率を低減できる。 As is clear from the above description, according to the present invention, a checkpoint image useful for golf swing diagnosis is selectively extracted from the captured swing moving image, and the position of the golfer's attention point is only for the checkpoint image. Since the coordinates are acquired, it is not necessary to acquire the point-of-interest position coordinates for all the frames of the swing moving image, so that the calculation time and the error rate can be reduced.

前記チェックポイント画像における注目点位置の取得方法としては、背景差分処理により得られたシルエットから抽出された輪郭あるいは輪郭の曲率を基に注目点を特定したり、輪郭の直線部の交差点を注目点位置として特定したり、或いは、エッジ抽出を用いて注目点を特定することで、自動的に画像処理によりゴルファーの注目点動作を把握することができる。 As a method obtaining the target point position in the checkpoint image or identify the target point based on the curvature of the resulting extracted contour or outline from the silhouette by background differential processing, attention intersection of the linear portion of the contour A golfer's attention point movement can be automatically grasped by image processing by specifying the point position or specifying the attention point using edge extraction.

本発明の実施形態を図面を参照して説明する。
図２はゴルフスウィング計測システムの概略図を示し、コンピュータ１６と、該コンピュータ１６に接続された表示手段であるモニター１７と、コンピュータ１６に接続された入力手段であるキーボード１８およびマウス１９と、コンピュータ１６に接続されゴルファー１１の正面位置および飛球線後方（側面）位置に設置されたカラーＣＣＤカメラ１４、１５とを備えている。 Embodiments of the present invention will be described with reference to the drawings.
FIG. 2 is a schematic diagram of a golf swing measurement system. A computer 16, a monitor 17 as display means connected to the computer 16, a keyboard 18 and a mouse 19 as input means connected to the computer 16, and a computer 16, color CCD cameras 14 and 15 installed at the front position of the golfer 11 and at the rear (side) position of the flying ball line.

被診断者となるゴルファー１１（右利きとする）は、注目点（関節）に色付マークＭ１〜Ｍ７が付された上着である計測用服１２を私服の上から着用している。計測用服１２は白地からなり、左肘には黄色の色付マークＭ１、左肩には赤色の色付マークＭ２および青色の色付マークＭ３、左肩には青色の色付マークＭ４および赤色の色付マークＭ５、右肘には青色の色付マークＭ６、腰にはの赤色の色付マークＭ７を備えている。なお、左肘の色付マークＭ１は腕章状とし、腰の色付マークＭ７はベルト状とし、その他の色付マークＭ２〜Ｍ６はボタン状（球状）としている。 A golfer 11 (assumed to be right-handed) to be diagnosed wears measurement clothes 12, which are outerwear with colored marks M <b> 1 to M <b> 7 attached to points of interest (joints). The measurement clothes 12 are made of a white background, with a yellow colored mark M1 on the left elbow, a red colored mark M2 and a blue colored mark M3 on the left shoulder, and a blue colored mark M4 and a red color on the left shoulder. A colored mark M5, a blue colored mark M6 on the right elbow, and a red colored mark M7 on the waist are provided. The left elbow colored mark M1 has an armband shape, the waist colored mark M7 has a belt shape, and the other colored marks M2 to M6 have a button shape (spherical).

ゴルファー１１の把持するゴルフクラブ１３のシャフト１３ａには間隔をあけて３つのクラブ用色付マークＣＭ１、ＣＭ２、ＣＭ３が取り付けられている。クラブ用色付マークＣＭ１〜ＣＭ３は、グリップ側からヘッド側にかけて等間隔に取り付けており、グリップに最も近いクラブ用色付マークＣＭ１は黄色とし、真ん中に配置されたクラブ用色付マークＣＭ２はピンク色とし、ヘッド１３ｂ側に配置されたクラブ用色付マークＭ３は黄色として隣り合うマークが異なる色となるようにしている。本実施形態では、各クラブ用色付マークＣＭ１〜ＣＭ３の間の距離は２５０ｍｍとすると共に、グリップ端とクラブ用色付マークＣＭ１との距離は２５０ｍｍとする。 Three colored club marks CM1, CM2, and CM3 are attached to the shaft 13a of the golf club 13 held by the golfer 11 at intervals. The club colored marks CM1 to CM3 are attached at equal intervals from the grip side to the head side, the club colored mark CM1 closest to the grip is yellow, and the club colored mark CM2 arranged in the middle is pink. The color mark M3 for clubs arranged on the head 13b side is yellow so that adjacent marks have different colors. In this embodiment, the distance between the club colored marks CM1 to CM3 is 250 mm, and the distance between the grip end and the club colored mark CM1 is 250 mm.

２つのカラーＣＣＤカメラ１４、１５はコンピュータ１６で撮影タイミングを同期させており、高速度デジタルＣＣＤカメラを用いる場合には、１秒間あたりのコマ数が３０コマ以上で、好ましくは６０コマ以上、シャッタースピードは１／５００ｓ、好ましくは１／１０００ｓ以下とする。 The two color CCD cameras 14 and 15 synchronize the photographing timing with the computer 16, and when using a high-speed digital CCD camera, the number of frames per second is 30 frames or more, preferably 60 frames or more. The speed is 1/500 s, preferably 1/1000 s or less.

スウィングを撮影する空間（縦３×横３×高さ２ｍ）の明るさはできるだけ明るい空間であることが好ましいが、極端に明るい箇所が生じるとハレーションが生じる可能性があるので、３０００ルクスを超えない範囲内で均一の明るさをスウィング環境として設定することが好ましい。また、スウィングを撮影する空間の背景２０は、ゴルファー１１や色付マークＭ１〜Ｍ７やクラブ用色付マークＣＭ１〜ＣＭ３を抽出しやすいように、極力、異なる色とすることが好ましい。 The space for shooting the swing (length 3 x width 3 x height 2m) is preferably as bright as possible. However, if an extremely bright spot occurs, halation may occur. It is preferable to set a uniform brightness as a swing environment within a range that does not exist. In addition, it is preferable that the background 20 of the space where the swing is photographed be different in color so that the golfer 11, the colored marks M1 to M7, and the club colored marks CM1 to CM3 can be easily extracted.

コンピュータ１６は、カラーＣＣＤカメラ１４、１５とＬＡＮケーブルやＩＥＥＥ１３９４やＣａｍｅｒａＬｉｎｋ規格等を用いてオンライン接続されており、カラーＣＣＤカメラ１４、１５で撮影されたスウィング動画像（複数の静止画像）をコンピュータ１６のハードディスクやコンピュータ１６上のメモリやボード上のメモリに保存している。また、コンピュータ１６には、後述するように、静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行って閾値を満たすピクセルをクラブ用色付マークＣＭ１〜ＣＭ３の位置として座標データを取得する手段と、クラブ用色付マークＣＭ１〜ＣＭ３の座標データを基にしてシャフト１３ａの動きを認識する手段と、ゴルファーの腕の動きを認識する手段と、シャフト１３ａの動作データに基づいてスウィング計測に必要な静止画像を選択的に抽出する手段とを備えたプログラムを内蔵している。 The computer 16 is connected online to the color CCD cameras 14 and 15 using a LAN cable, IEEE 1394, CameraLink standard, and the like, and the swing moving images (a plurality of still images) taken by the color CCD cameras 14 and 15 are stored in the computer 16. Are stored in the hard disk, the memory on the computer 16 or the memory on the board. In addition, as will be described later, the computer 16 binarizes each pixel of the still image with a specific threshold value related to color information, and sets the pixels satisfying the threshold value as the positions of the club colored marks CM1 to CM3. On the basis of the coordinate data of the club colored marks CM1 to CM3, the means for recognizing the movement of the golfer's arm, and the operation data of the shaft 13a. A program including a means for selectively extracting still images necessary for swing measurement is incorporated.

次に、概ね図１のフローチャートに従ってゴルファー１１の注目点の位置座標の取得を行う。
先ず、カラーＣＣＤカメラ１４、１５でゴルファー１１が存在しない状態の背景２０のみを撮影した背景画像を読み込み、また、カラーＣＣＤカメラ１４、１５からスウィング動画像の各コマ毎の静止画像をコンピュータ１６に取り込んでハードディスクあるいはコンピュータ１６内のメモリあるいはボード上のメモリに保存する（Ｓ１０）。 Next, the position coordinates of the attention point of the golfer 11 are acquired generally in accordance with the flowchart of FIG.
First, a background image obtained by photographing only the background 20 in a state where the golfer 11 does not exist is read by the color CCD cameras 14 and 15, and a still image for each frame of the swing moving image is read from the color CCD cameras 14 and 15 to the computer 16. The data is taken in and stored in the hard disk, the memory in the computer 16 or the memory on the board (S10).

次に、スウィング動画像を構成する多数の静止画像からスウィング診断に有用となるスウィング姿勢であるアドレス画像、テイクバックシャフト８時画像、テイクバックシャフト９時画像、テイクバック左腕水平画像、トップ画像、ダウンスウィング左腕水平画像、ダウンスウィングシャフト９時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像の各チェックポイント画像を自動抽出する（Ｓ１１）。
前記のようにスウィング動画像の多数の静止画像から前記チェックポイント画像を抽出することで、後工程において行われるゴルファー１１の色付マークＭ１〜Ｍ７や輪郭処理等を用いてゴルファー１１の注目点の位置座標を抽出する計算を前記チェックポイント画像についてのみ行えばよい利点がある。 Next, an address image which is a swing posture useful for swing diagnosis from a large number of still images constituting a swing moving image, an image at the takeback shaft 8 o'clock, an image at the takeback shaft 9 o'clock, a horizontal image at the takeback left arm, a top image, The checkpoint images of the down swing left arm horizontal image, the down swing shaft 9 o'clock image, the pre-impact image, the impact image, the post-impact image, the follow shaft 3 o'clock image, and the finish image are automatically extracted (S11).
By extracting the checkpoint image from a large number of still images of the swing moving image as described above, the attention point of the golfer 11 can be determined by using the colored marks M1 to M7 of the golfer 11 and contour processing performed in a later process. There is an advantage that the calculation for extracting the position coordinates only needs to be performed for the checkpoint image.

以下、各チェックポイント画像の自動抽出方法について分説する。
（アドレス画像）
先ず、アドレス画像の抽出方法について説明する。なお、アドレス画像とは、ゴルファー１１がアドレス姿勢をしている状態の静止画像である。
スウィング動画像の撮影をアドレス状態から開始した場合は、初期画像をアドレス画像とする。しかし、インパクト時の打球音やインパクトセンサをトリガ信号として取得し、その前後ある一定時間内の動画像を取得した場合には、例えば、初期画像がワッグル（アドレス前に予備動作としてヘッドを前後に揺らす動作）等を含むことで、初期画像が必ずしもアドレス画像とならない。そこで、この場合には、各フレーム（静止画像）間で差分処理を実施し、差分が最小となるフレームがゴルファー１１が静止している状態と考えてアドレス画像とみなす。 Hereinafter, a method for automatically extracting each checkpoint image will be described.
(Address image)
First, an address image extraction method will be described. The address image is a still image in a state where the golfer 11 is in an address posture.
When shooting of the swing moving image is started from the address state, the initial image is set as the address image. However, when a hitting sound at impact or an impact sensor is acquired as a trigger signal and a moving image within a certain time is acquired before and after that, for example, the initial image is waggle (the head is moved back and forth as a preliminary operation before addressing). The initial image is not necessarily an address image. Therefore, in this case, difference processing is performed between the frames (still images), and the frame with the smallest difference is considered as an address image, assuming that the golfer 11 is stationary.

次に、テイクバックシャフト９時画像、トップ画像、ダウンスウィングシャフト９時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像の抽出方法について説明する。 Next, a method for extracting the takeback shaft 9 o'clock image, the top image, the downswing shaft 9 o'clock image, the pre-impact image, the impact image, the post-impact image, the follow shaft 3 o'clock image, and the finish image will be described.

ここで、テイクバックシャフト９時画像とは、テイクバック時にシャフトを時計の針に見立てた場合に９時位置にある状態の静止画像である。トップ画像とは、テイクバックからダウンスウィングに移行するトップポジションの状態の静止画像である。ダウンスウィングシャフト９時画像とは、ダウンスウィング時にシャフトを時計の針に見立てた場合に９時位置にある状態の静止画像である。インパクト前画像とは、インパクト直前の状態の静止画像である。インパクト画像とは、ゴルフクラブのヘッドがボールと衝突した瞬間の静止画像である。インパクト後画像とは、インパクト直後の状態の静止画像である。フォローシャフト３時画像とは、フォロースルー時にシャフトを時計の針に見立てた場合に３時位置にある状態の静止画像である。フィニッシュ画像とは、スウィングが終了しゴルフクラブの動きが停止した状態の静止画像である。 Here, the take-back shaft 9 o'clock image is a still image in a state of being at the 9 o'clock position when the shaft is regarded as a clock hand during take-back. The top image is a still image in a top position state in which a transition from takeback to downswing is performed. The down swing shaft 9 o'clock image is a still image in a state of being at the 9 o'clock position when the shaft is regarded as a clock hand during down swing. The pre-impact image is a still image in a state immediately before impact. The impact image is a still image at the moment when the golf club head collides with the ball. The post-impact image is a still image in a state immediately after impact. The 3 o'clock image of the follow shaft is a still image in a state of being at the 3 o'clock position when the shaft is regarded as a clock hand during follow-through. The finish image is a still image in a state where the swing is finished and the movement of the golf club is stopped.

これらチェックポイント画像は、基本的には各フレームにおけるクラブ用色付マークＣＭ１〜ＣＭ３の座標を追跡することで判定されるので、先ず、クラブ用色付マークＣＭ１〜ＣＭ３の自動追尾方法について説明する。 Since these checkpoint images are basically determined by tracking the coordinates of the club colored marks CM1 to CM3 in each frame, first, an automatic tracking method for the club colored marks CM1 to CM3 will be described. .

アドレス画像においてクラブ用色付マークＣＭ１〜ＣＭ３を自動認識するための二値化処理を行う。なお、二値化処理の対象は本実施形態ではフレーム全体としているが、ゴルファー１１が画像中心付近に撮影されるように限定しておいた場合には、図３に示すように、ゴルフシャフト１３ａが存在すると考えられる領域Ｓのみで二値化処理してもよい。なお、領域Ｓの設定は具体的には、画像の幅をＷ、高さをＨとすると、１／３Ｗ〜２／３Ｗの範囲を領域Ｓの幅とすると共に、１／２Ｈ〜４／５Ｈの範囲を領域Ｓの高さとしている。
二値化処理の方法としては、ＲＧＢ値やＹＩＱ値を用いてもよいが、本実施形態ではクラブ用色付マークＣＭ１〜ＣＭ３の色を最も認識しやすい色相・彩度・明度を利用している。具体的には、フレーム上の各ピクセル毎のＲＧＢ値を取得し、
前記の数式１により求められる刺激和Ｔを用いて以下の数式２の正規化を行う。
なお、ＲＧＢ値は色が２４ビットで表現される場合は各色は０〜２５５までの値となるものである。 A binarization process for automatically recognizing the club colored marks CM1 to CM3 in the address image is performed. In this embodiment, the target of binarization processing is the entire frame. However, when the golfer 11 is limited to be photographed near the center of the image, as shown in FIG. The binarization process may be performed only in the region S where it is considered that exists. Specifically, the region S is set such that the width of the image is W and the height is H, the range of 1/3 W to 2/3 W is the width of the region S, and 1 / 2H to 4 / 5H. Is the height of the region S.
As a binarization method, RGB values or YIQ values may be used, but in the present embodiment, hue, saturation, and lightness that make it easy to recognize the colors of the club colored marks CM1 to CM3 are used. Yes. Specifically, the RGB value for each pixel on the frame is acquired,
The following equation 2 is normalized using the stimulus sum T obtained by the equation 1.
The RGB values are values from 0 to 255 when the color is expressed by 24 bits.

色相θは、以下の数式３および数式４で算出される。
但し、０≦θ₁≦πを用いて、
とする。 The hue θ is calculated by the following formulas 3 and 4.
However, using 0 ≦ θ ₁ ≦ π,
And

彩度Ｓは、以下の数式５で算出される。
The saturation S is calculated by the following formula 5.

明度Ｖは、以下の数式６で算出される。
The brightness V is calculated by the following formula 6.

前記数式３〜６で算出されたピクセルの色相、彩度および明度の値（ピクセル色情報）が所定の条件（基準色情報）を満たさないピクセルは０とし、該条件を満たすピクセルは色付マークＭ１〜Ｍ３と同一の色であるとみなして１とする二値化処理を行い、１のピクセルを順にラベリング処理する。
ここで、色相、彩度および明度の条件としては、例えば、黄色のクラブ用色付マークＭ１、Ｍ３であれば色相θ＝３０〜６０°、彩度Ｓ≧０．５、明度Ｖ≧１００という閾値を設定しており、ピンク色の色付マークＭ２であれば色相θ＝３２０°〜３６０°または０°〜１０°、彩度Ｓ＝０．３〜０．６、明度Ｖ≧８０という閾値を設定することにより該条件を満たすピクセルをマークと同色とみなしている。 Pixels whose hue, saturation, and lightness values (pixel color information) calculated by Equations 3 to 6 do not satisfy a predetermined condition (reference color information) are set to 0, and pixels satisfying the condition are colored marks. A binarization process is performed by assuming that the color is the same as that of M1 to M3, and 1 pixel is sequentially labeled.
Here, as conditions for hue, saturation, and brightness, for example, in the case of yellow club colored marks M1 and M3, hue θ = 30 to 60 °, saturation S ≧ 0.5, and brightness V ≧ 100. If a threshold is set and the pink colored mark M2 is set, the threshold of hue θ = 320 ° to 360 ° or 0 ° to 10 °, saturation S = 0.3 to 0.6, and lightness V ≧ 80. By setting, a pixel satisfying the condition is regarded as the same color as the mark.

ここで、例えばピンク色のクラブ用色付マークＣＭ２は現実には１つしかないが、画像中に関係のないピンク色が存在した場合には２つ以上の領域が抽出される恐れがある。そのような場合を考慮して、予めマークの面積範囲を設定しておき、その設定範囲外の面積を有する領域はクラブ用色付マークＣＭ２ではないと判断し、設定範囲内の面積を有する領域をクラブ用色付マークＣＭ２であると認識する。本実施形態ではクラブ用色付マークＣＭ１〜ＣＭ３として認識する面積範囲は５〜６０若しくは５〜２００ピクセルとしている。 Here, for example, there is actually only one pink club colored mark CM2, but if there is an unrelated pink color in the image, two or more regions may be extracted. In consideration of such a case, a mark area range is set in advance, a region having an area outside the set range is determined not to be the club colored mark CM2, and a region having an area within the set range Is recognized as a club colored mark CM2. In this embodiment, the area range recognized as the club colored marks CM1 to CM3 is 5 to 60 or 5 to 200 pixels.

前記のようにしてクラブ用色付マークＣＭ１〜ＣＭ３と認識したピクセルを各マークＣＭ１〜ＣＭ３のラベリングにより１、２、３とした場合、各数字のピクセルからマーク色情報と重心座標を得る。ここで、マーク色情報とは、領域内の各ピクセルの平均色と、各ピクセルのＲＧＢの最大値・最小値と、その変動幅を含む情報のことである。
以上のような処理を行うことで、ゴルフクラブ１３のシャフト１３ａに付されたクラブ用色付マークＣＭ１〜ＣＭ３を精度良く自動抽出することができる。 When the pixels recognized as club colored marks CM1 to CM3 as described above are set to 1, 2, and 3 by labeling each of the marks CM1 to CM3, the mark color information and the barycentric coordinates are obtained from the pixels of the respective numbers. Here, the mark color information is information including the average color of each pixel in the region, the maximum / minimum RGB values of each pixel, and the fluctuation range thereof.
By performing the above processing, the club colored marks CM1 to CM3 attached to the shaft 13a of the golf club 13 can be automatically extracted with high accuracy.

次に、アドレス画像で自動抽出されたクラブ用色付マークＣＭ１〜ＣＭ３をアドレス画像取得後の２、３枚目の画像について自動追尾する処理を行う。
図４に示すように、クラブ用色付マークＣＭ１〜ＣＭ３には、クラブ用色付マークＣＭ１〜ＣＭ３を中心として四角形の探索範囲Ｓ１〜Ｓ３を設定する。ここで、探索範囲Ｓ１〜Ｓ３とは、クラブ用色付マークＣＭ１〜ＣＭ３の検出処理を行う計算対象となる画像上の範囲のことを言う。探索範囲Ｓ１〜Ｓ３の概念を導入すれば、画像上の探索範囲Ｓ１〜Ｓ３外にクラブ用色付マークＣＭ１〜ＣＭ３と色が近似している箇所があっても、クラブ用色付マークＣＭ１〜ＣＭ３の検出処理を探索範囲Ｓ１〜Ｓ３内しか行わないため誤認識が防止できると共に、フレーム内の全ピクセルを処理対象とする場合に比べ計算時間も大幅に短縮することが可能となる。本実施形態では、探索範囲Ｓ１〜Ｓ３はクラブ用色付マークＣＭ１〜ＣＭ３を中心としてデフォルトで縦横（ＹＸ）範囲を１０×１０ピクセルとしている。なお、画像上では横方向をＸ軸、縦方向をＹ軸としていると共に、画像上の右向きがＸ座標の正方向、下向きがＹ座標の正方向としている。また、前記自動追尾中の探索範囲Ｓ１〜Ｓ３の配置決定は、アドレス画像取得後の２、３枚目の画像においてはシャフト１３ａは殆ど動かないので、１つ前の時刻の画像で自動認識したクラブ用色付マークＣＭ１〜ＣＭ３を中心位置として設定している。 Next, a process of automatically tracking the second and third images after obtaining the address image for the club colored marks CM1 to CM3 automatically extracted from the address image is performed.
As shown in FIG. 4, rectangular search ranges S1 to S3 are set for the club colored marks CM1 to CM3 with the club colored marks CM1 to CM3 as the center. Here, the search ranges S1 to S3 refer to ranges on the image to be calculated for performing the detection processing of the club colored marks CM1 to CM3. If the concept of the search ranges S1 to S3 is introduced, the club colored marks CM1 to CM3 will be used even if there are locations that are similar in color to the club colored marks CM1 to CM3 outside the search ranges S1 to S3 on the image. Since the CM3 detection process is performed only within the search range S1 to S3, erroneous recognition can be prevented, and the calculation time can be greatly shortened as compared to the case where all pixels in the frame are processed. In the present embodiment, the search ranges S1 to S3 default to a vertical and horizontal (YX) range of 10 × 10 pixels with the club colored marks CM1 to CM3 as the center. In the image, the horizontal direction is the X axis and the vertical direction is the Y axis, the right direction on the image is the positive direction of the X coordinate, and the downward direction is the positive direction of the Y coordinate. In addition, the determination of the arrangement of the search ranges S1 to S3 during the automatic tracking is automatically recognized from the image at the previous time because the shaft 13a hardly moves in the second and third images after the acquisition of the address image. Club colored marks CM1 to CM3 are set as center positions.

次いで、色範囲を設定する。
色範囲とは、クラブ用色付マークＣＭ１〜ＣＭ３を認識する際に、画像上の対象ピクセルの色情報がクラブ用色付マークＣＭ１〜ＣＭ３の色（基準色情報）と同一であるとみなす誤差の許容範囲をいい、本実施形態では、上述のアドレス画像で取得されたマーク色情報のＲ（赤）Ｇ（緑）Ｂ（青）のそれぞれについて平均値を中心として最大最小幅の半分の数値範囲を色範囲として設定している。 Next, a color range is set.
The color range is an error that the color information of the target pixel on the image is considered to be the same as the color (reference color information) of the club colored marks CM1 to CM3 when recognizing the club colored marks CM1 to CM3. In this embodiment, each of R (red), G (green), and B (blue) of the mark color information acquired from the above-described address image is a numerical value that is half of the maximum and minimum width centered on the average value. The range is set as the color range.

以下の自動追尾処理は、スウィング中の移動速度の遅いグリップ近くに配されたクラブ用色付マークＣＭ１から順にＣＭ２、ＣＭ３と追尾していくこととする。
まず、探索範囲Ｓ１内の差分ピクセルのＲＧＢそれぞれについて前記色範囲内であるか否かを判定し、色範囲内であるピクセルを色付マークＭ１を表示するピクセルとみなし、その色抽出されたピクセル群の重心位置を取得する。もし、この色範囲を用いた方法により追尾できない場合には、色情報（色相、彩度、明度）を利用して色抽出を行い追尾してもよい。これらの処理を各色付マークＭ１〜Ｍ３の探索範囲Ｓ１〜Ｓ３について行う。
もし、探索範囲内で複数のマーク候補領域が抽出された時には、色付マークＭ１について探索範囲Ｓ１内で背景画像との差分処理を行う。これにより、探索範囲Ｓ１内で背景画像が取り除かれ、後工程での色付マークＭ１の認識の際に、背景画像等に色付マークＭ１と近似した色が存在しても誤認しなくなる。 In the following automatic tracking processing, tracking is performed in order from CM2 and CM3 in order from the club colored mark CM1 arranged near the grip having a slow moving speed during swing.
First, it is determined whether or not each of the difference pixels RGB within the search range S1 is within the color range, and the pixel within the color range is regarded as a pixel displaying the colored mark M1, and the color extracted pixel Get the center of gravity position of the group. If tracking cannot be performed by a method using this color range, color extraction may be performed using color information (hue, saturation, brightness). These processes are performed for the search ranges S1 to S3 of the colored marks M1 to M3.
If a plurality of mark candidate areas are extracted within the search range, the difference between the colored mark M1 and the background image is performed within the search range S1. As a result, the background image is removed within the search range S1, and even when a color similar to the colored mark M1 exists in the background image or the like when the colored mark M1 is recognized in a later process, there is no misidentification.

次に、アドレス画像から４枚目以降のフレームにおける色付マークＣＭ１〜ＣＭ３の探索範囲Ｓ１〜Ｓ３の中心位置の設定方法について説明する。先ず、最もグリップに近いクラブ用色付マークＣＭ１の場合については、例えば、４枚目のフレームに関しては、１枚目（アドレス）−２枚目間の移動ベクトル量Ｖ１と、２枚目−３枚目間の移動ベクトル量Ｖ２とを求めて、その増加量（Ｖ２−Ｖ１）を考慮して３枚目−４枚目間の移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}を予測する。１つ前の時刻の探索範囲Ｓ１中心位置からその移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}だけオフセット移動させた位置を現画像（４枚目）の探索範囲Ｓ２の中心として設定している。（５枚目以降のフレームについても同様の手順） Next, a method for setting the center position of the search ranges S1 to S3 of the colored marks CM1 to CM3 in the fourth and subsequent frames from the address image will be described. First, in the case of the club colored mark CM1 closest to the grip, for example, with respect to the fourth frame, the movement vector amount V1 between the first (address) and the second frame and the second and third frames The movement vector amount V2 between sheets is obtained, and the movement vector amount {V2 + (V2-V1)} between the third and fourth sheets is predicted in consideration of the increase amount (V2-V1). The position shifted by the movement vector amount {V2 + (V2−V1)} from the center position of the search range S1 at the previous time is set as the center of the search range S2 of the current image (fourth image). (Same procedure for the fifth and subsequent frames)

クラブ用色付マークＣＭ２、ＣＭ３の探索範囲Ｓ２、Ｓ３の中心位置については、例えば４枚目のフレームに関しては、前記で位置が決定したクラブ用色付マークＣＭ１を利用して求めた移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}だけ１つ前の時刻の探索範囲Ｓ２、Ｓ３中心位置からオフセットさせると共に、１枚目−２枚目間のシャフト角度Ｄ１と、２枚目−３枚目間のシャフト角度Ｄ２とを求めて、その増加量（Ｄ２−Ｄ１）を考慮して３枚目−４枚目間のシャフト角度{Ｄ２＋（Ｄ２−Ｄ１）}を予測し、４枚目のフレームの色付マークＭ１を回転支点として角度{Ｄ２＋（Ｄ２−Ｄ１）}だけ回転させる。（５枚目以降のフレームについても同様の手順）
このように、オフセット移動と回転移動とを組み合せて探索範囲Ｓ２、Ｓ３の中心位置を決定することで、ダウンスウィングのようなシャフト１３ａの移動が速い場合でも、シャフト位置をかなり正確に予測することができ、探索範囲Ｓ２、Ｓ３の面積を追尾中に増加させる必要がなくなる。なお、図５に示すように、探索範囲Ｓ２、Ｓ３の面積は、２０×２０ピクセルとしている。
もし、探索範囲内で複数のマーク候補領域が抽出された時には、色付マークＭ１について探索範囲Ｓ１内で背景画像との差分処理を行う。これにより、探索範囲Ｓ１内で背景画像が取り除かれ、後工程での色付マークＭ１の認識の際に、背景画像等に色付マークＭ１と近似した色が存在しても誤認しなくなる。 With respect to the center position of the search ranges S2 and S3 of the club colored marks CM2 and CM3, for example, for the fourth frame, the amount of movement vector obtained using the club colored mark CM1 whose position has been determined above. It is offset from the center position of the search range S2, S3 of the previous time by {V2 + (V2-V1)}, and the shaft angle D1 between the first and second sheets and between the second and third sheets The shaft angle D2 is obtained, and the shaft angle {D2 + (D2-D1)} between the third and fourth sheets is predicted in consideration of the increase (D2-D1), and the color of the fourth frame The mark M1 is rotated by an angle {D2 + (D2-D1)} using the rotation mark as a rotation fulcrum. (Same procedure for the fifth and subsequent frames)
Thus, by determining the center position of the search ranges S2 and S3 by combining the offset movement and the rotational movement, the shaft position can be predicted fairly accurately even when the movement of the shaft 13a such as down swing is fast. This eliminates the need to increase the areas of the search ranges S2 and S3 during tracking. As shown in FIG. 5, the areas of the search ranges S2 and S3 are 20 × 20 pixels.
If a plurality of mark candidate areas are extracted within the search range, the difference between the colored mark M1 and the background image is performed within the search range S1. As a result, the background image is removed within the search range S1, and even when a color similar to the colored mark M1 exists in the background image or the like when the colored mark M1 is recognized in a later process, there is no misidentification.

前記方法によってもクラブ用色付マークＣＭ１〜ＣＭ３を追尾できなかった場合は、アドレス画像でクラブ用色付マークＣＭ１〜ＣＭ３を自動抽出した方法と同様にして再二値化処理を実施する。即ち、アドレス画像で決定した色範囲でクラブ用色付マークＣＭ１〜ＣＭ３が発見できない主な理由は、アドレス画像に比べて暗い領域に存在するクラブ用色付マークＣＭ１〜ＣＭ３を追尾しようとすることが考えられるため、クラブ用色付マークＣＭ１〜ＣＭ３の彩度と明度の閾値を小さくする変更をして二値化処理を再実施することとする。 If the club colored marks CM1 to CM3 cannot be tracked even by the above method, rebinarization processing is performed in the same manner as the method of automatically extracting the club colored marks CM1 to CM3 from the address image. That is, the main reason why the club colored marks CM1 to CM3 cannot be found in the color range determined by the address image is to track the club colored marks CM1 to CM3 existing in a darker area than the address image. Therefore, it is assumed that the binarization process is performed again by changing the saturation and brightness thresholds of the club colored marks CM1 to CM3.

これでも追尾できなかった場合には、３つのクラブ用色付マークＣＭ１〜ＣＭ３のうち２つのマークが認識できている場合は該２つのマークに対する位置関係から残りの１つのマークを位置を算出することとする。あるいは、前記方法によってオフセットした探索範囲の中心を現在の時刻のマーク位置と仮にみなしてもよい。
以上のようにして、アドレスからフィニッシュまでのスウィング動作におけるクラブ用色付マークＣＭ１〜ＣＭ３の位置座標データが取得される。 If tracking is still impossible, if two of the three colored marks CM1 to CM3 for the club are recognized, the position of the remaining one mark is calculated from the positional relationship with respect to the two marks. I will do it. Alternatively, the center of the search range offset by the above method may be considered temporarily as the mark position at the current time.
As described above, the position coordinate data of the club colored marks CM1 to CM3 in the swing operation from the address to the finish is acquired.

次に、前記取得されたスウィング中のクラブ用色付マークＣＭ１〜ＣＭ３の座標データに基づいて各チェックポイント画像を抽出する。
（テイクバックシャフト９時画像）
テイクバックシャフト９時画像は、クラブ用色付マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａが水平（９０°）に最も近い画像を選択することで抽出する。あるいは、クラブ用色付マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分が極小になる画像を選択することで抽出してもよい。なお、ここでいう角度はシャフト１３ａが６時の状態を０°として時計回りを正とする。 Next, each checkpoint image is extracted based on the acquired coordinate data of the club colored marks CM1 to CM3 in the swing.
(Takeback shaft 9 o'clock image)
The take-back shaft 9 o'clock image is extracted by calculating the angle of the shaft 13a using two of the club colored marks CM1 to CM3 and selecting the image with the shaft 13a closest to the horizontal (90 °). . Alternatively, when one of the club colored marks CM1 to CM3 is used, it may be extracted by selecting an image in which the X direction component of the mark movement vector is minimized. The angle here is positive when the shaft 13a is at 6 o'clock and 0 °.

（トップ画像）
トップ画像は、各クラブ用色付マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａの角度が最も大きくなった画像を選択することで抽出する。あるいは、クラブ用色付マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分およびＹ方向成分が極小になる画像を選択することで抽出してもよい。 (Top image)
The top image is extracted by calculating the angle of the shaft 13a using two of the club colored marks CM1 to CM3 and selecting the image with the largest angle of the shaft 13a. Alternatively, when one of the club colored marks CM1 to CM3 is used, it may be extracted by selecting an image in which the X direction component and the Y direction component of the mark movement vector are minimized.

（ダウンスウィングシャフト９時画像）
ダウンスウイングシャフト９時画像は、クラブ用色付マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａが水平（９０°）に最も近く、かつ、時刻がトップ画像よりも後である画像を選択することで抽出する。あるいは、クラブ用色付マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ成分が極小になり、かつ、時刻がトップ画像よりも後である画像を選択することで抽出してもよい。 (Image of downswing shaft 9 o'clock)
The 9 o'clock image of the downswing shaft calculates the angle of the shaft 13a using two of the club colored marks CM1 to CM3, the shaft 13a is closest to the horizontal (90 °), and the time is from the top image. Is extracted by selecting an image later. Alternatively, when one of the club colored marks CM1 to CM3 is used, it is extracted by selecting an image in which the X component of the mark movement vector is minimum and the time is later than the top image. May be.

（インパクト画像）
インパクト画像は、クラブ用色付マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａの角度が０°に最も近くなった画像を選択することで抽出する。あるいは、クラブ用色付マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＹ方向成分が極小になる画像を選択することで抽出してもよい。また、インパクト画像は外部トリガー信号を用いて画像抽出を行ったり、インパクト時のヘッドとボールの打球音を利用してインパクト画像を抽出してもよい。 (Impact image)
The impact image is extracted by calculating the angle of the shaft 13a using two of the club colored marks CM1 to CM3 and selecting an image in which the angle of the shaft 13a is closest to 0 °. Alternatively, when one of the club colored marks CM1 to CM3 is used, it may be extracted by selecting an image in which the Y direction component of the mark movement vector is minimized. The impact image may be extracted using an external trigger signal, or the impact image may be extracted using the head and ball hitting sound at the time of impact.

（インパクト前画像）
インパクト前画像は、前記抽出されたインパクト画像より予め設定された所定時間（あるいは所定フレーム数）を巻き戻して得られる画像を選択することで抽出する。 (Image before impact)
The pre-impact image is extracted by selecting an image obtained by rewinding a predetermined time (or a predetermined number of frames) set in advance from the extracted impact image.

（インパクト後画像）
インパクト後画像は、前記抽出されたインパクト画像より予め設定された所定時間（あるいは所定フレーム数）を進めて得られる画像を選択することで抽出する。 (Image after impact)
The post-impact image is extracted by selecting an image obtained by advancing a predetermined time (or a predetermined number of frames) set in advance from the extracted impact image.

（フォローシャフト３時画像）
フォローシャフト３時画像は、クラブ用色付マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａの角度が−９０°に最も近くなった画像を選択することで抽出する。あるいは、クラブ用色付マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分が極小になり、かつ、時刻がインパクト画像より後の画像を選択することで抽出してもよい。 (Follow shaft 3 o'clock image)
The follow shaft 3 o'clock image is extracted by calculating the angle of the shaft 13a using two of the club colored marks CM1 to CM3 and selecting the image in which the angle of the shaft 13a is closest to -90 °. To do. Alternatively, when one of the club colored marks CM1 to CM3 is used, it is extracted by selecting an image in which the X direction component of the mark movement vector is minimum and the time is after the impact image. Also good.

（フィニッシュ画像）
フィニッシュ画像は、クラブ用色付マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａの角度が最も小さくなった画像を選択することで抽出する。あるいは、クラブ用色付マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分およびＹ方向成分が極小になり、かつ、時刻がトップ画像よりも後の画像を選択することで抽出してもよい。 (Finish image)
The finish image is extracted by calculating the angle of the shaft 13a using two of the club colored marks CM1 to CM3 and selecting the image having the smallest angle of the shaft 13a. Alternatively, when one of the club colored marks CM1 to CM3 is used, an X direction component and a Y direction component of the mark movement vector are minimized, and an image whose time is later than the top image is selected. It may be extracted.

次に、テイクバック左腕水平画像、ダウンスウィング左腕水平画像の抽出方法について説明する。
ここで、テイクバック左腕水平画像とは、テイクバック時に左腕の前腕部が水平状態の静止画像である。ダウンスウィング左腕水平画像とは、ダウンスウィング時に左腕の前腕部が水平状態の静止画像である。 Next, a method for extracting the takeback left arm horizontal image and the downswing left arm horizontal image will be described.
Here, the takeback left arm horizontal image is a still image in which the forearm portion of the left arm is in a horizontal state during takeback. The downswing left arm horizontal image is a still image in which the forearm portion of the left arm is in a horizontal state during downswing.

左腕が水平である画像を認識するためには、左腕を含む画像領域であるテンプレートを作成し、テンプレートマッチング処理によりマッチしたテンプレート角度が水平となる画像を左腕水平とする。
以下、静止画像中の左腕を含むテンプレートを作成するためにゴルファー１１の輪郭抽出を行う。 In order to recognize an image in which the left arm is horizontal, a template which is an image region including the left arm is created, and an image in which the template angle matched by the template matching process is horizontal is set as the left arm horizontal.
Hereinafter, the contour of the golfer 11 is extracted in order to create a template including the left arm in the still image.

先ず、クラブ用色付マークＣＭ１〜ＣＭ３の座標から取得されるシャフト角度によりシャフト１３ａが６時状態となる画像を抽出する。グリップに最も近いクラブ用色付マークＣＭ１と次に近いクラブ用色付マークＣＭ２とからマーク間ベクトルを求めてグリップ位置を決定する。具体的には、
（グリップ位置）＝（クラブ用色付マークＣＭ１の位置）−α×（マーク間ベクトル）
によりグリップ位置を算出する。
ここで、αは、クラブ用色付マークＣＭ１とクラブ用色付マークＣＭ２との距離に対するクラブ用色付マークＣＭ１とグリップとの実際の距離の割合を意味しており、本実施形態ではα＝０．５としている。 First, an image in which the shaft 13a is in the 6 o'clock state is extracted based on the shaft angle acquired from the coordinates of the club colored marks CM1 to CM3. The grip position is determined by obtaining an inter-mark vector from the club colored mark CM1 closest to the grip and the next club colored mark CM2 closest to the grip. In particular,
(Grip position) = (position of colored mark CM1 for club) −α × (vector between marks)
To calculate the grip position.
Here, α means the ratio of the actual distance between the club colored mark CM1 and the grip to the distance between the club colored mark CM1 and the club colored mark CM2, and in this embodiment α = 0.5.

次に、シャフト６時画像を背景画像（ゴルファー１１が写っていない画像）で背景差分処理を行ってゴルファー１１のシルエットを抽出する。詳しくは、背景画像でのＲＧＢ値をそれぞれｒ’、ｇ’、ｂ’とし、シャフト６時画像上のピクセルのＲＧＢ値をそれぞれｒ、ｇ、ｂとすると、数式７に示すノルム（対象ピクセルでのｒ、ｇ、ｂとｒ’、ｇ’、ｂ’との差の絶対値の２乗和の平方根）が予め設定した閾値未満であればゴルファー１１のシルエットでないとみなして当該ピクセルを０とし、該閾値以上であればゴルファー１１のシルエットであるとみなして１とする二値化処理を行い、１のピクセルについて順にラベリング処理を行う。なお、本実施形態でのノルムの閾値は４０としている。また、色相、彩度、明度を用いて背景差分処理を行ってもよく、その場合、シルエットであるとみなしたラベリング領域のうち、５０００以上もしくは１００００以上の１つ或いは２つの領域をシルエットとする。
Next, a background difference process is performed on the shaft 6 o'clock image with a background image (an image in which the golfer 11 is not shown) to extract the silhouette of the golfer 11. Specifically, if the RGB values in the background image are r ′, g ′, b ′, and the RGB values of the pixels on the shaft 6 o'clock image are r, g, b, respectively, If the square root of the sum of the squares of the absolute values of the difference between r, g, b and r ′, g ′, b ′ is less than a preset threshold value, it is regarded as not the silhouette of the golfer 11 and the pixel is set to 0. If it is equal to or greater than the threshold, the binarization process is performed assuming that the silhouette of the golf player 11 is 1, and the labeling process is sequentially performed on one pixel. In the present embodiment, the norm threshold is 40. In addition, background difference processing may be performed using hue, saturation, and lightness. In this case, one or two regions of 5000 or more or 10,000 or more of the labeling regions regarded as silhouettes are used as silhouettes. .

図６（Ａ）に示すように、この二値化画像について走査処理を行って、１あるいは２のピクセルに当たったところから輪郭抽出を行う。この輪郭抽出の方法は、上記ラベリングした画像についてフレームの左上のピクセルを始点として右方向へと上から下へ走査処理を行い、１あるいは２のピクセルを探して輪郭抽出を行う。詳しくは、走査処理により初めに（４，７）のピクセルが見つかり、図５（Ｂ）に示すように、このピクセルの直前のピクセルを除いた回りの７つのピクセルを左上のピクセルから時計回りに調べ、最初に（４，７）で見つけたピクセル（１あるいは２）と同じラベルのピクセルを次の境界点とする。この処理を順々に行い、境界点が（４，７）に戻ってきた時点で輪郭抽出を終了する。この抽出された輪郭のままではノイズが残っているので、移動平均処理を輪郭全体に循環して行うことによってスムージングをかけておく。 As shown in FIG. 6A, a scanning process is performed on the binarized image, and contour extraction is performed from the point where it hits one or two pixels. In this contour extraction method, the labeled image is scanned from the top to the bottom in the right direction starting from the upper left pixel of the frame, and the contour is extracted by searching for one or two pixels. Specifically, the pixel of (4, 7) is first found by the scanning process, and as shown in FIG. 5B, the seven pixels around the pixel excluding the pixel immediately before this pixel are clockwise from the upper left pixel. The pixel having the same label as the pixel (1 or 2) first found at (4, 7) is set as the next boundary point. This process is sequentially performed, and the contour extraction is finished when the boundary point returns to (4, 7). Since noise remains in the extracted contour, smoothing is performed by circulating the moving average process over the entire contour.

なお、移動平均処理は以下の数式８で行われる。
The moving average process is performed by the following formula 8.

ここで、ｂｎｄ＿ｐｔ（ｎ）はｎ番目の輪郭の座標で、ｋは計算に利用する前後のピクセル数で、ｂｎｄ＿ｐｔ＿ｉｄｏ（ｎ）は移動平均後の輪郭の座標である。
ただし、ゴルファー１１の輪郭が１番目からｂｎｄ＿ｎｕｍ番目（輪郭番号の最後）まで存在する場合において、移動平均を行うピクセルをｎ番目とすると、ｎ＜ｋである場合は、輪郭番号の最後の方であるｂｎｄ＿ｎｕｍ−（ｋ−ｎ）番目〜ｂｎｄ＿ｎｕｍ番目のピクセルを利用して移動平均を行う。また、ｂｎｄ＿ｎｕｍ−ｎ＜ｋである場合は、輪郭番号の最初の方である１番目〜ｋ−（ｂｎｄ＿ｎｕｍ−ｎ）番目のピクセルを利用して移動平均を行っている。 Here, bnd_pt (n) is the coordinate of the nth contour, k is the number of pixels before and after the calculation, and bnd_pt_ido (n) is the coordinate of the contour after moving average.
However, in the case where the contour of the golfer 11 exists from the first to the bnd_num-th (end of the contour number), if the pixel to be subjected to the moving average is n-th, if n <k, A moving average is performed using a certain bnd_num- (kn) -th to bnd_num-th pixel. When bnd_num-n <k, the moving average is performed using the first to k- (bnd_num-n) -th pixels that are the first in the contour number.

次いで、スムージング後の輪郭データから曲率を計算してゴルファー１１の左肩位置を取得する。つまり、図７に示すような輪郭データを含む画像の上から走査して初めに現れる輪郭２１の大きな曲率部分を頭とし、次に現れる小さな曲率部分を首とし、その次に現れる大きな曲率部分を肩と認識する。ここで、服のしわ等を考慮して、前後±５のピクセルでそれぞれ曲率を計算してその平均値をそれらの中心のピクセルの曲率とするとよい。 Next, the curvature is calculated from the smoothed contour data, and the left shoulder position of the golfer 11 is obtained. That is, the large curvature portion of the contour 21 that appears first when scanning from the top of the image including the contour data as shown in FIG. 7 is used as the head, the small curvature portion that appears next as the neck, and the large curvature portion that appears next. Recognize it as a shoulder. Here, taking into account wrinkles of clothes and the like, it is preferable to calculate the curvature of each of ± 5 pixels before and after and calculate the average value as the curvature of the center pixel.

以下、輪郭の曲率の計算方法について説明する。
対象となる輪郭の円弧の長さをＳ、角度をθとすると、曲率Ｃは以下の数式９で表される。
Hereinafter, a method for calculating the curvature of the contour will be described.
If the length of the arc of the target contour is S and the angle is θ, the curvature C is expressed by the following formula 9.

この数式９は、曲率を求めたいピクセルと該ピクセルの隣接点だけで計算すると、値の変動が大きく正しい値が得られないので、曲率を求めたいピクセルの両側ｋ個の点列を含めて以下の数式１０により計算する方法が用いられる。
Since this equation 9 is calculated only with the pixel for which the curvature is to be obtained and the adjacent points of the pixel, the value fluctuates greatly and a correct value cannot be obtained. Therefore, including the k point sequences on both sides of the pixel for which the curvature is to be obtained The method of calculating by the following formula 10 is used.

なお、数式１０は、数式９におけるＳを省略して簡素化している。本実施形態では、さらに簡単のため、図９に示すように、点列の両端を用いて以下の数式１１で曲率Ｃを算出している。
Note that Equation 10 is simplified by omitting S in Equation 9. In this embodiment, for the sake of simplicity, as shown in FIG. 9, the curvature C is calculated by the following formula 11 using both ends of the point sequence.

（テイクバック左腕水平画像）
図８（Ａ）に示すように、前記のようにして抽出された左肩２２とグリップ２３との間の領域において長方形のテンプレートＴを設定し、該テンプレートＴの長辺の長さＬ１は肩とグリップの間の距離の半分とし、短辺の長さＬ２は腕がテンプレートＴの中に入る程度の長さ（本実施形態では２０ピクセル）としている。 (Takeback left arm horizontal image)
As shown in FIG. 8A, a rectangular template T is set in the region between the left shoulder 22 and the grip 23 extracted as described above, and the length L1 of the long side of the template T is set to the shoulder. The distance between the grips is half of the distance, and the short side length L2 is set to a length that allows the arm to enter the template T (20 pixels in this embodiment).

次の時刻の画像を読み込んでグリップ位置を取得し、グリップ位置の移動ベクトルと同じように前フレームのテンプレートＴを平行移動させる。次いで、図８（Ｂ）に示すように、テンプレートＴをグリップ位置を支点として時計回りに１０°まで１°刻みで回転させて最もマッチングしたテンプレートの角度を計算し、テンプレート角度が９０°（水平）に最も近い画像をテイクバック左腕水平画像であるとみなして抽出する。さらに、テンプレートの回転に並進を加えてマッチング処理を行ってもよい。 The image at the next time is read to acquire the grip position, and the template T of the previous frame is translated in the same manner as the grip position movement vector. Next, as shown in FIG. 8B, the template T is rotated clockwise in increments of 1 ° up to 10 ° with the grip position as a fulcrum, and the angle of the most matched template is calculated, and the template angle is 90 ° (horizontal The image closest to) is extracted as a takeback left arm horizontal image. Further, the matching process may be performed by adding translation to the rotation of the template.

なお、前記テンプレートマッチング処理は、テンプレートＴ内のピクセルの色情報であるＲＧＢ値を以下の数式１２により輝度Ｙに変換して評価する。（なお、輝度Ｙで評価してもよいが、ＲＧＢのノルム（数式７を参照）を用いても構わない。）
前記評価は、以下の数式１３で表される画素値の差の絶対値の和（Sum of Absolute Difference：ＳＡＤ）が用いられる。 In the template matching process, the RGB value, which is the color information of the pixels in the template T, is converted into the luminance Y by the following formula 12 and evaluated. (Although evaluation may be based on luminance Y, an RGB norm (see Equation 7) may be used.)
For the evaluation, the sum of absolute values (Sum of Absolute Difference: SAD) of pixel value differences expressed by the following Equation 13 is used.

ここで、ｔは現在のフレーム、ｔ−１は１コマ前のフレーム、（ｐ，ｑ）は平行移動を行う範囲、（ｉ₀，ｊ₀）はグリップ位置、ｍはテンプレートＴの長辺のピクセル数、ｎはテンプレートＴの短辺のピクセル数、θはテンプレートＴの回転角度、αは１コマ前に求めたテンプレート角度、ｇ_t（ｘ，ｙ，θ）は座標（ｘ，ｙ）でテンプレート角度がθにおけるピクセルの輝度Ｙ（あるいはＲＧＢのノムル）を表す関数である。 Here, t is the current frame, t-1 is the frame one frame before, (p, q) is the range for translation, (i ₀ , j ₀ ) is the grip position, and m is the long side of the template T. The number of pixels, n is the number of pixels on the short side of the template T, θ is the rotation angle of the template T, α is the template angle obtained one frame before, and g _t (x, y, θ) is the coordinate (x, y) This is a function that represents the luminance Y (or RGB nomels) of a pixel at a template angle θ.

テンプレートＴの位置・角度（ｐ，ｑ，θ）を前記条件のもと変化させてＳ（ｐ，ｑ，θ）を計算し、この値が最小となる位置・角度で最もマッチングしたとみなすこととしている。このマッチングした際の（ｐ，ｑ，θ）のθ値が９０°に最も近くなる画像をテイクバック左腕水平画像として抽出する。 The position / angle (p, q, θ) of the template T is changed under the above conditions to calculate S (p, q, θ), and it is considered that the best matching is achieved at the position / angle at which this value is minimum. It is said. An image in which the θ value of (p, q, θ) at the time of matching is closest to 90 ° is extracted as a takeback left arm horizontal image.

（ダウンスウィング左腕水平画像）
ダウンスウィング９時画像は、前記取得されたテイクバック左腕水平画像での左腕を含むテンプレートを利用して、そのテンプレートと最もマッチングするトップ画像以降の画像をダウンスウィング左腕水平画像として抽出する。
ここで、スウィング画像の順番を考慮すればトップ画像の後にダウンスウィング左腕水平画像が抽出されること分かっているので、トップ画像からテンプレートマッチング処理を開始してもよいが、それでは時間がかかったり、あるいは、トップで腕が全部見えるとは限らないので誤認識する可能性もある。
そこで、本実施形態では、先にダウンスウィングシャフト９時画像を抽出しておいて、その後、時刻を戻しながらテンプレートマッチングを行うことによりダウンスウィング左腕水平画像を抽出することとして計算時間の短縮化と誤認識の防止を図っている。 (Down swing left arm horizontal image)
For the down swing 9 o'clock image, a template including the left arm in the acquired take back left arm horizontal image is used, and the image after the top image that best matches the template is extracted as the down swing left arm horizontal image.
Here, considering the order of the swing images, it is known that the down swing left arm horizontal image is extracted after the top image, so the template matching process may be started from the top image, but it takes time, Or, it is not always possible to see all the arms at the top, so there is a possibility of misrecognition.
Therefore, in this embodiment, the downswing shaft 9 o'clock image is extracted first, and then the downswing left arm horizontal image is extracted by performing template matching while returning the time, thereby reducing calculation time. It prevents misrecognition.

（テイクバックシャフト８時画像）
次に、テイクバックシャフト８時画像の抽出方法について説明する。なお、テイクバックシャフト８時画像とは、テイクバック時にシャフトを時計の針に見立てた場合に８時位置にある状態の静止画像である。
上述したシャフト６時画像でのゴルファー１１のシルエットを抽出することで、体の幅（スタンス幅）を取得しておき、右足側端を通過する垂線とクラブ用色付マークＭ１が交差する時刻の画像をテイクバックシャフト８時画像として選択して抽出する。 (Takeback shaft 8 o'clock image)
Next, a method for extracting the take-back shaft 8 o'clock image will be described. The takeback shaft 8 o'clock image is a still image in a state of being at the 8 o'clock position when the shaft is regarded as a clock hand during takeback.
By extracting the silhouette of the golfer 11 in the above-mentioned shaft 6 o'clock image, the width of the body (stance width) is obtained, and the time when the perpendicular line passing through the right foot side end and the club colored mark M1 intersect is obtained. The image is selected and extracted as the takeback shaft 8 o'clock image.

以上のようにして図１０に示すような正面のチェックポイント画像（アドレス画像、テイクバックシャフト８時画像、テイクバックシャフト９時画像、テイクバック左腕水平画像、トップ画像、ダウンスウィング左腕水平画像、ダウンスウィングシャフト９時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像）を抽出することができ、かつ、カラーＣＣＤカメラ１４、１５は互いに撮影タイミングを同期させているので、正面のチェックポイント画像と同時刻のものを選らぶことで、図１１に示すような飛球線後方（側面）のチェックポイント画像を抽出することができる。
以下、チェックポイント画像の夫々について、ゴルファー１１のスウィング診断に必要な注目点の位置座標の取得を行う。 As described above, the front checkpoint image as shown in FIG. 10 (address image, takeback shaft 8 o'clock image, takeback shaft 9 o'clock image, takeback left arm horizontal image, top image, down swing left arm horizontal image, down Swing shaft 9 o'clock image, pre-impact image, impact image, post-impact image, follow shaft 3 o'clock image, and finish image) can be extracted, and the color CCD cameras 14 and 15 synchronize the photographing timing with each other. Therefore, by selecting a checkpoint image at the same time as the front checkpoint image, a checkpoint image behind the flying ball line (side surface) as shown in FIG. 11 can be extracted.
Hereinafter, for each of the checkpoint images, the position coordinates of the attention point necessary for the swing diagnosis of the golfer 11 are acquired.

各チェックポイント画像についてシルエット抽出を行い、図１２に示すようにゴルファー１１の輪郭Ｒを抽出する。この輪郭Ｒについて曲率を取得すると共に、図１３に示すように輪郭Ｒにおける直線部ＳＴの取得を行う（Ｓ１２）。なお、シルエット・輪郭・曲率の取得方法は上述した通りである。また、直線部ＳＴの抽出は、取得された輪郭Ｒのうち曲率が−１０°〜１０°の範囲内のピクセルが５ピクセル以上連続している箇所を直線部ＳＴとしている。 Silhouette extraction is performed for each checkpoint image, and the contour R of the golfer 11 is extracted as shown in FIG. A curvature is acquired for the contour R, and a straight line portion ST in the contour R is acquired as shown in FIG. 13 (S12). The method for acquiring the silhouette / contour / curvature is as described above. Further, in the extraction of the straight line portion ST, the straight line portion ST is a portion where the pixels having a curvature within a range of −10 ° to 10 ° in the acquired contour R are continuous by 5 pixels or more.

次に、探索範囲Ｓを用いてゴルファー１１が着用している計測用服１２の色付マークＭ１〜Ｍ７の座標位置を認識することにより、ゴルファー１１の注目点の位置座標を取得する（Ｓ１３）。
例えば、アドレス画像（正面）の右肩の抽出方法は、輪郭Ｒの曲率を上端（頭部）から反時計回りに調べ、曲率が極値となるピクセルを右首と認識し、図１４に示すように、この右首を探索範囲Ｓの端部起点としてＹ方向に−４０ピクセル、Ｘ方向に＋４０ピクセルの範囲を探索範囲Ｓを決定している。
この探索範囲Ｓ内において背景画像との差分処理を行い、探索範囲Ｓ内の差分ピクセルのＲＧＢそれぞれについて、右肩の色付マークＭ４（青）あるいはＭ５（赤）の色範囲内であるか否かを判定し、色範囲内であるピクセルを色付マークＭ４あるいはＭ５を表示するピクセルとみなして色抽出し、その重心位置座標を取得する。 Next, the position coordinates of the attention point of the golfer 11 are acquired by recognizing the coordinate positions of the colored marks M1 to M7 of the measurement clothes 12 worn by the golfer 11 using the search range S (S13). .
For example, in the method of extracting the right shoulder of the address image (front), the curvature of the contour R is examined counterclockwise from the upper end (head), and the pixel having the extreme curvature is recognized as the right neck, as shown in FIG. As described above, the search range S is determined by using the right neck as an end portion starting point of the search range S and determining a range of −40 pixels in the Y direction and +40 pixels in the X direction.
Difference processing with the background image is performed within the search range S, and whether or not each of the difference pixels RGB within the search range S is within the color range of the colored mark M4 (blue) or M5 (red) on the right shoulder. The pixel within the color range is regarded as a pixel displaying the colored mark M4 or M5, and color extraction is performed to obtain the barycentric position coordinate.

この際、各色付マークＭ１〜Ｍ７の色範囲は表１のような条件としており、該条件を満たすピクセルを色付マークＭ１〜Ｍ７と同色とみなしている。
At this time, the color ranges of the colored marks M1 to M7 are set as shown in Table 1, and pixels satisfying the conditions are regarded as the same color as the colored marks M1 to M7.

なお、予めマークの面積範囲を設定しておき、その設定範囲外の面積を有する領域は色付マークＭ１〜Ｍ７ではないと判断し、設定範囲内の面積を有する領域を色付マークＭ１〜Ｍ７であると認識するようにして認識精度を向上させている。本実施形態では色付マークＭ１〜Ｍ７として認識する面積範囲は５〜６０ピクセルとしている。 It should be noted that the area range of the mark is set in advance, the area having an area outside the setting range is determined not to be the colored marks M1 to M7, and the area having the area within the setting range is determined as the colored marks M1 to M7. Recognition accuracy is improved. In this embodiment, the area range recognized as the colored marks M1 to M7 is 5 to 60 pixels.

次に、色付マークＭ１〜Ｍ７が隠れたり、影になったりすることで前記探索範囲Ｓを用いた色付マークＭ１〜Ｍ７の認識が失敗した場合、あるいは、色付マークＭ１〜Ｍ７の存在しない注目点を認識したい場合等には、ゴルファー１１の輪郭情報（輪郭Ｒの座標等）又は輪郭Ｒの曲率を用いて、注目点の位置座標を抽出する（Ｓ１４）。 Next, when the colored marks M1 to M7 are hidden or become shadowed and the recognition of the colored marks M1 to M7 using the search range S fails, or the colored marks M1 to M7 are present. When it is desired to recognize the attention point that is not to be recognized, the position coordinates of the attention point are extracted using the contour information (such as the coordinates of the contour R) of the golfer 11 or the curvature of the contour R (S14).

例えば、図１５に示すように、アドレス画像およびインパクト画像（側面）での頭２４の抽出方法は、輪郭Ｒの輪郭抽出の起点、つまり、輪郭Ｒを構成するピクセルのうちＹ座標が最小のピクセルを頭２４として抽出する。また首Ｋの抽出方法は、頭２４から輪郭Ｒに沿ってピクセルの曲率を調べていき、曲率が極大値となる点Ｂ１、Ｂ２の中点を首Ｋとして抽出する。 For example, as shown in FIG. 15, the extraction method of the head 24 in the address image and the impact image (side surface) is the origin of contour extraction of the contour R, that is, the pixel having the smallest Y coordinate among the pixels constituting the contour R. Is extracted as head 24. Further, in the neck K extraction method, the curvature of the pixel is examined along the contour R from the head 24, and the midpoint of the points B1 and B2 at which the curvature becomes the maximum value is extracted as the neck K.

また、図１６に示すようにアドレス画像およびインパクト画像（側面）での右足先２５の抽出方法は、ゴルファー１１の輪郭Ｒの最下点（Ｙ座標最大値）から反時計回りに調べて、Ｘ座標が極大になるピクセルを抽出して右足先２５とする。
右足首２６の抽出方法は、右足先２５から輪郭の反時計回りに調べて、Ｘ座標が極小となるピクセルＰ１を抽出し、該ピクセルＰ１とＹ座標が同一である輪郭Ｒ上の別のピクセルＰ２を求め、ピクセルＰ１の座標とピクセルＰ２の座標との平均を右足首２６の座標とする。
左足先２７の抽出方法は、ピクセルＰ１から輪郭Ｒ上を反時計回りに調べて、Ｘ座標が極大となるピクセルを左足先２７とする。 Further, as shown in FIG. 16, the method of extracting the right foot tip 25 in the address image and the impact image (side surface) is performed by examining counterclockwise from the lowest point (Y coordinate maximum value) of the contour R of the golfer 11 The pixel having the maximum coordinate is extracted and set as the right foot 25.
The method for extracting the right ankle 26 is to examine the counterclockwise direction of the contour from the right foot tip 25, extract the pixel P1 having the minimum X coordinate, and another pixel on the contour R having the same Y coordinate as the pixel P1. P2 is obtained, and the average of the coordinates of the pixel P1 and the coordinates of the pixel P2 is set as the coordinates of the right ankle 26.
In the method of extracting the left foot tip 27, the contour R is examined counterclockwise from the pixel P1, and the pixel having the maximum X coordinate is set as the left foot tip 27.

次に、色付マークＭ１〜Ｍ７や輪郭情報又は曲率による注目点の認識が失敗した場合、あるいは、色付マークＭ１〜Ｍ７の存在しない注目点を認識したい場合、若しくは、輪郭Ｒの曲率による認識が難しい場合等には、ゴルファー１１の輪郭Ｒ上で抽出された直線部ＳＴを用いて、注目点の位置座標を抽出する（Ｓ１５）。 Next, when the recognition of the attention point by the colored marks M1 to M7, the contour information or the curvature fails, or when it is desired to recognize the attention point where the colored marks M1 to M7 do not exist, or the recognition by the curvature of the contour R When it is difficult, the position coordinates of the target point are extracted using the straight line portion ST extracted on the contour R of the golfer 11 (S15).

例えば、図１７に示すように、アドレス画像およびインパクト画像（側面）での右膝２８の抽出方法は、輪郭Ｒの右膝２８が存在すると考えられる領域の上下の直線部ＳＴ１、ＳＴ２の夫々の延長線が交差する位置のピクセルを右膝２８の位置座標として特定している。詳しくは、輪郭Ｒの高さの下から３０％〜４０％に仮膝領域を想定し、仮膝領域内に直線部ＳＴ１の下端および直線部ＳＴ２の上端が存在するかを調べる。この際、複数の直線部が見つかった場合には仮膝領域に近い直線部を選択する。このようにして得られた２つの直線部ＳＴ１、ＳＴ２の延長線の交点もしくはＹ座標と輪郭Ｒが一致する点のうちＸ座標が最大の値を右膝２８とする。なお、膝が曲がっていない等の理由により直線部ＳＴ１、ＳＴ２が見つからない場合には、前記仮膝領域内の輪郭ＲのＸ座標が最大のピクセルを右膝とする。 For example, as shown in FIG. 17, the extraction method of the right knee 28 in the address image and the impact image (side surface) is based on each of the straight portions ST1 and ST2 above and below the region where the right knee 28 of the contour R is considered to exist. The pixel at the position where the extension lines intersect is specified as the position coordinate of the right knee 28. Specifically, the provisional knee region is assumed to be 30% to 40% from the bottom of the height of the contour R, and it is examined whether the lower end of the straight line portion ST1 and the upper end of the straight line portion ST2 exist in the temporary knee region. At this time, if a plurality of straight portions are found, the straight portion close to the provisional knee region is selected. The value of the maximum value of the X coordinate among the intersection of the extension lines of the two straight portions ST1 and ST2 obtained in this way or the point where the Y coordinate and the contour R coincide is defined as the right knee 28. If the straight portions ST1 and ST2 are not found due to reasons such as the knee not being bent, the pixel having the maximum X coordinate of the contour R in the provisional knee region is set as the right knee.

なお、画像上では上述した通り横方向をＸ軸、縦方向をＹ軸としていると共に、画像上の右向きがＸ座標の正方向、下向きがＹ座標の正方向としている。また、角度は、マイナスＸ方向を基点として時計回りに正角度、反時計回りに負角度としている。
また、図１８に示すように、トップ画像（側面）での手首２９の抽出方法は、まずゴルファー１１のシルエットＳの初期点Ｉ（画像左上のピクセルから順に左→右、上→下に走査した場合に見つかる最初のピクセル）を取得し、この初期点ＩのＸ座標がテイクバック左腕水平画像での後述する方法で取得された後首ＡのＸ座標よりも小さいかどうかを判定する。小さい場合には、初期点Ｉを仮手首として初期点Ｉを中心として、傾きが９０°〜１８０°となる直線部ＳＴ３と、傾きが−９０°〜−１８０°となる直線部ＳＴ４を抽出し、直線部ＳＴ３と直線部ＳＴ４との交点を手首２９とする。これで直線部が抽出できなかった場合には初期点Ｉを手首とする。
一方、初期点ＩのＸ座標が後首ＡのＸ座標より大きい場合には、図１９に示すように、後述する肌色抽出を行ってゴルファー１１の顔Ｈ１を取得後、手の肌色抽出を実施し、手の肌色領域Ｈ２の中心を手首とする。 In the image, as described above, the horizontal direction is the X axis and the vertical direction is the Y axis, the right direction on the image is the positive direction of the X coordinate, and the downward direction is the positive direction of the Y coordinate. The angle is a positive angle clockwise from the minus X direction and a negative angle counterclockwise.
As shown in FIG. 18, the method of extracting the wrist 29 in the top image (side surface) is to first scan the initial point I of the silhouette S of the golfer 11 (from left to right and up to down in order from the pixel at the top left of the image). The first pixel found in this case is acquired, and it is determined whether or not the X coordinate of the initial point I is smaller than the X coordinate of the back neck A acquired by the method described later in the takeback left arm horizontal image. If it is small, a straight line portion ST3 having an inclination of 90 ° to 180 ° and a straight line portion ST4 having an inclination of −90 ° to −180 ° with the initial point I as a temporary wrist and the initial point I as a center are extracted. The intersection of the straight line part ST3 and the straight line part ST4 is defined as a wrist 29. If the straight line portion cannot be extracted, the initial point I is set as the wrist.
On the other hand, when the X coordinate of the initial point I is larger than the X coordinate of the back neck A, as shown in FIG. 19, the skin color extraction described later is performed to obtain the face H1 of the golfer 11, and then the skin color of the hand is extracted. The center of the skin color region H2 of the hand is the wrist.

次に、図１のフローチャートには示していないが、トップ画像（側面）における右膝のように、色付マークが存在せず、かつ、輪郭Ｒよりも内側に存在するため輪郭Ｒを用いた特定が困難である場合には、特別に、画像上でのピクセルの明るさの変化を基にエッジの抽出を行い、ゴルファー１１の体のライン（輪郭内側を含む）を取得して注目点位置を認識することとする。
以下、具体的にトップ画像（側面）における右膝の位置座標の抽出の手順を説明する。エッジ抽出の基本的な流れは、エッジ強度画像の作成→方向ラベリング画像の作成→非極大値抑制ラベリング画像の作成を行う。 Next, although not shown in the flowchart of FIG. 1, the contour R is used because the colored mark does not exist and exists inside the contour R like the right knee in the top image (side surface). When it is difficult to specify, the edge is extracted based on the change in the brightness of the pixel on the image, and the body line (including the inside of the contour) of the golfer 11 is acquired to obtain the position of the point of interest. Will be recognized.
The procedure for extracting the position coordinates of the right knee in the top image (side surface) will be specifically described below. The basic flow of edge extraction is creation of an edge intensity image → creation of a direction labeling image → creation of a non-maximum value suppression labeling image.

先ず、図２０に示すようなエッジ強度画像の作成を行う。
トップ画像（側面）からＳｏｂｅｌオペレータを利用してエッジ強度を抽出する。
ここで、Ｓｏｂｅｌオペレータとは、画像上で明るさが急激に変化しているところ（＝エッジ）を取得するために、中心点の回りの明るさに重み付けをして、明るさの変化を近似的に求める手法のことであり、以下に、カラー画像のＲＧＢそれぞれの値を利用した計算を示す。 First, an edge strength image as shown in FIG. 20 is created.
Edge strength is extracted from the top image (side surface) using the Sobel operator.
Here, the Sobel operator approximates the change in brightness by weighting the brightness around the center point in order to obtain the place where the brightness changes abruptly (= edge) on the image. In the following, calculation using the RGB values of the color image is shown.

（１）カラー画像のＸ方向のソーベル強度
ここで、図２３に示すように、現在の注目ピクセルがＥとしてその周囲の８つのピクセルをＡ〜Ｄ、Ｆ〜Ｉとした場合において、ArはＡのピクセルのＲ（赤）値、AgはＡのピクセルのＧ（緑）値、AbはＡのピクセルのＢ（青）値を意味している。なお、Br、Bg、Bb、〜Ir、Ig、Ibについても同様である。また、各変数の係数は夫々の重みづけを意味している。
また、ソーベル強度の方向は、Rx＋Gx＋Bx＞０のときsign＝１とし、Rx＋Gx＋Bx＜０のときsign＝−１とする。
Ｘ方向のソーベル強度Dxは
（２）カラー画像のＹ方向のソーベル強度
（ソーベル強度の方向は、Ry＋Gy＋By＞０のときsign ＝１とし、Ry＋Gy＋By＜０のときsign＝−１とする。）
Ｙ方向のソーベル強度Dyは
（３）カラー画像のソーベル強度
よって、カラー画像のソーベル強度（エッジ強度）DDは
で求められる。このDDが閾値（本実施形態では１０）より大きいピクセルをソーベル強度（エッジ強度）すると共に閾値以下を０とし、図２０に示すように０〜２５５の２５６諧調のソーベル強度でエッジ表示したエッジ強度画像が得られる。 (1) Sobel intensity in the X direction of a color image
Here, as shown in FIG. 23, when the current pixel of interest is E and the eight surrounding pixels are A to D and F to I, Ar is the R (red) value of the A pixel, and Ag is The G (green) value of the A pixel and Ab means the B (blue) value of the A pixel. The same applies to Br, Bg, Bb, to Ir, Ig, and Ib. Moreover, the coefficient of each variable means each weighting.
The direction of the Sobel intensity is sign = 1 when Rx + Gx + Bx> 0, and sign = −1 when Rx + Gx + Bx <0.
Sobel strength Dx in the X direction is
(2) Sobel intensity in the Y direction of a color image
(The direction of Sobel intensity is sign = 1 when Ry + Gy + By> 0, and sign = −1 when Ry + Gy + By <0.)
Sobel strength Dy in the Y direction is
(3) Sobel strength of color image Sobel strength (edge strength) DD of color image is
Is required. Edge strength of pixels whose DD is larger than a threshold value (10 in the present embodiment) with Sobel intensity (edge intensity) and 0 or less below the threshold value and edge-displayed with 256-tone sobel intensity of 0 to 255 as shown in FIG. An image is obtained.

次に、各方向のエッジ強度を用いて図２１に示すような方向ラベリング画像の作成を行う。
方向は以下の４方向に分類する。
tangent＝dy／dxとした場合に（dxはＸ方向のソーベル強度、dyはＹ方向のソーベル強度である）、
tangent＜−tan(３／８π)のとき「３」とラベリングして緑色で表示し、
−tan(３／８π)≦tangent＜−tan(１／８π)のとき「４」とラベリングして赤色で表示し、
−tan(１／８π)≦tangent＜tan(１／８π)のとき「１」とラベリングして白色で表示し、
tangent＜tan(３／８π)のとき「２」とラベリングして青色で表示し、
上記以外の場合は「３」とラベリングして緑色で表示し、図１８に示す方向ラベリング画像が得られる。 Next, a direction labeling image as shown in FIG. 21 is created using the edge strength in each direction.
The direction is classified into the following four directions.
When tangent = dy / dx (dx is the Sobel intensity in the X direction and dy is the Sobel intensity in the Y direction)
When tangent <-tan (3 / 8π), it is labeled “3” and displayed in green.
When -tan (3 / 8π) ≦ tangent <−tan (1 / 8π), label with “4” and display in red,
When -tan (1 / 8π) ≦ tangent <tan (1 / 8π), label with “1” and display in white,
When tangent <tan (3 / 8π), label with “2” and display in blue,
In cases other than the above, “3” is labeled and displayed in green, and the direction labeling image shown in FIG. 18 is obtained.

次に、上記したエッジ強度画像と方向ラベリング画像とを利用して図２２に示すような非極大値抑制ラベリング画像の作成を行う。
非極大抑制画像とは、上記取得したエッジ強度と明るさの変化方向を利用し、強度が極大になっている箇所をエッジとして抽出した画像のことである。
非極大画像を4つの方向に分類するために、
（１）横方向（Ｘ方向）について中心ピクセルの前後と中心ピクセルのソーベル強度のうち、中心ピクセルの強度が最も大きい場合は、極大位置とみなす（白色）。
（２）斜め方向（左上・右下方向）について中心ピクセルの前後と中心ピクセルのソーベル強度のうち、中心ピクセルの強度が最も大きい場合は、極大位置とみなす（赤色）。
（３）縦方向（Ｙ方向）について中心ピクセルの前後と中心ピクセルのソーベル強度のうち、中心ピクセルの強度が最も大きい場合は、極大位置とみなす（緑色）
（４）斜め方向（左下・右上方向）について中心ピクセルの前後と中心ピクセルのソーベル強度のうち、中心ピクセルの強度が最も大きい場合は、極大位置とみなす（青色）。
以上のようにして図２２に示すエッジ抽出された非極大値抑制ラベリング画像を取得している。
最終的に右膝の位置座標の取得は、上述したように輪郭Ｒの直線ＳＴ１、ＳＴ２により取得された左膝の高さを通る水平線と、非極大値抑制ラベリング画像のラベルが「１」の部分（白色）との交点を右膝としている。 Next, a non-maximum value suppression labeling image as shown in FIG. 22 is created using the edge intensity image and the direction labeling image.
The non-maximum suppression image is an image obtained by extracting a portion where the intensity is maximum as an edge using the acquired edge intensity and the change direction of brightness.
To classify non-maximal images into four directions:
(1) Regarding the horizontal direction (X direction), when the intensity of the central pixel is the highest among the front and rear of the central pixel and the Sobel intensity of the central pixel, it is regarded as the maximum position (white).
(2) Regarding the diagonal direction (upper left / lower right direction), when the intensity of the central pixel is the highest among the front and rear of the central pixel and the Sobel intensity of the central pixel, it is regarded as the maximum position (red).
(3) Regarding the longitudinal direction (Y direction), if the intensity of the central pixel is the highest among the front and rear of the central pixel and the Sobel intensity of the central pixel, it is regarded as the local maximum position (green)
(4) Regarding the diagonal direction (lower left / upper right direction), when the intensity of the central pixel is the highest among the front and rear of the central pixel and the Sobel intensity of the central pixel, it is regarded as the maximum position (blue).
As described above, the edge-extracted non-maximum value suppression labeling image shown in FIG. 22 is acquired.
Finally, the position coordinates of the right knee are acquired when the label of the horizontal line passing through the height of the left knee acquired by the straight lines ST1 and ST2 of the contour R and the non-maximum value suppression labeling image is “1” as described above. The intersection with the part (white) is the right knee.

次に、色付マークＭ１〜Ｍ７や輪郭情報や曲率やエッジ抽出による注目点の認識が困難である場合、あるいは、色付マークＭ１〜Ｍ７の存在しない注目点を認識したい場合等には、ゴルファー１１のシルエット情報を用いて、注目点の位置座標を抽出する（Ｓ１６）。 Next, when it is difficult to recognize a point of interest by coloring marks M1 to M7, contour information, curvature, or edge extraction, or when it is desired to recognize a point of interest where no colored marks M1 to M7 exist, a golfer The position coordinates of the target point are extracted using the 11 silhouette information (S16).

一例として、図２４に示すように、アドレス画像（側面）における体とグリップとの距離であるグリップ幅Ｗを求める方法は、上述したようにシャフト１３ａに付された２つのクラブ用色付マークＣＭ１、ＣＭ２の位置を通過するマーク間ベクトルからグリップ位置３０を求めると共に、グリップ位置３０とＹ座標が同一である輪郭Ｒ上のピクセルＰ３を求める。但し、ピクセルＰ３のＸ座標は、右足先のＸ座標よりも小さいことを条件とする。このグリップ位置３０とピクセルＰ３との距離をグリップ幅Ｗとする。 As an example, as shown in FIG. 24, the method for obtaining the grip width W, which is the distance between the body and the grip in the address image (side surface), is the two club colored marks CM1 attached to the shaft 13a as described above. The grip position 30 is obtained from the inter-mark vector passing through the position of CM2, and the pixel P3 on the contour R having the same Y coordinate as the grip position 30 is obtained. However, it is a condition that the X coordinate of the pixel P3 is smaller than the X coordinate of the right foot tip. A distance between the grip position 30 and the pixel P3 is defined as a grip width W.

上記取得されたチェックポイント画像におけるゴルファー１１の注目点の位置座標は、コンピュータ１６のメモリに記憶保持される（Ｓ１７）。以上のようにして、スウィング診断に必要な全ての注目点を抽出するまで同様な計算を行う（Ｓ１８）。つまり、チェックポイント画像においてもゴルファーの全ての注目点の位置座標を抽出するのではなく、各チェックポイント画像でスウィング診断に必要とされる注目点の抽出のみを行えばよく、更なる計算時間の短縮が図られる。 The position coordinates of the attention point of the golfer 11 in the acquired checkpoint image are stored and held in the memory of the computer 16 (S17). As described above, the same calculation is performed until all the attention points necessary for the swing diagnosis are extracted (S18). In other words, instead of extracting the position coordinates of all the points of interest of the golfer in the checkpoint image, it is only necessary to extract the points of interest required for swing diagnosis in each checkpoint image, and further increase the calculation time. Shortening is achieved.

また、１つの画像処理アルゴリズムに依存することなく、複数のアルゴリズムを組み合せて注目点の抽出を行う仕組みとしているので、ゴルファー１１の体型やスウィング動作が著しく異なる場合でも、あらゆる注目点抽出方法を駆使してゴルファー１１の注目点の位置座標の認識率を大幅に向上させることができる。さらに、ゴルファー１１の下半身については色付マークを用いた色抽出により膝等の注目点を認識するのではなく、上述した輪郭情報やエッジ抽出等を利用して注目点の位置座標を抽出しているので、ゴルファー１１に計測用服を下半身には着用してもらわなくても済むというメリットもある。 In addition, since a mechanism for extracting a point of interest by combining a plurality of algorithms without depending on one image processing algorithm, even if the body shape and swing motion of the golfer 11 are significantly different, all points of interest extraction methods are used. Thus, the recognition rate of the position coordinates of the attention point of the golfer 11 can be greatly improved. Further, with respect to the lower body of the golfer 11, the position coordinates of the attention point are extracted by using the above-described contour information, edge extraction or the like instead of recognizing the attention point such as the knee by color extraction using colored marks. Therefore, there is a merit that the golfer 11 does not have to wear the measurement clothes on the lower body.

（テイクバック左腕水平画像（側面）での注目点抽出）
次に、１つのチェックポイント画像において注目点を複数のアルゴリズムを組み合せて抽出する一例として、テイクバック左腕水平画像（側面）における各注目点の位置座標を抽出する場合について代表して説明する。 (Extract attention point in horizontal image (side) of takeback left arm)
Next, as an example of extracting a point of interest in one checkpoint image by combining a plurality of algorithms, a case where the position coordinates of each point of interest in the takeback left arm horizontal image (side surface) are extracted will be described as a representative.

図２５に示すように、まず上述した輪郭抽出の処理を行い（Ｓ１００）、輪郭Ｒが取れなかった場合（Ｓ１０１）には、このチェックポイント画像に関する画像処理を終了するが（Ｓ１０２）、輪郭Ｒが取れた場合について詳説する。
（クラブ）
上述したように探索範囲Ｓを用いてクラブ用色付マークＣＭ１〜ＣＭ３を色抽出して位置座標を取得する。抽出できなかった場合（Ｓ１０４）は失敗とし、抽出できた場合にはクラブ用色付マークＣＭ１〜ＣＭ３の位置座標を記憶する（Ｓ１０５）。 As shown in FIG. 25, the contour extraction process described above is first performed (S100). If the contour R cannot be obtained (S101), the image processing relating to this checkpoint image is terminated (S102), but the contour R A detailed description will be given of the case where the image is removed.
(club)
As described above, the color coordinates of the club colored marks CM1 to CM3 are extracted using the search range S to obtain position coordinates. If it cannot be extracted (S104), it is determined to be a failure, and if it can be extracted, the position coordinates of the club colored marks CM1 to CM3 are stored (S105).

（グリップ端およびグリップ中央）
前記Ｓ１０４でクラブ用色付マークＣＭ１〜ＣＭ３が抽出できていなければ（Ｓ１０６）失敗とし、抽出できていた場合には、グリップに最も近いクラブ用色付マークＣＭ１と次に近いクラブ用色付マークＣＭ２とからマーク間ベクトルを求めてグリップ端およびグリップ中央を決定する（Ｓ１０６−２）。具体的には、
（グリップ端）＝（クラブ用色付マークＣＭ１の位置）−Ａ×（マーク間ベクトル）
（グリップ中央）＝{（クラブ用色付マークＣＭ１の位置）＋（グリップ端）}／２
により算出する。
ここで、Ａは、クラブ用色付マークＣＭ１とクラブ用色付マークＣＭ２との距離に対するクラブ用色付マークＣＭ１とグリップ端との実際の距離の割合である。 (Grip end and grip center)
If the club colored marks CM1 to CM3 have not been extracted in S104 (S106), it is determined to be unsuccessful. If the club colored marks CM1 to CM3 have not been extracted, the club colored mark CM1 closest to the grip and the club colored mark closest to the next are identified. A mark-to-mark vector is obtained from CM2 to determine the grip end and the grip center (S106-2) . In particular,
(Grip end) = (position of club colored mark CM1) −A × (mark-to-mark vector)
(Grip center) = {(position of colored mark CM1 for club) + (grip end)} / 2
Calculated by
Here, A is the ratio of the actual distance between the club colored mark CM1 and the grip end to the distance between the club colored mark CM1 and the club colored mark CM2.

（地面）
上述した輪郭Ｒの最下点のピクセルの位置座標を地面とみなしている（Ｓ１０７）。
（後首）
ゴルファー１１のシルエット領域から頭部が存在する領域を絞っておき、その領域において背景差分した後、色相θ＝０〜３０、Ｒ＝２０〜２４０、Ｇ＝２０〜１８０、Ｂ＝１８０以下を満たすピクセルの集合領域を肌とみなす（Ｓ１０８）。なお、該領域を肌とみなす場合の面積の閾値は３０〜１４００ピクセルとしている。図２７（Ａ）（Ｂ）に示すように、この抽出された肌色領域ＨのＸ座標が最小の顔領域の輪郭点をＯとし、点ＯとＸ座標が同一でＹ座標が最小の輪郭点をＡとし、点ＯとＹ座標が同一でＸ座標が最小の輪郭点をＢとすると、直線ＡＢの傾きと垂直で点Ｏを通る直線を引き、この直線と輪郭との交点を後首３１と特定する（Ｓ１１０）。 (Ground)
The position coordinate of the pixel at the lowest point of the contour R described above is regarded as the ground (S107).
(Back neck)
After narrowing the area where the head is present from the silhouette area of the golfer 11 and subtracting the background in that area, the hue θ = 0 to 30, R = 20 to 240, G = 20 to 180, and B = 180 or less are satisfied. The pixel collection region is regarded as skin (S108). In addition, the threshold value of the area when the region is regarded as skin is 30 to 1400 pixels. As shown in FIGS. 27A and 27B, the contour point of the face area where the X coordinate of the extracted skin color area H is the smallest is O, and the contour point where the X coordinate is the same and the Y coordinate is the smallest is O. Is A, and the contour point having the same X coordinate as the point O and the minimum X coordinate is B, a straight line passing through the point O perpendicular to the slope of the straight line AB is drawn, and the intersection of the straight line and the contour is the rear neck 31. (S110).

肌色抽出ができなかった場合であって（Ｓ１０９）、アドレス画像（側面）において後首の位置座標が取得できている場合には（Ｓ１１１）、アドレス画像（側面）での後首位置のＸ座標とテイクバック左腕水平画像での輪郭Ｒとの交点を求め、これら交点からＹ座標が最も小さい輪郭Ｒ上のピクセルの前後１０ピクセルの曲率を抽出し（Ｓ１１２）、曲率が０以下で且つ最小となるピクセルを後首と特定する（Ｓ１１３、Ｓ１１０）。
アドレス画像（側面）で後首が取得できてない場合（Ｓ１１１）、或いは、曲率による抽出ができなかった場合（Ｓ１１３）は、ゴルファー１１のシルエットの下から９０％位置のＹ座標をもつ輪郭Ｒ上のピクセルのうちＸ座標が最小のピクセルを後首として抽出する（Ｓ１１４、Ｓ１１０）。 If the skin color cannot be extracted (S109), and the position coordinate of the back neck is acquired in the address image (side surface) (S111), the X coordinate of the back neck position in the address image (side surface) And the contour of the take-back left arm horizontal image are obtained, and the curvature of 10 pixels before and after the pixel on the contour R having the smallest Y coordinate is extracted from these intersections (S112). To be the rear neck (S113, S110).
When the rear neck cannot be obtained from the address image (side surface) (S111), or when extraction by curvature is not possible (S113), the contour R having a Y coordinate of 90% from the bottom of the silhouette of the golfer 11 Of the upper pixels, the pixel with the smallest X coordinate is extracted as the back neck (S114, S110).

（右腰Ｙ座標）
先ず、探索範囲Ｓを、地面とゴルファーシルエット頂点の高さの平均値（Ｙ）とシルエット重心（Ｘ）を起点としてＸ方向が−４０〜４０ピクセル、Ｙ方向が−６０〜２０ピクセルの範囲となるように決定し、ベルト状の色付マークＭ７を色抽出して（Ｓ１１４−２）右腰のＹ座標を取得する（Ｓ１１５、Ｓ１１６）。
色抽出に失敗した時は、ゴルファー１１のシルエットの下から６０％の高さ位置を右腰のＹ座標とみなす（Ｓ１１７）。 (Right waist Y coordinate)
First, the search range S is defined as a range in which the X direction is -40 to 40 pixels and the Y direction is -60 to 20 pixels, starting from the average height (Y) of the ground and the golfer silhouette vertices and the silhouette centroid (X). The belt-shaped colored mark M7 is extracted (S114-2), and the right waist Y coordinate is acquired (S115, S116).
When the color extraction fails, the height position of 60% from the bottom of the silhouette of the golfer 11 is regarded as the Y coordinate of the right waist (S117).

次に、両肩と両肘の抽出は図２５中から図２６のサブルーチンを呼び出す。
（左肩）
アドレス画像（側面）の右肩を取得済みの場合は（Ｓ１１８）、図２８（Ａ）に示すように、その右肩を起点としてＸ方向に＋４０ピクセル、Ｙ方向に±４０ピクセルの範囲の位置に探索範囲Ｓを設定し、左肩の色付マークＭ３の色抽出を行う（Ｓ１１９）。色付マークＭ２の抽出に成功した場合には、その座標を左肩として記憶する（Ｓ１２０、Ｓ１２１）。 Next, to extract both shoulders and both elbows, the subroutine of FIG. 26 is called from FIG.
(Left shoulder)
When the right shoulder of the address image (side surface) has already been acquired (S118), as shown in FIG. 28A, the position within the range of +40 pixels in the X direction and ± 40 pixels in the Y direction, starting from the right shoulder The search range S is set to the color of the left shoulder colored mark M3 (S119). If the extraction of the colored mark M2 is successful, the coordinates are stored as the left shoulder (S120, S121).

アドレス画像（側面）で右肩が抽出できていない場合（Ｓ１１８）および色抽出できなかった場合（Ｓ１２０）には、図２８（Ｂ）に示すように、後首３１のＹ座標と一致する輪郭Ｒ上のピクセルを首下３２として抽出し、首下３２から輪郭Ｒの起伏の情報を用いて左肩を決定する（Ｓ１２３）。
具体的には、首下３２から時計回りに輪郭Ｒを調べて最初に山（極大点）が見つかれば、首下３２から時計回りに３０ピクセルまでの山→この山から時計回りに３０ピクセルまでの谷（極小点）→この谷から時計回りに２０ピクセルまでの山を左肩３５としている。
一方、首下３２から時計回りに輪郭Ｒを調べて最初に谷（極小点）が見つかった場合には、首下３２から時計回りに３０ピクセルまでの谷→この谷から時計回りに２０ピクセルまでの山を左肩３５としている。（Ｓ１２４、Ｓ１２１） When the right shoulder cannot be extracted from the address image (side surface) (S118) and when the color cannot be extracted (S120), as shown in FIG. 28 (B), the contour coincides with the Y coordinate of the rear neck 31. A pixel on R is extracted as the neck 32, and the left shoulder is determined from the neck 32 using the undulation information of the contour R (S123).
Specifically, when the contour R is examined clockwise from the neck 32 and the peak (maximum point) is found first, the mountain from the neck 32 to 30 pixels clockwise → from this mountain to 30 pixels clockwise. Valley (minimum point) → A mountain up to 20 pixels clockwise from this valley is the left shoulder 35.
On the other hand, when the contour R is examined clockwise from the lower neck 32 and the valley (minimum point) is found first, the valley from the lower neck 32 to 30 pixels clockwise to → 20 pixels clockwise from this valley. Is the left shoulder 35. (S124, S121)

首下３２が抽出できなかった場合（Ｓ１２２）、輪郭Ｒの起伏を用いた抽出ができなかった場合（Ｓ１２４）は、図２８（Ｃ）に示すように、右腰（Ｓ１２５）からＹ方向に対して[右腰Ｙ座標]〜[右腰Ｙ座標−３０ピクセル]の間の領域で輪郭Ｒの直線部ＳＴを抽出し（Ｓ１２６）、直線部ＳＴと輪郭Ｒとの交点を左肩３６とみなす（Ｓ１２７、Ｓ１２１）。但し、交点はゴルファー１１のシルエットの下から８０％〜９０％の領域で、その中のＹ座標が最小のピクセルとする。もし、直線部を抽出できなければ、[右腰Ｙ座標]〜[右腰Ｙ座標−３０ピクセル]の間の輪郭を用いて最小二乗法により直線を抽出する。
右腰が見つからなかった場合には（Ｓ１２５）若しくは８０％〜９０％で左肩が見つからない場合には、図２８（Ｄ）に示すように、シルエットの下から８５％の位置（Ｌ２／Ｌ１＝０．８５）の輪郭Ｒで、Ｘが最大のピクセルを左肩３７とする（Ｓ１２８、Ｓ１２１）。 When the lower neck 32 cannot be extracted (S122), when the contour R cannot be extracted using the undulation (S124), as shown in FIG. 28C, the right waist (S125) is moved in the Y direction. On the other hand, a straight line portion ST of the contour R is extracted in an area between [right waist Y coordinate] and [right waist Y coordinate-30 pixels] (S126), and an intersection of the straight portion ST and the contour R is regarded as the left shoulder 36. (S127, S121). However, the intersection is an area of 80% to 90% from the bottom of the silhouette of the golfer 11, and the Y coordinate is the smallest pixel. If a straight line portion cannot be extracted, a straight line is extracted by the least square method using a contour between [right waist Y coordinate] and [right waist Y coordinate-30 pixels].
When the right waist is not found (S125) or when the left shoulder is not found in 80% to 90%, as shown in FIG. 28D, the position 85% from the bottom of the silhouette (L2 / L1 = The pixel having the largest X in the contour R of 0.85) is set as the left shoulder 37 (S128, S121).

（右肩）
後首３１が抽出できている場合は（Ｓ１２９）、後首３１を起点としてＸ方向に−５０ピクセル、Ｙ方向に±２０ピクセルの範囲の位置に探索範囲Ｓを設定し、右肩の色付マークＭ４の色抽出を行う（Ｓ１３０）。色付マークＭ４の抽出に成功した場合には、その座標を右肩として記憶する（Ｓ１３１、Ｓ１３２−２）。 (Right shoulder)
If the rear neck 31 has been extracted (S129), the search range S is set at a position within a range of −50 pixels in the X direction and ± 20 pixels in the Y direction starting from the rear neck 31, and the right shoulder is colored. The color of the mark M4 is extracted (S130). Upon successful extraction of colored mark M4 stores the coordinates as the right shoulder (S131, S132 -2).

色抽出に失敗した場合（Ｓ１３１）は、クラブ用色付マークＣＭ１〜ＣＭ３の抽出ができていれば（Ｓ１３２）、シャフト１３ａが輪郭Ｒと交差しているシャフト１３ａを輪郭Ｒから取り除く再輪郭抽出を行う必要があるどうかの判定を行い（Ｓ１３３）、シャフト１３ａの輪郭が体の輪郭と交差している場合には（Ｓ１３４）、シャフト１３ａの輪郭を輪郭情報から取り除く再輪郭抽出を行う（Ｓ１３５）。輪郭にシャフトが現れていない場合には再輪郭抽出せずに直線抽出処理（Ｓ１３６）に移る。 If the color extraction fails (S131), if the club colored marks CM1 to CM3 have been extracted (S132), the re-contour extraction is performed to remove the shaft 13a where the shaft 13a intersects the contour R from the contour R. Is determined (S133). If the contour of the shaft 13a intersects the contour of the body (S134), re-contour extraction is performed to remove the contour of the shaft 13a from the contour information (S135). ). If the shaft does not appear in the contour, the process moves to a straight line extraction process (S136) without extracting the contour again.

テイクバック左腕水平画像（側面）での後首のＹ座標から±１０以内の位置にテイクバック左腕水平画像での輪郭Ｒに傾きが１９０°〜−１８０°の直線部ＳＴが存在するかを判定し、かつ、後首と右腰Ｙ座標の間での下方向に傾きが９０°〜１８０°の直線部が存在するかを判定し、２本の直線部が見つかったらその交点を右肩とする（Ｓ１３７、Ｓ１３２−２）。 It is determined whether or not a straight line portion ST having an inclination of 190 ° to −180 ° exists in the contour R of the takeback left arm horizontal image at a position within ± 10 from the Y coordinate of the rear neck in the takeback left arm horizontal image (side surface). In addition, it is determined whether or not there is a straight line portion whose inclination is 90 ° to 180 ° in the downward direction between the rear neck and the right waist Y coordinate, and when the two straight line portions are found, the intersection is defined as the right shoulder. to (S137, S132 -2).

後首が見つからない場合（Ｓ１２９）、クラブ用色付マークＣＭ１〜ＣＭ３が抽出できない場合（Ｓ１３２）、２本の直線部が抽出されなかった場合（Ｓ１３７）は、シルエットの下から８０％の位置の輪郭Ｒで、Ｘが最小のピクセルを右肩とする（Ｓ１３８、Ｓ１３２）。 When the back neck cannot be found (S129), when the club colored marks CM1 to CM3 cannot be extracted (S132), when two straight lines are not extracted (S137), the position 80% from the bottom of the silhouette The pixel having the smallest X in the contour R is defined as the right shoulder (S138, S132).

（左肘）
グリップ端と左肩が抽出できていなけば（Ｓ１３９）失敗とし、抽出できていれば、Ｘ方向はグリップ端から左肩までの範囲で、Ｙ方向は[左肩]から[グリップ端＋４０ピクセル]の範囲で探索範囲Ｓを設定し、左肘の色付マークＭ１の色抽出を行う（Ｓ１４０）。色付マークＭ１の抽出に成功した場合には、その座標を左肘として記憶する（Ｓ１４１、Ｓ１４２）。色付マークＭ１の抽出に失敗した場合には、左肩とグリップ端の中点を左肘とみなして抽出する（Ｓ１４３、Ｓ１４２）。 (Left elbow)
If the grip end and the left shoulder cannot be extracted (S139), it will be a failure. If it can be extracted, the X direction will be in the range from the grip end to the left shoulder, and the Y direction will be in the range from [left shoulder] to [grip end + 40 pixels]. A search range S is set, and color extraction of the left elbow colored mark M1 is performed (S140). If the colored mark M1 is successfully extracted, the coordinates are stored as the left elbow (S141, S142). If the extraction of the colored mark M1 fails, the middle point of the left shoulder and the grip end is regarded as the left elbow (S143, S142).

（右肘）
グリップ中央とアドレス画像（側面）での右腰が抽出できている場合には（Ｓ１４４）、グリップ中央を起点としてＸ方向に±５０ピクセル、Ｙ方向に±５０ピクセルの範囲の位置に探索範囲Ｓを設定し、かつ、上述で抽出された肌色部分、シャフト付近、アドレス画像（側面）での右腰より下の領域は探索対象から除外した上で、右肘の色付マークＭ６の色抽出を行う（Ｓ１４５）。色付マークＭ６の抽出に成功した場合には、その座標を右肘として記憶する（Ｓ１４６、Ｓ１４７）。 (Right elbow)
When the right waist of the grip center and the address image (side surface) has been extracted (S144), the search range S is located within the range of ± 50 pixels in the X direction and ± 50 pixels in the Y direction starting from the grip center. In addition, the skin color portion extracted above, the vicinity of the shaft, and the area below the right waist on the address image (side surface) are excluded from the search target, and the color extraction of the colored mark M6 on the right elbow is performed. This is performed (S145). If the colored mark M6 is successfully extracted, the coordinates are stored as the right elbow (S146, S147).

グリップ中央とアドレス画像（側面）での右腰が抽出されなかった場合（Ｓ１４４）、色抽出できなかった場合（Ｓ１４６）は、左肘のＹ座標が同一でＸ座標が最小の輪郭点を起点としてＸ方向に±２５ピクセル、Ｙ方向に±２５ピクセルの範囲の位置に探索範囲Ｓを設定し、右肘の色付マークＭ６の色抽出を行い（Ｓ１４９）、抽出できた場合には右肘の位置座標として取得する（Ｓ１５０）。
左肘の抽出ができなかった場合は（Ｓ１４８）、シルエットの地面から−Ｙ方向の６５％でＸ座標が最小の輪郭点を右肘とする（Ｓ１５１、Ｓ１４７）。色抽出ができなかった場合（Ｓ１５０）は、２回目の色抽出で用いた探索範囲の起点を右肘とする（Ｓ１４７）。 If the right waist of the grip center and the address image (side) is not extracted (S144), or if the color cannot be extracted (S146), the left elbow has the same Y coordinate and the minimum X coordinate is the starting point. The search range S is set at a position within a range of ± 25 pixels in the X direction and ± 25 pixels in the Y direction, and the color of the colored mark M6 on the right elbow is extracted (S149). (S150).
If the left elbow cannot be extracted (S148), the contour point having the minimum X coordinate and 65% in the -Y direction from the silhouette ground is set as the right elbow (S151, S147). When color extraction cannot be performed (S150), the starting point of the search range used in the second color extraction is set as the right elbow (S147).

（スパイン軸）
図２５のフローチャートに戻り、右腰、後首が抽出でき、かつ、右肩を色抽出により抽出できた場合には（Ｓ１５２）、右肩と右腰の間で輪郭Ｒに直線部ＳＴが存在すれば（Ｓ１５３）、その直線部を角度を保ったまま後首３１を通過するようにオフセット移動すれば、スパイン軸（両腰の中心と首を結ぶ線）を取得することができる（Ｓ１５４、Ｓ１５５）。
また、Ｓ１５２の抽出ができなかった場合には、右腰および後首が取得できていない場合（Ｓ１５６）は失敗とする一方、取得できている場合は、右腰Ｙ座標との交点のうちＸ座標が最小の輪郭点と後首の間の輪郭Ｒを用いて直線部を最小二乗法しスパイン軸とする（Ｓ１５７、Ｓ１５８、Ｓ１５５）。 (Spine axis)
Returning to the flowchart of FIG. 25, if the right waist and back neck can be extracted and the right shoulder can be extracted by color extraction (S152), a straight line portion ST exists in the contour R between the right shoulder and the right waist. If this is done (S153), the spine axis (the line connecting the center of both hips and the neck) can be obtained by performing an offset movement so that the straight portion passes through the rear neck 31 while maintaining the angle (S154, S155).
If S152 cannot be extracted, the right waist and the back neck cannot be acquired (S156). On the other hand, if the acquisition is successful, X of the intersection points with the right waist Y coordinate. Using the contour R between the contour point with the smallest coordinate and the back neck, the straight line portion is subjected to the least square method to obtain the spine axis (S157, S158, S155).

（右腰Ｘ座標）
右腰Ｙ座標とスパイン軸が抽出できていない場合（Ｓ１５９）には失敗であるが、抽出できている場合は、スパイン軸上で右腰Ｙ座標と同じＹ座標をもつピクセルを特定することで右腰Ｘ座標を取得することができる（Ｓ１６０、Ｓ１６１）。 (Right waist X coordinate)
If the right waist Y coordinate and the spine axis cannot be extracted (S159), the process is unsuccessful. However, if the right waist Y coordinate and the spine axis can be extracted, the pixel having the same Y coordinate as the right waist Y coordinate on the spine axis is specified. The right waist X coordinate can be acquired (S160, S161).

以上のように、図２５および図２６の流れでテイクバック左腕水平画像（側面）について、複数の画像処理アルゴリズムを駆使して注目点の位置座標を取得することができる。 As described above, with respect to the takeback left arm horizontal image (side surface) in the flow of FIG. 25 and FIG. 26, the position coordinates of the target point can be acquired using a plurality of image processing algorithms.

本発明の実施形態のゴルフスウィング計測方法の概略を示すフローチャートである。It is a flowchart which shows the outline of the golf swing measuring method of embodiment of this invention. 実施形態のゴルフスウィング計測システムの構成図である。It is a lineblock diagram of the golf swing measurement system of an embodiment. アドレス画像におけるマーク抽出を説明する図面である。It is drawing explaining the mark extraction in an address image. アドレス以降の２、３枚目におけるマーク抽出を説明する図面である。It is a figure explaining the mark extraction in the 2nd and 3rd sheet after an address. マークの自動追尾を説明する図面である。It is drawing explaining the automatic tracking of a mark. （Ａ）（Ｂ）はゴルファーの輪郭抽出を説明する図面である。(A) and (B) are drawings explaining contour extraction of a golfer. ゴルファーの輪郭抽出された画像を示す図面である。2 is a drawing showing an image of a golfer whose contour has been extracted. （Ａ）（Ｂ）テンプレートマッチングを説明する図面である。(A) (B) It is drawing explaining template matching. 曲率計算の説明図である。It is explanatory drawing of curvature calculation. 正面のチェックポイント画像である。It is a front checkpoint image. 飛球線後方（側面）のチェックポイント画像である。It is a checkpoint image behind a flying ball line (side). 静止画像上のゴルファーの輪郭を示す図面である。It is drawing which shows the golfer's outline on a still picture. 静止画像上の輪郭から抽出された直線部を示す図面である。It is drawing which shows the linear part extracted from the outline on a still image. 注目点の色抽出を説明する図面である。It is drawing explaining the color extraction of an attention point. 注目点の輪郭を用いた抽出を説明する図面である。It is drawing explaining the extraction using the outline of an attention point. 注目点の輪郭の極値を用いた抽出を説明する図面である。It is drawing explaining the extraction using the extreme value of the outline of an attention point. 注目点の直線部を用いた抽出を説明する図面である。It is drawing explaining the extraction using the straight line part of an attention point. 注目点の直線部を用いた抽出を説明する図面である。It is drawing explaining the extraction using the straight line part of an attention point. 肌抽出を用いた注目点の抽出を説明する図面である。It is drawing explaining the extraction of the attention point using skin extraction. エッジ強度画像を示す図面である。It is drawing which shows an edge strength image. 方向ラベリング画像を示す図面である。It is drawing which shows a direction labeling image. 非極大値抑制ラベリング画像を示す図面である。It is drawing which shows a non-maximum value suppression labeling image. 隣接するピクセルの位置関係の定義を説明する図面である。It is drawing explaining the definition of the positional relationship of an adjacent pixel. シルエット情報による注目点の推定を説明する図面である。It is drawing explaining the estimation of the attention point by silhouette information. テイクバック左腕水平画像（側面）において注目点を抽出する手順を示すフローチャートである。It is a flowchart which shows the procedure which extracts an attention point in a takeback left arm horizontal image (side). 図２５の一部のサブルーチンを示すフローチャートである。It is a flowchart which shows a part of subroutine of FIG. （Ａ）（Ｂ）は肌抽出を説明する図面である。(A) and (B) are drawings explaining skin extraction. 左肩の抽出を示し、（Ａ）は色抽出による場合の図面、（Ｂ）は輪郭抽出による場合の図面、（Ｃ）は直線部を用いた場合の図面、（Ｄ）はシルエット情報を用いた場合の図面である。(A) is a drawing based on color extraction, (B) is a drawing based on contour extraction, (C) is a drawing using a straight line portion, and (D) is silhouette information. FIG.

Explanation of symbols

１１ゴルファー
１２計測用服
１３ゴルフクラブ
１３ａシャフト
１４、１５カラーＣＣＤカメラ
１６コンピュータ
２０背景
ＣＭ１〜ＣＭ３クラブ用色付マーク
Ｍ１〜Ｍ７色付マーク
Ｓ、Ｓ１〜Ｓ３探索範囲
ＳＴ、ＳＴ１〜ＳＴ４直線部
Ｒ輪郭
Ｔテンプレート 11 Golfer 12 Measurement clothing 13 Golf club 13a Shaft 14, 15 Color CCD camera 16 Computer 20 Background CM1-CM3 Colored mark M1-M7 Colored mark for club
S, S1-S3 Search range ST, ST1-ST4 Straight line portion R Contour T Template

Claims

A golfer holding a golf club and swinging is shot with a color moving image and captured in a computer.
From a plurality of still images constituting the color moving image, address, takeback shaft 8 o'clock, takeback shaft 9 o'clock, takeback non-dominant arm horizontal, top, down swing non-dominant arm horizontal, down swing shaft 9 o'clock, impact, follow After extracting at least one swing posture image selected from the finish at the shaft 3 as a checkpoint image,
The difference between the checkpoint image and a background image in which the golfer is not captured is used to obtain a silhouette of the golfer to extract the contour of the silhouette,
A golf swing measurement method characterized in that, after the contour extraction, the position coordinates of a point of interest operating during the swing are specified in any of the following (1), (2), and (3) .
(1) Specify a pixel whose extreme value is the x coordinate or y coordinate of the acquired contour information as the position coordinate of the attention point;
(2) A pixel having an extreme curvature in the acquired contour is specified as the position coordinate of the attention point;
(3) A portion where a predetermined number or more of pixels having a curvature within a range of −10 ° to 10 ° in the obtained contour is continuous is defined as a straight line portion, and the position coordinates of the attention point are determined using the straight line portion. Identify:

2. The golf swing measuring method according to claim 1, wherein in (3), a pixel at a position where an extended line of a straight line intersects the contour is specified as a position coordinate of the attention point .

In (3), the pixel at the position where the extension lines of the two straight line portions intersect or the contour point closest to the intersecting position is specified as the position coordinate of the attention point among the straight line portions extracted from the contour. golf swing measurement method according to claim 1 or claim 2 has.

A golfer holding a golf club and swinging is shot with a color moving image and captured in a computer.
From a plurality of still images constituting the color moving image, address, takeback shaft 8 o'clock, takeback shaft 9 o'clock, takeback non-dominant arm horizontal, top, down swing non-dominant arm horizontal, down swing shaft 9 o'clock, impact, follow After extracting at least one swing posture image selected from the finish at the shaft 3 as a checkpoint image,
In the checkpoint image, a pixel whose brightness change amount between adjacent pixels is equal to or greater than a predetermined threshold is used as an edge, and the edge is extracted for a golfer in the checkpoint image. A golf swing measuring method , characterized in that the position coordinates of a point of interest that operates during a swing are acquired using the.

The golf swing measurement according to any one of claims 1 to 4, wherein the attention point includes a head, a neck, a shoulder, an elbow, a waist, a knee, an ankle, a wrist, and / or a tip of the golfer. Method.

At least one of the attention points is provided with a colored mark,
The golf swing measuring method according to claim 1, wherein the checkpoint image is extracted from the colored mark .