JP2021140643A5 - - Google Patents

Download PDF

Info

Publication number
JP2021140643A5
JP2021140643A5 JP2020039760A JP2020039760A JP2021140643A5 JP 2021140643 A5 JP2021140643 A5 JP 2021140643A5 JP 2020039760 A JP2020039760 A JP 2020039760A JP 2020039760 A JP2020039760 A JP 2020039760A JP 2021140643 A5 JP2021140643 A5 JP 2021140643A5
Authority
JP
Japan
Prior art keywords
reference frame
frame image
image
moving image
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020039760A
Other languages
Japanese (ja)
Other versions
JP2021140643A (en
JP7429887B2 (en
Filing date
Publication date
Application filed filed Critical
Priority to JP2020039760A priority Critical patent/JP7429887B2/en
Priority claimed from JP2020039760A external-priority patent/JP7429887B2/en
Priority to PCT/JP2021/006501 priority patent/WO2021182081A1/en
Publication of JP2021140643A publication Critical patent/JP2021140643A/en
Publication of JP2021140643A5 publication Critical patent/JP2021140643A5/ja
Application granted granted Critical
Publication of JP7429887B2 publication Critical patent/JP7429887B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本開示に係る球技映像解析装置は、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第1の動画及び第2の動画を受信する受信部と、前記第1の動画及び前記第2の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第1の動画から特定された前記基準フレーム画像である第1の基準フレーム画像と前記第2の動画から特定された前記基準フレーム画像である第2の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成する基準フレーム特定部と、第1の動画と第2の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を特定する解析部と、を備え、前記基準フレーム特定部は、前記第1の基準フレーム画像及び前記第2の基準フレーム画像をユーザに提示する基準フレーム確認用UIを生成及び出力し、前記解析部は、前記基準フレーム確認用UIから前記基準フレーム画像を変更しない旨のユーザの指示を受信した場合、前記同期ずれ情報を確定させ、前記基準フレーム確認用UIから前記基準フレーム画像を変更する旨のユーザの指示を受信した場合、前記第1の基準フレーム画像および前記第2の基準フレーム画像の候補画像を抽出し、前記候補画像から前記基準フレーム画像を選択するユーザの操作を受け付ける。 A ball game video analysis device according to the present disclosure includes a receiving unit that receives a first moving image and a second moving image, in which actions of a person with respect to a moving object used in a ball game are captured from different positions, and a receiving unit that receives the first moving image and the A reference frame image, which is a frame image in which a specific subaction that constitutes the action is captured, is specified from each of the second moving images, and a first moving image, which is the reference frame image specified from the first moving image, is identified. a reference frame identification unit that generates synchronization deviation information that is information indicating a time difference between a reference frame image and a second reference frame image that is the reference frame image identified from the second moving image; an analysis unit that corrects synchronization deviation of frame images between the first moving image and the second moving image based on the synchronization deviation information and identifies the movement trajectory of the moving body; generates and outputs a reference frame confirmation UI for presenting the first reference frame image and the second reference frame image to the user, and the analysis unit selects the reference frame image from the reference frame confirmation UI. When a user instruction not to change is received, the out-of-synchronization information is confirmed, and when a user instruction to change the reference frame image is received from the reference frame confirmation UI, the first reference frame An image and a candidate image of the second reference frame image are extracted, and a user's operation of selecting the reference frame image from the candidate images is accepted.

本開示に係る球技映像解析方法は、装置が、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第1の動画及び第2の動画を受信し、前記第1の動画及び前記第2の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第1の動画から特定された前記基準フレーム画像である第1の基準フレーム画像と前記第2の動画から特定された前記基準フレーム画像である第2の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成し、第1の動画と第2の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を特定し、前記基準フレーム画像を特定する際、前記第1の基準フレーム画像及び前記第2の基準フレーム画像をユーザに提示する基準フレーム確認用UIを生成及び出力し、前記基準フレーム確認用UIから前記基準フレーム画像を変更しない旨のユーザの指示を受信した場合、前記同期ずれ情報を確定させ、前記基準フレーム確認用UIから前記基準フレーム画像を変更する旨のユーザの指示を受信した場合、前記第1の基準フレーム画像および前記第2の基準フレーム画像の候補画像を抽出し、前記候補画像から前記基準フレーム画像を選択するユーザの操作を受け付ける。 In a ball game video analysis method according to the present disclosure, a device receives a first video and a second video in which an action of a person with respect to a moving body used in a ball game is filmed from different positions; A reference frame image, which is a frame image in which a specific subaction that constitutes the action is captured, is specified from each of the second moving images, and a first moving image, which is the reference frame image specified from the first moving image, is identified. Synchronization deviation information, which is information indicating a time lag between a reference frame image and a second reference frame image that is the reference frame image specified from the second moving image, is generated, and the first moving image and the second reference frame image are generated. 2 corrects the synchronization deviation of the frame images from the moving image based on the synchronization deviation information, identifies the movement trajectory of the moving object, and identifies the reference frame image, the first reference frame image and generating and outputting a reference frame confirmation UI for presenting the second reference frame image to a user, and receiving a user instruction not to change the reference frame image from the reference frame confirmation UI; When the information is confirmed and a user's instruction to change the reference frame image is received from the reference frame confirmation UI, candidate images for the first reference frame image and the second reference frame image are extracted. , receives a user's operation to select the reference frame image from the candidate images.

本開示に係るコンピュータプログラムは、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第1の動画及び第2の動画を受信し、前記第1の動画及び前記第2の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第1の動画から特定された前記基準フレーム画像である第1の基準フレーム画像と前記第2の動画から特定された前記基準フレーム画像である第2の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成し、第1の動画と第2の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を解析し、前記基準フレーム画像を特定する際、前記第1の基準フレーム画像及び前記第2の基準フレーム画像をユーザに提示する基準フレーム確認用UIを生成及び出力し、前記基準フレーム確認用UIから前記基準フレーム画像を変更しない旨のユーザの指示を受信した場合、前記同期ずれ情報を確定させ、前記基準フレーム確認用UIから前記基準フレーム画像を変更する旨のユーザの指示を受信した場合、前記第1の基準フレーム画像および前記第2の基準フレーム画像の候補画像を抽出し、前記候補画像から前記基準フレーム画像を選択するユーザの操作を受け付ける。 A computer program according to the present disclosure receives a first moving image and a second moving image, in which actions of a person with respect to a moving body used in a ball game are shot from different positions, A reference frame image, which is a frame image in which a specific subaction that constitutes the action is captured, is specified from each, and the first reference frame image, which is the reference frame image specified from the first moving image, and the Synchronization deviation information, which is information indicating a time lag between the second reference frame image, which is the reference frame image specified from the second moving image, is generated, and a difference between the first moving image and the second moving image is generated. When specifying the reference frame image by correcting the synchronization error between frame images based on the synchronization error information and analyzing the movement trajectory of the moving body, the first reference frame image and the second reference generating and outputting a reference frame confirmation UI for presenting a frame image to a user, and when receiving a user instruction not to change the reference frame image from the reference frame confirmation UI, confirming the out-of-synchronization information; when a user's instruction to change the reference frame image is received from the reference frame confirmation UI, candidate images for the first reference frame image and the second reference frame image are extracted from the candidate images; A user's operation for selecting the reference frame image is accepted.

本開示によれば、自動的に特定した基準フレーム画像の確認および変更を行う基準フレーム確認用UIを用いて、球技映像解析に特化した専用カメラを用いることなく、身近に存在するカメラを用いて球技に係る移動体の移動軌跡を特定できる。 According to the present disclosure, a familiar camera is used without using a dedicated camera specialized for ball game video analysis , using a reference frame confirmation UI that automatically confirms and changes the specified reference frame image. can specify the movement trajectory of the moving object related to the ball game.

Claims (7)

球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第1の動画及び第2の動画を受信する受信部と、
前記第1の動画及び前記第2の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第1の動画から特定された前記基準フレーム画像である第1の基準フレーム画像と前記第2の動画から特定された前記基準フレーム画像である第2の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成する基準フレーム特定部と、
第1の動画と第2の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を特定する解析部と、を備え、
前記基準フレーム特定部は、
前記第1の基準フレーム画像及び前記第2の基準フレーム画像をユーザに提示する基準フレーム確認用UIを生成及び出力し、
前記解析部は、
前記基準フレーム確認用UIから前記基準フレーム画像を変更しない旨のユーザの指示を受信した場合、前記同期ずれ情報を確定させ、
前記基準フレーム確認用UIから前記基準フレーム画像を変更する旨のユーザの指示を受信した場合、前記第1の基準フレーム画像および前記第2の基準フレーム画像の候補画像を抽出し、前記候補画像から前記基準フレーム画像を選択するユーザの操作を受け付ける、
球技映像解析装置。
a receiving unit that receives a first moving image and a second moving image of a person's action taken with respect to a moving object used in a ball game from different positions;
A reference frame image, which is a frame image in which a specific subaction constituting the action is captured, is specified from each of the first moving image and the second moving image, and the reference specified from the first moving image is specified. Synchronization deviation information, which is information indicating a time lag between a first reference frame image that is a frame image and a second reference frame image that is the reference frame image specified from the second moving image, is generated. a reference frame identifying unit;
an analysis unit that corrects the synchronization deviation of the frame images between the first moving image and the second moving image based on the synchronization deviation information and specifies the movement trajectory of the moving body ,
The reference frame identification unit
generating and outputting a reference frame confirmation UI for presenting the first reference frame image and the second reference frame image to a user;
The analysis unit is
when receiving a user's instruction not to change the reference frame image from the reference frame confirmation UI, determining the out-of-synchronization information;
when a user's instruction to change the reference frame image is received from the reference frame confirmation UI, candidate images for the first reference frame image and the second reference frame image are extracted from the candidate images; accepting a user's operation to select the reference frame image;
Ball game video analysis device.
前記基準フレーム特定部は、前記第1の動画及び前記第2の動画の再撮影を行うか否かの指示を受け付ける前記基準フレーム確認用UIを生成及び出力する、
請求項1に記載の球技映像解析装置。
The reference frame specifying unit generates and outputs the reference frame confirmation UI for accepting an instruction as to whether or not to reshoot the first moving image and the second moving image.
The ball game video analysis device according to claim 1.
前記第1の動画及び前記第2の動画は、それぞれ、カメラ及び無線通信装置を備えた第1の携帯端末及び第2の携帯端末にて撮影されたものである、
請求項1または2のいずれか1項に記載の球技映像解析装置。
The first moving image and the second moving image are respectively taken by a first mobile terminal and a second mobile terminal equipped with a camera and a wireless communication device,
3. The ball game video analysis device according to claim 1 .
前記第1の基準フレーム画像及び前記第2の基準フレーム画像、並びに、前記解析部による解析の結果を示す情報を、第3の携帯端末に出力する結果表示部、をさらに備えた、
請求項3に記載の球技映像解析装置。
a result display unit for outputting information indicating the first reference frame image, the second reference frame image, and the result of analysis by the analysis unit to a third mobile terminal;
4. The ball game video analysis device according to claim 3 .
前記球技はバレーボールであり、
前記移動体は前記バレーボールのボールであり、
前記アクションは前記バレーボールのサーブであり、
前記サブアクションは前記サーブを行った前記人物の手が前記ボールに当たった瞬間である、
請求項1から4のいずれか1項に記載の球技映像解析装置。
the ball game is volleyball,
the moving body is the volleyball ball,
the action is the volleyball serve;
The sub-action is the moment when the hand of the person performing the serve hits the ball.
The ball game video analysis device according to any one of claims 1 to 4 .
装置が、
球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第1の動画及び第2の動画を受信し、
前記第1の動画及び前記第2の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第1の動画から特定された前記基準フレーム画像である第1の基準フレーム画像と前記第2の動画から特定された前記基準フレーム画像である第2の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成し、
第1の動画と第2の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を特定し、
前記基準フレーム画像を特定する際、
前記第1の基準フレーム画像及び前記第2の基準フレーム画像をユーザに提示する基準フレーム確認用UIを生成及び出力し、
前記基準フレーム確認用UIから前記基準フレーム画像を変更しない旨のユーザの指示を受信した場合、前記同期ずれ情報を確定させ、
前記基準フレーム確認用UIから前記基準フレーム画像を変更する旨のユーザの指示を受信した場合、前記第1の基準フレーム画像および前記第2の基準フレーム画像の候補画像を抽出し、前記候補画像から前記基準フレーム画像を選択するユーザの操作を受け付ける、
球技映像解析方法。
the device
Receiving a first moving image and a second moving image in which a person's action with respect to a moving object used in a ball game is shot from different positions;
A reference frame image, which is a frame image in which a specific subaction constituting the action is captured, is specified from each of the first moving image and the second moving image, and the reference specified from the first moving image is specified. Synchronization deviation information, which is information indicating a time lag between a first reference frame image that is a frame image and a second reference frame image that is the reference frame image specified from the second moving image, is generated. ,
correcting the synchronization deviation of the frame images between the first moving image and the second moving image based on the synchronization deviation information, and specifying the movement trajectory of the moving body;
When specifying the reference frame image,
generating and outputting a reference frame confirmation UI for presenting the first reference frame image and the second reference frame image to a user;
when receiving a user's instruction not to change the reference frame image from the reference frame confirmation UI, determining the out-of-synchronization information;
when a user's instruction to change the reference frame image is received from the reference frame confirmation UI, candidate images for the first reference frame image and the second reference frame image are extracted from the candidate images; accepting a user's operation to select the reference frame image;
Ball game video analysis method.
球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第1の動画及び第2の動画を受信し、
前記第1の動画及び前記第2の動画の各々から、前記アクションを構成する特定のサブアクションが撮影されたフレーム画像である基準フレーム画像を特定し、前記第1の動画から特定された前記基準フレーム画像である第1の基準フレーム画像と前記第2の動画から特定された前記基準フレーム画像である第2の基準フレーム画像との間の時間のずれを示す情報である同期ずれ情報を生成し、
第1の動画と第2の動画との間のフレーム画像の同期ずれを前記同期ずれ情報に基づいて補正し、前記移動体の移動軌跡を解析し、
前記基準フレーム画像を特定する際、
前記第1の基準フレーム画像及び前記第2の基準フレーム画像をユーザに提示する基準フレーム確認用UIを生成及び出力し、
前記基準フレーム確認用UIから前記基準フレーム画像を変更しない旨のユーザの指示を受信した場合、前記同期ずれ情報を確定させ、
前記基準フレーム確認用UIから前記基準フレーム画像を変更する旨のユーザの指示を受信した場合、前記第1の基準フレーム画像および前記第2の基準フレーム画像の候補画像を抽出し、前記候補画像から前記基準フレーム画像を選択するユーザの操作を受け付ける、
処理をコンピュータに実行させる、コンピュータプログラム。
Receiving a first moving image and a second moving image in which a person's action with respect to a moving object used in a ball game is shot from different positions;
A reference frame image, which is a frame image in which a specific subaction constituting the action is captured, is specified from each of the first moving image and the second moving image, and the reference specified from the first moving image is specified. Synchronization deviation information, which is information indicating a time lag between a first reference frame image that is a frame image and a second reference frame image that is the reference frame image specified from the second moving image, is generated. ,
correcting the synchronization deviation of the frame images between the first moving image and the second moving image based on the synchronization deviation information, and analyzing the movement trajectory of the moving object;
When specifying the reference frame image,
generating and outputting a reference frame confirmation UI for presenting the first reference frame image and the second reference frame image to a user;
when receiving a user's instruction not to change the reference frame image from the reference frame confirmation UI, determining the out-of-synchronization information;
when a user's instruction to change the reference frame image is received from the reference frame confirmation UI, candidate images for the first reference frame image and the second reference frame image are extracted from the candidate images; accepting a user's operation to select the reference frame image;
A computer program that causes a computer to perform a process.
JP2020039760A 2020-03-09 2020-03-09 Ball game video analysis device, ball game video analysis method, and computer program Active JP7429887B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020039760A JP7429887B2 (en) 2020-03-09 2020-03-09 Ball game video analysis device, ball game video analysis method, and computer program
PCT/JP2021/006501 WO2021182081A1 (en) 2020-03-09 2021-02-19 Ball game video analysis device, ball game video analysis method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020039760A JP7429887B2 (en) 2020-03-09 2020-03-09 Ball game video analysis device, ball game video analysis method, and computer program

Publications (3)

Publication Number Publication Date
JP2021140643A JP2021140643A (en) 2021-09-16
JP2021140643A5 true JP2021140643A5 (en) 2023-03-01
JP7429887B2 JP7429887B2 (en) 2024-02-09

Family

ID=77668770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020039760A Active JP7429887B2 (en) 2020-03-09 2020-03-09 Ball game video analysis device, ball game video analysis method, and computer program

Country Status (2)

Country Link
JP (1) JP7429887B2 (en)
WO (1) WO2021182081A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008199557A (en) 2007-02-16 2008-08-28 Nec Corp Stream synchronization reproducing system, stream synchronization reproducing apparatus, synchronous reproduction method, and program for synchronous reproduction
JP6213146B2 (en) * 2013-10-24 2017-10-18 ソニー株式会社 Information processing apparatus, recording medium, and information processing method
US11521388B2 (en) 2018-05-21 2022-12-06 Panasonic Intellectual Property Management Co., Ltd. Ball game video analysis device and ball game video analysis method
JP6704606B2 (en) * 2018-08-24 2020-06-03 独立行政法人日本スポーツ振興センター Judgment system and judgment method

Similar Documents

Publication Publication Date Title
US9154739B1 (en) Physical training assistant system
JP4687265B2 (en) Image analyzer
US10382704B2 (en) Image processing device that generates a composite image
KR101232627B1 (en) Modularization algorithm for realtime analyzing and improving golf swing using augmented reality
CN113850248B (en) Motion attitude evaluation method and device, edge calculation server and storage medium
JP5674465B2 (en) Image processing apparatus, camera, image processing method and program
KR101642854B1 (en) Image processing apparatus, image processing method, and storage medium
JP2008108008A (en) Moving pattern specification device, moving pattern specification method, moving pattern specification program, and recording medium that recorded this
JP6362085B2 (en) Image recognition system, image recognition method and program
CN109886995B (en) Multi-target tracking method in complex environment
JP5920264B2 (en) Image identification device, image identification system, image identification method, and program
JP5874626B2 (en) Display control apparatus, display control system, display control method, and program
JP2013524590A (en) Image processing method and thermal image camera
JP5892060B2 (en) Display control apparatus, display control system, display control method, and program
JP2009034360A (en) Training system, and apparatus for the same
JP2021140643A5 (en)
KR101824808B1 (en) Apparatus and method for golf swing synchronization between a 3d golf swing model and moving pictures taken by learner using image processing technologies
KR101802783B1 (en) Method of displaying golf swing and mobile device for performing the same and golf swing analyzing system having the mobile device
KR101499397B1 (en) Mobile device having video analyzing function
JP6384564B2 (en) Image processing apparatus, image processing method, and program
CN113673536B (en) Image color extraction method, system and medium
JP2006127530A (en) Method and device for extracting object in moving image
JP6771521B2 (en) Golf swing analysis system, program and method
CN114078279A (en) Motion capture method, motion capture device, electronic device and storage medium
US8223220B2 (en) Image processing device, image processing method, and information storage medium