JP2021145702A - 球技映像解析装置、球技映像解析システム、球技映像解析方法、及び、コンピュータプログラム - Google Patents

Abstract

【課題】球技を行う人物のアクションを撮影した複数の動画の中から対象動画および比較動画をそれぞれ特定して、アクションの習熟度やフォームの改善点などを容易に把握することができる技術を提供する。【解決手段】球技映像解析装置は、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画に基づいて、移動体の移動軌跡を示す軌跡情報を生成する軌跡解析部と、第１の動画及び第２の動画と軌跡情報との対応関係を示す情報である複数の記録情報を管理する記録管理部と、複数の記録情報の中から軌跡情報に基づいて記録情報を選択させるＵＩ（User Interface）を表示し、ＵＩを通じて選択された記録情報において対応関係にある第１の動画又は第２の動画を表示する表示制御部と、を備える。【選択図】図１２

Description

本開示は、球技映像解析装置、球技映像解析システム、球技映像解析方法、及び、コンピュータプログラムに関する。

従来、バレーボール分析ソフトウェアとして「Ｄａｔａ Ｖｏｌｌｅｙ」が市販され、このソフトウェアに精通したアナリストの主観的判断に基づいて、チームの選手の状況をデータ化する技術が知られている。

近年では、アナリストの操作に頼ることなく、コートを見下ろす四隅にそれぞれカメラを設置し、これら４台のカメラを同期させてプレーを撮影した映像を取り込み、ボールの動きを追跡して、当該ボールの３次元の位置情報を求め、同時に選手の背番号やプレーに含まれるアクションの種類（サーブ、レセプション、ディグ、トス、アタック、ブロック）に関する解析データを出力する技術が知られている（特許文献１）。

国際公開第２０１９／２２５４１５号

ところで、球技を行う人物のアクション（例えばバレーボールのサーブ）の練習を、身近に存在するカメラを用いて動画で撮影し、後にその動画を再生して練習に役立てることが行われている。しかし、従来は、動画の撮影日時及びサムネイルを頼りに動画を探しており、同じアクションが撮影されている複数の動画の中から対象動画および比較動画をそれぞれ特定して、アクションの習熟度やフォームの改善点などを把握することが難しい。

本開示の目的は、球技を行う人物のアクションを撮影した複数の動画の中から対象動画および比較動画をそれぞれ特定して、アクションの習熟度やフォームの改善点などを容易に把握することができる技術を提供することにある。

本開示に係る球技映像解析装置は、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画に基づいて、前記移動体の移動軌跡を示す軌跡情報を生成する軌跡解析部と、前記第１の動画及び前記第２の動画と前記軌跡情報との対応関係を示す情報である複数の記録情報を管理する記録管理部と、前記複数の記録情報の中から前記軌跡情報に基づいて前記記録情報を選択させるＵＩ（User Interface）を表示し、前記ＵＩを通じて選択された前記記録情報において対応関係にある第１の動画又は第２の動画を表示する表示制御部と、を備える。

本開示に係る球技映像解析システムは、カメラ付きの第１の携帯端末と、カメラ付きの第２の携帯端末と、球技映像解析装置と、表示端末とを含む。前記第１の携帯端末は、球技に用いられる移動体に対する人物のアクションを第１の位置から撮影して第１の動画を生成する。前記第２の携帯端末は、前記人物の前記アクションを第２の位置から撮影して第２の動画を生成する。前記球技映像解析装置は、前記第１の動画及び前記第２の動画に基づいて、前記移動体の軌跡を示す軌跡情報を生成し、前記第１の動画及び前記第２の動画と前記軌跡情報との対応関係を示す情報である複数の記録情報を管理し、前記複数の記録情報の中から前記軌跡情報に基づいて記録情報を選択させるＵＩを前記表示端末に表示させ、前記ＵＩを通じて選択された前記記録情報において対応関係にある第１の動画又は第２の動画を前記表示端末に表示させる。

本開示に係る球技映像解析方法は、装置が、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画に基づいて、前記移動体の移動軌跡を示す軌跡情報を生成し、前記第１の動画及び前記第２の動画と前記軌跡情報との対応関係を示す情報である複数の記録情報を管理し、前記複数の記録情報の中から前記軌跡情報に基づいて記録情報を選択させるＵＩを表示し、前記ＵＩを通じて選択された前記記録情報において対応関係にある第１の動画又は第２の動画を表示する。

本開示に係るコンピュータプログラムは、球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画に基づいて、前記移動体の移動軌跡を示す軌跡情報を生成し、前記第１の動画及び前記第２の動画と前記軌跡情報との対応関係を示す情報である複数の記録情報を管理し、前記複数の記録情報の中から前記軌跡情報に基づいて記録情報を選択させるＵＩを表示し、前記ＵＩを通じて選択された前記記録情報において対応関係にある第１の動画又は第２の動画を表示する、処理をコンピュータに実行させる。

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、球技を行う人物のアクションを撮影した複数の動画の中から対象動画および比較動画をそれぞれ特定して、アクションの習熟度やフォームの改善点などを容易に把握することができる。

実施の形態１に係る球技映像解析システムの構成例を示す図 ボールの位置の特定方法を説明するための図 実施の形態１に係る球技映像解析装置の構成例を示すブロック図 基準フレーム画像の特定方法を説明するための図 事前作業の一例を示すフローチャート 事前作業に関する処理の一例を示すシーケンスチャート 図６において基準フレーム画像を変更する旨の操作が行われた場合の事前作業に関する処理の一例を示すシーケンスチャート 基準フレーム確認用ＵＩ（User Interface）の詳細例を示す図 基準フレーム変更用ＵＩの詳細例を示す図 解析結果の表示例を示す図 実施の形態２に係る球技映像解析システムの構成例を示す図 実施の形態２に係る球技映像解析装置の構成例を示すブロック図 実施の形態２に係る表示端末の構成例を示すブロック図 姿勢モデルの一例を説明するための図 ジャンピングサーブを構成するサブアクションを説明するための図 映像比較用ＵＩの表示例を示す図 サブアクション映像比較用ＵＩの表示例を示す図 姿勢モデルを並べて表示した場合の姿勢比較用ＵＩの一例を示す図 姿勢モデルを重ねて表示した場合の姿勢比較用ＵＩの一例を示す図 サブアクション姿勢比較用ＵＩの例を示す図 姿勢比較用ＵＩにおいて姿勢モデルを選択する場合の例を説明するための図 本開示に係る球技映像解析装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図 本開示に係る第１の携帯端末、第２の携帯端末及び表示端末の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

（実施の形態１）
＜球技映像解析システムの構成＞
図１は、本実施の形態に係る球技映像解析システムの構成例を示す図である。

球技映像解析システム１０は、球技を撮影した映像を解析し、当該球技に用いられる移動体の軌跡を解析するシステムである。本実施の形態では、球技の１つであるバレーボールを例に説明する。ただし、球技映像解析システム１０は、バレーボールに限らず、サッカー、野球、卓球、バスケットボール、テニス、ラグビー、アメリカンフットボール、ラクロス、バドミントン、又はアイスホッケー等、様々な球技に適用可能である。また、球技映像解析システム１０が対象とする移動体は、典型的にはボールである。ただし、球技映像解析システム１０が対象とする移動体は、ボールに限らず、例えばバドミントンのシャトル又はアイスホッケーのパックといった「球」の概念に当てはまらない形状のものであってもよい。

球技映像解析システム１０は、第１の携帯端末２０Ａ、第２の携帯端末２０Ｂ、表示端末３０、及び、球技映像解析装置１００を備える。第１の携帯端末２０Ａ、第２の携帯端末２０Ｂ、表示端末３０、及び、球技映像解析装置１００は、通信ネットワークＮを通じて互いに情報を送受信できる。通信ネットワークＮは、例えば、無線通信網（無線ＬＡＮ（Local Area Network）、４Ｇ、５Ｇ等）、インターネット網、又は、それらの組み合わせによって構成される。

第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、カメラを備える無線通信端末である。第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂの例は、携帯電話、スマートフォン、タブレット又はモバイルＰＣ等である。

第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、球技を行う人物（以下「プレイヤー」という）のアクションを撮影する。本実施の形態では、プレイヤーのアクションの１つであるバレーボールのサーブを例に説明する。ただし、プレイヤーのアクションは、バレーボールのサーブに限らず、ディグ、レセプション、トス、アタック、ブロック等であってもよい。あるいは、球技を行う人物のアクションは、バレーボール以外の上記スポーツにおける特定のアクションであってもよい。

第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、例えば、プレイヤーのサーブの練習を、互いに異なる方向から動画で撮影し、それぞれ、第１の動画２０１Ａ及び第２の動画２０１Ｂを生成する。例えば、図１に示すように、第１の携帯端末２０Ａはプレイヤーを右後方から撮影し、第２の携帯端末２０Ｂはプレイヤーを左後方から撮影する。

第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、それぞれ、生成した第１の動画２０１Ａ及び第２の動画２０１Ｂを、通信ネットワークＮを通じて、球技映像解析装置１００に送信する。

表示端末３０は、球技映像解析装置１００による解析結果を表示する。なお、解析結果の表示例については後述する（図１０参照）。表示端末３０の例は、携帯電話、スマートフォン、タブレット又はモバイルＰＣ等である。表示端末３０は、第３の携帯端末と読み替えられてもよい。なお、解析結果を表示する表示端末３０を別途設ける構成を例示したが、第１の携帯端末２０Ａ、第２の携帯端末２０Ｂのいずれかを、解析結果を表示する端末として利用してもよい。

球技映像解析装置１００は、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂからそれぞれ受信した第１の動画２０１Ａ及び第２の動画２０１Ｂに基づいて、３次元空間におけるボールの移動軌跡を解析する。３次元空間におけるボールの移動軌跡は、ボールの３次元座標を時系列に並べることで生成できる。

時刻ｔのボールの３次元座標は、図２に示すように、第１の動画２０１Ａの中の時刻ｔのフレーム画像Ｆ１と、第２の動画２０１Ｂの中の時刻ｔのフレーム画像Ｆ２から算出できる。すなわち、図２に示すように、第１の携帯端末２０Ａ（のカメラ）の位置Ｕ１からフレーム画像Ｆ１におけるボールの位置Ｂ１へ伸ばしたベクトルＶ１と、第２の携帯端末２０Ｂ（のカメラ）の位置Ｕ２からフレーム画像Ｆ２におけるボールの位置Ｂ２へ伸ばしたベクトルＶ２との交点が、ボールの３次元座標Ｐａとなる。

ここで、第１の携帯端末２０Ａが第１の動画２０１Ａの各フレーム画像に付与したタイムコード（時刻情報）と、第２の携帯端末２０Ｂが第２の動画２０１Ｂの各フレーム画像に付与したタイムコードとが完全に正確な時刻ならば、時刻ｔのタイムコードが付与されたフレーム画像Ｆ１、Ｆ２を用いて、上述の方法でボールの３次元座標を正確に特定できる。

しかし、特許文献１に示すような球技映像解析に特化した専用カメラではなく、携帯端末に搭載されたカメラのような汎用的なカメラを用いる場合、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、必ずしも正確なタイムコードを付与できるとは限らない。以下、その理由を説明する。

球技に係るスポーツのボールは高速に移動するため、ボールの３次元位置を特定するためには、例えば３０ｆｐｓ以上の高フレームレートで撮影し、第１の携帯端末２０Ａが撮影したフレーム画像と第２の携帯端末２０Ｂが撮影したフレーム画像との間にミリ秒単位の同期精度が求められる。

ここで、ＮＴＰ（Network Time Protocol）を使用して第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂの内部クロックを同期させることが考えられる。しかし、ＮＴＰの同期精度は秒単位であるため、第１の携帯端末２０Ａの内部クロックと第２の携帯端末２０Ｂの内部クロックとの間にミリ秒単位の同期ずれが生じる可能性がある。よって、この方法では、高速に移動するボールの３次元座標を十分な精度で特定できない場合がある。

または、ＧＰＳ（Global Positioning System）といった衛星測位システムを使用して第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂの内部クロックを同期させることが考えられる。しかし、この方法では、ＧＰＳ機能を搭載していない携帯端末のカメラは使用できなくなってしまう。また、屋内施設等においてＧＰＳ信号が受信できない場合に、第１の携帯端末２０Ａの内部クロックと第２の携帯端末２０Ｂの内部クロックとの間に同期ずれが生じてしまう可能性がある。よって、この方法では、高速に移動するボールの３次元座標を十分な精度で特定できない場合がある。

または、第１の携帯端末２０Ａ及び／又は第２の携帯端末２０Ｂがタイムコードを付与する際に、同期ずれが発生してしまう可能性がある。例えば、第１の携帯端末２０Ａよりも第２の携帯端末２０Ｂの処理性能が低い場合は、携帯端末２０Ｂのタイムコード付与の処理負荷が大きく、全体的に第１の携帯端末２０Ａよりも少し遅いタイムコードを付与してしまう可能性がある。この場合、フレーム画像Ｆ１とフレーム画像Ｆ２のタイムコードが同じであっても、フレーム画像Ｆ２は、実際にはフレーム画像Ｆ１よりも少し以前に撮影されたものになることがある。この少し以前に撮影されたフレーム画像Ｆ２では、ボールの位置がＢ３となり、図２に示すように、ボールの３次元座標もＰｂにずれてしまう。よって、算出されるボールの移動軌跡もずれてしまう。

そこで、本実施の形態に係る球技映像解析装置１００は、第１の携帯端末２０Ａと第２の携帯端末２０Ｂとの間のフレーム画像の同期ずれを特定する機能を有する。そして、球技映像解析装置１００は、その特定した同期ずれを考慮してボールの移動軌跡を算出する。これにより、特許文献１に示すような球技映像解析に特化した専用カメラではなく、携帯端末に搭載されたカメラのような汎用的なカメラを用いても、ボールの移動軌跡を算出できる。以下、詳細に説明する。

＜球技映像解析装置の構成＞
図３は、本実施の形態に係る球技映像解析装置１００の構成例を示すブロック図である。

球技映像解析装置１００は、動画受信部１０１、画像変換部１０２、基準フレーム特定部１０３、基準フレーム変更部１０４、軌跡解析部１０５、及び、結果表示部１０６を備える。

動画受信部１０１は、第１の携帯端末２０Ａから第１の動画２０１Ａを受信し、第２の携帯端末２０Ｂから第２の動画２０１Ｂを受信する。動画のフォーマットの例は、ＭＰＥＧ４、ＴＳファイル、Ｈ．２６４、Ｈ．２６５等である。第１の動画２０１Ａを構成する各フレーム画像には、第１の携帯端末２０Ａによってタイムコードが付与されている。第２の動画２０１Ｂを構成する各フレーム画像には、第２の携帯端末２０Ｂによってタイムコードが付与されている。図１にて説明したとおり、第１の動画２０１Ａ及び第２の動画２０１Ｂには、例えば、プレイヤーがサーブを打つシーンが撮影される。

画像変換部１０２は、第１の動画２０１Ａの各フレーム画像を静止画に変換し、第１のフレーム画像群２０２Ａを生成する。画像変換部１０２は、第２の動画２０１Ｂの各フレーム画像を静止画に変換し、第２のフレーム画像群２０２Ｂを生成する。静止画のフォーマットの例は、ＪＰＥＧ、ＧＩＦ、ＴＩＦＦ等である。

基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａ及び第２のフレーム画像群２０２Ｂの中から、それぞれ、フレーム同期のための基準となるフレーム画像（以下「基準フレーム画像」という）を特定する。以下、第１のフレーム画像群２０２Ａの中から特定された基準フレーム画像を第１の基準フレーム画像といい、第２のフレーム画像群２０２Ｂの中から特定された基準フレーム画像を第２の基準フレーム画像という。

基準フレーム特定部１０３は、アクションを構成する特定のサブアクションが撮影されたフレーム画像を、基準フレーム画像として特定する。例えば、基準フレーム特定部１０３は、サーブ（アクション）の一連の動作が撮影されたフレーム画像群のうち、サーブを打った手がボールに当たった瞬間（サブアクション）が撮影されたフレーム画像を、基準フレーム画像として特定する。次に、図４を参照して、基準フレーム画像を特定する方法の一例を説明する。

図４に示すように、基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａに対してボールの検出領域２１１Ａを設定する。基準フレーム特定部１０３は、第２のフレーム画像群２０２Ｂに対してボールの検出領域２１１Ｂを設定する。これにより、ボールの検出領域が小さくなるので、ボールの検出処理に要する時間を短縮できる。なお、当該ボールの検出領域の設定は行われなくてもよい。

基準フレーム特定部１０３は、公知の方法によって、第１のフレーム画像群２０２Ａの各フレーム画像からボールを検出する。例えば、基準フレーム特定部１０３は、パターンマッチングによってフレーム画像からボールを検出する。あるいは、基準フレーム特定部１０３は、ボール検出用に予め学習されたディープラーニングを用いて、フレーム画像からボールを検出する。基準フレーム特定部１０３は、同様に、第２のフレーム画像群２０２Ｂの各フレーム画像からもボールを検出する。

基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａの各フレーム画像から検出したボールの位置に基づいて、ボールの２次元の移動軌跡を算出する。そして、基準フレーム特定部１０３は、そのボールの２次元の移動軌跡の変化に基づいて、第１の基準フレーム画像を特定する。例えば、基準フレーム特定部１０３は、次のＳ１１〜Ｓ１３の処理により第１の基準フレーム画像を特定する。

（Ｓ１１）基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａから、ボールのＸ方向の移動量が所定の閾値以上である（つまりボールが横方向に大きく移動した）第１のフレーム画像を抽出する。これにより、サーブを打った手がボールに当たった直後の、ボールがネット方向に飛んでいる第１のフレーム画像を抽出できる。

（Ｓ１２）基準フレーム特定部１０３は、Ｓ１１で抽出した第１のフレーム画像より以前の一定期間に含まれる複数の第１のフレーム画像のうち、ボールのＹ軸方向の移動量が所定の閾値以上変化し、かつ、Ｓ１１で抽出した第１のフレーム画像に最も近い第１のフレーム画像を特定する。これにより、サーブのために投げ上げられたボールが上昇中又は落下中である複数の第１のフレーム画像のうち、サーブを打った手がボールに当たった瞬間の第１のフレーム画像を特定できる。

（Ｓ１３）基準フレーム特定部１０３は、Ｓ１２で特定した第１のフレーム画像を、第１の基準フレーム画像とする。

基準フレーム特定部１０３は、上記と同様の処理により、第２の基準フレーム画像を特定する。そして、基準フレーム特定部１０３は、第１の基準フレーム画像に対応するタイムコード（以下「第１の基準タイムコード」という）と、第２の基準フレーム画像に対応するタイムコード（以下「第２の基準タイムコード」という）とを、同期ずれ情報２０３に書き込む。

なお、基準フレーム特定部１０３は、サーブとは異なるアクション及びサブアクションによって基準フレーム画像を特定してもよい。例えば、基準フレーム特定部１０３は、プレイヤーのアタック（又はディグ、レセプション、トス、ブロック等）を行った手がボールに当たった瞬間が撮影されているフレーム画像を、基準フレーム画像としてもよい。

また、基準フレーム特定部１０３は、第１の基準タイムコードから第２の基準タイムコードを差し引いた値（以下「同期時間差」という）を、同期ずれ情報２０３に書き込んでもよい。この同期ずれ情報２０３に書き込まれた同期時間差は、第１の携帯端末２０Ａと第２の携帯端末２０Ｂとの間のフレーム画像の同期ずれの大きさに相当する。例えば、同期時間差がほぼ０の場合、第１の携帯端末２０Ａが付与するタイムコードと、第２の携帯端末２０Ｂが付与するタイムコードとは、ほとんどずれない傾向にあることを示す。同期時間差が正値の場合、第２の携帯端末２０Ｂが付与するタイムコードは、第１の携帯端末２０Ａが付与するタイムコードよりも遅れる傾向にあることを示す。同期時間差が負値の場合、第１の携帯端末２０Ａが付与するタイムコードは、第２の携帯端末２０Ｂが付与するタイムコードよりも遅れる傾向にあることを示す。

図３の説明に戻る。

基準フレーム特定部１０３が上述した方法によって自動的に特定した基準フレーム画像は、必ずしも正しい基準フレーム画像であるとは限らない。そこで、基準フレーム特定部１０３は、ユーザが基準フレーム画像を確認するためのＵＩ（User Interface）（以下「基準フレーム確認用ＵＩ」という）３１０を提供する。なお、基準フレーム確認用ＵＩ３１０の詳細については後述する（図８参照）。

基準フレーム変更部１０４は、ユーザが基準フレーム画像を変更するためのＵＩ（以下「基準フレーム変更用ＵＩ」という）３２０を提供する。なお、基準フレーム変更用ＵＩ３２０の詳細については後述する（図９参照）。基準フレーム変更部１０４は、基準フレーム変更用ＵＩ３２０を通じて基準フレーム画像が変更された場合、その変更された基準フレーム画像に基づいて、同期ずれ情報２０３を変更する。

軌跡解析部１０５は、例えばプレイヤーによるサーブのアクションを撮影した第１の動画２０１Ａ及び第２の動画２０１Ｂから、同期ずれ情報２０３を用いて、アクションに係るボールの３次元空間における移動軌跡を特定し、そのボールの移動軌跡を示す情報を含む解析結果情報２０４を生成する。なお、軌跡解析部１０５が解析対象とする第１の動画２０１Ａ及び第２の動画２０１Ｂは、上述した同期ずれ情報２０３を生成するために撮影された第１の動画２０１Ａ及び第２の動画２０１Ｂと異なるものであってよい。

例えば、軌跡解析部１０５は、事前にキャリブレーション処理により求めた第1の携帯端末２０Ａ及び第２の携帯端末２０Ｂの各々のカメラパラメータ（世界座標をカメラ画像に変換するための透視投影変換行列による）と、第１のフレーム画像におけるボールの位置と、同期ずれ情報２０３によって補正された、当該第１のフレーム画像に同期する第２のフレーム画像におけるボールの位置とに基づいて、当該第１のフレーム画像及び第２のフレーム画像が撮影されたタイミングにおけるボールの３次元座標を特定する。軌跡解析部１０５は、このように特定したボールの３次元座標を時系列に並べることにより、３次元空間におけるボールの移動軌跡を特定する。軌跡解析部１０５は、その特定したボールの移動軌跡を示す情報を含む解析結果情報２０４を生成する。これにより、球技映像解析に特化した専用カメラではなく、携帯端末に搭載されたカメラを用いても、十分な精度で３次元空間におけるボールの移動軌跡を解析できる。

結果表示部１０６は、解析結果情報２０４を、例えば表示端末３０に表示させる。なお、結果表示部１０６は、第１の携帯端末２０Ａ及び／又は第２の携帯端末２０Ｂに解析結果情報２０４を表示させてもよい。

＜事前作業＞
図５は、事前作業の一例を示すフローチャートである。事前作業とは、軌跡解析部１０５によって本番のアクションの解析を行う前に行われる作業であり、例えば、同期ずれ情報２０３を生成するために行われる作業である。

ユーザは、プレイヤー及びボールを互いに異なる方向から撮影できる位置に第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂをそれぞれ設置する（Ｓ１０１）。

ユーザは、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂをペアリングする（Ｓ１０２）。ペアリングの情報は、球技映像解析装置１００へ送信されてよい。

ユーザは、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂに対して、事前作業に係る撮影の開始を指示する（Ｓ１０３）。これにより、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、撮影を開始する。

プレイヤーはサーブを打つ（Ｓ１０４）。これにより、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、それぞれ、プレイヤーがサーブを打ってボールが飛んでいく第１の動画２０１Ａ及び第２の動画２０１Ｂを撮影できる。なお、ユーザとプレイヤーは同一人物であってもよい。

ユーザは、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂに対して、事前作業に係る撮影の停止を指示する（Ｓ１０５）。第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、それぞれ、撮影の停止の指示を受け、第１の動画２０１Ａ及び第２の動画２０１Ｂを球技映像解析装置１００へ送信する。球技映像解析装置１００は、第１の動画２０１Ａから第１の基準フレーム画像を、第２の動画２０１Ｂから第２の基準フレーム画像を特定し、基準フレーム確認用ＵＩ３１０を表示端末３０に表示させる。

ユーザは、表示端末３０に表示された基準フレーム確認用ＵＩ３１０から、第１の基準フレーム画像及び第２の基準フレーム画像を確認する（Ｓ１０６）。ユーザは、例えば、基準フレーム画像を変更する場合、基準フレーム確認用ＵＩ３１０を通じて、球技映像解析装置１００に対して、基準フレーム画像の変更を指示する。この場合、球技映像解析装置１００は、基準フレーム変更用ＵＩ３２０を表示端末３０に表示させる。

なお、上記のＳ１０３、Ｓ１０５における撮影の開始及び停止の指示は、どちらか一方の携帯端末から行うことができてよい。例えば、第1の携帯端末２０Ａから撮影の開始及び停止の指示が行われた場合、この撮影の開始及び指示は、球技映像解析装置１００を介して、第２の携帯端末２０Ｂに自動で送信されてよい。

ユーザは、表示端末３０に表示された基準フレーム変更用ＵＩ３２０を操作して、基準フレーム画像を変更する（Ｓ１０７）。なお、Ｓ１０６及びＳ１０７の詳細については後述する（図７、図８参照）。

以上の処理により、球技映像解析装置１００は、ユーザによって確認及び修正された第１の基準フレーム画像及び第２の基準フレーム画像に基づいて、同期ずれ情報２０３を生成できる。

＜事前作業に関する処理＞
図６は、事前作業に関する処理の一例を示すシーケンスチャートである。図６は、図５におけるＳ１０６〜Ｓ１０７の詳細な説明に相当する。

動画受信部１０１は、第１の携帯端末２０Ａから第１の動画２０１Ａを受信し（Ｓ２０１）、第２の携帯端末２０Ｂから第２の動画２０１Ｂを受信する（Ｓ２０２）。

画像変換部１０２は、第１の動画２０１Ａから第１のフレーム画像群２０２Ａを生成し、第２の動画２０１Ｂから第２のフレーム画像群２０２Ｂを生成する（Ｓ２０３）。

基準フレーム特定部１０３は、第１のフレーム画像群２０２Ａの中から、アクションを構成する特定のサブアクションが撮影された第１の基準フレーム画像を探索する（Ｓ２０４）。例えば、基準フレーム特定部１０３は、前述のように、ボールの２次元（Ｘ方向、Ｙ方向）の移動軌跡の変化に基づいて、プレイヤーのサーブを打った手がボールに当たった瞬間が撮影された第１の基準フレーム画像を探索する。

基準フレーム特定部１０３は、上記同様、第２のフレーム画像群２０２Ｂの中から、第２の基準フレーム画像を探索する（Ｓ２０５）。このとき、基準フレーム特定部１０３は、第１の基準フレーム画像のタイムコードから所定時間遡ったタイムコード以降の第２のフレーム画像群２０２Ｂを、第２の基準フレーム画像の探索範囲としてよい。これにより、第２のフレーム画像群２０２Ｂのすべてを探索範囲とする場合と比較して、探索に要する時間を短縮できる。

基準フレーム特定部１０３は、第１の基準フレーム画像のタイムコード（第１の基準タイムコード）、及び、第２の基準フレーム画像のタイムコード（第２の基準タイムコード）を、同期ずれ情報２０３に書き込む（Ｓ２０６）。

基準フレーム変更部１０４は、第１の基準フレーム画像及び第２の基準フレーム画像、並びに、基準フレーム確認用ＵＩ３１０を表示するための情報を、表示端末３０に送信する（Ｓ２０７）。

表示端末３０は、第１の基準フレーム画像、第２の基準フレーム画像、及び、基準フレーム確認用ＵＩ３１０を表示する（Ｓ２０８）。なお、基準フレーム確認用ＵＩ３１０の詳細については後述する（図８参照）。

Ｓ２０８にて表示された基準フレーム確認用ＵＩ３１０に対して、ユーザが、基準フレーム画像を変更しない旨の操作を行った場合、表示端末３０は、変更なしを示す指示情報を球技映像解析装置１００に送信する（Ｓ２０９）。

基準フレーム変更部１０４は、変更なしを示す指示情報を受信した場合、Ｓ２０６にて書き込まれた同期ずれ情報２０３の内容を確定する（Ｓ２１０）。そして、球技映像解析装置１００は本処理を終了する。

図７は、図６において基準フレーム画像を変更する旨の操作が行われた場合の事前作業に関する処理の一例を示すシーケンスチャートである。

Ｓ２０８にて表示された基準フレーム確認用ＵＩ３１０に対して、ユーザが基準フレーム画像を変更する旨の操作を行った場合、表示端末３０は、変更ありを示す指示情報を、球技映像解析装置１００に送信する（Ｓ２２１）。

基準フレーム変更部１０４は、変更ありを示す指示情報を受信した場合、次の処理を行う。すなわち、基準フレーム変更部１０４は、第１のフレーム画像群２０２Ａから、Ｓ２０４で探索した第１の基準フレーム画像の前後に撮影された複数の第１のフレーム画像を抽出し、それら抽出した複数の第１のフレーム画像を、第１の基準フレーム画像の候補とする。

同様に、基準フレーム変更部１０４は、第２のフレーム画像群２０２Ｂから、Ｓ２０５で探索した第２の基準フレーム画像の前後に撮影された複数の第２のフレーム画像を抽出し、それら抽出した複数の第２のフレーム画像を、第２の基準フレーム画像の候補とする。そして、基準フレーム変更部１０４は、複数の第１の候補フレームの候補とこれらのタイムコード、複数の第２の基準フレーム画像の候補とこれらのタイムコード、及び、基準フレーム変更用ＵＩ３２０を表示するための情報を、表示端末３０に送信する（Ｓ２２２）。

表示端末３０は、基準フレーム変更用ＵＩ３２０を表示する（Ｓ２２３）。なお、基準フレーム変更用ＵＩ３２０の詳細については後述する（図９参照）。

ユーザは、Ｓ２２３にて表示された基準フレーム変更用ＵＩ３２０を操作して、複数の第１の基準フレーム画像の候補の中から、変更後の第１の基準フレーム画像を選択し、複数の第２の基準フレーム画像の候補の中から、変更後の第２の基準フレーム画像を選択する（Ｓ２２４）。

表示端末３０は、Ｓ２２４にて選択された、変更後の第１の基準フレーム画像のタイムコード（以下「変更後の第１の基準タイムコード」という）、及び／又は、変更後の第２の基準フレーム画像のタイムコード（以下「変更後の第２の基準タイムコード」という）を、球技映像解析装置１００に送信する（Ｓ２２５）。

基準フレーム変更部１０４は、表示端末３０から受信した、変更後の第１の基準タイムコード、及び／又は、変更後の第２の基準タイムコードを、同期ずれ情報２０３に上書きし、当該同期ずれ情報２０３の内容を確定する（Ｓ２２６）。これにより、基準フレーム特定部１０３によって自動的に生成された同期ずれ情報２０３の内容が、基準フレーム変更部１０４を通じてユーザによって変更された基準フレーム画像のタイムコードにて上書きされる。そして、球技映像解析装置１００は本処理を終了する。

＜基準フレーム確認用ＵＩの詳細＞
図８は、基準フレーム確認用ＵＩの詳細例を示す図である。

図８に示すように、基準フレーム確認用ＵＩ３１０は、第１の画像表示領域２１０Ａ、第２の画像表示領域２１０Ｂ、ＯＫボタン３１２、変更ボタン３１３、及び、やり直しボタン３１４を含む。なお、基準フレーム確認用ＵＩ３１０は、変更ボタン３１３又はやり直しボタン３１４の何れか一方を含まなくてもよい。

表示端末３０は、第１の画像表示領域２１０Ａに、図６のＳ２０７にて球技映像解析装置１００から送信された第１の基準フレーム画像を表示する。表示端末３０は、第２の画像表示領域２１０Ｂに、図６のＳ２０７にて球技映像解析装置１００から送信された第２の基準フレーム画像を表示する。図８に示すように、第１の画像表示領域２１０Ａと第２の画像表示領域２１０Ｂは、左右に並べて配置されてよい。ただし、第１の画像表示領域２１０Ａと第２の画像表示領域２１０Ｂの配置態様は、左右に並べられる配置に限られない。例えば、第１の画像表示領域２１０Ａと第２の画像表示領域２１０Ｂは、別々のウィンドウとして表示されてもよい。

表示端末３０は、ＯＫボタン３１２が押下された場合、図６のＳ２０９における変更なしを示す指示情報を、球技映像解析装置１００に送信する。ユーザは、第１の画像表示領域２１０Ａに表示された第１の基準フレーム画像と、第２の画像表示領域２１０Ｂに表示された第２の基準フレーム画像とのいずれもが、正しくサブアクションが撮影された画像である場合、ＯＫボタン３１２を押下してよい。これにより、図６のＳ２１０に示すように、同期ずれ情報２０３の内容が確定される。

表示端末３０は、変更ボタン３１３が押下された場合、図７のＳ２２１における変更ありを示す指示情報を、球技映像解析装置１００に送信する。ユーザは、第１の画像表示領域２１０Ａに表示された第１の基準フレーム画像と、第２の画像表示領域２１０Ｂに表示された第２の基準フレーム画像とのうちの少なくとも一方が、正しくサブアクションが撮影された画像でない場合、変更ボタン３１３を押下してよい。これにより、図７のＳ２２３に示すように、表示端末３０には、基準フレーム変更用ＵＩ３２０が表示される。

表示端末３０は、やり直しボタン３１４が押下された場合、事前作業のやり直しを示す指示情報を球技映像解析装置１００に送信する。この指示を受信した場合、球技映像解析装置１００、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、図５のＳ１０３から事前作業をやり直す。例えば、Ｓ１０４のサーブに失敗した場合、第１の基準フレーム画像及び／又は第２の基準フレーム画像が明らかにプレイヤーによるサーブのボールとは別のボール（例えば床に転がっているボールや他のプレイヤーが練習中のボール等）を認識したものである場合、ユーザは、やり直しボタン３１４を押下してよい。

なお、第１の基準フレーム画像には、Ｓ２０４にて探索された第１の基準フレーム画像の直前の３枚の第１のフレーム画像と、当該第１の基準フレームの直後の３枚の第１のフレーム画像とが含まれてよい。この場合、第１の基準フレーム画像は、Ｓ２０４にて探索された第１の基準フレーム画像も含めて、合計７枚となる。同様に、第２の基準フレーム画像には、Ｓ２０５にて探索された第２の基準フレーム画像の直前の３枚の第２のフレーム画像と、当該第２の基準フレーム画像の直後の３枚の第２のフレーム画像とが含まれてよい。この場合、第２の基準フレーム画像は、Ｓ２０５にて探索された第２の基準フレーム画像も含めて、合計７枚となる。

この場合、表示端末３０は、第１の画像表示領域２１０Ａ及び第２の画像表示領域２１０Ｂにおいて、それぞれ、７枚の第１の基準フレーム画像、及び、７枚の第２の基準フレーム画像を、同期させて連続的に表示してもよい。

なお、上記の７枚は一例であり、複数の第１及び第２の基準フレーム画像の枚数はいくつであってもよい。また、複数の第１及び第２の基準フレーム画像は、１フレームずつ連続する場合に限られず、所定のフレーム間隔でスキップされたものであってもよい。

これにより、ユーザは、１枚の第１の基準フレーム画像と第２の基準フレーム画像との間の同期を確認するだけでなく、複数枚の第１の基準フレーム画像と第２の基準フレーム画像との間の同期を容易に確認することができる。

なお、図８に示した基準フレーム確認用ＵＩ３１０を表示端末３０へ表示する例を示したが、この基準フレーム確認用ＵＩ３１０を、第1の携帯端末２０Ａ又は第２の携帯端末２０Ｂのいずれか一方に表示させてもよい。あるいは、第１の基準フレーム画像に対する基準フレーム確認用ＵＩ３１０を第1の携帯端末２０Ａに表示させ、第２の基準フレーム画像に対する基準フレーム確認用ＵＩ３１０を第２の携帯端末２０Ｂに表示させてもよい。

＜基準フレーム変更用ＵＩの詳細＞
図９は、基準フレーム変更用ＵＩの詳細例を示す図である。

図９に示すように、基準フレーム変更用ＵＩ３２０は、第１の画像表示領域２１０Ａ、第２の画像表示領域２１０Ｂ、ＯＫボタン３２２、及び、戻りボタン３２３を含む。さらに、基準フレーム変更用ＵＩ３２０は、第１の画像表示領域２１０Ａに対応する、１フレーム戻りボタン３２４Ａ、Ｎフレーム戻りボタン３２５Ａ、１フレーム進みボタン３２６Ａ、Ｎフレーム進みボタン３２７Ａを含む。ここで、Ｎは２以上の予め定められた整数である。さらに、基準フレーム変更用ＵＩ３２０は、第２の画像表示領域２１０Ｂに対応する、１フレーム戻りボタン３２４Ｂ、Ｎフレーム戻りボタン３２５Ｂ、１フレーム進みボタン３２６Ｂ、Ｎフレーム進みボタン３２７Ｂを含む。

表示端末３０は、戻りボタン３２３が押下された場合、図８に示す基準フレーム確認用ＵＩ３１０の表示に戻る。

表示端末３０は、１フレーム戻りボタン３２４Ａが押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補よりも１フレーム以前の第１の基準フレーム画像の候補を、第１の画像表示領域２１０Ａに表示する。なお、第２の画像表示領域２１０Ｂに対応する１フレーム戻りボタン３２４Ｂについても同様である。

表示端末３０は、Ｎフレーム戻りボタン３２５Ａが押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補よりもＮフレーム以前の第１の基準フレーム画像の候補を、第１の画像表示領域２１０Ａに表示する。なお、第２の画像表示領域２１０Ｂに対応するＮフレーム戻りボタン３２５Ｂについても同様である。

表示端末３０は、１フレーム進みボタン３２６Ａが押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補よりも１フレーム以後の第１の基準フレーム画像の候補を、第１の画像表示領域２１０Ａに表示する。なお、第２の画像表示領域２１０Ｂに対応する１フレーム進みボタン３２６Ｂについても同様である。

表示端末３０は、Ｎフレーム進みボタン３２７Ａが押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補よりもＮフレーム以後の第１の基準フレーム画像の候補を、第１の画像表示領域２１０Ａに表示する。なお、第２の画像表示領域２１０Ｂに対応するＮフレーム進みボタン３２７Ｂについても同様である。

ユーザは、第１の画像表示領域２１０Ａ及び第２の画像表示領域２１０Ｂのいずれにも、正しくサブアクションが撮影された画像が表示されるように、上述した各ボタン３２４Ａ〜３２７Ａ、３２４Ｂ〜３２７Ｂを操作してよい。

表示端末３０は、ＯＫボタン３２２が押下された場合、第１の画像表示領域２１０Ａに表示中の第１の基準フレーム画像の候補のタイムコード（変更後の第１の基準タイムコード）、及び、第２の画像表示領域２１０Ｂに表示中の第２の基準フレーム画像の候補のタイムコード（変更後の第２の基準タイムコード）を、球技映像解析装置１００へ送信する。この処理は、図７のＳ２２５に相当する。ユーザは、第１の画像表示領域２１０Ａ及び第２の画像表示領域２１０Ｂのいずれにも正しくサブアクションが撮影された画像が表示されるように操作した後、ＯＫボタン３２２を押下してよい。

＜解析結果画面＞
図１０は、解析結果の表示例を示す図である。

第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、プレイヤーのサーブの練習を撮影し、それぞれ、第１の動画２０１Ａ及び第２の動画２０１Ｂを生成及び送信する。なお、この第１の動画２０１Ａ及び第２の動画２０１Ｂは、事前作業のために撮影された第１の動画２０１Ａ及び第２の動画２０１Ｂとは異なるものであってよい。

軌跡解析部１０５は、サーブの練習が撮影された第１の動画２０１Ａ及び第２の動画２０１Ｂとの間のフレーム画像の同期ずれを同期ずれ情報２０３に基づいて補正した上で、ボールの移動軌跡を解析し、解析結果情報２０４を生成する。例えば、同期ずれ情報２０３において、第２の基準タイムコードが第１の基準タイムコードよりも以後である場合、軌跡解析部１０５は、第２の基準タイムコードと第１の基準タイムコードとの間の差分時間の分、第１の動画２０１Ａの各フレーム画像を遅らせる補正を行った上で、第１の動画２０１の各フレーム画像と第２の動画２０１Ｂの各フレーム画像とを同期させて、ボールの移動軌跡を解析する。これにより、第２の携帯端末２０Ｂによるタイムコード付与の遅れが補正され、十分な精度のボールの移動軌跡を算出できる。

結果表示部１０６は、解析結果情報２０４に基づく解析結果画面３３０を、表示端末３０に表示させる。例えば、解析結果画面３３０には、図１０に示すように、第１の動画２０１Ａ又は第２の動画２０１Ｂの再生に対して、解析結果情報２０４が示すボールの移動軌跡３３１が重畳表示されてよい。加えて、解析結果画面３３０には、手で打たれたボールが手から離れた瞬間のボールの高さ及び速度が表示されてもよい。加えて、解析結果画面３３０には、ボールがネット上を通過する瞬間のボールの高さ及び速度が表示されてもよい。

これにより、プレイヤーは、解析結果画面３３０から、サーブのときの体の動きに加えて、そのサーブによるボールの移動軌跡を詳細に確認できる。

なお、上述では、事前作業として、予め同期調整用の動画を撮影し、同期調整及び確認を行ってから、解析処理用の動画を撮影して、ボールの軌跡等が重畳された動画を解析結果として表示させる例を説明した。しかし、本実施の形態は、同期調整用の動画と解析処理用の動画とを区別することなく、例えば、最初に撮影した動画において、連続して同期調整と解析処理とを行う構成であってもよい。さらに、同期ずれの検出を自動化し、順次撮影した動画に対する解析処理を行う中、任意のタイミングで同期調整を実行するようにしてもよい。

＜変形例＞
上述では、フレーム同期のずれを示す情報として、第１の携帯端末２０Ａが第１のフレーム画像に付与した第１のタイムコードと、第２の携帯端末２０Ｂが第２のフレーム画像に付与した第２のタイムコードとを用いる例を説明した。しかし、フレーム同期のずれを示す情報は、タイムコードに限られない。

例えば、フレーム同期のずれを示す情報として、第１の携帯端末２０Ａが生成した第１の動画２０１Ａにおける第１のフレーム画像のフレーム番号（以下「第１のフレーム番号」という）と、第２の携帯端末２０Ｂが生成した第２の動画２０１Ｂにおけるフレーム画像（以下「第２のフレーム番号」という）とを用いてもよい。この場合、基準フレーム特定部１０３は、第１の基準フレーム画像の第１のフレーム番号（以下「第１の基準フレーム番号」という）と、第２の基準フレーム画像の第２のフレーム番号（以下「第２の基準フレーム番号」という）とを、同期ずれ情報２０３に書き込んでよい。そして、基準フレーム変更部１０４は、基準フレーム変更用ＵＩ３２０を通じて選択された、変更後の第１の基準フレーム画像のフレーム番号（以下「変更後の第１の基準フレーム番号」という）、及び／又は、変更後の第２の基準フレーム画像のフレーム番号（以下「変更後の第２の基準フレーム番号」という）を、同期ずれ情報２０３に上書きしてもよい。

（実施の形態２）
実施の形態２では、球技を行う人物（プレイヤー）のアクションを撮影した複数の動画の中から対象動画および比較動画をそれぞれ特定して、アクションの習熟度やフォームの改善点などを把握できる球技映像解析システムについて説明する。なお、実施の形態２では、実施の形態１と共通する構成要素については、同一の参照番号を付し、説明を省略する場合がある。

また、実施の形態２では、プレイヤーによるアクションの練習がバレーボールのサーブの練習である場合を例に説明する。しかし、実施の形態２は、この例に限らず、テニスのサーブ又はボレーの練習、バドミントンのサーブ又はスマッシュの練習、サッカーのヘディングの練習、野球のバッティングの練習、ゴルフのスイングの練習といった様々なアクションの練習に適用可能である。

＜球技映像解析システムの構成＞
図１１は、実施の形態２に係る球技映像解析システム１０の構成例を示す図である。

実施の形態２に係る球技映像解析システム１０は、図１に示した実施の形態１に係る球技映像解析システム１０と同様である。ただし、図１１に示すように、第１の携帯端末２０Ａ（のカメラ）は、コートの一方のサイドのネットの近くに、サーブを行うプレイヤーに向かって設置されてよい。第２の携帯端末２０Ｂ（のカメラ）は、コートの他方のサイドのネットの近くに、サーブを行うプレイヤーに向かって設置されてよい。

また、実施の形態２にて説明する球技映像解析システム１０は、実施の形態１にて説明した方法によって同期ずれ等が補正されるように構成されてよい。

＜球技映像解析装置の構成＞
図１２は、実施の形態２に係る球技映像解析装置１００の構成例を示すブロック図である。

図１２に示すように、球技映像解析装置１００は、動画受信部１０１、軌跡解析部１０５、姿勢解析部１３１、サブアクション解析部１３２、記録管理部１３３、及び、表示制御部１３４を有する。

動画受信部１０１は、第１の携帯端末２０Ａから第１の動画２０１Ａを受信し、第２の携帯端末２０Ｂから第２の動画２０１Ｂを受信する。第１の動画２０１Ａ及び第２の動画２０１Ｂには、例えば、プレイヤーがサーブを行うシーンが撮影される。

軌跡解析部１０５は、例えば特許文献１に開示されている技術を用いて、第１の動画２０１Ａ及び第２の動画２０１Ｂから、ボールの移動軌跡を特定し、軌跡情報２２０を生成する。軌跡情報２２０は、動画のある時点のタイムコードと、当該タイムコードのときのボールの３次元位置との対応関係を示す複数の情報を含む。

姿勢解析部１３１は、第１の動画２０１Ａ及び第２の動画２０１Ｂに基づいて、アクションが行われた期間におけるプレイヤーの姿勢を示す姿勢モデル情報２２１を生成する。例えば、姿勢解析部１３１は、第１の動画２０１Ａ及び第２の動画２０１Ｂから、公知の関節推定技術を用いて、プレイヤーの所定の各関節の３次元位置（以下「関節位置」という）と、当該各関節位置の動きとを特定する。姿勢解析部１３１は、その特定した各関節位置と当該各関節位置の動きとを示す情報を、姿勢モデル情報２２１として生成する。なお、姿勢モデル情報２２１の詳細については後述する（図１４参照）。

サブアクション解析部１３２は、軌跡情報２２０及び／又は姿勢モデル情報２２１に基づいて、第１の動画２０１Ａ及び第２の動画２０１Ｂに撮影されたアクションを構成する各サブアクションを解析する。そして、サブアクション解析部１３２は、その解析した各サブアクションの発生タイミングを示すサブアクション情報２２２を生成する。例えば、バレーボールのアクションの一例であるジャンピングサーブは、「助走」、「トス」、「ジャンプ」、及び、サーブを打った手がボールに当たったことを意味する「ヒット」といった一連のサブアクションにて構成される。なお、サブアクションの詳細については後述する（図１５参照）。

記録管理部１３３は、複数の記録情報２００を管理する。記録情報２００は、第１の動画２０１Ａ及び第２の動画２０１Ｂの撮影日時と、当該第１の動画２０１Ａ及び第２の動画２０１Ｂと、当該第１の動画２０１Ａ及び第２の動画２０１Ｂから生成された軌跡情報２２０、姿勢モデル情報２２１及びサブアクション情報２２２との対応関係を示す情報である。すなわち、記録情報２００は、ある日時にプレイヤーが行ったアクションが撮影された動画と、その動画から生成された軌跡情報２２０、姿勢モデル情報２２１及びサブアクション情報２２２との対応関係を示す情報であるともいえる。

表示制御部１３４は、記録管理部１３３において管理される複数の記録情報２００の中から軌跡情報２２０に基づいて記録情報２００を選択するためのＵＩを、表示端末３０に表示させる。また、表示制御部１３４は、当該ＵＩを通じて選択された記録情報２００において対応関係にある第１の動画２０１Ａ又は第２の動画２０１Ｂを、表示端末３０に表示させる。

また、表示制御部１３４は、表示端末３０に表示されたＵＩを通じて、記録管理部１３３にて管理される複数の記録情報２００の中から、例えば第１の記録情報２００Ａ（図１３参照）及び第２の記録情報２００Ｂ（図１３参照）が選択された場合、次の処理を行ってよい。すなわち、表示制御部１３４は、第１の記録情報２００Ａにおいて対応関係にある第１の動画２０１Ａ又は第２の動画２０１Ｂと、第２の記録情報２００Ｂにおいて対応関係にある第１の動画２０１Ａ又は第２の動画２０１Ｂとを並べて表示するＵＩ（以下「映像比較用ＵＩ」という）４００Ａを、表示端末３０に表示させてよい。なお、映像比較用ＵＩ４００Ａの詳細については後述する（図１６及び図１７参照）。

また、表示制御部１３４は、表示端末３０に表示された映像比較用ＵＩ４００Ａを通じて、記録管理部１３３にて管理される複数の記録情報２００の中から、例えば第１の記録情報２００Ａ及び第２の記録情報２００Ｂが選択された場合、次の処理を行ってよい（図１４参照）。すなわち、表示制御部１３４は、第１の記録情報２００Ａにおいて対応関係にある姿勢モデル情報２２１から生成された第１の姿勢モデル２３１Ａと、第２の記録情報２００Ｂにおいて対応関係にある姿勢モデル情報２２１から生成された第２の姿勢モデル２３１Ｂとを、並べて又は重ねて表示するＵＩ（以下「姿勢比較用ＵＩ」という）４００Ｃを、表示端末３０に表示させてよい。なお、姿勢比較用ＵＩ４００Ｃの詳細については後述する（図１８〜図２１参照）。

また、表示制御部１３４は、第１の記録情報２００Ａにおいて対応関係にある軌跡情報２２０から生成された移動体（ボール）の移動軌跡２４１Ａと、第２の記録情報２００Ｂにおいて対応関係にある軌跡情報２２０から生成された移動体（ボール）の移動軌跡２４１Ｂとを、姿勢比較用ＵＩ４００Ｃにおいて、姿勢モデル２３１Ａ、２３１Ｂと共に表示端末３０に表示させてよい（図１８〜図２１参照）。

また、表示制御部１３４は、複数のサブアクションのうちの１つのサブアクションを選択可能なサブアクション選択ＵＩ（４４７）を表示端末３０に表示させてよい。そして、表示制御部１３４は、サブアクション選択ＵＩ（４４７）を通じて選択された１つのサブアクションの発生タイミングにおける姿勢モデル２３１Ａ、２３１Ｂを、姿勢比較用ＵＩ（４００Ｄ）において、表示端末３０に表示させてよい（図２０参照）。

＜表示端末の構成＞
図１３は、実施の形態２に係る表示端末３０の構成例を示すブロック図である。

表示端末３０は、情報送受信部１５１、及び、ＵＩ制御部１５２を有する。

情報送受信部１５１は、球技映像解析装置１００と、通信ネットワークＮを通じて、情報を送受信する。例えば、情報送受信部１５１は、球技映像解析装置１００から、複数の記録情報２００（例えば第１の記録情報２００Ａ及び第２の記録情報２００Ｂ）を受信する。

ＵＩ制御部１５２は、球技映像解析装置１００の表示制御部１３４と連携して、映像比較用ＵＩ４００Ａ及び姿勢比較用ＵＩ４００Ｃ等を、出力装置１００２（図２３参照）の一例であるディスプレイに表示する。また、ＵＩ制御部１５２は、入力装置１００１（図２３参照）の一例であるタッチパネルを通じて、当該ＵＩに対するユーザからの入力を検出する。ＵＩ制御部１５２は、ＵＩに対する入力を検出した場合、当該入力内容を、情報送受信部１５１を通じて、球技映像解析装置１００へ送信する。

＜姿勢モデルの詳細＞
図１４は、姿勢モデルの一例を説明するための図である。

姿勢モデル情報２２１には、プレイヤーの各関節位置と当該各関節位置の動きとを示す情報が含まれる。

例えば、表示制御部１３４又はＵＩ制御部１５２は、第１の記録情報２００Ａにおいて対応関係にある姿勢モデル情報２２１を参照して、アクション期間のサブアクション「ジャンプ」のタイミングにおける各関節位置（図１４の白丸及び黒丸）を特定する。同様に、表示制御部１３４又はＵＩ制御部１５２は、第２の記録情報２００Ｂにおいて対応関係にある姿勢モデル情報２２１を参照して、アクション期間のサブアクション「ジャンプ」のタイミングにおける各関節位置を特定する。そして、表示制御部１３４は、特定した各関節位置を人体の構造に基づいて線で結ぶことにより、図１４に示すようなプレイヤーの姿勢モデル２３１Ａ、２３１Ｂを生成する。姿勢モデル２３１Ａ、２３１Ｂは３次元のモデルであるため、表示制御部１３４又はＵＩ制御部１５２は、姿勢モデルを任意に３Ｄ回転などの操作により、３Ｄ空間上での視点を変えて表示させることができる。

また、表示制御部１３４又はＵＩ制御部１５２は、図１４に示すように、サブアクション「ジャンプ」のタイミングにおける、第１の姿勢モデル２３１Ａと第２の姿勢モデル２３１Ｂとを、首の関節位置２３２Ａ、２３２Ｂを基準に重ねて表示できる。

第１の姿勢モデル２３１Ａ及び第２の姿勢モデル２３１Ｂは、同じプレイヤーが異なる日時に行ったサーブを撮影した動画に基づいて生成されたものであってよい。この場合、ユーザは、重畳表示された第１の姿勢モデル２３１Ａ及び第２の姿勢モデル２３１Ｂから、同じプレイヤーが異なる日時に行ったサブアクション「ジャンプ」時の姿勢の違いを、視覚的に認識できる。よって、ユーザは、例えば、同じプレイヤーのサーブの上達を容易に確認できる。

第１の姿勢モデル２３１Ａ及び第２の姿勢モデル２３１Ｂは、異なるプレイヤーが行ったサーブを撮影した動画に基づいて生成されたものであってよい。この場合、ユーザは、重畳表示された第１の姿勢モデル２３１Ａ及び第２の姿勢モデル２３１Ｂから、異なるプレイヤーが行ったサブアクション「ジャンプ」時の姿勢の違いを、視覚的に認識できる。よって、ユーザは、例えば、手本となるプレイヤーと練習中のプレイヤーとの間のサーブ時の姿勢の違いを容易に確認できる。

また、姿勢モデル情報２２１を参照することにより、プレイヤーがジャンプしたタイミング、及び、プレイヤーがジャンプした際の最高到達点を特定できる。例えば、サブアクション解析部１３２は、プレイヤーの両足首の関節位置が地面から一定距離以上離れたタイミングを、プレイヤーがジャンプしたタイミングとして検出してもよい。例えば、サブアクション解析部１３２は、プレイヤーの首の関節位置２３２Ａ、２３２Ｂが最高地点にあるタイミングを、プレイヤーのジャンプが最高地点に達したタイミングとして検出してもよい。

なお、姿勢モデル２３１Ａ、２３１Ｂは、図１４に示すような各関節位置を線で結んだモデルに限られない。例えば、姿勢モデル２３１Ａ、２３１Ｂは、テクスチャマッピングされた３次元のＣＧ（Computer Graphics）モデルであってもよい。

＜サブアクションの解析＞
図１５は、ジャンピングサーブを構成するサブアクションを説明するための図である。

図１５に示すように、バレーボールのアクションの一例であるジャンピングサーブは、「助走」、「トス」、「ジャンプ」、及び、サーブを打った手がボールに当たったことを意味する「ヒット」といった一連のサブアクションにて構成される。

サブアクション解析部１３２は、ボールの軌跡情報２２０及び／又はプレイヤーの姿勢モデル情報２２１に基づいて、各サブアクションが発生したタイミングのフレーム画像を特定する。

例えば、サブアクション解析部１３２は、ボールの軌跡情報２２０を参照して、ボールの移動軌跡が静止状態から上方への移動に変化したタイミングのフレーム画像を特定する。そして、サブアクション解析部１３２、その特定したフレーム画像が撮影されたタイミング（例えば時刻情報）を、サブアクション「トス」の発生タイミングとして、サブアクション情報２２２に書き込む。

例えば、サブアクション解析部１３２は、プレイヤーの姿勢モデル情報２２１を参照して、プレイヤーの両足首の関節位置が地面から一定距離以上離れたタイミングのフレーム画像を特定する。そして、サブアクション解析部１３２は、その特定したフレーム画像が撮影されたタイミングを、サブアクション「ジャンプ」の発生タイミングとして、サブアクション情報２２２に書き込む。

例えば、サブアクション解析部１３２は、ボールの軌跡情報２２０を参照して、ボールのネットに近づく方向の移動量が所定の閾値以上に変化したタイミングのフレーム画像を特定する。そして、サブアクション解析部１３２は、その特定したフレーム画像が撮影されたタイミングを、サブアクション「ヒット」の発生タイミングとして、サブアクション情報２２２に書き込む。

これにより、サブアクション情報２２２には、アクションを構成する各サブアクションが発生したタイミングを示す情報（例えば時刻情報）が書き込まれる。よって、サブアクション情報２２２を参照することにより、動画の中から、所望のサブアクションの時のフレーム画像を特定できる。また、サブアクション情報２２２を参照することにより、姿勢モデル情報２２１の中から、所望のサブアクションの時の姿勢モデルを特定できる。

＜映像比較用ＵＩの詳細＞
図１６は、映像比較用ＵＩ４００Ａの表示例を示す図である。映像比較用ＵＩ４００Ａは、比較用ＵＩの一例であり、互いに異なる複数の記録情報２００に係る動画を比較するためのＵＩである。

図１６に示すように、映像比較用ＵＩ４００Ａは、選択リスト４０１Ａ、４０１Ｂ、表示領域４０２Ａ、４０２Ｂ、追加ボタン４０３、シークバー４１０、再生ボタン４１１、一時停止ボタン４１２、スロー再生ボタン４１３、繰り返しボタン４１４、並べるボタン４１５、拡大ボタン４１６、カメラ切替ボタン４１７、映像反転ボタン４１８、及び、３Ｄ切替ボタン４１９を含む。

選択リスト４０１Ａ、４０１Ｂには、記録情報２００に係る軌跡情報２２０から特定される情報が、リスト形式で表示される。軌跡情報２２０から特定される情報は、例えば、サーブにおける、ネット通過時のボールの高さ、スピード及び角度を示す情報を含む。選択リスト４０１、４０１Ｂの１つの行は、１つの記録情報２００に対応してよい。

また、記録情報２００には、アクション（例えばサーブ）の評価を示す情報が含まれてもよい。この場合、選択リスト４０１Ａ、４０１Ｂには、図１６に示すように、アクションの評価も表示されてよい。アクションの評価は、ユーザが手動で入力したものであってもよい。あるいは、アクションの評価は、ネット通過時におけるボールの高さ、スピード及び角度に基づいて、自動的に決定されたものであってよい。この場合、アクションの評価は、ネット通過時のボールの角度が所定の閾値以上であるか否かに基づいて決定されてもよい。ここで、アクションの評価で参照される閾値は、ユーザが任意に設定できるようにしてもよい。

表示領域４０２Ａには、選択リスト４０１Ａから選択された第１の記録情報２００Ａ（例えば図１６の点で塗りつぶされた行）に関連する第１の動画２０１Ａ又は第２の動画２０１Ｂが表示される。表示領域４０２Ｂには、選択リスト４０１Ｂから選択された第２の記録情報２００Ｂ（例えば図１６の点で塗りつぶされた行）に関連する第１の動画２０１Ａ又は第２の動画２０１Ｂが表示される。

図１６に示すように、映像比較用ＵＩ４００Ａにおいて、選択リスト４０１Ａ及び表示領域４０２Ａのセット（以下「第１のセット」という）と、選択リスト４０１Ｂ及び表示領域４０２Ｂのセット（以下「第２のセット」という）とは、並べて表示されてよい。これにより、ユーザは、選択リスト４０１Ａ及び選択リスト４０１Ｂから、それぞれ、比較したい行（記録情報２００）を選択し、表示領域４０２Ａ、４０２Ｂにそれぞれ表示された、選択した行に関連する動画を、比較しながら視聴できる。

なお、第１のセットに含まれる選択リスト４０１Ａには、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂを用いて当日撮影した第１の動画２０１Ａ及び第２の動画２０１Ｂから生成された記録情報２００が、随時表示されてよい。

追加ボタン４０３が押下された場合、表示制御部１３４は、新規の選択リスト及び表示領域を含む新規セットを、映像比較用ＵＩ４００Ａに追加する。この場合、ＵＩ制御部１５２は、ユーザに対して、新規の選択リストに表示させる記録情報２００の日付を問い合わせてもよい。そして、ＵＩ制御部１５２は、表示制御部１３４と連携して、ユーザから入力された日付を含む１又は複数の記録情報２００を記録管理部１３３から取得し、その取得した記録情報２００に基づいて、追加された新規セットの選択リストを表示してもよい。

シークバー４１０は、表示領域４０２Ａ、４０２Ｂに表示されている動画の再生中の時間を示すバーである。ユーザがシークバー４１０のある位置を選択した場合、ＵＩ制御部１５２は、その選択された位置に対応する時間から動画を再生してよい。

再生ボタン４１１が押下された場合、ＵＩ制御部１５２は、表示領域４０２Ａ、４０２Ｂに表示されている動画の再生を開始する。

一時停止ボタン４１２が押下された場合、ＵＩ制御部１５２は、表示領域４０２Ａ、４０２Ｂに表示されている動画の再生を一時停止する。

スロー再生ボタン４１３が押下された場合、ＵＩ制御部１５２は、表示領域４０２Ａ、４０２に表示されている動画をスロー再生（例えば１／２の速度で再生）する。

繰り返しボタン４１４が押下された場合、ＵＩ制御部１５２は、表示領域４０２Ａ、４０２Ｂに表示されている動画を繰り返し再生する。なお、スロー再生ボタン４１３と繰り返しボタン４１４とは、併用可能であってよい。

映像比較用ＵＩ４００Ａ内の複数のセットが選択され、並べるボタン４１５が押下された場合、ＵＩ制御部１５２は、選択された複数のセットのサブアクションを比較するためのＵＩであるサブアクション映像比較用ＵＩ４００Ｂ（図１７参照）の表示に切り替える。なお、サブアクション映像比較用ＵＩ４００Ｂの詳細については後述する（図１７参照）。

映像比較用ＵＩ４００Ａ内の少なくとも１つのセットが選択され、拡大ボタン４１６が押下された場合、ＵＩ制御部１５２は、選択されたセットの表示領域に表示されている動画の、プレイヤーを含む範囲を拡大表示する。なお、拡大表示させる範囲は、ユーザが任意に指定可能であってよい。また、表示の拡大率は、ユーザが任意に倍率を指定できるものであってもよい。

映像比較用ＵＩ４００Ａ内の少なくとも１つのセットが選択され、カメラ切替ボタン４１７が押下された場合、ＵＩ制御部１５２は、その選択されたセットの表示領域に表示されている動画（例えば第１の動画２０１Ａ）を、別の携帯端末で撮影された動画（例えば第２の動画２０１Ｂ）に切り替える。これにより、例えば、各表示領域４０２Ａ、４０２Ｂに表示される動画を、同じ方向から撮影された動画に揃えることができる。

映像比較用ＵＩ４００Ａ内の少なくとも１つのセットが選択され、映像反転ボタン４１８が押下された場合、ＵＩ制御部１５２は、その選択されたセットの表示領域に表示されている動画を左右反転する。これにより、例えば、右利きのプレイヤーのアクションと左利きのプレイヤーのアクションとを容易に比較できる。

映像比較用ＵＩ４００Ａ内の少なくとも１つのセットが選択され、３Ｄ切替ボタン４１９が押下された場合、ＵＩ制御部１５２は、選択されたセットの姿勢モデルを比較するための姿勢比較用ＵＩ４００Ｃ（図１８参照）の表示に切り替える。なお、姿勢比較用ＵＩ４００Ｃの詳細については後述する（図１８参照）。

図１７は、サブアクション映像比較用ＵＩ４００Ｂの表示例を示す図である。

例えば、図１６に示した映像比較用ＵＩ４００Ａにおいて、第１のセット及び第２のセットが選択され、並べるボタン４１５が押下された場合、ＵＩ制御部１５２は、図１７に示すサブアクション映像比較用ＵＩ４００Ｂを表示する。

サブアクション映像比較用ＵＩ４００Ｂは、表示領域４２１Ａ、４２１Ｂ、及び、並べるボタン４１５から拡張された複数のサブアクション選択ボタン４２０を含む。なお、サブアクション選択ボタン４２０は、サブアクション選択ＵＩの一例である。

表示領域４２１Ａ、４２１Ｂは、図１７に示すように、並べて配置される。ＵＩ制御部１５２は、第１のセットに表示された動画のプレイヤーを含む範囲を拡大して表示領域４２１Ａに表示する。同様に、ＵＩ制御部１５２は、第２のセットに表示された動画のプレイヤーを含む範囲を拡大して表示領域４２１Ｂに表示する。このとき、ＵＩ制御部１５２は、プレイヤーの首の関節位置が表示領域４２１Ａ、４２１Ｂの中央に位置するように、表示領域４２１Ａ、４２１Ｂにおける動画の表示を調整してもよい。

複数のサブアクション選択ボタン４２０は、サブアクションを選択するためのボタンであり、例えば、「トス」、「ジャンプ」、「ヒット」のサブアクションに対応する。

例えば、ユーザがサブアクション選択ボタン４２０「ヒット」を選択した場合、ＵＩ制御部１５２は、次の処理を行う。すなわち、ＵＩ制御部１５２は、第１の記録情報２００Ａに係るサブアクション情報２２２を参照して、第１のセットに表示された動画の中から、サブアクション「ヒット」が撮影されたタイミングのフレーム画像を特定する。そして、ＵＩ制御部１５２は、その特定したフレーム画像を表示領域４２１Ａに表示する。同様に、ＵＩ制御部１５２は、第２の記録情報２００Ｂに係るサブアクション情報２２２を参照して、第２のセットに表示された動画の中から、サブアクション「ヒット」が撮影されたタイミングのフレーム画像を特定する。そして、ＵＩ制御部１５２は、その特定したフレーム画像を表示領域４２１Ｂに表示する。この状態で再生ボタン４１１が押下された場合、ＵＩ制御部１５２は、この特定したサブアクション「ヒット」のタイミングのフレーム画像から、動画の再生を開始してよい。これにより、ユーザは、例えば、異なる日時に行われたサーブの、サブアクション「ヒット」の時のプレイヤーの映像を容易に比較できる。なお、サブアクション「ヒット」のフレーム画像のタイミングが揃っていれば、「助走」や「トス」などを含めて動画再生を行うようにしてもよい。

＜姿勢比較用ＵＩの詳細＞
図１８は、姿勢モデルを並べて表示した場合の姿勢比較用ＵＩの一例を示す図である。図１９は、姿勢モデルを重ねて表示した場合の姿勢比較用ＵＩの一例を示す図である。姿勢比較用ＵＩ４００Ｃは、比較用ＵＩの一例であり、異なる複数の記録情報２００に係る姿勢モデル情報２２１を比較するためのＵＩである。

例えば、図１６に示した映像比較用ＵＩ４００Ａにおいて、第１のセット及び第２のセットが選択され、３Ｄ切替ボタン４１９が押下された場合、ＵＩ制御部１５２は、図１８又は図１９に示す姿勢比較用ＵＩ４００Ｃを表示する。

姿勢比較用ＵＩ４００Ｃは、表示領域４３４、シークバー４１０、再生ボタン４１１、一時停止ボタン４１２、スロー再生ボタン４１３、繰り返しボタン４１４、映像切替ボタン４４１、軌跡表示切替ボタン４４２、ボール表示切替ボタン４４３、選手表示切替ボタン４４４、重畳分離切替ボタン４４５、及び、並べるボタン４４６を含む。

ＵＩ制御部１５２は、図１８及び図１９に示すように、第１のセットに対応する姿勢モデル２３１Ａ、ボール２４０Ａ及びボールの移動軌跡２４１Ａと、第２のセットに対応する姿勢モデル２３１Ｂ、ボール２４０Ｂ及びボールの移動軌跡２４１Ｂとを、表示領域４３４に表示する。以下、第１のセットに対応する姿勢モデル２３１Ａ、ボール２４０Ａ及びボールの移動軌跡２４１Ａをまとめて、第１の姿勢モデル等という。同様に、第２のセットに対応する姿勢モデル２３１Ｂ、ボール２４０Ｂ及びボールの移動軌跡２４１Ｂをまとめて、第２の姿勢モデル等という。

ユーザは、表示領域４３４に対して所定の操作を行うことにより、表示領域４３４に表示されている第１及び第２の姿勢モデル等を、任意に３Ｄ回転などの操作により、３Ｄ空間上での視点を変えて表示させることができる。これにより、ユーザは、異なる日時に行われたサーブ時のプレイヤーの姿勢を、様々な視点から確認及び比較することができる。

シークバー４１０は、表示領域４３４に表示されている第１及び第２の姿勢モデル等の再生中の時間を示すバーである。すなわち、表示領域４３４に表示されている姿勢モデル等は、シークバー４１０に表示中の再生時間のタイミングにおけるプレイヤーの姿勢等を表す。

再生ボタン４１１が押下された場合、ＵＩ制御部１５２は、表示領域４３４に表示されている第１及び第２の姿勢モデル等の動作の再生を開始する。再生中、表示領域４３４において、第１及び第２の姿勢モデル等は、アニメーション動画のように表示される。なお、この第１及び第２の姿勢モデルのアニメーション動画の再生中、実際の映像である第１の動画２０１Ａ及び第２の動画２０１Ｂを別ウィンドウ（図示せず）にて同期再生させるようにしてもよい。

一時停止ボタン４１２が押下された場合、ＵＩ制御部１５２は、表示領域４３４に表示されている第１及び第２の姿勢モデル等の動作を一時停止する。

スロー再生ボタン４１３が押下された場合、ＵＩ制御部１５２は、表示領域４３４に表示されている第１及び第２の姿勢モデル等の動作をスロー再生（例えば１／２の速度で再生）する。

繰り返しボタン４１４が押下された場合、ＵＩ制御部１５２は、表示領域４３４に表示されている第１及び第２の姿勢モデル等の動作を繰り返し再生する。なお、スロー再生ボタン４１３と繰り返しボタン４１４とは、併用可能であってよい。

映像切替ボタン４４１が押下された場合、ＵＩ制御部１５２は、図１６に示した映像比較用ＵＩ４００Ａの表示に切り替える。

軌跡表示切替ボタン４４２が押下された場合、ＵＩ制御部１５２は、表示領域４３４における移動軌跡２４１Ａ、２４１Ｂの表示と非表示を切り替える。

ボール表示切替ボタン４４３が押下された場合、ＵＩ制御部１５２は、表示領域４３４におけるボール２４０Ａ、２４０Ｂの表示と非表示を切り替える。

選手表示切替ボタン４４４が押下された場合、ＵＩ制御部１５２は、表示領域４３４における姿勢モデル２３１Ａ、２３１Ｂの表示と非表示を切り替える。

重畳分離切替ボタン４４５が押下された場合、ＵＩ制御部１５２は、表示領域４３４において、図１８に示すような第１の姿勢モデル等と第２の姿勢モデル等を分離した表示と、図１９に示すような第１の姿勢モデル等及び第２の姿勢モデル等を重ねた表示とを切り替える。ＵＩ制御部１５２は、第１の姿勢モデル２３１Ａと第２の姿勢モデル２３１Ｂを重ねて表示する場合、首の関節位置２３２Ａ、２３２Ｂを基準に重ねて表示してよい。また、ＵＩ制御部１５２は、第１の姿勢モデル２３１Ａと第２の姿勢モデル２３１Ｂを重ねて表示する場合、図１９に示すように、姿勢モデル２３１Ａ、２３１Ｂの位置の移動に合わせて、ボール２４０Ａ、２４０Ｂ及びボールの移動軌跡２４１Ａ、２４１Ｂの位置も移動させて表示する。

並べるボタン４４６が押下された場合、ＵＩ制御部１５２は、サブアクション姿勢比較用ＵＩ４００Ｄ（図２０参照）を表示する。サブアクション姿勢比較用ＵＩ４００Ｄの詳細については後述する（図２０参照）。

なお、姿勢比較用ＵＩ４００Ｃには、モデル反転ボタン（図示せず）が含まれてもよい。姿勢比較用ＵＩ４００Ｃ内の少なくとも１つの姿勢モデルが選択され、モデル反転ボタンが押下された場合、ＵＩ制御部１５２は、その選択された姿勢モデルを左右反転して表示する。これにより、例えば、右利きのプレイヤーの姿勢と左利きのプレイヤーの姿勢とを容易に比較できる。

図２０は、サブアクション姿勢比較用ＵＩの例を示す図である。

例えば、図１８及び図１９に示した姿勢比較用ＵＩ４００Ｃにおいて並べるボタン４４６が押下された場合、ＵＩ制御部１５２は、図２０に示すサブアクション姿勢比較用ＵＩ４００Ｄを表示する。

サブアクション姿勢比較用ＵＩ４００Ｄは、表示領域４５１Ａ、４５１Ｂ、及び、並べるボタン４４６から拡張された複数のサブアクション選択ボタン４４７を含む。なお、サブアクション選択ボタン４４７は、サブアクション選択ＵＩの一例である。

表示領域４５１Ａ、４５１Ｂは、図２０に示すように、並べて配置される。ＵＩ制御部１５２は、第１の姿勢モデル等（２３１Ａ、２４０Ａ、２４１Ａ）を拡大して表示領域４５１Ａに表示する。同様に、ＵＩ制御部１５２は、第２の姿勢モデル等（２３１Ｂ、２４０Ｂ、２４１Ｂ）を拡大して表示領域４５１Ｂに表示する。このとき、ＵＩ制御部１５２は、姿勢モデルの首の関節位置２３２Ａ、２３２Ｂが表示領域４５１Ａ、４５１Ｂの中央に位置するように、姿勢モデル２３１Ａ、２３１Ｂの表示を調整してもよい。

複数のサブアクション選択ボタン４４７は、サブアクションを選択するためのボタンであり、例えば、「トス」、「ジャンプ」、「ヒット」のサブアクションに対応する。

例えば、ユーザがサブアクション選択ボタン４４７「ジャンプ」を選択した場合、ＵＩ制御部１５２は、次の処理を行う。すなわち、ＵＩ制御部１５２は、第１の記録情報２００Ａに係るサブアクション情報２２２を参照して、サブアクション「ジャンプ」のタイミングの第１の姿勢モデル等を特定する。そして、ＵＩ制御部１５２は、その特定した第１の姿勢モデル等を表示領域４５１Ａに表示する。同様に、ＵＩ制御部１５２は、第２の記録情報２００Ｂに係るサブアクション情報２２２を参照して、サブアクション「ジャンプ」のタイミングの第２の姿勢モデル等を特定する。そして、ＵＩ制御部１５２は、その特定した第２の姿勢モデル等を表示領域４５１Ｂに表示する。この状態で再生ボタン４１１が押下された場合、ＵＩ制御部１５２は、この特定したサブアクション「ジャンプ」のタイミングの姿勢モデル等から、当該姿勢モデル等の動作の再生を開始してよい。これにより、ユーザは、例えば、異なる日時に行われたサーブの、サブアクション「ジャンプ」の時のプレイヤーの姿勢とその動きを容易に比較できる。なお、サブアクション「ジャンプ」のフレーム画像のタイミングが揃っていれば、「助走」や「トス」などを含めて動画再生を行うようにしてもよい。

図２１は、姿勢比較用ＵＩ４００Ｃにおいて姿勢モデルを選択する場合の例を説明するための図である。

ユーザが、姿勢比較用ＵＩ４００Ｃに含まれる右側のサイドバー４３０（図１８、図１９参照）を押下した場合、ＵＩ制御部１５２は、図２１に示すような、選択リスト４３１を表示する。選択リスト４３１には、図１６の場合と同様、記録情報２００に係る軌跡情報２２０から特定される情報が、リスト形式で表示される。

また、選択リスト４３１の各行には、チェックボックス４３２が表示される。ユーザは、選択リスト４３１の中から、比較したい行のチェックボックス４３２をＯＮに設定する。

ＵＩ制御部１５２は、チェックボックス４３２がＯＮに設定された記録情報２００を特定し、その特定した記録情報２００に係る姿勢モデル情報２２１から生成された姿勢モデル等を、表示領域４３４に表示する。これにより、ユーザは、所望の姿勢モデル等を表示領域４３４に表示させて比較することができる。

また、サイドバー４３０には、ボールフィルタリングボタン４３３が表示されてよい。ボールフィルタリングボタン４３３が押下された場合、ＵＩ制御部１５２は、選択リスト４３１に表示する記録情報２００をフィルタリングするため条件ボックス（図示せず）を表示する。条件ボックスには、フィルタリングの閾値となる、ボールの高さ、スピード、角度及び評価のうちの少なくとも１つが入力できてよい。そして、ＵＩ制御部１５２は、条件ボックスに入力された条件に適合する記録情報２００を、選択リスト４３１として表示する。これにより、ユーザは、大量の記録情報２００の中から、比較候補とする記録情報２００を効率的に抽出できる。

＜ハードウェア構成＞
以上、本開示に係る実施形態について図面を参照して詳述した。なお、上述した第１の携帯端末２０Ａ、第２の携帯端末２０Ｂ、表示端末３０、及び、球技映像解析装置１００の機能は、コンピュータプログラムにより実現され得る。

図２２は、球技映像解析装置１００の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。

このコンピュータ１０００Ａは、キーボード又はマウス、タッチパッドなどの入力装置１００１、ディスプレイ又はスピーカーなどの出力装置１００２、ＣＰＵ（Central Processing Unit）１００３、ＧＰＵ（Graphics Processing Unit）１００４、ＲＯＭ（Read Only Memory）１００５、ＲＡＭ（Random Access Memory）１００６、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどの記憶装置１００７、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１００８、通信ネットワークＮを介して有線又は無線にて通信を行う送受信装置１００９を備え、各部は、バス１０１０により接続される。

そして、読取装置１００８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１００７に記憶させる。あるいは、送受信装置１００９が、通信ネットワークＮに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置１００７に記憶させる。

そして、ＣＰＵ１００３が、記憶装置１００７に記憶されたプログラムをＲＡＭ１００６にコピーし、そのプログラムに含まれる命令をＲＡＭ１００６から順次読み出して実行することにより、上記各装置の機能が実現される。

図２３は、第１の携帯端末２０Ａ、第２の携帯端末２０Ｂ及び表示端末３０の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。なお、図１１にて説明済みの構成要素については、同じ参照符号を付して説明を省略する場合がある。

このコンピュータ１０００Ｂは、入力装置１００１、出力装置１００２、ＣＰＵ１００３、ＧＰＵ１００４、ＲＯＭ１００５、ＲＡＭ１００６、記憶装置１００７、読取装置１００８、送受信装置１００９、カメラ装置１０１１を備え、各部は、バス１０１０により接続される。

カメラ装置１０１１は、撮像素子を備え、撮像画像（動画及び静止画）を生成する。生成された撮像画像は記憶装置１００７に記憶される。記憶装置１００７に記憶された撮像画像は、送受信装置１００９及び通信ネットワークＮを通じて外部のサーバ等に送信されてよい。

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

（本開示のまとめ）
本開示に係る球技映像解析装置（１００）は、球技に用いられる移動体（例えばボール）に対する人物（例えばプレイヤー）のアクションを互いに異なる位置から撮影した第１の動画（２０１Ａ）及び第２の動画（２０１Ｂ）に基づいて、移動体の移動軌跡を示す軌跡情報（２２０）を生成する軌跡解析部（１０５）と、第１の動画及び第２の動画と軌跡情報との対応関係を示す情報である複数の記録情報（２００）を管理する記録管理部（１３３）と、複数の記録情報の中から軌跡情報に基づいて記録情報を選択させるＵＩ（User Interface）を表示し、ＵＩを通じて選択された記録情報において対応関係にある第１の動画又は第２の動画を表示する表示制御部（１３４）とを備える。

この構成によれば、記録管理部において管理されている複数の記録情報の中から、軌跡情報に基づいて記録情報が選択され、その選択された記録情報において対応関係にある動画が表示される。当該動画には、球技を行う人物のアクションが撮影されている。よって、ユーザは、人物のアクションが撮影された複数の動画の中から、軌跡情報に基づいて、例えばアクションが成功又は失敗した動画等、球技の練習に役立つ動画を容易に見つけて視聴できる。

また、表示制御部は、複数の記録情報の中から、第１の記録情報及び第２の記録情報が選択された場合、第１の記録情報において対応関係にある第１の動画又は第２の動画と、第２の記録情報において対応関係にある第１の動画又は第２の動画とを、並べて表示してよい。

この構成によれば、選択された第１の記録情報に係る動画と、選択された第２の記録情報に係る動画とが並べて表示される。よって、ユーザは、並べて表示されたアクションが撮影された動画を見て、球技の練習に役立てることができる。

また、球技映像解析装置は、第１の動画及び第２の動画に基づいて、アクションのときの人物の姿勢を示す姿勢モデル情報（２２１）を生成する姿勢解析部（１３１）をさらに備えてよい。記録情報は、第１の動画及び第２の動画と、軌跡情報と、姿勢モデル情報との対応関係を示す情報であってよい。表示制御部は、複数の記録情報の中から、第１の記録情報及び第２の記録情報が選択された場合、第１の記録情報において対応関係にある姿勢モデル情報から生成された姿勢モデル（２３１Ａ）と、第２の記録情報において対応関係にある姿勢モデル情報から生成された姿勢モデル（２３１Ｂ）とを、並べて又は重ねて表示してよい。

この構成によれば、選択された第１の記録情報に係る姿勢モデルと、選択された第２の記録情報に係る姿勢モデルとが並べて又は重ねて表示される。よって、ユーザは、並べて又は重ねて表示されたアクション時の姿勢モデルを見て、球技の練習に役立てることができる。

また、表示制御部は、第１の記録情報において対応関係にある軌跡情報から生成された移動体の移動軌跡（２４１Ａ）と、第２の記録情報において対応関係にある軌跡情報から生成された移動体の移動軌跡（２４１Ｂ）とを、姿勢モデルと共に表示してよい。

この構成によれば、姿勢モデルと共に、移動体の移動軌跡も表示される。よって、ユーザは、姿勢モデルと共に表示されたアクション時の移動体の動きを見て、球技の練習に役立てることができる。

また、球技映像解析装置は、軌跡情報及び姿勢モデル情報に基づいて、アクションを構成する複数のサブアクションのそれぞれの発生タイミングを示すサブアクション情報（２２２）を生成するサブアクション解析部（１３２）をさらに備えてよい。記録情報は、第１の動画及び第２の動画と、軌跡情報と、姿勢モデル情報と、サブアクション情報との対応関係を示す情報であってよい。表示制御部は、複数のサブアクションのうちの１つのサブアクションを選択可能なサブアクション選択ＵＩ（４２０）を表示し、サブアクション選択ＵＩを通じて選択された１つのサブアクションの発生タイミングにおける姿勢モデルを表示してよい。

この構成によれば、サブアクション選択ＵＩを通じて選択された１つのサブアクションの発生タイミングにおける姿勢モデルが表示される。よって、ユーザは、サブアクション選択ＵＩを通じて、所望のサブアクションのときの姿勢モデルを表示させ、球技の練習に役立てることができる。

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

本開示の技術は、移動体を用いたスポーツの解析に利用可能である。

１０ 球技映像解析システム
２０Ａ 第１の携帯端末
２０Ｂ 第２の携帯端末
３０ 表示端末
１００ 球技映像解析装置
１０１ 動画受信部
１０２ 画像変換部
１０３ 基準フレーム特定部
１０４ 基準フレーム変更部
１０５ 軌跡解析部
１０６ 結果表示部
１３１ 姿勢解析部
１３２ サブアクション解析部
１３３ 記録管理部
１３４ 表示制御部
１５１ 情報送受信部
１５２ ＵＩ制御部
２００ 記録情報
２００Ａ 第１の記録情報
２００Ｂ 第２の記録情報
２０１Ａ 第１の動画
２０１Ｂ 第２の動画
２０２Ａ 第１のフレーム画像群
２０２Ｂ 第２のフレーム画像群
２０３ 同期ずれ情報
２０４ 解析結果情報
２１０Ａ 第１の画像表示領域
２１０Ｂ 第２の画像表示領域
２１１Ａ、２１１Ｂ ボールの検出領域
２２０ 軌跡情報
２２１ 姿勢モデル情報
２２２ サブアクション情報
２３１Ａ 第１の姿勢モデル
２３１Ｂ 第２の姿勢モデル
２３２Ａ、２３２Ｂ 首の関節位置
２４０Ａ、２４０Ｂ ボール
２４１Ａ、２４１Ｂ ボールの移動軌跡
３１０ 基準フレーム確認用ＵＩ
３１２ ＯＫボタン
３１３ 変更ボタン
３１４ やり直しボタン
３２０ 基準フレーム変更用ＵＩ
３２２ ＯＫボタン
３２３ 戻りボタン
３２４Ａ、３２４Ｂ １フレーム戻りボタン
３２５Ａ、３２５Ｂ Ｎフレーム戻りボタン
３２６Ａ、３２６Ｂ １フレーム進みボタン
３２７Ａ、３２７Ｂ Ｎフレーム進みボタン
３３０ 解析結果画面
３３１ ボールの移動軌跡
４００Ａ 映像比較用ＵＩ
４００Ｂ サブアクション映像比較用ＵＩ
４００Ｃ 姿勢比較用ＵＩ
４００Ｄ サブアクション姿勢比較用ＵＩ
４０１Ａ、４０１Ｂ 選択リスト
４０２Ａ、４０２Ｂ 表示領域
４０３ 追加ボタン
４１０ シークバー
４１１ 再生ボタン
４１２ 一時停止ボタン
４１３ スロー再生ボタン
４１４ 繰り返しボタン
４１５ 並べるボタン
４１６ 拡大ボタン
４１７ カメラ切替ボタン
４１８ 映像反転ボタン
４１９ ３Ｄ切替ボタン
４２０ サブアクション選択ボタン
４２１Ａ、４２１Ｂ 表示領域
４３０ サイドバー
４３１ 選択リスト
４３２ チェックボックス
４３３ ボールフィルタリングボタン
４３４ 表示領域
４４１ 映像切替ボタン
４４２ 軌跡表示切替ボタン
４４３ ボール表示切替ボタン
４４４ 選手表示切替ボタン
４４５ 重畳分離切替ボタン
４４６ 並べるボタン
４４７ サブアクション選択ボタン
４５１Ａ、４５１Ｂ 表示領域
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ ＧＰＵ
１００５ ＲＯＭ
１００６ ＲＡＭ
１００７ 記憶装置
１００８ 読取装置
１００９ 送受信装置
１０１０ バス
１０１１ カメラ装置

Claims (8)

1. 球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画に基づいて、前記移動体の移動軌跡を示す軌跡情報を生成する軌跡解析部と、
   前記第１の動画及び前記第２の動画と前記軌跡情報との対応関係を示す情報である複数の記録情報を管理する記録管理部と、
   前記複数の記録情報の中から前記軌跡情報に基づいて前記記録情報を選択させるＵＩ（User Interface）を表示し、前記ＵＩを通じて選択された前記記録情報において対応関係にある第１の動画又は第２の動画を表示する表示制御部と、を備えた、
   球技映像解析装置。
2. 前記表示制御部は、前記複数の記録情報の中から、第１の記録情報及び第２の記録情報が選択された場合、前記第１の記録情報において対応関係にある第１の動画又は第２の動画と、前記第２の記録情報において対応関係にある第１の動画又は第２の動画とを、並べて表示する、
   請求項１に記載の球技映像解析装置。
3. 前記第１の動画及び前記第２の動画に基づいて、前記アクションのときの前記人物の姿勢を示す姿勢モデル情報を生成する姿勢解析部、をさらに備え、
   前記記録情報は、前記第１の動画及び前記第２の動画と、前記軌跡情報と、前記姿勢モデル情報との対応関係を示す情報であり、
   前記表示制御部は、前記複数の記録情報の中から、第１の記録情報及び第２の記録情報が選択された場合、前記第１の記録情報において対応関係にある姿勢モデル情報から生成された姿勢モデルと、前記第２の記録情報において対応関係にある姿勢モデル情報から生成された姿勢モデルとを、並べて又は重ねて表示する、
   請求項１に記載の球技映像解析装置。
4. 前記表示制御部は、前記第１の記録情報において対応関係にある軌跡情報から生成された前記移動体の移動軌跡と、前記第２の記録情報において対応関係にある軌跡情報から生成された前記移動体の移動軌跡とを、前記姿勢モデルと共に表示する、
   請求項３に記載の球技映像解析装置。
5. 前記軌跡情報及び前記姿勢モデル情報に基づいて、前記アクションを構成する複数のサブアクションのそれぞれの発生タイミングを示すサブアクション情報を生成するサブアクション解析部、をさらに備え、
   前記記録情報は、前記第１の動画及び前記第２の動画と、前記軌跡情報と、前記姿勢モデル情報と、前記サブアクション情報との対応関係を示す情報であり、
   前記表示制御部は、
   前記複数のサブアクションのうちの１つのサブアクションを選択可能なサブアクション選択ＵＩを表示し、
   前記サブアクション選択ＵＩを通じて選択された１つのサブアクションの発生タイミングにおける前記姿勢モデルを表示する、
   請求項３に記載の球技映像解析装置。
6. カメラ付きの第１の携帯端末と、カメラ付きの第２の携帯端末と、球技映像解析装置と、表示端末とを含む球技映像解析システムであって、
   前記第１の携帯端末は、球技に用いられる移動体に対する人物のアクションを第１の位置から撮影して第１の動画を生成し、
   前記第２の携帯端末は、前記人物の前記アクションを第２の位置から撮影して第２の動画を生成し、
   前記球技映像解析装置は、
   前記第１の動画及び前記第２の動画に基づいて、前記移動体の軌跡を示す軌跡情報を生成し、
   前記第１の動画及び前記第２の動画と前記軌跡情報との対応関係を示す情報である複数の記録情報を管理し、
   前記複数の記録情報の中から前記軌跡情報に基づいて記録情報を選択させるＵＩを前記表示端末に表示させ、
   前記ＵＩを通じて選択された前記記録情報において対応関係にある第１の動画又は第２の動画を前記表示端末に表示させる、
   球技映像解析システム。
7. 情報処理装置によって、
   球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画に基づいて、前記移動体の移動軌跡を示す軌跡情報を生成し、
   前記第１の動画及び前記第２の動画と前記軌跡情報との対応関係を示す情報である複数の記録情報を管理し、
   前記複数の記録情報の中から前記軌跡情報に基づいて記録情報を選択させるＵＩを表示し、前記ＵＩを通じて選択された前記記録情報において対応関係にある第１の動画又は第２の動画を表示する、
   球技映像解析方法。
8. 球技に用いられる移動体に対する人物のアクションを互いに異なる位置から撮影した第１の動画及び第２の動画に基づいて、前記移動体の移動軌跡を示す軌跡情報を生成し、
   前記第１の動画及び前記第２の動画と前記軌跡情報との対応関係を示す情報である複数の記録情報を管理し、
   前記複数の記録情報の中から前記軌跡情報に基づいて記録情報を選択させるＵＩを表示し、前記ＵＩを通じて選択された前記記録情報において対応関係にある第１の動画又は第２の動画を表示する、
   処理をコンピュータに実行させる、コンピュータプログラム。

Images