JP2020099592A - 端末装置、撮像システムおよびコンピュータプログラム - Google Patents

Abstract

【課題】プレイヤーの射出動作と射出されるボールの動きとの対応関係を確認する。【解決手段】撮像データ８に基づいてピッチャー２の投球動作に関するプレイヤー画像を生成し、ボール１０からのセンサーデータ７に基づいて、このピッチャー２によって投げられたボール１０の動きを表示するためのボール情報を生成し、これらを互いに関連づけて記憶する。したがって、プレイヤー画像とボール情報とを、たとえば交互に表示することによって、携帯端末２０のユーザ（ピッチャー２あるいはコーチなど）は、ピッチャー２の投球動作とボール１０の動きとの対応関係を確認することが可能である。これにより、たとえば、ユーザは、理想的なボール１０の動きを生み出すための投球動作の研究を試みることが容易となる。【選択図】図１

Description

本開示は、端末装置、撮像システムおよびコンピュータプログラムに関する。

特許文献１には、センサー部を内蔵したボールが記載されている。このボール内のセンサー部は、ボールの動きの算出に供するデータを取得し、端末装置に送る。

国際公開２０１７／１３１１３３号公報

特許文献１の技術では、ボールの動きを確認することはできるものの、ボールを投げるプレイヤーの動作を確認することは困難である。

本開示の一態様にかかる端末装置（本端末装置）は、ボールの動きに関するデータであるセンサーデータを取得するためのセンサー部を備えプレイヤーによって射出されたボールから、前記センサーデータを受信するセンサーデータ受信部と、前記プレイヤーにおける前記ボールの射出動作を撮像するカメラから撮像データを受領する撮像データ受領部と、１つの射出動作に関する前記撮像データおよび前記センサーデータを取得して、前記撮像データに基づいて前記プレイヤーの射出動作を表示するためのプレイヤー画像を生成するとともに、前記センサーデータに基づいて前記ボールの動きを表示するためのボール情報を生成し、前記プレイヤー画像と前記ボール情報とを互いに関連づけて記憶部に記憶する制御部と、を備える。

本端末装置は、プレイヤーによって射出（投げる、蹴る、あるいは打つなど）されるボールとともに用いられる。このボールは、ボールの動きに関するデータであるセンサーデータを取得するためのセンサー部を備えている。ボールの動きとは、たとえば、ボールの速度、回転数、回転軸の傾きおよび回転の向きである。
本端末装置では、センサーデータ受信部が、プレイヤーによって射出されたボールからセンサーデータを受信するとともに、プレイヤーの射出動作を撮像しているカメラから、撮像データを受領する。

そして、本端末装置では、制御部が、プレイヤーによる１つの射出動作に関する撮像データとセンサーデータとを取得する。そして、制御部は、撮像データに基づいて、プレイヤーの射出動作を表示するためのプレイヤー画像を生成する。さらに、制御部は、センサーデータに基づいて、この射出動作において射出されたボールの動きを表示するためのボール情報を生成する。さらに、制御部は、生成したプレイヤー画像とボール情報とを、互いに関連づけて記憶部に記憶する。

このように、本端末装置では、１つの射出動作を表示するためのプレイヤー画像と、この射出動作によって射出されたボールの動きを表示するためのボール情報とを生成し、互いに関連づけて記憶することができる。すなわち、本端末装置では、複数の射出動作が連続的に実施された場合でも、プレイヤー画像とボール情報とを射出動作ごとに生成し、互いに同期させて記憶することができる。

したがって、たとえば、制御部が、プレイヤー画像とボール情報とを、交互にあるいは同時に表示画面に表示することによって、本端末装置のユーザ（プレイヤーあるいはコーチなど）は、プレイヤーの射出動作とボールの動きとの対応関係を確認することが可能である。これにより、たとえば、ユーザは、理想的なボールの動きを生み出すための射出動作の研究を試みることが容易となる。

なお、プレイヤー画像およびボール情報を関連づけて記憶するための記憶部は、本端末装置に備えられていてもよいし、本端末装置と通信可能な外部の記憶部、たとえばクラウドサーバーに備えられていてもよい。プレイヤー画像およびボール情報をクラウドサーバーに記憶する場合、本端末装置から離れた場所にいる人も、画像を見ることができる。このため、たとえば、ユーザは、外部の専門家に画像を見てもらい、アドバイスを受けることが容易となる。

なお、カメラは、本端末装置に備えられていてもよいし、本端末装置とは別の装置であってもよい。

また、ボール情報およびプレイヤー画像を表示するための表示画面は、本端末装置に備えられていてもよい。本端末装置が小型の携帯端末である場合には、制御部は、ボールの動きの再現画像および再生画像のいずれかを表示画面に表示してもよい。

また、互いに異なる位置からプレイヤーを撮像する複数のカメラが備えられていてもよい。この場合、撮像データ受領部は、複数のカメラから、１つの射出動作に関する複数の撮像データを受領する。そして、制御部は、複数の撮像データに応じた複数のプレイヤー画像を生成し、各プレイヤー画像をボール情報に関連づけて記憶部に記憶する。
この構成では、ボール情報に応じた複数のプレイヤー画像を取得できるので、ボールの動きに対応するプレイヤーの射出動作を、より詳細に観察することができる。

また、制御部は、カメラによる撮像の開始および停止を制御するように構成されていてもよい。
これに関し、本端末装置は、ユーザからの撮像開始の指示を受け付ける受付部をさらに備えていてもよい。この場合、制御部は、ユーザからの撮像開始の指示に応じて、カメラによる撮像を開始することができる。この構成では、プレイヤーの動きを把握しているユーザが撮像の開始タイミングを決めることができるので、射出動作の開始に合わせてカメラによる撮像を開始することが容易となる。

また、制御部は、ボールと本端末装置とをペアリングするためのペアリング部をさらに備えてもよい。そして、ペアリング部によって本端末装置とボールとがペアリングしたことに応じて、カメラによる撮像を開始してもよい。これに関し、たとえば、ボールは、プレイヤーによってボールが投げ上げられたことに応じてペアリング可能となるように構成されていてもよい。そして、ペアリング部は、ボールがペアリング可能となったときに、ボールと本端末装置とのペアリングを試みるように構成されていてもよい。
この場合、ボールを扱うプレイヤーが、撮像の開始タイミングを決められるので、射出動作の開始に合わせてカメラによる撮像を開始することが容易となる。

また、本端末装置は、ボールから送られるセンサーデータに基づいて、射出されたボールが停止したことを検知する停止検出部をさらに備えてもよい。この場合、制御部は、ボールの停止の検出に応じて、前記カメラによる撮像を停止するように構成されていてもよい。

ボールの停止後であれば、プレイヤーによる射出動作は完了していると考えられる。したがって、ボールの停止に応じてカメラによる撮像を停止することにより、無駄な撮像を抑制することが容易となる。

また、この場合、制御部は、取得した撮像データにおけるボールの停止よりも所定時間前からボールの停止までの部分を用いて、プレイヤー画像を生成してもよい。

たとえば、ボールが野球ボールであり、プレイヤーが投手である場合、ユーザによる撮像開始の指示あるいはペアリング等によって、カメラによる撮像が開始された後、プレイヤーが、数秒間にわたって待機状態となり、投球動作をしないことがある。これは、たとえば、プレイヤーが、ボールの握りを調整したり、マウンドをならしたり、投球のための集中力を高めたりすることなどにより、一般的に発生する現象である。

このため、撮像の開始からボールの停止の所定時間前までの部分を撮像データから除去することにより、待機状態にあるプレイヤーの画像がプレイヤー画像に含まれることを抑制することができる。これにより、プレイヤー画像のサイズが無用に大きくなることを抑制することができる。

この所定時間は、ボールの種類（ボールを用いる競技の種類）、および、プレイヤーの種類によって、適切に設定されることが好ましい。たとえば、ボールが野球ボールであり、プレイヤーが投手である場合、所定時間は、およそ２〜３秒間（たとえば２．５秒）とされる。

また、本端末装置と、プレイヤーにおけるボールの射出動作を撮像する上記のカメラとを組み合わせることにより、１つの投球動作に関するプレイヤー画像とボール情報とを生成し、これらを互いに関連づけて記憶することの可能な撮像システムを構築することができる。

さらに、本開示の一実施形態にかかるコンピュータプログラムは、ボールの動きに関するデータであるセンサーデータを取得するためのセンサー部を備えプレイヤーによって射出されたボールから、前記センサーデータを受信すること、前記プレイヤーにおける前記ボールの射出動作を撮像するカメラから撮像データを受領すること、１つの射出動作に関する前記撮像データおよび前記センサーデータを取得すること、前記撮像データに基づいて前記プレイヤーの射出動作を表示するためのプレイヤー画像を生成すること、前記センサーデータに基づいて前記ボールの動きを表示するためのボール情報を生成すること、および、前記プレイヤー画像と前記ボール情報とを互いに関連づけて記憶部に記憶すること、を、前記センサー部および前記カメラと通信可能なコンピュータに実施させる。

本開示の一態様によれば、１つの射出動作に関するプレイヤー画像とボール情報とを、交互にあるいは同時に表示画面に表示することによって、ユーザ（プレイヤーあるいはコーチなど）は、プレイヤーの射出動作とボールの動きとの対応関係を確認することが可能である。これにより、たとえば、ユーザは、理想的なボールの動きを生み出すための射出動作の研究を試みることが容易となる。

図１は、一実施形態にかかる撮像システムの構成例を示す説明図である。 図２は、ボールの構成例を示すブロック図である。 図３は、カメラの構成例を示すブロック図である。 図４は、携帯端末の構成例を示すブロック図である。 図５は、携帯端末の制御部の動作例を示すフローチャートである。 図６は、ボール情報の一例を示す説明図である。 図７は、プレイヤー画像の一例を示す説明図である。 図８は、撮像システムの他の例を示す説明図である。

（システム全体の構成例）
本開示における第１の実施形態を、図面に基づいて説明する。図１に示すように、本実施形態にかかる撮像システム１は、硬式の野球ボールであるボール１０を用いた投球練習に関するシステムであり、主に、ピッチャー２の投げる野球ボールの動きと、ピッチャー２の投球動作とを表示するために用いられる。

図１に示すように、撮像システム１は、ボール１０、ピッチャー２を撮像するためのカメラ１５、および、携帯端末（端末装置）２０含んでいる。

野球における投球練習では、ピッチャー２は、マウンド３から、キャッチャー４に向けてボール１０を投げる（投球５）。キャッチャー４は、ボール１０をピッチャー２に返す（返球６）。そして、撮像システム１では、ピッチャー２の投球５におけるボール１０の動きに関するデータであるセンサーデータ７が、ボール１０に内蔵されたセンサー部（後述）により取得される。なお、ボール１０の動きとは、たとえば、ボール１０の速度（球速）、回転数、回転軸の傾き（回転の傾き）、回転方向および球種である。

また、撮像システム１では、ピッチャー２の投球動作が、カメラ１５により撮像されて、撮像データ８が生成される。これらのデータが、携帯端末２０によって処理される。

以下に、撮像システム１の各構成要素について説明する。
（ボールの構成例）
図２に示すように、ボール１０は、コア１１および外皮１２を含む。コア１１は、ゴム製、コルク製および／またはエストラマー樹脂製の中心部であり、その内部にハードウェア５０が搭載されている。コア１１の周囲には、通常の野球ボールと同様に、たとえば糸巻部が設けられている。糸巻部は、たとえば、コア１１の周囲に巻回された毛糸および綿糸を含む。外皮１２は、たとえば、縫い糸で縫い合わされた複数の牛革部分を含んでおり、糸巻部を覆っている。

なお、ボール１０では、通常の野球ボールとほぼ同様の全体重量およびバランスをボール１０が有するように、コア１１の内部にハードウェア５０が配置されている。また、上述のように、ボール１０は、通常の野球ボールと同様の糸巻部、外皮１２および縫い糸を備えている。このため、ピッチャー２は、ボール１０を、通常の野球ボールと同様の感覚で取り扱う（投げる、および捕る）ことが可能である。

さらに、ボール１０では、ハードウェア５０が、中心部のコア１１に収納されている。これにより、ボール１０では、ハードウェア５０を含んでいることによる芯ずれを抑制することができる。ハードウェア５０は、たとえば、樹脂製のカプセルに内蔵された状態で、コア１１内に配置されていてもよい。あるいは、ハードウェア５０は、モールド樹脂により、コア１１と一体化されていてもよい。

ハードウェア５０は、センサー群５１、バッテリー５２、電源スイッチ（ＳＷ）５３、マイコン５００、およびメモリ５６を含む。センサー群５１は、ボール１０の動きに関するデータを取得するために用いられる。センサー群５１は、起動用加速度センサー５１ａ、三軸加速度センサー５１ｂ、三軸ジャイロセンサー５１ｃ、および三軸地磁気センサー５１ｄを含む。

センサー群５１の起動用加速度センサー５１ａと電源スイッチ５３とは、起動回路５７を構成している。また、三軸加速度センサー５１ｂ、三軸ジャイロセンサー５１ｃ、三軸地磁気センサー５１ｄ、マイコン５００およびメモリ５６は、メインシステム５８を構成している。

バッテリー５２は、ハードウェア５０の電源である。バッテリー５２は、使い捨てタイプの一次電池（たとえばコイン電池）であってもよいし、無線充電されることの可能な二次電池であってもよい。

起動用加速度センサー５１ａは、たとえば、常時、バッテリー５２から電力供給を受けて、稼動した状態に維持されていてもよい。起動用加速度センサー５１ａは、ボール１０の起動用の動きを検出するように構成されている。ボール１０の起動用の動きは、たとえば自由落下である。この場合、ピッチャー２は、ボール１０を起動するために、たとえば、ボール１０を、２メートル程度投げ上げて自由落下させる。起動用加速度センサー５１ａは、この動きを検出すると、電源スイッチ５３をオンとする。これにより、メインシステム５８に、バッテリー５２から電力が供給される。

センサー群５１の三軸加速度センサー５１ｂ、三軸ジャイロセンサー５１ｃおよび三軸地磁気センサー５１ｄは、それぞれ、ボール１０に関する加速度、角速度および地磁気を測定する。

マイコン５００は、短距離無線通信ユニット（ＢＬＥ）５４および測定ユニット５２０を含む。短距離無線通信ユニット５４は、たとえば、本実施形態では、ＢＬＥ（Bluetooth（登録商標） Low Energy）を用いた通信ユニットである。短距離無線通信ユニット５４は、携帯端末２０の短距離無線通信ユニット（後述）とペアリングし、ボール１０と携帯端末２０との間の通信を確立するために用いられる。

測定ユニット５２０は、センサー群５１の三軸加速度センサー５１ｂ、三軸ジャイロセンサー５１ｃおよび三軸地磁気センサー５１ｄによる測定によって得られる加速度値、角速度値および地磁気値を、たとえば、数十〜数百Ｈｚの高周波数でサンプリングする。これにより、測定ユニット５２０は、測定データ５９としての加速度データ、角速度データ（ジャイロデータ）および地磁気データを取得する。このように、センサー５１ｂ〜５１ｄおよび測定ユニット５２０は、ボール１０の動きに関するデータであるセンサーデータ７を取得するためのセンサー部として機能する。
測定データ５９は、ボール１０の動きを算出する元となるデータ（生データ）である。測定ユニット５２０は、取得された測定データ５９を、メモリ５６に格納する。さらに、測定ユニット５２０は、測定データ５９を、ボール１０の動きに関する情報であるセンサーデータ７として、短距離無線通信ユニット５４を介して携帯端末２０に送信（転送）する。本実施形態では、測定ユニット５２０は、センサー５１ｂ〜５１ｄから測定データ５９取得しながら、これをセンサーデータ７として携帯端末２０に逐次的に転送する。

（カメラの構成例）
図１に示すように、カメラ１５は、ピッチャー２の投球動作を正面から撮像するために、三脚１５ａによって、キャッチャー４の背後に据えつけられている。図３に示すように、カメラ１５は、撮像部１５１、短距離無線通信ユニット（ＢＬＥ）１５３およびメモリ１５５を備えている。

短距離無線通信ユニット１５３は、携帯端末２０の短距離無線通信ユニット（後述）とペアリングし、カメラ１５と携帯端末２０との間の通信を確立するために用いられる。

撮像部１５１は、レンズを含む光学系および画像処理装置などを備えたデジタルカメラであり、動画を撮像することが可能である。撮像部１５１は、ピッチャー２の投球動作を撮像することによって、ピッチャー２の投球動作の動画に応じた撮像データ８（図１参照）を生成する。撮像部１５１は、生成した撮像データ８を、メモリ１５５に記憶する。また、撮像部１５１は、撮像データ８を、短距離無線通信ユニット１５３を介して携帯端末２０に送信（転送）する。本実施形態では、撮像部１５１は、撮像データ８を生成しながら、携帯端末２０に逐次的に転送する。

（携帯端末２０の構成例）
図４に示すように、携帯端末２０は、たとえばスマートホンあるいはタブレット型コンピュータであり、通常、ピッチャー２あるいはキャッチャー４の近傍に備えられる。携帯端末２０は、短距離無線通信ユニット（ＢＬＥ）２１、データ通信ユニット２２、ＧＰＳ２３、電子コンパス２４、加速度センサー２５、プロセッサ２６、メモリ２７、および、入出力ユニット（ディスプレイ２８ａ、タッチセンサー２８ｂ、端末カメラ２８ｃおよび音声入出力ユニット２９）を含む。

ディスプレイ２８ａは、携帯端末２０のユーザ（ピッチャー２、キャッチャー４あるいはコーチ（図示せず）など）に、画像等を表示するために用いられる。タッチセンサー２８ｂは、ユーザからの指示を受け付ける受付部として機能する。

短距離無線通信ユニット２１は、たとえば、本実施形態では、ＢＬＥ（Bluetooth（登録商標） Low Energy）を用いた通信ユニットである。短距離無線通信ユニット２１は、ボール１０の短距離無線通信ユニット５４とペアリングし、ボール１０と携帯端末２０との通信を確立するために用いられる。

データ通信ユニット２２は、無線ＬＡＮおよび／または携帯電話通信網を介して、外部機器（携帯端末２０に接続されているサーバーなど）との間で、データ（たとえば、ボール１０から送信されたセンサーデータ７）を送受信する。ＧＰＳ２３は、携帯端末２０の位置（緯度および経度）を測位する。電子コンパス２４は、携帯端末２０の向き（方位）を判別するために用いられる。メモリ２７は、携帯端末２０の記憶部である。メモリ２７は、たとえば、プロセッサ２６によって取得された各種のデータを記憶する。また、メモリ２７は、たとえばコンピュータネットワークを介してダウンロードされた、アプリケーションプログラム（アプリ、プログラムおよび／またはプログラム製品）６０を格納している。

プロセッサ２６は、コンピュータプログラムとしてのアプリケーションプログラム６０（アプリケーションプログラム６０に含まれる命令）にしたがって、ペアリングユニット６１、データ取得ユニット６２、および、制御部６３として機能する。アプリケーションプログラム６０は、メモリ２７のような、プロセッサ２６（コンピュータ）によって読み取り可能な非一過性の記録媒体に記録されることができる。

ペアリングユニット６１は、ボール１０（短距離無線通信ユニット５４）およびカメラ１５（短距離無線通信ユニット１５３）と、携帯端末２０（短距離無線通信ユニット２１）とをペアリングする。

データ取得ユニット６２は、携帯端末２０とペアリングされたボール１０から転送されるセンサーデータ７を取得する。さらに、データ取得ユニット６２は、携帯端末２０とペアリングされたカメラ１５から転送される撮像データ８を取得する。すなわち、本実施形態では、データ取得ユニット６２は、センサーデータ受信部および撮像データ８受領部として機能する。

制御部６３は、データ取得ユニット６２を介して、１つの投球動作に関するセンサーデータ７および撮像データ８を取得する。
そして、制御部６３は、センサー５１ｂ〜５１ｄによって得られた測定データ５９であるセンサーデータ７を解析することによって、ボール１０の動きを示す解析データを取得する。上述したように、ボール１０の動きは、たとえば、ボール１０の球速、回転数、回転軸の傾き、回転方向および球種である。したがって、解析データは、たとえば、ボール１０の球速、回転数、回転軸の傾き、回転方向および球種を示すデータである。

より詳細には、制御部６３は、たとえば、ボール１０の移動距離を移動時間で割ることによって、ボール１０の球速を得る。ボール１０の移動距離（たとえば１８．４４メートル）は、たとえば、あらかじめメモリ２７に記憶されている。ボール１０の移動時間は、ボール１０がリリースされてからキャッチされるまでの時間（サンプリング数）に対応する。ボール１０がリリースされた時刻（タイミング）は、たとえば、ボール１０に加えられる正の加速度が消失した時刻である。ボール１０がキャッチされた時刻は、たとえば、ボール１０に大きな負の加速度（減速度）が加えられた時刻である。制御部６３は、これらの時刻を、測定データ５９の一部である加速度データから取得することができる。

また、制御部６３は、単位時間当たりの回転数を、移動時間におけるボール１０の回転の総数から求めることができる。具体的には、制御部６３は、地磁気データの振幅数に基づいて、ボール１０の回転の総数を算出することができる。また、制御部６３は、地磁気データに基づいてボール１０の地磁気伏角を求め、地磁気伏角に基づいてボール１０の回転軸の傾きおよび回転方向を取得することもできる。
なお、測定データ５９からボール１０の動きを求めるためには、特許文献１に記載の技術等の公知の技術を用いることができる。

さらに、制御部６３は、解析データに基づいて、ボール１０の動き、すなわち、ボール１０の球速、回転数、回転軸の傾き、回転方向および球種等を表示するためのボール情報を生成する。ボール情報は、たとえば、ボール１０の動きを表現する画像であり、ディスプレイ２８ａに表示されることが可能である。ボール情報は、たとえば、動きに関する数値、動きの名称を示す文字またはイラスト、ボール１０の動きを視覚的に示すアニメーション等のうち、任意の一以上の情報を含む。

また、制御部６３は、撮像データ８に基づいて、プレイヤー画像を生成する。プレイヤー画像は、ピッチャー２の投球動作を表示する画像（動画）であり、ディスプレイ２８ａに表示されることが可能である。

そして、制御部６３は、１つの投球動作に関するプレイヤー画像とボール情報とを、互いに関連づけて、メモリ２７に記憶する。

また、制御部６３は、カメラ１５による撮像の開始および停止を制御するように構成されている。本実施形態では、制御部６３は、タッチセンサー２８ｂを介して受け付けられたユーザの指示に応じて、カメラ１５の撮像を開始するように構成されている。

さらに、制御部６３は、ボール１０から逐次的に転送されてくるセンサーデータ７（測定データ５９）に基づいて、ボール１０が投球されたこと（リリースされたこと）、および、投球されたボール１０が停止したこと（キャッチャー４によってキャッチされたこと）を検出する。すなわち、制御部６３は、停止検出部として機能する。そして、制御部６３は、ボール１０の停止の検出に応じて、カメラ１５による撮像を停止する。

次に、撮像システム１の携帯端末２０における制御部６３の動作について説明する。図５に示すフローチャートは、ピッチャー２による１つの投球動作ごとに制御部６３によって実施される動作を示している。

撮像システム１では、まず、携帯端末２０のペアリングユニット６１が、カメラ１５と携帯端末２０とをペアリングする。さらに、ペアリングユニット６１は、ピッチャー２によってボール１０が投げ上げられて、ボール１０の電源スイッチ５３がオンとなった後、ボール１０と携帯端末２０とをペアリングする（Ｓ１１）。

これに応じて、ボール１０の測定ユニット５２０およびセンサー５１ｂ〜５１ｄが、ボール１０の動きに関する測定データ５９を取得して、センサーデータ７として携帯端末２０に逐次的に転送する。

ペアリングの完了後、制御部６３は、ユーザによる撮像開始の指示を待機する（Ｓ１２）。たとえば、ユーザは、ピッチャー２の投球動作の直前に、タッチセンサー２８ｂを介して、撮像開始の指示を携帯端末２０に入力する。撮像開始の指示を受けた後、制御部６３は、カメラ１５の撮像部１５１を制御して、カメラ１５によるピッチャー２の撮像を開始する（Ｓ１３）。これに応じて、カメラ１５の撮像部１５１は、ピッチャー２を撮像し、撮像データ８を生成して携帯端末２０に逐次的に転送する。そして、制御部６３は、データ取得ユニット６２を制御して、ボール１０から転送されるセンサーデータ７およびカメラ１５から転送される撮像データ８の受信を開始する（Ｓ１４）。その後、ピッチャー２が、キャッチャー４に向けてボール１０を投げ込む。

制御部６３は、ピッチャー２によってボール１０が投球されたこと（リリースされたこと）を検知した後、ボール１０が停止したか否か（キャッチャー４にキャッチされたか否か）を判断する（Ｓ１５）。そして、ボール１０が停止したと判断したときに、制御部６３は、カメラ１５による撮像を停止する（Ｓ１６）。さらに、制御部６３は、センサーデータ７および撮像データ８の受信を停止する（Ｓ１７）。

その後、制御部６３が、この投球動作に関する撮像データ８に基づいて、ピッチャー２の投球動作を表示するためのプレイヤー画像を生成する。さらに、制御部６３は、センサーデータ７に基づいて、この投球動作によって投球されたボール１０の動きを表示するためのボール情報を生成する。さらに、制御部６３は、生成したプレイヤー画像とボール情報とを、互いに関連づけてメモリ２７に記憶する（Ｓ１８）。

この際、制御部６３は、撮像データ８におけるボール１０の停止よりも所定時間前からボール１０の停止までの部分を用いて、プレイヤー画像を生成する。すなわち、カメラ１５から送信される撮像データ８は、投球の開始前の撮像開始時（Ｓ１３）から、ボール１０の停止時までのピッチャー２の動画を含んでいる。
制御部６３は、ボール１０の停止時よりも所定時間前の、第１の時刻を算出する。そして、制御部６３は、受信した撮像データ８から、撮像の開始から第１の時刻までの部分を除去（トリミング）し、残存している撮像データ８を用いてプレイヤー画像を生成する。したがって、プレイヤー画像は、撮像データ８における第１の時刻からボール１０の停止時（第２の時刻）までの部分に基づいて生成される。
なお、撮像データ８における撮像の開始から第１の時刻までの部分を除去する理由は、の投球動作の開始前のピッチャー２の画像をプレイヤー画像に含めることを抑制することにある。第１の時刻から第２の時刻までの時間（所定時間）の長さは、たとえは２．５秒程度である。この点については後に詳述する。

さらに、制御部６３は、プレイヤー画像と同様に、センサーデータ７における第１の時刻（ボール１０の停止時よりも所定時間前）から第２の時刻（ボール１０の停止時）までの部分を用いて、ボール情報を生成する。

その後、ユーザは、タッチセンサー２８ｂを介して、プレイヤー画像およびボール情報のいずれかを表示する旨の指示を、携帯端末２０に入力することができる。制御部６３は、ユーザの指示に応じて、互いに関連づけられてメモリ２７に記憶されたプレイヤー画像あるいはボール情報のいずれかを、ディスプレイ２８ａに表示する。

図６に、ディスプレイ２８ａに表示されるボール情報の一例を示す。この図に示すように、ディスプレイ２８ａには、「投球履歴−詳細」として、１つの投球動作に関するボール情報ＢＪが表示される。この例では、上方に、ボール情報ＢＪのサマリーＰＳが示されている。サマリーＰＳには、上段に、この投球の日時および球数が示されている。さらに、その下方に、ボール１０の動きの一部が、文字および数値を用いて示されている。すなわち、左から、球種（ストレート）、球速（１４６ｋｍ／ｈ）および回転数（２０５３ｒｐｍ）が表示されている。

また、サマリーＰＳの下方に、ピッチングタイムＰＴが示されている。ピッチングタイムＰＴにおける「Release」は、たとえば、上記した第１の時刻（ボール１０の停止時よりも所定時間前）からボール１０がリリースされるまでの時間を意味する。「Ball」は、たとえば、ボール１０がリリースされてからキャッチされるまでの時間を意味する。さらに、「Total」は、これらの時間の和を示している。

さらに、ピッチングタイムＰＴの下方の画面中央には、ボール１０の回転を再現する画像を表示するための再現領域ＰＡが示されている。この例では、ボール１０の回転が、ピッチャー２の視点（投手視点）で示されている。再現領域ＰＡの中央には、ボール１０を表現する球体のアニメーションが示される。この球体には、ボール１０の回転方向を示す三角形が付されている。また、球体の周囲（上下左右）には、ボール１０の変化量を示す数値が表示されている。そして、左下の再生ボタンＰがタッチされることにより、リリースされてからキャッチされるまでのボール１０の回転が、たとえば、中央の球体の回転およびその周囲の数値の変化により再現表示される。また、再現領域ＰＡの右上には、ボール１０の回転軸の傾き（−１０°）が示されている。

そして、ボール情報ＢＪの最下段には、ボール１０のリリース画面ＰＲが示されている。この画面では、第１の時刻（ボール１０の停止時よりも所定時間前）からリリースまでの、時間とともに変動するピッチャー２の腕の振りの強さが示されている。したがって、この画面からは、たとえば、ボール１０をリリースする際の腕振りの強さ、および、構えてからリリースするまでの時間を取得することができる。

図７に、ディスプレイ２８ａに表示されるプレイヤー画像の一例を示す。この図に示すように、ディスプレイ２８ａには、「投球履歴−動画」として、１つの投球動作に関するプレイヤー画像ＰＧが表示される。この例では、その中央に、キャッチャー４の頭越しに、ピッチャー２が表示される。そして、左下の再生ボタンＰがタッチされることにより、第１の時刻（ボール１０の停止時よりも所定時間前）から、ボール１０が投球されてキャッチャー４にキャッチされる第２の時刻までの、ピッチャー２の投球動作を示す動画が再生される。
また、プレイヤー画像ＰＧには、ボール情報ＢＪにも表示されているサマリーＰＳ、ピッチングタイムＰＴ、および、ボール１０の回転軸の傾き（−１０°）が、ピッチャー２の投球動作を示す動画に重畳表示されている。

以上のように、本実施形態にかかる携帯端末２０では、データ取得ユニット６２が、ピッチャー２によって投球されるボール１０からセンサーデータ７を受信するとともに、ピッチャー２の投球動作を撮像しているカメラ１５から、撮像データ８を受領する。

そして、携帯端末２０では、制御部６３が、ピッチャー２による１つの投球動作に関する撮像データ８とセンサーデータ７とを取得する。そして、制御部６３は、撮像データ８に基づいて、ピッチャー２の投球動作を表示するためのプレイヤー画像を生成する。さらに、制御部６３は、センサーデータ７に基づいて、この投球動作において投げられたボール１０の動きを表示するためのボール情報を生成する。さらに、制御部６３は、生成したプレイヤー画像とボール情報とを、互いに関連づけてメモリ２７に記憶する。

このように、携帯端末２０では、１つの投球動作を表示するためのプレイヤー画像と、この投球動作によって投げられたボール１０の動きを表示するためのボール情報とを生成し、互いに関連づけて記憶することができる。すなわち、携帯端末２０では、複数の投球動作が連続的に実施された場合でも、プレイヤー画像とボール情報とを投球動作ごとに生成し、互いに同期させて記憶することができる。

したがって、制御部６３が、プレイヤー画像とボール情報とを、たとえば交互にディスプレイ２８ａに表示することによって、携帯端末２０のユーザ（ピッチャー２あるいはコーチなど）は、ピッチャー２の投球動作（投球フォーム）とボール１０の動きとの対応関係を確認することが可能である。これにより、たとえば、ユーザは、理想的なボール１０の動きを生み出すための投球動作の研究を試みることが容易となる。
また、本実施形態のように、カメラ１５がピッチャー２の背後からピッチャー２の正面画像を撮像する場合、プレイヤー画像によって、投球されるボール１０の軌道（球筋）を確認することもできる。また、ピッチャー２の投球動作の異常を検知して、ピッチャー２に生じている故障を早期に発見することも可能である。

また、本実施形態では、制御部６３は、カメラ１５による撮像の開始および停止を制御するように構成されている。さらに、携帯端末２０は、ユーザからの撮像開始の指示を受け付けるタッチセンサー２８ｂを備えている。そして、制御部６３は、タッチセンサー２８ｂを介して入力されるユーザからの撮像開始の指示に応じて、カメラ１５による撮像を開始している。したがって、ピッチャー２の動きを把握しているユーザが撮像の開始タイミングを決めることができるので、ピッチャー２による投球動作の開始に合わせてカメラ１５による撮像を開始することが容易となる。

また、携帯端末２０では、制御部６３が、センサーデータ７に基づいて投げられたボール１０が停止したことを検出し、ボール１０の停止の検出に応じて、カメラ１５による撮像を停止している。これに関し、ボール１０の停止後であれば、ピッチャー２による投球動作は完了していると考えられる。したがって、ボール１０の停止に応じてカメラ１５による撮像を停止することにより、無駄な撮像を抑制することが容易となる。

また、制御部６３は、取得した撮像データ８における第１の時刻（ボール１０の停止時よりも所定時間前）から第２の時刻（ボール１０の停止時）までの部分を用いて、プレイヤー画像を生成している。

これに関し、ピッチャー２は、カメラ１５による撮像が開始された後でも、数秒間にわたって待機状態となり、投球動作をしないことがある。これは、たとえば、ピッチャー２が、ボール１０の握りを調整したり、マウンド３をならしたり、投球のための集中力を高めるたりすることなどにより、一般的に発生する現象である。

このため、撮像の開始からボール１０の停止の所定時間前までの部分を、撮像データ８から除去することにより、待機状態にあるピッチャー２の画像がプレイヤー画像に含まれることを抑制することができる。これにより、プレイヤー画像のサイズが無用に大きくなることを抑制することができる。なお、上記の所定時間は、およそ２〜３秒間（たとえば２．５秒）とされる。

また、本実施形態では、ボール１０の測定ユニット５２０が、センサーデータ７として測定データ５９を携帯端末２０に送信し、携帯端末２０の制御部６３がセンサーデータ７を解析することによって、解析データを生成している。したがって、本実施形態では、ボール１０が測定データ５９の解析機能を持たなくてよいため、ボール１０の構成を簡略化することができる。このため、ボール１０の感触を、通常の野球ボールに近づけることが容易となる。

なお、本実施形態では、カメラ１５は、ピッチャー２の投球動作を正面から撮像するために、キャッチャー４の背後に据えつけられている正面カメラである。これに代えて、撮像システム１は、ピッチャー２の側部に備えられ、ピッチャー２の投球動作を側面から撮像する側面カメラを備えていてもよい。

また、撮像システム１は、互いに異なる位置からピッチャー２を撮像する複数のカメラを備えてもよい。たとえば、撮像システム１は、正面カメラであるカメラ１５と側面カメラとの双方を備えていてもよい。
この場合、携帯端末２０のデータ取得ユニット６２は、複数のカメラから、１つの投球動作に関する複数の撮像データ８を受領する。そして、制御部６３は、複数の撮像データ８に応じた複数のプレイヤー画像を生成し、各プレイヤー画像をボール情報に関連づけてメモリ２７に記憶する。
この構成では、ボール情報に応じた複数のプレイヤー画像を取得できるので、ボール１０の動きに対応するピッチャー２の投球動作を、より詳細に観察することができる。

また、本実施形態では、ピッチャー２の投球動作を撮像するカメラ１５が、携帯端末２０とは別の機器として、キャッチャー４の背後に据えつけられ、撮像データ８を生成している。これに代えて、ピッチャー２の投球動作を撮像するカメラとして、携帯端末２０の端末カメラ２８ｃ（図４参照）が用いられてもよい。この場合、カメラと携帯端末２０とのペアリングが不要となるため、制御部６３によるカメラの制御、および、データ取得ユニット６２による撮像データ８の受領が容易となる。

また、本実施形態では、制御部６３は、タッチセンサー２８ｂを介して入力されるユーザからの撮像開始の指示に応じて、カメラ１５による撮像を開始している。これに代えて、制御部６３は、ペアリングユニット６１によって携帯端末２０とボール１０とがペアリングしたことに応じて、カメラ１５による撮像を開始してもよい。

本実施形態では、ペアリングユニット６１は、ピッチャー２によってボール１０が投げ上げられて、ボール１０の電源スイッチ５３がオンとなった後、ボール１０と携帯端末２０とをペアリングする。したがって、この構成では、ピッチャー２が撮像の開始タイミングを決められるので、投球動作の開始に合わせてカメラ１５による撮像を開始することが容易となる。

本実施形態では、ボール１０の測定ユニット５２０は、センサー５１ｂ〜５１ｄによって得られた測定データ５９を、センサーデータ７として、携帯端末２０に送信している。そして、携帯端末２０では、制御部６３が、センサーデータ７を解析することによって、解析データを生成している。

しかしながら、これに限らず、解析データは、ボール１０において生成されてもよい。この場合、測定ユニット５２０が、上述したような公知の技術を用いて測定データ５９を解析することによって、ボール１０の動きを示す解析データを取得する。そして、測定ユニット５２０は、解析データを、ボール１０の動きに関するデータであるセンサーデータ７として携帯端末２０に送信する。

携帯端末２０では、データ取得ユニット６２がセンサーデータ７を受信し、制御部６３が、解析データであるセンサーデータ７からボール情報を生成する。この構成では、制御部６３による解析を省くことができる。

また、本実施形態では、ボール１０の測定ユニット５２０が、センサー５１ｂ〜５１ｄから測定データ５９を取得しながら、これをセンサーデータ７として、携帯端末２０に逐次的に転送している。同様に、カメラ１５の撮像部１５１は、撮像データ８を生成しながら、携帯端末２０に逐次的に転送している。

しかしながら、これに限らず、測定ユニット５２０は、１つの投球動作に関する全ての測定データ５９を取得してから、これをセンサーデータ７として携帯端末２０に送信するように構成されていてもよい。同様に、撮像部１５１も、１つの投球動作に関する全ての撮像データ８を取得してから（撮像を停止してから）、撮像データ８を携帯端末２０に送信するように構成されていてもよい。

この構成では、ボール１０の測定ユニット５２０は、ボール１０のリリースおよび停止を検知できるように構成されていることが好ましい。測定ユニット５２０は、ボール１０のリリースから停止までの測定データ５９を、１つの投球動作に関するセンサーデータ７として携帯端末２０に送信することができる。あるいは、測定ユニット５２０は、携帯端末２０を介したユーザの指示に応じて、測定データ５９の取得を開始および停止し、取得した測定データ５９をセンサーデータ７として携帯端末２０に送信してもよい。
また、携帯端末２０の制御部６３は、センサーデータ７の受領を確認したことを検出したときに、カメラ１５による撮像を停止するように構成されていてもよい。

また、本実施形態では、制御部６３が、プレイヤー画像とボール情報とのいずれかを、ディスプレイ２８ａに表示している。これに代えて、制御部６３は、他の表示機器の表示画面に、プレイヤー画像およびボール情報を表示してもよい。たとえば、制御部６３は、表示画面に、プレイヤー画像とボール情報とを同時に表示してもよい。これにより、ユーザは、投球動作とボール１０の動きとの対応関係を、より容易に確認することができる。

また、データ取得ユニット６２は、外部環境データを取得するように構成されていてもよい。外部環境データは、携帯端末２０とペアリングされたボール１０が移動（飛翔）する環境に関するデータである。外部環境データは、たとえば、ボール１０の移動方向（飛翔方向）、移動開始位置または移動終了位置を含む。この場合、制御部６３は、センサーデータ７および外部環境データに基づいて、ボール情報を生成してもよい。

また、図２に示したセンサー群５１の構成は一例である。センサー群５１として、センサー機能をまとめて１チップ化した９軸センサーが採用されてもよい。あるいは、センサー群５１は、適当に組み合わせられた加速度センサー、ジャイロセンサーおよび磁気センサーを備えてもよい。

また、撮像システム１は、図１に示した構成に加えて、図８に示すように、クラウド３０を含んでいてもよい。クラウド３０は、たとえば、インターネットなどのコンピュータネットワーク３１、サーバー３５、および、オンラインコーチシステム４０を含む。サーバー３５およびオンラインコーチシステム４０は、コンピュータネットワーク３１に接続されている。

この場合、ボール１０の測定ユニット５２０およびカメラ１５の撮像部１５１は、センサーデータ７および撮像データ８を、コンピュータネットワーク３１を介してサーバー３５に送信してもよい。

サーバー（クラウドサーバー）３５は、プレイヤー管理機能３６、投球動作毎にセンサーデータ７および撮像データ８を蓄積するストレージ３７、データ管理ユニット３８、および、ランキング集計などを行うデータ分析ユニット３９を含む。

オンラインコーチシステム４０は、コーチ４２によって用いられるシミュレータ４１および通信ユニット４３を含む。シミュレータ４１は、サーバー３５に投球動作毎に蓄積されたセンサーデータ７および撮像データ８を用いて、ボール情報およびプレイヤー画像を生成し、１つの投球動作に関するプレイヤー画像とボール情報とを、互いに関連づけて、自身の記憶装置あるいはストレージ３７に記憶する。すなわち、この構成では、オンラインコーチシステム４０が端末装置であり、そのシミュレータ４１が制御部として機能する。

この構成では、コーチ４２は、シミュレータ４１の表示画面（図示せず）に表示されたプレイヤー画像およびボール情報を確認し、通信ユニット４３およびコンピュータネットワーク３１を介して、ユーザ（携帯端末２０）に向けてアドバイスを送ることができる。

また、携帯端末２０の制御部６３がプレイヤー画像およびボール情報を生成して、コンピュータネットワーク３１を介してサーバー３５に送信し、記憶部としてのストレージ３７に、プレイヤー画像とボール情報とを関連づけて記憶してもよい。この場合、シミュレータ４１は、サーバー３５のストレージ３７に蓄積された投球動作毎のボール情報およびプレイヤー画像を取得して、表示画面に表示する。コーチ４２は、同様にプレイヤー画像とボール情報とを確認して、アドバイスを送ることができる。

このように、図８に示した構成では、携帯端末２０から離れた場所にいる人も、プレイヤー画像およびボール情報を見ることができる。このため、たとえば、ユーザは、外部の専門家にプレイヤー画像およびボール情報を見てもらい、アドバイスを受けることが容易となる。

また、本実施形態では、ボール１０の一例として、硬式の野球ボールを示している。しかしながら、ボール１０は、これに限られず、内部にハードウェア５０を配置できるものであれば、他のスポーツに用いられるボールでもよい。ボール１０の他の例としては、軟式の野球ボール、ゴルフボール、ソフトボール、テニスボール、サッカーボール、ラグビーボール、アメリカンフットボール用のボール、陸上競技に用いられる円盤、砲丸およびハンマー、およびクリケット用のボールを挙げられる。

ボール１０がどのような種類のものであっても、射出（投げる、蹴る、あるいは打つなど）されるボール１０のセンサー部（測定ユニット５２０等）が、センサーデータ７を取得して携帯端末２０に送信する。また、カメラ１５の撮像部１５１が、プレイヤーにおけるボール１０の射出動作を撮像し、撮像データ８を携帯端末２０に送信する。

１：撮像システム、２：ピッチャー、４：キャッチャー、
１０：ボール、５１ａ：起動用加速度センサー、５１ｂ：三軸加速度センサー、
５１ｃ：三軸ジャイロセンサー、５１ｄ：三軸地磁気センサー、５２：バッテリー、
５３：電源スイッチ、７：センサーデータ、５２０：測定ユニット、
１５：カメラ、１５１：撮像部、１５５：メモリ、８：撮像データ、
２０：携帯端末、２７：メモリ、２８ａ：ディスプレイ、２８ｂ：タッチセンサー、
２８ｃ：端末カメラ、２９：音声入出力ユニット、６０：アプリケーションプログラム、
６１：ペアリングユニット、６２：データ取得ユニット、６３：制御部、
３０：クラウド、３１：コンピュータネットワーク、３５：サーバー、
３６：プレイヤー管理機能、３７：ストレージ、３８：データ管理ユニット、
３９：データ分析ユニット、４０：オンラインコーチシステム、４１：シミュレータ、
４２：コーチ、４３：通信ユニット、

Claims (10)

1. ボールの動きに関するデータであるセンサーデータを取得するためのセンサー部を備えプレイヤーによって射出されたボールから、前記センサーデータを受信するセンサーデータ受信部と、
   前記プレイヤーにおける前記ボールの射出動作を撮像するカメラから撮像データを受領する撮像データ受領部と、
   １つの射出動作に関する前記撮像データおよび前記センサーデータを取得して、前記撮像データに基づいて前記プレイヤーの射出動作を表示するためのプレイヤー画像を生成するとともに、前記センサーデータに基づいて前記ボールの動きを表示するためのボール情報を生成し、前記プレイヤー画像と前記ボール情報とを互いに関連づけて記憶部に記憶する制御部と、
   を備える端末装置。
2. 表示画面をさらに備え、
   前記制御部は、互いに関連づけられた前記プレイヤー画像および前記ボール情報のいずれかを前記表示画面に表示する、
   請求項１に記載の端末装置。
3. 前記撮像データ受領部は、互いに異なる位置から前記プレイヤーを撮像する複数の前記カメラから、複数の前記撮像データを受領するように構成されており、
   前記制御部は、１つの射出動作に関する複数の前記撮像データに応じた複数のプレイヤー画像を生成するように構成されている、
   請求項１または２に記載の端末装置。
4. 前記制御部は、前記カメラによる撮像の開始および停止を制御するように構成されている、
   請求項１〜３のいずれかに記載の端末装置。
5. ユーザからの撮像開始の指示を受け付ける受付部をさらに備え、
   前記制御部は、前記撮像開始の指示に応じて前記カメラによる撮像を開始する、
   請求項４に記載の端末装置。
6. 前記ボールと前記端末装置とをペアリングするためのペアリング部をさらに備え、
   前記制御部は、前記端末装置と前記ボールとがペアリングしたことに応じて、前記カメラによる撮像を開始する、
   請求項４に記載の端末装置。
7. 前記センサーデータに基づき前記ボールの停止を検出する停止検出部をさらに備え、
   前記制御部は、前記ボールの停止の検出に応じて前記カメラによる撮像を停止する、
   請求項４〜６のいずれかに記載の端末装置。
8. 前記制御部は、前記撮像データにおける前記ボールの停止よりも所定時間前から前記ボールの停止までの部分を用いて、前記プレイヤー画像を生成する、
   請求項７に記載の端末装置。
9. 請求項１〜８のいずれかに記載の端末装置と、
   前記カメラと、
   を含む撮像システム。
10. ボールの動きに関するデータであるセンサーデータを取得するためのセンサー部を備えプレイヤーによって射出されたボールから、前記センサーデータを受信すること、
    前記プレイヤーにおける前記ボールの射出動作を撮像するカメラから撮像データを受領すること、
    １つの射出動作に関する前記撮像データおよび前記センサーデータを取得すること、
    前記撮像データに基づいて前記プレイヤーの射出動作を表示するためのプレイヤー画像を生成すること、
    前記センサーデータに基づいて前記ボールの動きを表示するためのボール情報を生成すること、および、
    前記プレイヤー画像と前記ボール情報とを互いに関連づけて記憶部に記憶すること、
    を、前記センサー部および前記カメラと通信可能なコンピュータに実施させるためのコンピュータプログラム。