JP2014183897A - 画像判定装置、画像判定システム、画像特定システム、送信端末、受信端末、画像判定方法、画像特定方法及びプログラム - Google Patents

Abstract

【課題】所望の画像を適正に特定することである。
【解決手段】用具側端末１は、撮像装置２に撮像される被写体が把持するテニスラケット３００に取り付けられ、当該被写体の動きに対応する情報を出力するセンサと、センサにより出力された情報に基づいて、撮像装置２により撮像された画像における当該被写体の動作の状態を判定する判定手段と、を備える。
【選択図】図１

Description

本発明は、画像判定装置、画像判定システム、画像特定システム、送信端末、受信端末、画像判定方法、画像特定方法、画像判定方法及びプログラムに関する。

従来、ゴルフクラブでボールを打った際に発生するインパクト音をマイクで検出して、デジタルカメラにより撮影された動画のダイジェスト画像を表示させる技術が知られている（例えば、特許文献１参照）。

特開２００８−２３６１２４号公報

しかしながら、上記特許文献１では、周囲の雑音がある環境下では、マイクでインパクト音等の特定の音を検出し難くなってしまう。また、被写体から離れた位置で集音するとインパクト音の伝達時間による遅延が生じ、特定の瞬間を基準とする画像の特定を正確に行うことができなくなってしまうといった問題もある。

本発明の課題は、所望の画像を適正に特定することである。

上記課題を解決するために、本発明の請求項１に係る発明の画像判定装置は、撮像手段に撮像される被写体又は当該被写体が把持する用具に取り付けられ、当該被写体の動きに対応する情報を出力するセンサと、前記センサにより出力された情報に基づいて、前記撮像手段により撮像された画像における前記被写体の動作の状態を判定する判定手段と、を備える。

本発明の請求項８に係る発明は、送信側端末と、受信側端末と、を備える画像特定システムであって、送信側端末は、撮像手段により撮像される被写体又は当該被写体が把持する用具に取り付けられ、当該被写体の動きに対応する情報を出力するセンサと、前記センサの検出に対応する時刻を計時し第１の時刻情報を出力する第１の計時手段と、前記センサにより出力された情報と前記第１の時刻情報とを対応付けて前記受信側端末に送信する送信手段と、を備え、前記受信側端末は、前記送信手段により対応付けて送信された前記センサにより出力された情報と第１の時刻情報とに基づいて、前記撮像手段により撮像された画像から前記被写体の特定の状態に対応する画像を特定する特定手段と、を備える。

本発明の請求項１１に係る発明の送信端末は、撮像手段により撮像される被写体又は当該被写体が把持する用具に取り付けられ、当該被写体の動きに対応する情報を出力するセンサと、前記センサの検出に対応する時刻を計時し時刻情報を出力する計時手段と、前記センサにより出力された情報と前記時刻情報とを対応付けて受信端末に送信する送信手段と、を備える。

本発明の請求項１２に係る発明の受信端末は、センサにより出力された被写体の動きに対応する情報と、撮像手段による前記被写体の撮像に対応する時刻情報とに基づいて、前記撮像手段により撮像された画像から前記被写体の特定の状態に対応する画像を特定する特定手段を備える。

本発明によれば、所望の画像を適正に特定できる。

本発明の第１の実施の形態の第１の画像特定システムの概略構成を示す図である。 第１の画像特定システムを構成する第１の用具側端末の機能構成を示すブロック図である。 第１の用具側端末がテニスラケットに取り付けられた状態を模式的に示す図である。 第１の用具側端末が取り付けられたテニスラケットを用いてテニスボールを打つ状態を模式的に示す図である。 第１の撮像装置の概略構成を示すブロック図である。 （ａ）は、ユーザのレディポジションの姿勢を示す図である。（ｂ）は、ユーザのテークバックの姿勢を示す図である。（ｃ）は、ユーザのステップインの姿勢を示す図である。（ｄ）は、ユーザのボールインパクトの姿勢を示す図である。（ｅ）は、ユーザの振り抜きの姿勢を示す図である。（ｆ）は、ユーザのフォロースルーの姿勢を示す図である。 ストローク動作での時間に対する角速度を示すグラフである。 第１の用具側端末で実行される第１の撮影制御処理と、第１の撮像装置で実行される第１の撮影処理と、を示すフローチャートである。 （ａ）は、インパクト画像から２フレーム前のフレーム画像を示す図である。（ｂ）は、インパクト画像から１フレーム前のフレーム画像を示す図である。（ｃ）は、インパクト画像としてのフレーム画像を示す図である。（ｄ）は、インパクト画像から１フレーム後のフレーム画像を示す図である。 第２の実施の形態の第２の画像特定システムの概略構成を示す図である。 第２の用具側端末で実行される第２の撮影制御処理と、第２の撮像装置で実行される第２の撮影処理と、を示すフローチャートである。 （ａ）は、ナイスショットでの時間に対する加速度の変化を示す図である。（ｂ）は、ミスショットでの時間に対する加速度の変化を示す図である。 記録媒体のフォルダ構成を示す図である。

以下、添付図面を参照して本発明に係る第１、第２の実施の形態を順に詳細に説明する。なお、本発明は、図示例に限定されるものではない。

（第１の実施の形態）
図１〜図９を参照して、本発明に係る第１の実施の形態を説明する。先ず、図１〜図４を参照して、本実施の形態の装置構成を説明する。

図１を参照して、本実施の形態の画像特定システム１００を説明する。図１は、画像特定システム１００の概略構成を示す図である。

図１に示すように、画像特定システム１００は、テニスラケット３００に取付け固定される画像判定装置、送信側端末としての用具側端末１と、この用具側端末１と無線通信回線を介して情報通信可能に接続され、ユーザがテニスラケット３００を用いてテニスボールＢを打つストローク動作を撮像する受信側端末としての撮像装置２と、を備えている。

次いで、図２〜図４を参照して、用具側端末１を説明する。図２は、画像特定システム１００を構成する用具側端末１の機能構成を示すブロック図である。図３は、用具側端末１がテニスラケット３００に取り付けられた状態を模式的に示す図である。図４は、用具側端末１が取り付けられたテニスラケット３００を用いてテニスボールＢを打つ状態を模式的に示す図である。

なお、以下の説明では、テニスラケット３００のフェイス面に略直交する一方向をＸ軸方向とし、Ｘ軸方向に略直交するとともにグリップ部３０１の延在方向に沿う方向をＹ軸方向とし、Ｘ軸方向及びＹ軸方向に略直交する一方向をＺ軸方向とする。

図２に示すように、本実施形態の用具側端末１は、中央制御部１０１と、メモリ１０２と、センサ部１０３と、計時部１０５と、表示部１０６と、無線処理部１０７と、操作入力部１０８とを備えている。また、中央制御部１０１、メモリ１０２、センサ部１０３、計時部１０５、表示部１０６及び無線処理部１０７は、バスライン１０９を介して接続されている。

また、図３に示すように、用具側端末１の端末本体は、例えば、テニスボールＢを打つための用具としてのテニスラケット３００に着脱自在に設けられている。具体的には、端末本体は、テニスラケット３００のユーザにより把持されるグリップ部３０１とフェイス面を構成するフレーム部３０２との間のシャフト部３０３の内側に取り付けられている。

ここで、端末本体は、例えば、シャフト部３０３の内側にて、グリップ部３０１の延在方向に沿うＹ軸方向に延在する軸上に当該端末本体の中心が位置するように取り付けられている。なお、端末本体は、例えば、シャフト部３０３に対して直接取り付けられても良いし、所定の取付用治具（図示略）を用いて取り付けられても良い。

中央制御部１０１は、用具側端末１の各部を制御するものである。具体的には、中央制御部１０１は、例えば、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、ＲＯＭに記憶された用具側端末１用の各種処理プログラム（図示略）に従って各種の制御動作を行う。ＣＰＵがＲＯＭから各種プログラムを読み出してＲＡＭに展開し、展開したプログラムとＣＰＵとの協働により、中央制御部１０１は、各種処理を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部１０６に表示させる。

ＲＡＭは、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、用具側端末１で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。ＲＯＭには、少なくとも後述する第１の撮影制御プログラムが記憶されているものとする。

メモリ１０２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１０１等によって処理されるデータ等を一時記憶する。

センサ部１０３は、当該端末本体の所定の軸を中心とする回動の角速度を検出するジャイロセンサ等のセンサである。即ち、センサ部１０３は、ユーザがテニスラケット３００を用いてテニスボールＢを打つ動作を行う際に、当該端末本体の所定の軸（例えば、Ｚ軸等）を中心とする回動の角速度を検出する。具体的には、センサ部１０３は、テニスラケット３００のテニスボールＢを打つ部分を含むフェイス面（一面）に対して略平行に延在し、且つ、グリップ部３０１の延在方向に略直交するＺ軸を中心とする当該端末本体の回動のＺ軸の角速度Ｇｚを検出する（図４参照）。そして、センサ部１０３は、検出されたＺ軸の角速度Ｇｚの値を中央制御部１０１に出力する。センサ部１０３は、Ｚ軸の角速度Ｇｚとともに、Ｘ軸の角速度Ｇｘ、Ｙ軸の角速度Ｇｙの値を検出して中央制御部１０１に出力する。

なお、図４には、ユーザがテニスラケット３００を用いて右利きのフォアハンドでテニスボールＢを打つ状態を、当該ユーザの上方からＺ軸方向に視て模式的に表している。テニスボールＢを打つ状態を、当該ユーザの上方からＺ軸方向に視て模式的に表している。

計時部１０５は、図示は省略するが、例えば、計時回路等を備え、現在の時刻を計時して時刻情報を生成し、中央制御部１０１に出力する。なお、計時部１０５は、日付や曜日等の暦、時刻情報を含む日時情報を計時することとしてもよい。

表示部１０６は、例えば、端末本体の表面の所定位置に設けられている（図３参照）。また、表示部１０６は、例えば、液晶表示パネルなどで構成され、各種の情報を表示する。例えば、表示部１０６は、テニスラケット３００によりテニスボールＢが打たれる際に、所定の特定手法を用いて特定された当該テニスボールＢの速度や回転量等の各種の情報を表示するようにしても良い。

無線処理部１０７は、所定の無線通信回線を介して接続された撮像装置２との間で無線通信を行う。具体的には、無線処理部１０７は、例えば、ブルートゥース（Bluetooth：登録商標）モジュール（ＢＴモジュール）１０７ａを具備し、このＢＴモジュール１０７ａは、撮像装置２の無線処理部２０３のＢＴモジュール２０３ａ（後述）との間でブルートゥース規格に従った無線通信を行う。即ち、ＢＴモジュール１０７ａは、予めペアリングと呼ばれる通信設定処理を行うことで、互いのデバイス情報や認証鍵のデータが無線信号により撮像装置２等の通信相手と交換され、その後、当該通信設定処理を毎回行うことなく、この通信相手と自動的に或いは半自動的に接続されたり接続が解除されるようになっている。

なお、無線処理部１０７は、例えば、無線ＬＡＮ（Local Area Network）モジュール等を具備し、撮像装置２の無線処理部２０３との間で無線ＬＡＮ通信を行うようにしても良い。

操作入力部１０８は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されている。また、操作入力部１０８は、ユーザにより押下されたキーの押下信号を中央制御部１０１に出力する。なお、操作入力部１０８としてタッチパネル（図示略）を表示部１０６の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。

次いで、図５を参照して、撮像装置２について説明する。図５は、撮像装置２の概略構成を示すブロック図である。

画像特定システム１００は、テニスラケット３００でテニスボールＢを打つ状態を互いに異なる方向から撮像するように配置された撮像装置２を備えている。なお、撮像装置２は、複数設けることとしてもよい。例えば、複数の撮像装置２のうち、何れか一の撮像装置２は、テニスラケット３００でテニスボールＢを打つユーザの後方に位置するように配置され、一方、他の撮像装置２は、ユーザの側方に位置するように配置される。また、これら複数の撮像装置２は、所定の無線通信回線を介して互いに情報通信可能に接続され、何れか一の撮像装置２が連携撮像のマスタとなり、残りの他の撮像装置２がスレーブとなる。また、各撮像装置２は、マスタとなるかスレーブとなるかによって動作の内容が異なるものの、構成自体は略同様となっている。なお、連携撮像とは、複数の撮像装置２による撮像動作を連動させた撮像等のことである。

図５に示すように、撮像装置２は、中央制御部２０１と、メモリ２０２と、無線処理部２０３と、撮像部２０４と、画像データ処理部２０５と、記録媒体制御部２０６と、計時部２０７と、表示部２０９と、操作入力部２１０と、を備える。また、中央制御部２０１、メモリ２０２、無線処理部２０３、撮像部２０４、画像データ処理部２０５、記録媒体制御部２０６、計時部２０７及び表示部２０９は、バスライン２１１を介して接続されている。

中央制御部２０１は、撮像装置２の各部を制御するものである。具体的には、中央制御部２０１は、例えば、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、ＲＯＭに記憶された撮像装置２用の各種処理プログラム（図示略）に従って各種の制御動作を行う。ＣＰＵがＲＯＭから各種プログラムを読み出してＲＡＭに展開し、展開したプログラムとＣＰＵとの協働により、中央制御部２０１は、各種処理を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部２０９に表示させる。

ＲＡＭは、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、撮像装置２で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。ＲＯＭには、少なくとも後述する第１の撮影プログラムが記憶されているものとする。

メモリ２０２は、例えば、ＤＲＡＭ等により構成され、中央制御部２０１等によって処理されるデータ等を一時記憶する。

無線処理部２０３は、所定の無線通信回線を介して接続された用具側端末１や撮像装置２等の外部機器Ｏとの間で無線通信を行う。具体的には、無線処理部２０３は、例えば、ブルートゥースモジュール（ＢＴモジュール）２０３ａと無線ＬＡＮモジュール２０３ｂを具備している。

ＢＴモジュール２０３ａは、例えば、用具側端末１のＢＴモジュール１０７ａと略同様に、用具側端末１のＢＴモジュール１０７ａとの間でブルートゥース規格に従った無線通信を行う。

無線ＬＡＮモジュール２０３ｂは、例えば、外部のアクセスポイント（固定基地局）を経由せずに直接他の撮像装置２の無線処理部２０３の無線ＬＡＮモジュール２０３ｂとの間で無線通信回線を構築するPeer to Peer（アドホックモード）で動作する。このアドホックモードでは、例えば、予め当該無線通信回線の通信方式、暗号化情報、チャンネル、ＩＰアドレス等の各種の通信制御情報を設定しておく。そして、無線ＬＡＮモジュール２０３ｂは、無線通信可能範囲内に存し、共通の通信制御情報が設定されている他の撮像装置２の無線処理部２０３の無線ＬＡＮモジュール２０３ｂとの間で無線通信を行う。

撮像部２０４は、被写体を撮像する。具体的には、撮像部２０４は、レンズ部２０４ａと、電子撮像部２０４ｂと、撮像制御部２０４ｃとを備えている。

レンズ部２０４ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。電子撮像部２０４ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部２０４ａの各種レンズを通過した光学像を二次元の画像信号に変換する。なお、図示は省略するが、撮像部２０４は、レンズ部２０４ａを通過する光の量を調整する絞りを備えていても良い。

撮像制御部２０４ｃは、電子撮像部２０４ｂによる被写体の撮像を制御する。即ち、撮像制御部２０４ｃは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２０４ｃは、タイミング発生器、ドライバにより電子撮像部２０４ｂを走査駆動し、所定周期毎にレンズ部２０４ａにより結像された光学像を電子撮像部２０４ｂにより二次元の画像信号に変換させる。そして、撮像制御部２０４ｃは、当該電子撮像部２０４ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ処理部２０５に出力させる。

画像データ処理部２０５は、被写体の画像データを生成する。即ち、画像データ処理部２０５は、撮像部２０４により撮像されるフレーム画像を逐次処理する。具体的には、画像データ処理部２０５は、電子撮像部２０４ｂから撮像フレームレートに応じた所定の周期（例えば、１／４００秒等）毎に転送された各フレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。なお、撮像フレームレートとして例示する４００ｆｐｓは、一例であってこれに限られるものではなく、適宜任意に変更可能である。

また、画像データ処理部２０５は、各フレーム画像ＦのＹＵＶデータを所定の符号化方式（例えば、ＪＰＥＧ形式等）に従って圧縮して、記録媒体制御部２０６に出力する。

記録媒体制御部２０６は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。即ち、記録媒体制御部２０６は、画像データ処理部２０５の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式、モーションＪＰＥＧ形式、ＭＰＥＧ形式等）で符号化された記録用の各フレーム画像の画像データを記録媒体Ｍの所定の記録領域に記録させる。なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されている。

計時部２０７は、図示は省略するが、例えば、計時回路等を備えて構成され、現在の時刻を計時して時刻情報を生成し中央制御部２０１に出力する。具体的には、計時部２０７は、撮像部２０４により各フレーム画像が撮像された時刻を計時して当該撮像された時点に係る撮像時情報を生成する。そして、計時部２０７は、生成された撮像時情報を中央制御部２０１に出力する。

表示部２０９は、表示パネル２０９ａと、表示制御部２０９ｂとを具備している。表示パネル２０９ａは、表示画面内に画像を表示する。なお、表示パネル２０９ａとしては、例えば、液晶表示パネルや有機ＥＬ表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。

表示制御部２０９ｂは、メモリ２０２に一時的に格納されている表示用の画像データを読み出して、画像データ処理部２０５により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル２０９ａの表示画面に表示させる制御を行う。具体的には、表示制御部２０９ｂは、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなど（何れも図示略）を備えている。そして、デジタルビデオエンコーダは、画像データ処理部２０５により復号されてＶＲＡＭに記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレート（例えば、３０ｆｐｓ）で読み出して、これらのデータを元にビデオ信号を発生して表示パネル２０９ａに出力する。

操作入力部２１０は、当該撮像装置２の所定操作を行うためのものであり、例えば、装置本体の電源のＯＮ／ＯＦＦに係る電源ボタン、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択ボタン、ズーム量の調整指示に係るズームボタン（何れも図示略）等を備えている。そして、操作入力部２１０は、各ボタンの操作に応じて所定の操作信号を中央制御部２０１に出力する。

次に、図６〜図９を参照して、画像特定システム１００の動作を説明する。先ず、図６及び図７を参照して、画像特定システム１００で撮像するユーザのテニスのストローク動作（テニスボールＢの打撃動作）とセンサ部１０３で得られる角速度のデータと、の対応を説明する。図６（ａ）は、ユーザのレディポジションの姿勢を示す図である。図６（ｂ）は、ユーザのテークバックの姿勢を示す図である。図６（ｃ）は、ユーザのステップインの姿勢を示す図である。図６（ｄ）は、ユーザのボールインパクトの姿勢を示す図である。図６（ｅ）は、ユーザの振り抜きの姿勢を示す図である。図６（ｆ）は、ユーザのフォロースルーの姿勢を示す図である。図７は、ストローク動作での時間に対する角速度を示すグラフである。

ここでは、ユーザのテニスのフォアハンドのストローク動作を撮像するケースを説明する。ストローク動作において、ユーザは、テニスラケット３００を把持し、図６（ａ）のレディポジション、図６（ｂ）のテークバック、図６（ｃ）の左足のステップイン、図６（ｄ）のボールインパクト、図６（ｅ）の前方への振り抜き、図６（ｆ）のフォロースルーの状態を順に行う一連の動作を行う。

レディポジションでは、ユーザは、テニスボールＢが向かってくる方向に対して正面を向いている。そして、ユーザは、テニスボールＢを打つ体制に入ると、テニスラケット３００を引いてテークバックの姿勢をとり、左足をステップインして、テニスラケット３００をフルスイングする。そして、テニスラケット３００のフェイス面とテニスボールＢとが接触するボールインパクトの状態を経て、テニスラケット３００を前方へ振り抜き、その後フォロースルーの動作を行う。

図７に示すように、用具側端末１のセンサ部１０３は、Ｘ，Ｙ，Ｚの３軸の角速度のデータを出力する。ストローク動作の各状態は、Ｚ軸の角速度Ｇｚにより識別できる。レディポジションでは、角速度Ｇｚがほぼ０である。そして、テークバックが開始されると、角速度Ｇｚが−方向に増加し、その後減少して０になり、テークバックが終了する。そして、ステップインが開始されると、角速度Ｇｚが＋方向に増加し、その後減少して０になり、ステップインが終了する。

そして、フルスイングが開始されると、角速度Ｇｚが＋方向に一旦急に大きく増加した後、＋方向にピークをとり、その後減少が見られる。角速度Ｇｚの＋方向のピークのポイントが、テニスボールＢとテニスラケット３００とのインパクトポイントとしてのボールインパクトに対応する。

そして、角速度Ｇｚの＋方向のピーク後、フォロースルーが開始され、角速度Ｇｚが減少していき０となり、前方への振り抜きを経て、角速度Ｇｚが−方向に増加した後、減少していき０となり、フォロースルーが終了する。

次いで、図８を参照して、画像特定システム１００の動作を説明する。図８は、用具側端末１で実行される第１の撮影制御処理と、撮像装置２で実行される第１の撮影処理と、を示すフローチャートである。

先ず、用具側端末１で実行される第１の撮影制御処理を説明する。第１の撮影制御処理は、用具側端末１の角速度を検出するとともに、検出した角速度を用いて被写体の動作の状態を判定し、その判定に基づく撮影開始コマンド、撮影終了コマンド及びインパクト時情報を撮像装置２に送信する処理である。

予め、被写体としてのユーザは、撮像装置２を適切な撮影用の位置にセットし、用具側端末１を有するテニスラケット３００を把持して、ストローク動作の準備を行う。用具側端末１において、例えば、操作入力部１０８を介してユーザから第１の撮影制御処理の実行指示が入力されたことをトリガとして、内部ＲＯＭから読み出され適宜ＲＡＭに展開された第１の撮影制御プログラムと、ＣＰＵとの協働で、中央制御部１０１が第１の撮影制御処理を実行する。

図８に示すように、中央制御部１０１は、センサ部１０３により角速度Ｇｘ，Ｇｙ，Ｇｚの検出（サンプリング）を開始する（ステップＳ１１）。そして、中央制御部１０１は、ユーザのレディポジションの検出のため、検出された最新の角速度Ｇｚがほぼ０であるか否かを判定する（ステップＳ１２）。角速度Ｇｚ≒０でない場合（ステップＳ１２；ＮＯ）、レディポジションでなく、ステップＳ１２に移行される。

角速度Ｇｚ≒０である場合（ステップＳ１２；ＹＥＳ）、レディポジションであり、中央制御部１０１は、ユーザのテークバックの検出のため、最新の角速度Ｇｚの絶対値が、予め設定された閾値αより大きいか否かを判定する（ステップＳ１３）。図７に示すように、テークバックに入ると角速度Ｇｚが０から−方向に増加しており、閾値αは、テークバックであることを判定するための角速度Ｇｚの閾値である。角速度｜Ｇｚ｜＞αでない場合（ステップＳ１３；ＮＯ）、テークバックでなく、ステップＳ１３に移行される。

角速度｜Ｇｚ｜＞αである場合（ステップＳ１３；ＹＥＳ）、中央制御部１０１は、撮影開始を指示するための撮影開始コマンドを生成し、無線処理部１０７を介して撮像装置２に送信する（ステップＳ１４）。そして、中央制御部１０１は、ユーザのフルスイングの検出のため、最新の角速度Ｇｚの絶対値が、予め設定された閾値βより大きいか否かを判定する（ステップＳ１５）。図７に示すように、フルスイングに入ると角速度Ｇｚが＋方向に大きく増加している。閾値βは、フルスイングであることを判定するための角速度Ｇｚの閾値である。角速度｜Ｇｚ｜＞βでない場合（ステップＳ１５；ＮＯ）、フルスイングでなく、ステップＳ１５に移行される。

角速度｜Ｇｚ｜＞βである場合（ステップＳ１５；ＹＥＳ）、中央制御部１０１は、ユーザのボールインパクトの検出のため、角速度Ｇｚが＋方向に急激に増加しピークとなったか否かを判定する（ステップＳ１６）。ステップＳ１６では、例えば、角速度Ｇｚの増加の傾きがほぼ０になったか否かにより判定される。角速度Ｇｚがピークとなっていない場合（ステップＳ１６；ＮＯ）、ステップＳ１６に移行される。

角速度Ｇｚがピークとなった場合（ステップＳ１６；ＹＥＳ）、中央制御部１０１は、計時部１０５から現在の時刻情報（センサ時情報）を、ボールインパクトの瞬間時刻を示すインパクト時情報として取得する（ステップＳ１７）。そして、中央制御部１０１は、ユーザのフォロースルー中の１回目の角速度Ｇｚ≒０を検出するため、最新の角速度Ｇｚがほぼ０であるか否かを判定する（ステップＳ１８）。最新の角速度Ｇｚ≒０でない場合（ステップＳ１８；ＮＯ）、ステップＳ１８に移行される。

角速度Ｇｚ≒０である場合（ステップＳ１８；ＹＥＳ）、中央制御部１０１は、フォロースルー終了の検出のため、検出された最新の角速度Ｇｚがほぼ０であるか否かを判定する（ステップＳ１９）。角速度Ｇｚ≒０でない場合（ステップＳ１９；ＮＯ）、ステップＳ１９に移行される。

角速度Ｇｚ≒０である場合（ステップＳ１８；ＹＥＳ）、中央制御部１０１は、撮影終了を指示するための撮影終了コマンドを生成し、ステップＳ１７で取得したインパクト時情報とともに、無線処理部１０７を介して撮像装置２に送信し（ステップＳ２０）、第１の撮影制御処理を終了する。

次いで、撮像装置２で実行される第１の撮影処理を説明する。第１の撮影処理は、用具側端末１から受信する撮影開始コマンド及び撮影終了コマンドに応じて、被写体であるユーザのストローク動作を連写撮影するとともに、インパクト時情報に応じてインパクト時の画像を特定する処理である。

予め、撮像装置２において、撮影速度［ｆｐｓ］、露出等、ユーザのストロークの連写撮影の撮影条件情報が設定されているものとする。撮像装置２において、例えば、操作入力部２１０を介してユーザから第１の撮影処理の実行指示が入力されたことをトリガとして、内部ＲＯＭから読み出され適宜ＲＡＭに展開された第１の撮影プログラムと、ＣＰＵとの協働で、中央制御部２０１が第１の撮影処理を実行する。

図８に示すように、中央制御部２０１は、ステップＳ１４に対応して、無線処理部２０３を介して、撮影開始コマンドを用具側端末１から受信したか否かを判定する（ステップＳ３１）。撮影開始コマンドを受信していない場合（ステップＳ３１；ＮＯ）、ステップＳ３１に移行される。

撮影開始コマンドを受信した場合（ステップＳ３１；ＹＥＳ）、中央制御部２０１は、撮像部２０４、画像データ処理部２０５を制御して、連写撮影の撮像を開始する（ステップＳ３１）。そして、中央制御部２０１は、撮像部２０４、画像データ処理部２０５を制御して、予め設定された撮影条件情報に従い１つのフレーム画像を生成する（ステップＳ３２）。

そして、中央制御部２０１は、計時部２０７から現在の時刻情報を撮像時情報として取得し、記録媒体制御部２０６を制御し、ステップＳ３２で生成したフレーム画像を撮像時情報に対応付けて記録媒体Ｍに記憶する（ステップＳ３４）。そして、中央制御部２０１は、ステップＳ２０に対応して、無線処理部２０３を介して、撮影終了コマンド及びインパクト時情報を用具側端末１から受信したか否かを判定する（ステップＳ３５）。撮影終了コマンド及びインパクト時情報を受信していない場合（ステップＳ３５；ＮＯ）、ステップＳ３３に移行される。

撮影終了コマンド及びインパクト時情報を受信した場合（ステップＳ３５；ＹＥＳ）、中央制御部２０１は、撮像部２０４、画像データ処理部２０５を制御して、撮像を終了する（ステップＳ３６）。そして、中央制御部２０１は、画像処理により、記録媒体Ｍに記憶されたフレーム画像について、ストローク動作のボールインパクトを判定し、そのフレーム画像をインパクト画像として特定する（ステップＳ３７）。

ステップＳ３７では、例えば、フレーム画像におけるテニスラケット３００のフェイス面の用具領域と、テニスボールＢの物体領域とが画像解析され、用具領域の面積に対するボール領域の面積の割合が最大となった状態をボールインパクトと判定し、そのフレーム画像がインパクト画像として特定される。これらの領域特定について、より具体的に説明する。中央制御部２０１は、フレーム画像を処理対象として、テニスボールＢの形状をテンプレートとする特徴抽出処理を施して、当該フレーム画像内からテニスボールＢに対応する物体領域を抽出して特定する。また、中央制御部２０１は、例えば、前記物体領域の画素数のフレーム画像の総画素数に占める比率、実際のテニスボールＢの寸法に対するテニスラケット３００のフレーム部３０２の寸法の比率、フレーム部３０２の形状のテンプレート等を用いて、当該フレーム画像内からテニスラケット３００のフレーム部３０２のフェイス面に対応する用具領域を抽出して特定する。なお、物体領域や用具領域の抽出、特定の手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

また、ステップＳ３７では、他にも、フレーム画像におけるフレーム部３０２のフェイス面の用具領域の中心と、テニスボールＢの物体領域の中心とを画像解析し、当該２つの中心の間の距離が最小となった状態をボールインパクトと判定し、そのフレーム画像がインパクト画像として特定されることとしてもよい。なお、ステップＳ３７の処理は、ステップＳ３３の１枚のフレーム画像生成毎にリアルタイムに行われることとしてもよい。

そして、中央制御部２０１は、ステップＳ３７で判定されたインパクト画像に、ステップＳ３５で受信されたインパクト時情報を割り当て、記録媒体制御部２０６を制御し、インパクト時情報をセンサ時情報としてインパクト画像に対応付けて記録媒体Ｍに記憶する（ステップＳ３８）。そして、中央制御部２０１は、インパクト画像以外の全てのフレーム画像の撮像時情報に対応するセンサ時情報をインパクト時情報から算出して割り当てる。また、中央制御部２０１は、記録媒体制御部２０６を制御し、算出したセンサ時情報を各フレーム画像に対応付けて記録媒体Ｍに記憶し（ステップＳ３９）、第１の撮影処理を終了する。ここで、フレーム画像と、撮像時情報及びセンサ時情報とは、同じファイルとして記憶してもよく、別々のファイルとして記憶してもよい。

ここで、図９を参照して、ステップＳ３９のフレーム画像へのセンサ時情報の割り当ての具体例を説明する。図９（ａ）は、インパクト画像から２フレーム前のフレーム画像Ｆ１を示す図である。図９（ｂ）は、インパクト画像から１フレーム前のフレーム画像Ｆ２を示す図である。図９（ｃ）は、インパクト画像としてのフレーム画像Ｆ３を示す図である。図９（ｄ）は、インパクト画像から１フレーム後のフレーム画像Ｆ４を示す図である。

図９（ａ）〜図９（ｄ）に示すフレーム画像Ｆ１，Ｆ２，Ｆ３，Ｆ４は、ステップＳ３３で生成されたフレーム画像の一部であり、ステップＳ３４でフレーム画像Ｆ１，Ｆ２，Ｆ３，Ｆ４にそれぞれ撮像時情報が割り当てられているものとする。また、連写撮影の撮影速度は、１００［ｆｐｓ］に設定されているものとする。

ステップＳ３７では、図９（ｃ）に示すフレーム画像Ｆ３がインパクト画像として特定され、そのセンサ時情報（インパクト時情報）が［５：５３：４０．３３］であり、撮像時情報が［５：５３：４６．５５］であるものとする。ステップＳ３９において、図９（ｂ）に示すインパクト画像の１フレーム前のフレーム画像Ｆ２のセンサ時情報には、インパクト時情報［５：５３：４０．３３］から１０［ｍｓ］前の［５：５３：４０．３２］が割り当てられる。同様にして、図９（ａ）に示すフレーム画像Ｆ１、図９（ｄ）に示すフレーム画像Ｆ４に、それぞれ、インパクト時のセンサ時情報から２０［ｍｓ］前、１０［ｍｓ］後のセンサ時情報が割り当てられる。

例えば、センサ部１０３の出力情報としての角速度のデータ及びそのセンサ時情報を記憶することにより、記録媒体Ｍに記憶されたフレーム画像は、センサ時情報を共通にして、角速度のデータとともに解析することが可能となる。

以上、本実施の形態によれば、用具側端末１は、撮像部２０４等に撮像されるユーザが把持するテニスラケット３００に取り付けられ、当該ユーザの動きを検出するセンサ部１０３により出力された情報に基づいて、撮像された画像における当該ユーザの動作の状態（テークバック、ボールインパクト、フォロースルー）を判定する。このため、ユーザの動作の状態をフレーム画像に対応付けることで、所望の画像を適正に特定できる。

また、用具側端末１は、センサ部１０３により出力された情報に基づいて、ユーザの動作の状態（テークバック、フォロースルー）に応じた撮影の開始及び終了のタイミングを判定する。このため、用具側端末１が、撮影の開始及び終了のタイミングに応じた撮影開始コマンド及び撮影終了コマンドを撮像装置２に送信することで、自動的に撮影の開始及び終了を制御できる。このため、ユーザの負担を低減できるとともに、テークバックからフォロースルーまでの必要な部分のみを撮影でき、撮像する画像の容量を低減できる。

また、センサ部１０３は、角速度センサであり、角速度を検出してその情報を出力する。このため、周囲の雑音が発生している環境下でも、遅延なく、ユーザの動作の状態を判定できる。

また、用具側端末１は、撮像部２０４等により撮像されるユーザが把持するテニスラケット３００に取り付けられ、当該被写体の動きに対応する情報を出力するセンサ部１０３の検出に対応する時刻を計時部１０５により計時しセンサ時情報を出力し、センサ部１０３により出力された情報とセンサ時情報とを対応付けて無線処理部１０７により撮像装置２に送信する。撮像装置２は、送信されたセンサ部１０３により出力された情報とセンサ時情報とに基づいて、撮像手段により撮像された画像からユーザの特定の状態に対応する画像を特定する。このため、ユーザの動作の状態（ボールインパクト）に応じて、センサ時情報（インパクト時情報）に対応付けられた所望のインパクト画像を適正に特定できる。

また、撮像装置２は、ユーザを撮像した画像からユーザの動作の状態を判定し、撮像部２０４等の撮像に対応する時刻を計時部２０７により計時し撮像時情報を出力し、撮像装置２は、更に、上記判定結果に基づいて、前記画像の撮像時情報にセンサ時情報を対応付けることで、ユーザの特定の状態に対応する画像を特定する。このため、全ての画像についてセンサ時情報と撮像時情報との対応付けを行うことができる。

（第２の実施の形態）
図１０〜図１３を参照して、本発明に係る第２の実施の形態を説明する。第１の実施の形態では、テニスのストローク動作の撮影において、検出した角速度を用いて、ユーザの動作の状態と、この状態に基づく撮影開始及び撮影終了と、を判定した。本第２の実施の形態では、ゴルフのストローク動作の撮影において、検出した加速度を用いて、ユーザの動作の状態を判定する。

先ず、図１０を参照して、本実施の形態の画像判定システムとしての画像特定システム４００を説明する。図１０は、画像特定システム４００の概略構成を示す図である。

図１０に示すように、画像特定システム４００は、ゴルフクラブ５００に取付け固定される画像判定装置としての用具側端末１Ａと、この用具側端末１Ａと無線通信回線を介して情報通信可能に接続され、ユーザがゴルフクラブ５００を用いてゴルフボールＢ１を打つストローク動作を撮像する撮像装置２Ａと、を備えている。

用具側端末１の端末本体は、例えば、ゴルフボールＢ１を打つための用具としてのゴルフクラブ５００に着脱自在に設けられている。具体的には、端末本体は、ゴルフクラブ５００のユーザにより把持されるグリップ部５０１とフェイス面を構成するヘッド部５０２との間のシャフト部５０３に取り付けられている。

用具側端末１Ａの内部の機能構成は、第１の実施の形態の用具側端末１の機能構成と同様であるものとし、各部に同じ符号を付し、異なる機能を主として説明する。中央制御部１０１のＲＯＭには、少なくとも後述する第２の撮影制御プログラムが記憶されているものとする。

センサ部１０３は、３次元の加速度を検出する加速度センサであるものとする。グリップ部５０１の軸方向及びフェイス面の下辺を含む面へのヘッド部５０２のフェイス面の投影面に垂直な方向に、Ｘ軸をとり、Ｘ軸に垂直な方向にＹ軸をとり、Ｘ軸及びＹ軸に垂直な方向にＺ軸をとるものとする。図１０の左方向をＸ軸の正方向とする。センサ部１０３は、Ｘ軸、Ｙ軸、Ｚ軸の加速度ｇｘ，ｇｙ，ｇｚを検出し、センサ情報として中央制御部１０１に出力する。

撮像装置２Ａの内部の機能構成は、第１の実施の形態の撮像装置２の機能構成と同様であるものとし、各部に同じ符号を付し、異なる機能を主として説明する。制御手段としての中央制御部２０１のＲＯＭには、少なくとも後述する第２の撮影プログラムが記憶されているものとする。

次に、図１１〜図１３を参照して、画像特定システム４００の動作を説明する。図１１は、用具側端末１Ａで実行される第２の撮影制御処理と、撮像装置２Ａで実行される第２の撮影処理と、を示すフローチャートである。図１２（ａ）は、ナイスショットでの時間に対する加速度の変化を示す図である。図１２（ｂ）は、ミスショットでの時間に対する加速度の変化を示す図である。図１３は、記録媒体Ｍのフォルダ構成を示す図である。

先ず、用具側端末１Ａで実行される第２の撮影制御処理を説明する。第２の撮影制御処理は、ユーザ操作に応じた撮影開始コマンド及び撮影終了コマンドを撮像装置２Ａに送信するとともに、用具側端末１Ａの加速度を検出し、検出した加速度を用いて被写体の動作状態を判定し、その判定に基づく動作状態情報を撮像装置２Ａに送信する処理である。

予め、被写体としてのユーザは、撮像装置２Ａを適切な撮影用の位置にセットし、用具側端末１Ａを有するゴルフクラブ５００を把持して、ストローク動作の準備を行う。用具側端末１Ａにおいて、例えば、操作入力部１０８を介してユーザから第２の撮影制御処理の実行指示が入力されたことをトリガとして、内部ＲＯＭから読み出され適宜ＲＡＭに展開された第２の撮影制御プログラムと、ＣＰＵとの協働で、中央制御部１０１が第２の撮影制御処理を実行する。

図１１に示すように、中央制御部１０１は、計時部１０５による計時と撮像装置２Ａの計時部２０７による計時を同期させるための同期制御信号を生成し、無線処理部１０７を撮像装置２Ａに送信する（ステップＳ４１）。同期制御信号は、例えば、計時部１０５で計時された現在の時刻情報を含む。

そして、中央制御部１０１は、操作入力部１０８を介してユーザからのクラブ選択情報の入力を受け付ける（ステップＳ４２）。そして、中央制御部１０１は、操作入力部１０８を介してユーザからの動画の撮影開始の指示入力を受け付けたか否かを判定する（ステップＳ４３）。撮影開始の指示入力がない場合（ステップＳ４３；ＮＯ）、ステップＳ４３に移行される。

撮影開始の指示入力がある場合（ステップＳ４３；ＹＥＳ）、中央制御部１０１は、センサ部１０３により加速度ｇｘ，ｇｙ，ｇｚの検出（サンプリング）を開始する（ステップＳ４４）。そして、中央制御部１０１は、無線処理部１０７を介して、撮影開始コマンドと、ステップＳ４２で入力されたクラブ選択情報と、を撮像装置２Ａに送信する（ステップＳ４５）。

そして、中央制御部１０１は、操作入力部１０８を介してユーザからの動画の撮影終了の指示入力を受け付けたか否かを判定する（ステップＳ４６）。撮影終了は、ユーザのストローク動作の終了後にとられる。撮影終了の指示入力がない場合（ステップＳ４６；ＮＯ）、ステップＳ４６に移行される。撮影終了の指示入力がある場合（ステップＳ４６；ＹＥＳ）、中央制御部１０１は、ステップＳ４４で検出開始された加速度を解析し、被写体であるユーザの動作状態を判定して動作状態情報を作成する（ステップＳ４７）。動作状態情報は、例えば、ユーザがストローク動作でナイスショットをしたか、ミスショットをしたかの状態の種類を示す情報である。

図１２（ａ）に示すように、横軸に時間をとり、縦軸にシャフト部５０３におけるＸ軸方向の歪み（加速度の変化）をとるグラフを考える。縦軸の加速度の変化は、加速度ｇｘに対応している。レディポジションから、時間経過ともに、加速度の変化は、０から増加して減少し、０を経て急激に減少した後、ピークをとり反転する。丸で囲んだ部分が、ヘッド部５０２がゴルフボールＢ１と接触したインパクトに対応する。インパクト後、加速度の変化は、増加し、０を経て増加した後、減少していき０となる。

ナイスショットの場合は、グラフの丸で囲んだ部分について、ゴルフクラブ５００（ヘッド部５０２）がゴルフボールＢ１を芯で打てているため、加速度の変化の波形が１回できれいにピークをとって反転している。

図１２（ｂ）に示すように、ミスショットの場合は、グラフの丸で囲んだ部分について、ゴルフクラブ５００（ヘッド部５０２）がゴルフボールＢ１を芯で打てていないため、ヘッド部５０２への衝撃が少し大きく、加速度の変化の波形が複数のピークにより汚く反転している。

ステップＳ４７では、撮影中に検出された加速度ｇｘの波形に応じて、図１２（ａ）に示すナイスショットと、図１２（ｂ）に示すミスショットと、の動作の状態の種類が判定される。

しかし、ステップＳ４７で判定される動作状態情報としては、ナイスショット及びミスショットを示す情報に限定されるものではない。例えば、ゴルフボールＢ１の飛距離、打ち出し角度、ゴルフボールＢ１のどこを叩いたか（縦方向、横方向等）等の状態を示す情報としてもよい。また、加速度からの動作状態の判定方法は、上記のように、加速度の波形の特徴部分（インパクト部分等）を解析する方法に限定されるものではない。例えば、加速度の実測値から飛距離等の推定値を算出する方法や、ユーザの所定の動作状態下で計測された経験的な加速度パターンと実測での加速度パターンとの比較による方法、としてもよい。

そして、中央制御部１０１は、無線処理部１０７を介して、撮影終了コマンドと、ステップＳ４７で作成された動作状態情報と、を撮像装置２Ａに送信する（ステップＳ４８）。そして、中央制御部１０１は、操作入力部１０８を介してユーザからの全動画の撮影終了の指示入力を受け付けたか否かを判定する（ステップＳ４９）。全撮影終了の指示入力がない場合（ステップＳ４９；ＮＯ）、ステップＳ４２に移行される。

全撮影終了の指示入力がある場合（ステップＳ４９；ＹＥＳ）、中央制御部１０１は、無線処理部１０７を介して、全撮影終了コマンドを撮像装置２Ａに送信し（ステップＳ５０）、第２の撮影制御処理を終了する。

次いで、撮像装置２Ａで実行される第２の撮影処理を説明する。第２の撮影処理は、用具側端末１Ａから受信する撮影開始コマンド及び撮影終了コマンドに応じて、被写体であるユーザのストローク動作を動画撮影するとともに、その動画ファイルを動作状態情報に対応付けて、各カテゴリのフォルダに格納する処理である。

予め、撮像装置２Ａにおいて、撮影速度［ｆｐｓ］、露出等、ユーザのストロークの動画撮影の撮影条件情報が設定されているものとする。撮像装置２Ａにおいて、例えば、操作入力部２１０を介してユーザから第２の撮影処理の実行指示が入力されたことをトリガとして、内部ＲＯＭから読み出され適宜ＲＡＭに展開された第２の撮影プログラムと、ＣＰＵとの協働で、中央制御部２０１が第２の撮影処理を実行する。

図１１に示すように、中央制御部２０１は、ステップＳ４１に対応して、無線処理部２０３を介して、同期制御信号を用具側端末１Ａから受信し、同期制御信号に応じて計時部２０７を計時部１０５に同期する同期処理を行う（ステップＳ６１）。ステップＳ６１では、例えば、計時部２０７で計時される時刻情報が、同期制御信号内の時刻情報に合わせられる。

そして、中央制御部２０１は、撮像部２０４、画像データ処理部２０５を制御して、動画撮影のための撮像を開始する（ステップＳ６２）。そして、中央制御部２０１は、ステップＳ４５に対応して、無線処理部２０３を介して、撮影開始コマンド及びクラブ選択情報を用具側端末１Ａから受信したか否かを判定する（ステップＳ６３）。撮影開始コマンド及びクラブ選択情報を受信していない場合（ステップＳ６３；ＮＯ）、ステップＳ６３に移行される。

撮影開始コマンド及びクラブ選択情報を受信した場合（ステップＳ６３；ＹＥＳ）、中央制御部２０１は、撮像部２０４、画像データ処理部２０５を制御して、予め設定された撮影条件情報に従い動画用のフレーム画像を生成する（ステップＳ６４）。そして、中央制御部２０１は、ステップＳ４８に対応して、無線処理部２０３を介して、撮影終了コマンド及び動作状態情報を用具側端末１Ａから受信したか否かを判定する（ステップＳ６５）。撮影終了コマンド及び動作状態情報を受信していない場合（ステップＳ６５；ＮＯ）、ステップＳ６４に移行される。

撮影終了コマンド及び動作状態情報を受信した場合（ステップＳ６５；ＹＥＳ）、中央制御部２０１は、ステップＳ６３で受信したクラブ選択情報と、ステップＳ６５で受信した動作状態情報と、をステップＳ６４で生成されたフレーム画像を含む動画ファイルに格納する（ステップＳ６６）。そして、中央制御部２０１は、記録媒体制御部２０６を制御し、ステップＳ６３で受信した動作状態情報に応じて、ステップＳ６６で生成した動画ファイルを記録媒体Ｍ内の各カテゴリのフォルダに記憶する（ステップＳ６７）。各カテゴリとは、動作の状態の種類を示すカテゴリであるものとする。

一例として、図１３に示すように、記録媒体Ｍ内に、ナイスショットのカテゴリのフォルダＲ１と、ミスショットのカテゴリのフォルダＲ２と、が形成されているものとする。ステップＳ６７では、動画ファイル内の動作状態情報がナイスショットを示す場合に、当該動画ファイルがフォルダＲ１に格納され、動画ファイル内の動作状態情報がミスショットを示す場合に、当該動画ファイルがフォルダＲ２に格納される。なお、動作の状態の種類、その数（フォルダの数）は、上記の例に限定されるものではない。

そして、中央制御部２０１は、ステップＳ５０に対応して、無線処理部２０３を介して、全撮影終了コマンドを用具側端末１Ａから受信したか否かを判定する（ステップＳ６９）。全撮影終了コマンドを受信していない場合（ステップＳ６９；ＮＯ）、ステップＳ６３に移行される。

全撮影終了コマンドを受信した場合（ステップＳ６９；ＹＥＳ）、中央制御部２０１は、撮像部２０４、画像データ処理部２０５を制御して、撮像を終了し（ステップＳ７０）、第２の撮影処理を終了する。

以上、本実施の形態によれば、用具側端末１Ａは、撮像部２０４等に撮像されるユーザが把持するゴルフクラブ５００に取り付けられ、当該ユーザの動きを検出するセンサ部１０３により出力された情報に基づいて、撮像された画像における当該ユーザの動作の状態（の種類）を判定する。このため、ユーザの動作の状態（の種類）を動画ファイルに対応付けることにより、所望の画像を適正に特定できる。

また、センサ部１０３は、加速度センサであり、加速度を検出してその情報を出力する。このため、周囲の雑音が発生している環境下でも、遅延することなく、ユーザの動作の状態（の種類）を判定できる。

また、用具側端末１Ａは、センサ部１０３により出力された情報に基づいて、撮像された１又は複数のフレーム画像（動画ファイル）におけるユーザの動作の状態の種類（ナイスショット、ミスショット）を判定する。このため、ユーザの動作の状態の種類を動画ファイルに対応付けることにより、所望の１又は複数の画像を適正に特定できる。

また、用具側端末１Ａは、センサ部１０３により出力された情報の波形の形状に基づいて、撮像された１又は複数のフレーム画像（動画ファイル）におけるユーザの動作の状態の種類（ナイスショット、ミスショット）を判定する。このため、ユーザの動作の状態の種類をより正確に判定できる。

また、撮像装置２Ａは、判定された動画ファイルにおけるユーザの動作の状態の種類と、当該動画ファイルと、を対応付けて記憶手段としての記録媒体Ｍに記憶する。このため、ユーザの動作の状態の種類に応じて動画ファイルを容易に検索及び読み出すことができる。

また、撮像装置２Ａは、判定された動画ファイルにおけるユーザの動作の状態の種類のフォルダに、当該動画ファイルを格納して記憶する。このため、ユーザの動作の状態の種類に応じて動画ファイルをさらに容易に検索及び読み出すことができる。

なお、本発明は、上記実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。

上記第１、第２の実施の形態を適宜組み合わせる構成としてもよい。例えば、ユーザのレディポジション等の状態に応じたフォルダを記録媒体Ｍに設定し、各状態に対応するフレーム画像を対応するフォルダに格納する構成である。

また、上記第１、第２の実施の形態にあっては、１軸の角速度又は加速度を用いて、被写体の状態を判定する構成としたが、これに限定されるものではなく、２軸又は３軸の角速度又は加速度を用いる構成としてもよい。

また、上記第１の実施の形態にあっては、センサ部１０３が角速度を検出する構成としたが、これに限定されるものではなく、センサ部１０３が、加速度等、テニスラケット３００の動きを検出可能なセンサであれば如何なるセンサを用いても良い。上記第２の実施の形態にあっては、センサ部１０３が加速度を検出する構成としたが、これに限定されるものではなく、センサ部１０３が、角速度等、ゴルフクラブ５００の動きを検出可能なセンサであれば如何なるセンサを用いても良い。

さらに、上記第１の実施形態にあっては、テニスラケット３００に対するテニスボールＢの接触をインパクトとして検出するようにしたが、一例であってこれに限られるものではなく、テニスラケット３００とテニスボールＢとの接触を検出可能であれば如何なる構成であっても良い。

上記第１の実施の形態にあっては、図８のステップＳ１２，Ｓ１３，Ｓ１５，Ｓ１６，Ｓ１８，Ｓ１９の処理を用具側端末１が行うこととしたが、当該処理を撮像装置２が行っても良い。つまり、用具側端末１が、検出した角速度Ｇｚの値に計時部１０５が計時した時刻情報を対応付けて撮像装置２に送信し、撮像装置２が、角速度Ｇｚの値と時刻情報とに基づいてテニスラケット３００に対するテニスボールＢのインパクト時の検出と撮影開始及び撮影終了の判定を行い、当該インパクト時に対応する撮像時情報が関連付けられたフレーム画像を特定する構成としてもよい。

上記第２の実施の形態にあっては、図１１のステップＳ４７の処理を用具側端末１Ａが行うこととしたが、当該処理を撮像装置２Ａが行っても良い。つまり、用具側端末１Ａが、検出した加速度ｇｘの値に計時部１０５が計時した時刻情報を対応付けて撮像装置２Ａに送信し、撮像装置２Ａが、角速度Ｇｚの値と時刻情報とに基づいてユーザの動作の状態の判定を行い、この動作状態情報を動画ファイルに対応付ける構成としてもよい。

さらに、上記第１の実施の形態において、用具としてテニスラケット３００を例示し、上記第２の実施の形態において、用具としてゴルフクラブ５００を例示したが、一例であってこれに限られるものではなく、例えば、卓球のラケット、野球のバット等の物体を打つものであれば適宜任意に変更可能である。このとき、用具側端末１，１Ａの端末本体は、ユーザにより把持される把持部の延在方向に沿う方向に延在する軸上に取付け固定されているのが好ましい。

また、画像特定システム１００，４００の構成は、上記第１、第２の実施の形態に例示したものは一例であり、これに限られるものではない。例えば、所定の通信回線として、無線通信回線を例示して説明したが、用具側端末１，１Ａと撮像装置２，２Ａとを有線ケーブル等により接続して通信を行う有線通信回線であっても良い。

また、上記第１、第２の実施の形態にあっては、テニス、ゴルフのスポーツを例示したがこれに限らず、事故などの衝突を検出してその瞬間の画像を特定するとか、また連続撮影動画の中から接触（衝突）を検出してその前後の動画（テニスならスイングフォームの動画、事故なら衝突前後の動画）を特定するといったことに適用が可能である。

また、上記第１、第２の実施の形態にあっては、センサ部１０３を有する用具側端末１，１Ａが、テニスラケット３００又はゴルフクラブ５００に取り付けられる構成としたが、これに限定されるものではない。用具側端末１，１Ａが、被写体としてのユーザそのものに取り付けられる構成としてもよい。

さらに、上記第１、第２の実施の形態にあっては、用具側端末１，１Ａと撮像装置２，２Ａとを備える画像特定システム１００，４００を例示したが、一例であってこれに限られるものではなく、一の画像特定装置から構成されていても良い。

加えて、上記第１、第２の実施の形態にあっては、第１、第２の撮影制御処理を中央制御部１０１がプログラムにより実行し、第１、第２の撮影処理を中央制御部２０１がプログラムにより実行する構成としたが、これに限定されるものではない。用具側端末１，１Ａが、第１、第２の撮影制御処理と同様の処理を行うロジック回路等の専用回路を備え、撮像装置２，２Ａが、第１、第２の撮影処理と同様の処理を行うロジック回路等の専用回路を備える構成としてもよい。

さらに、上記第１、第２の実施の形態の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭを挙げたが、ハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

また、上記各実施の形態における画像特定システムの各構成要素の細部構成及び細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能であることは勿論である。

本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
撮像手段に撮像される被写体又は当該被写体が把持する用具に取り付けられ、当該被写体の動きに対応する情報を出力するセンサと、
前記センサにより出力された情報に基づいて、前記撮像手段により撮像された画像における前記被写体の動作の状態を判定する判定手段と、
を備える画像判定装置。
＜請求項２＞
前記判定手段は、前記センサにより出力された情報に基づいて、前記撮像手段により撮像された１又は複数の画像における前記被写体の動作の状態の種類を判定する請求項１に記載の画像判定装置。
＜請求項３＞
前記判定手段は、前記センサにより出力された情報の波形の形状に基づいて、前記撮像手段により撮像された１又は複数の画像における前記被写体の動作の状態の種類を判定する請求項２に記載の画像判定装置。
＜請求項４＞
前記センサは、加速度センサ又は角速度センサであり、加速度又は角速度に関する情報を出力する請求項１から３の何れか一項に記載の画像判定装置。
＜請求項５＞
前記センサにより出力された情報に基づいて、前記被写体の動作の状態に応じた撮影の開始及び終了のタイミングを特定するタイミング特定手段を更に備える請求項１から４の何れか一項に記載の画像判定装置。
＜請求項６＞
請求項１から５のいずれか一項に記載の画像判定装置と、
前記判定された画像における前記被写体の動作の状態の種類と、当該画像とを対応付けて記憶手段に記憶させる記憶制御手段と、
を備える画像判定システム。
＜請求項７＞
前記記憶制御手段は、前記判定された画像における前記被写体の動作の状態の種類のフォルダに、当該種類に対応する画像を格納して記憶する請求項６に記載の画像判定システム。
＜請求項８＞
送信側端末と、受信側端末と、を備える画像特定システムであって、
送信側端末は、
撮像手段により撮像される被写体又は当該被写体が把持する用具に取り付けられ、当該被写体の動きに対応する情報を出力するセンサと、
前記センサの検出に対応する時刻を計時し第１の時刻情報を出力する第１の計時手段と、
前記センサにより出力された情報と前記第１の時刻情報とを対応付けて前記受信側端末に送信する送信手段と、を備え、
前記受信側端末は、
前記送信手段により対応付けて送信された前記センサにより出力された情報と第１の時刻情報とに基づいて、前記撮像手段により撮像された画像から前記被写体の特定の状態に対応する画像を特定する特定手段と、
を備える画像特定システム。
＜請求項９＞
前記受信側端末は、
前記被写体を撮像した画像から前記被写体の動作の状態を判定する状態判定手段と、
前記撮像手段の撮像に対応する時刻を計時し第２の時刻情報を出力する第２の計時手段を更に備え、
前記特定手段は、更に、前記状態判定手段による判定結果に基づいて、前記画像の第２の時刻情報に前記第１の時刻情報を対応付けることで、前記被写体の特定の状態に対応する画像を特定する請求項８に記載の画像特定システム。
＜請求項１０＞
前記センサは、加速度センサ又は角速度センサであり、加速度又は角速度に関する情報を出力する請求項８又は９に記載の画像特定システム。
＜請求項１１＞
撮像手段により撮像される被写体又は当該被写体が把持する用具に取り付けられ、当該被写体の動きに対応する情報を出力するセンサと、
前記センサの検出に対応する時刻を計時し時刻情報を出力する計時手段と、
前記センサにより出力された情報と前記時刻情報とを対応付けて受信端末に送信する送信手段と、
を備える送信端末。
＜請求項１２＞
センサにより出力された被写体の動きに対応する情報と、撮像手段による前記被写体の撮像に対応する時刻情報とに基づいて、前記撮像手段により撮像された画像から前記被写体の特定の状態に対応する画像を特定する特定手段を備える受信端末。
＜請求項１３＞
撮像手段により撮像された被写体又は当該被写体が把持する用具に取り付けられ、当該被写体の動きに対応する情報をセンサにより出力する工程と、
前記センサ工程により出力された情報に基づいて、撮像された画像における前記被写体の動作の状態を判定する工程と、を含む画像判定方法。
＜請求項１４＞
送信側端末と、受信側端末と、を備える画像特定システムにおける画像特定方法であって、
前記送信側端末が、撮像手段により撮像される被写体又は当該被写体が把持する用具に取り付けられたセンサにより、当該被写体の動きに対応する情報を出力する工程と、
前記送信側端末が、前記被写体の動作に対応する時刻を計時し時刻情報を出力する工程と、
前記センサにより出力された情報と前記時刻情報とを対応付けて前記受信側端末に送信する工程と、
前記受信側端末が、前記センサにより出力された情報と時刻情報とに基づいて、前記撮像手段により撮像された画像から前記被写体の特定の状態に対応する画像を特定する工程と、を含む画像特定方法。
＜請求項１５＞
コンピュータを、
撮像される被写体又は当該被写体が把持する用具に取り付けられ、当該被写体の動きに対応する情報をセンサにより出力する出力手段、
前記センサにより出力された情報に基づいて、撮像された画像における前記被写体の動作の状態を判定する判定手段、
として機能させるためのプログラム。

１００，４００ 画像特定システム
１，１Ａ 用具側端末
１０１ 中央制御部
１０２ メモリ
１０３ センサ部
１０５ 計時部
１０６ 表示部
１０７ 無線処理部
１０７ａ ＢＴモジュール
１０８ 操作入力部
１０９ バスライン
２，２Ａ 撮像装置
２０１ 中央制御部
２０２ メモリ
２０３ 無線処理部
２０３ａ ＢＴモジュール
２０３ｂ 無線ＬＡＮモジュール
２０４ 撮像部
２０４ａ レンズ部
２０４ｂ 電子撮像部
２０４ｃ 撮像制御部
２０５ 画像データ処理部
２０６ 記録媒体制御部
Ｍ 記録媒体
２０７ 計時部
２０９ 表示部
２０９ａ 表示パネル
２０９ｂ 表示制御部
２１０ 操作入力部
２１１ バスライン

Claims (15)

1. 撮像手段に撮像される被写体又は当該被写体が把持する用具に取り付けられ、当該被写体の動きに対応する情報を出力するセンサと、
   前記センサにより出力された情報に基づいて、前記撮像手段により撮像された画像における前記被写体の動作の状態を判定する判定手段と、
   を備える画像判定装置。
2. 前記判定手段は、前記センサにより出力された情報に基づいて、前記撮像手段により撮像された１又は複数の画像における前記被写体の動作の状態の種類を判定する請求項１に記載の画像判定装置。
3. 前記判定手段は、前記センサにより出力された情報の波形の形状に基づいて、前記撮像手段により撮像された１又は複数の画像における前記被写体の動作の状態の種類を判定する請求項２に記載の画像判定装置。
4. 前記センサは、加速度センサ又は角速度センサであり、加速度又は角速度に関する情報を出力する請求項１から３の何れか一項に記載の画像判定装置。
5. 前記センサにより出力された情報に基づいて、前記被写体の動作の状態に応じた撮影の開始及び終了のタイミングを特定するタイミング特定手段を更に備える請求項１から４の何れか一項に記載の画像判定装置。
6. 請求項１から５のいずれか一項に記載の画像判定装置と、
   前記判定された画像における前記被写体の動作の状態の種類と、当該画像とを対応付けて記憶手段に記憶させる記憶制御手段と、
   を備える画像判定システム。
7. 前記記憶制御手段は、前記判定された画像における前記被写体の動作の状態の種類のフォルダに、当該種類に対応する画像を格納して記憶する請求項６に記載の画像判定システム。
8. 送信側端末と、受信側端末と、を備える画像特定システムであって、
   送信側端末は、
   撮像手段により撮像される被写体又は当該被写体が把持する用具に取り付けられ、当該被写体の動きに対応する情報を出力するセンサと、
   前記センサの検出に対応する時刻を計時し第１の時刻情報を出力する第１の計時手段と、
   前記センサにより出力された情報と前記第１の時刻情報とを対応付けて前記受信側端末に送信する送信手段と、を備え、
   前記受信側端末は、
   前記送信手段により対応付けて送信された前記センサにより出力された情報と第１の時刻情報とに基づいて、前記撮像手段により撮像された画像から前記被写体の特定の状態に対応する画像を特定する特定手段と、
   を備える画像特定システム。
9. 前記受信側端末は、
   前記被写体を撮像した画像から前記被写体の動作の状態を判定する状態判定手段と、
   前記撮像手段の撮像に対応する時刻を計時し第２の時刻情報を出力する第２の計時手段を更に備え、
   前記特定手段は、更に、前記状態判定手段による判定結果に基づいて、前記画像の第２の時刻情報に前記第１の時刻情報を対応付けることで、前記被写体の特定の状態に対応する画像を特定する請求項８に記載の画像特定システム。
10. 前記センサは、加速度センサ又は角速度センサであり、加速度又は角速度に関する情報を出力する請求項８又は９に記載の画像特定システム。
11. 撮像手段により撮像される被写体又は当該被写体が把持する用具に取り付けられ、当該被写体の動きに対応する情報を出力するセンサと、
    前記センサの検出に対応する時刻を計時し時刻情報を出力する計時手段と、
    前記センサにより出力された情報と前記時刻情報とを対応付けて受信端末に送信する送信手段と、
    を備える送信端末。
12. センサにより出力された被写体の動きに対応する情報と、撮像手段による前記被写体の撮像に対応する時刻情報とに基づいて、前記撮像手段により撮像された画像から前記被写体の特定の状態に対応する画像を特定する特定手段を備える受信端末。
13. 撮像手段により撮像された被写体又は当該被写体が把持する用具に取り付けられ、当該被写体の動きに対応する情報をセンサにより出力する工程と、
    前記センサ工程により出力された情報に基づいて、撮像された画像における前記被写体の動作の状態を判定する工程と、を含む画像判定方法。
14. 送信側端末と、受信側端末と、を備える画像特定システムにおける画像特定方法であって、
    前記送信側端末が、撮像手段により撮像される被写体又は当該被写体が把持する用具に取り付けられたセンサにより、当該被写体の動きに対応する情報を出力する工程と、
    前記送信側端末が、前記被写体の動作に対応する時刻を計時し時刻情報を出力する工程と、
    前記センサにより出力された情報と前記時刻情報とを対応付けて前記受信側端末に送信する工程と、
    前記受信側端末が、前記センサにより出力された情報と時刻情報とに基づいて、前記撮像手段により撮像された画像から前記被写体の特定の状態に対応する画像を特定する工程と、を含む画像特定方法。
15. コンピュータを、
    撮像される被写体又は当該被写体が把持する用具に取り付けられ、当該被写体の動きに対応する情報をセンサにより出力する出力手段、
    前記センサにより出力された情報に基づいて、撮像された画像における前記被写体の動作の状態を判定する判定手段、
    として機能させるためのプログラム。