JP2014186559A - 動画像抽出装置、動画像抽出方法及びプログラム - Google Patents

Abstract

【課題】ユーザが所望の期間の動画像を抽出すること。
【解決手段】撮像装置１は、ＣＰＵ１１と、撮像部１６と、インパクト検出処理部５４と、抽出時点特定部５５と、動画像記憶制御部５６と、を備える。ＣＰＵ１１は、撮像部１６によって撮影された動画像を取得する。インパクト検出処理部５４は、ＣＰＵ１１により取得された動画像中の所定の時点を特定する。抽出時点特定部５５は、インパクト検出処理部５４により特定された抽出の時点に基づいて、動画像中における抽出の開始時点、及び／又は、抽出の終了時点を特定する。動画像記憶制御部５６は、抽出時点特定部５５により特定された抽出の開始時点、及び／又は、終了時点に基づいて、動画像から所定の期間の動画像を抽出する。
【選択図】図３

Description

本発明は、動画像から所定の期間の動画像を抽出する動画像抽出装置、動画像抽出方法及びプログラムに関する。

従来の技術として、動画像中に所定の期間だけ記録する技術が記載されている（特許文献１）。
具体的には、動画像をエンドレスにリングバッファに記憶しつつ、被写体が所定の条件を満たした瞬間の前後の所定の期間を記録する技術が知られている。

特許第４７３０４０２号

しかしながら、上記特許文献１では、抽出すべき画像の期間が固定的なため、必ずしもユーザの所望の期間の動画像が抽出できない虞がある。

本発明は、ユーザが所望の期間の動画像を抽出することを目的とする。

上記目的を達成するため、本発明の一態様の動画像抽出装置は、
動画像を取得する取得手段と、
前記取得手段により取得された動画像中の所定の時点を特定する第１の特定手段と、
前記第１の特定手段により特定された所定の時点に基づいて、前記動画像中における抽出の開始時点、及び／又は、抽出の終了時点を特定する第２の特定手段と、
前記第２の特定手段により特定された抽出の時点に基づいて、前記動画像から所定の期間の動画像を抽出する抽出手段と、
を備えたことを特徴とする。

本発明によれば、ユーザが所望の期間の動画像を抽出することができる。

本発明の一実施形態におけるハイスピード撮影による動画像の生成の概要について説明する模式図である。 本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図２の撮像装置の機能的構成のうち、スイング動画像撮影処理を実行するための機能的構成を示す機能ブロック図である。 スイング動画像撮影処理のうち、進入検出処理を実行するための機能的構成を示す機能ブロック図である。 領域枠の設定を含めた進入検出を説明するための模式図である。 スイング動画像撮影処理のうち、ボール位置特定処理を実行するための機能的構成を示す機能ブロック図である。 ボール位置の特定の結果を説明するための模式図である。 スイング動画像撮影処理のうち、インパクト検出処理を実行するための機能的構成を示す機能ブロック図である。 インパクト付近のインパクト評価値の変動の一例を示すグラフである。 インパクト付近のインパクト評価値の変動の他の例を示すグラフである。 スイング動画像撮影処理のうち、アドレス検出処理を実行するための機能的構成を示す機能ブロック図である。 図３の機能構成を有する撮像装置が実行するスイング動画像撮影処理の流れを説明するフローチャートである。 図４の機能構成を有する撮像装置が実行するスイング動画像撮影処理のうち、進入検出処理の詳細な流れを説明するフローチャートである。 図６の機能構成を有する撮像装置が実行するスイング動画像撮影処理のうち、ボール位置特定処理の詳細な流れを説明するフローチャートである。 図８の機能構成を有する撮像装置が実行するスイング動画像撮影処理のうち、インパクト検出処理の詳細な流れを説明するフローチャートである。 図１１の機能構成を有する撮像装置が実行するスイング動画像撮影処理のうち、アドレス検出処理の詳細な流れを説明するフローチャートである。 インパクトを含むフレーム以前のフレームの識別スコアの変遷の一例を示すグラフである。 インパクトを含むフレーム以降のフレームの識別スコアの変遷の一例を示すグラフである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態におけるハイスピード撮影による動画像（連写画像を含む）の生成の概要について説明する模式図である。なお、図１において、図示したフレームの間には、複数のフレームが存在するが省略するものとする。

本実施形態においては、１秒間に３０フレーム以上のフレーム画像を撮像可能なハイスピード撮影が可能なハイスピードカメラによりゴルフのスイング（以下、単に「スイング」という）の撮影をして、動画像として保存する。
具体的には、撮影の対象となるスイング対象者が自ら撮影の操作をした場合に、図１に示すように、撮影を開始することにより、例えば、ボールのない状態から、スイング対象者がボールを置いて、その後に、アドレスから始まりフィニッシュで終わるスイングを行う。その結果、撮影装置のバッファ領域には一時的にボールのない状態からフィニッシュをして撮影を終了するまでの状態が複数の画像として記憶される。
通常の撮影においては、撮影を開始してから撮影を終了するまで、即ち、ボールのない状態からフィニッシュをして撮影を終了するまでの状態が動画像として保存される。
しかしながら、本実施形態においては、ボールのない状態からフィニッシュをして撮影を終了するまでの状態のうち、スイングの始期であるアドレスからスイングの終期であるフィニッシュまでの動画像の保存を行う。即ち、アドレス以前及びフィニッシュ以降は動画像として採用しない。
このように構成することにより、動画像のデータ量を削減することができる。また、スイングの始期であるアドレスが最初のフレームとなり、動画像が開始されることから、動画像の再生に際しては、スイングの始期の検索（頭出し）を行う手間を省くことができる。また、通常の撮影の場合とは異なりハイスピード撮影なために、削減されるデータ量や動画像の再生に際しての検索の手間を省くことは大きいものとなる。
本発明の一実施形態に係る撮像装置は、上述したようにスイングをハイスピード撮影した場合において、アドレス以前のフレームの保存を行わないで動画像を保存する機能を有する。

図２は、このような機能を有する撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばハイスピード撮影が可能なデジタルカメラとして構成される。

撮像装置１は、図２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、ハイスピードカメラ（Ｈｉｇｈ ｓｐｅｅｄ ｃａｍｅｒａ：高速度カメラ）として構成され、１秒間に３０フレームを超えるフレーム画像を生成することができるハイスピード（高速度）撮影が可能に構成される。
このような撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「画像のデータ」と呼ぶ。画像のデータは、撮像画像のデータやフレーム画像（以下、単に「フレーム」ともいう）のデータとして、ＣＰＵ１１等に適宜供給される。

入力部１７は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

図３は、このような撮像装置１の機能的構成のうち、スイング動画像撮影処理を実行するための機能的構成を示す機能ブロック図である。
「スイング動画像撮影処理」とは、スイングの始期となるアドレスから動画像の保存を開始して、その後の一連のスイング動作を動画像として保存するまでの一連の処理である。なお、スイング動画像撮影処理中においては、撮像された撮像画像を出力部１８に順次表示させる。ここでいう、出力部１８に表示されている撮像画像を、「ライブビュー画像」という。ユーザは、出力部１８の表示をみて、撮影位置や後述する領域枠の設定やボール検出結果等を確認する。

スイング動画像撮影処理を実行する場合には、図３に示すように、ＣＰＵ１１において、進入検出処理部５１と、バッファ記憶制御部５２と、ボール位置特定処理部５３と、インパクト検出処理部５４と、抽出時点特定部５５と、動画像記憶制御部５６と、が機能する。

ＲＡＭ１３の一領域には、リングバッファ７１が設けられる。
リングバッファ７１には、先頭と末尾の要素の挿入・削除を高速に行えるデータ構造であり、書き込みポインタ及び読み出しポインタによって循環的にアドレスが指定されることによりデータ（本実施形態においては、フレームのデータ）が順次記憶される。

記憶部１９の一領域には、情報記憶部９１と、アドレス検出識別器９２と、動画像記憶部９３と、が設けられる。

情報記憶部９１には、例えば、アドレスやインパクト等のスイングの姿勢を検出するために用いられるテンプレートマッチング用の画像（以下、「テンプレート画像」という）等の情報が記憶される。情報記憶部９１については、後に詳述する。

アドレス検出識別器９２は、アドレスを検出するための検出用情報が記憶される。アドレス検出識別器９２については後に詳述する。

動画像記憶部９３には、動画像のデータが記憶される。動画像記憶部９３については、後に詳述する。

進入検出処理部５１は、進入検出処理を実行する。
「進入検出処理」とは、撮像部１６により撮像された画像のうち、撮影領域の所定の領域内への人等の物体の進入してきた画像を検出するまでの一連の処理である。この進入検出処理では、具体的に、プレーヤがボールを置きにくることによる進入を検出する。
即ち、進入検出処理部５１は、例えば、スイング対象者がボールを置きにきて進入してきたことを撮像部１６から出力されるフレームを解析して検出する。

バッファ記憶制御部５２は、撮像部１６によって撮像された画像をフレームのデータとしてリングバッファ７１に順次記憶させ、フレームのデータのリングバッファ７１への記憶を止めさせる制御を行う。

ボール位置特定処理部５３は、ボール位置特定処理を実行する。
「ボール位置特定処理」とは、リングバッファ７１に記憶される複数のフレームの中からボールのあるフレームを検出すると共に、当該フレームにおけるボールの位置を特定するまでの一連の処理である。
即ち、ボール位置特定処理部５３は、リングバッファ７１に記憶されるフレームのうち、フレームの撮影領域の所定の領域においてボールを検出して、当該検出されたボールの中心位置を含むボールが占める領域の位置を決定する。

インパクト検出処理部５４は、インパクト検出処理を実行する。
「インパクト検出処理」とは、リングバッファ７１に記憶されるフレームのうち、位置が決定したボールの有無を判断して、インパクトの状態のフレームを検出するまでの一連の処理である。また、「インパクト検出処理」では、リングバッファ７１の停止のタイミングの判断も行う処理を含む。
即ち、インパクト検出処理部５４は、リングバッファ７１に記憶されるフレームのうち、スイングを行うスイング対象者のインパクトのフレームを検出する。

抽出時点特定部５５は、抽出時点を検出する処理としてアドレス検出処理を実行する。
「アドレス検出処理」とは、リングバッファ７１に記憶されるフレームのうち、検出されたインパクトのフレーム以前のフレームからアドレスのフレームを検出するまでの一連の処理である。
即ち、抽出時点特定部５５は、リングバッファ７１に記憶されるフレームのうち、検出されたインパクトのフレーム以前のフレームから、アドレス検出識別器９２の検出用情報を用いて、抽出時点となるアドレスのフレームを検出する。

動画像記憶制御部５６は、リングバッファ７１に記憶される複数のフレームのうち、所定のフレームから構成される動画像を保存するように動画像記憶部９３を制御する。
詳細には、動画像記憶制御部５６は、抽出時点特定部５５によって検出されたアドレスのフレーム以降のフレームと、当該インパクトのフレームから想定されるフィニッシュのフレーム（インパクトのフレームから所定の時間経過後のフレーム）の間の動画像を保存するように動画像記憶部９３を制御する。

以上、撮像装置１の機能的構成のうち、スイング動画像撮影処理を実行するための機能的構成について説明した。
次に、スイング動画像撮影処理のうち、進入検出処理を実行するための機能的構成について説明する。

図４は、スイング動画像撮影処理のうち、進入検出処理を実行するための機能的構成を示す機能ブロック図である。

進入検出処理を実行する場合には、図４に示すように、進入検出処理部５１において、領域枠設定部５１１と、進入評価画像生成部５１２と、進入閾値設定部５１３と、進入判定部５１４と、第１テンプレート画像生成部５１５と、が機能する。

領域枠設定部５１１は、撮影領域における所定の領域に、領域枠を設定する。領域枠には、ボールが置かれると予想される領域を含む領域が設定される。

図５は、領域枠Ｒの設定を含めた進入検出を説明するための模式図である。
領域枠Ｒは、図５（ａ）に示すように、例えば、スイング対象者１００を背面から撮影した場合、スイング対象者１００がスイングの位置に立ったときに、想定されるボールを打つ場所に設定される。本例では、撮影領域の中央付近で右利きのスイング対象者１００が位置することが想定されるために、中央部の下方に領域枠Ｒが設定される。
また、領域枠設定部５１１は、スイング対象者１００の利き手や撮影方向で設定を異なるように構成できたり、ユーザによる入力部１７への領域枠設定操作により、領域枠Ｒの設定を行うように構成したりできる。この場合、ユーザにより任意の位置が領域枠Ｒとして設定できる。

進入評価画像生成部５１２は、設定された領域枠への進入を検出するための評価画像（以下、「進入検出用評価画像」という）を生成する。進入検出用評価画像は、元画像からエッジ画像を生成し、当該生成したエッジ画像の複数を時間方向で平滑化した１次微分のエッジ画像からなる。

進入閾値設定部５１３は、数フレーム間のピクセル単位での変動に基づいて、フレームにおいて進入があったことが検出するための進入検出用閾値を設定する。進入検出用閾値は、昼や夜等の撮影の環境に左右されないように、閾値設定の直近の数フレームを用いて適用的に設定される。

進入判定部５１４は、領域枠Ｒへの進入判定をする。進入判定部５１４は、判定の対象となるフレームの各ピクセルの値と、進入検出用評価画像の各ピクセルの値との差分が進入検出用閾値を超えているか否かを判定する。進入判定部５１４は、進入検出用適応的閾値を超えている場合には、進入があったと判定し、進入検出用閾値を超えていない場合には、進入がないと判定する。

進入判定によって、図５（ｂ）に示すような領域枠Ｒ内のボールを置く場所に、スイング対象者１００がボールを置こうとして、クラブ１０１が領域枠Ｒに進入してしまったような状態のフレームが検出される。

第１テンプレート画像生成部５１５は、進入があったと判定した直後のフレーム画像を、インパクトを検出するためのテンプレート画像（以下、「第１のインパクト検出用テンプレート画像」という）を生成する。第１のインパクト検出用テンプレート画像は、領域枠内にボールがない状態の画像である。本実施形態においては、ロバスト性を考慮して、進入が検出された直後のフレーム画像を第１のインパクト検出用テンプレート画像として用いる。
第１テンプレート画像生成部５１５は、その後、第１のインパクト検出用テンプレート画像を情報記憶部９１に保存する。

以上、スイング動画像撮影処理のうち、進入検出処理を実行するための機能的構成について説明した。
次に、スイング動画像撮影処理のうち、ボール位置特定処理を実行するための機能的構成について説明する。

図６は、スイング動画像撮影処理のうち、ボール位置特定処理を実行するための機能的構成を示す機能ブロック図である。

ボール位置特定処理を実行する場合には、図６に示すように、ボール位置特定処理部５３において、ボール閾値設定部５３１と、ボール評価画像生成部５３２と、静止評価値算出部５３３と、ボール位置分散算出部５３４と、ボール判定部５３５と、ボール位置特定部５３６と、が機能する。

ボール閾値設定部５３１は、進入検出前の数フレーム間のピクセル単位での変動に基づいて、フレームにおいて進入があったことが検出するためのボール検出用閾値を設定する。ボール検出用閾値は、昼や夜等の撮影の環境に左右されないように、閾値設定の直近の数フレームを用いて適用的に設定される。

ボール評価画像生成部５３２は、領域枠においてボールを検出する評価画像（以下、「ボール検出用評価画像」という）を生成する。ボール検出用評価画像は、元画像からエッジ画像を生成し、当該生成したエッジ画像の複数を時間方向で平滑化した１次微分のエッジ画像からなる。

静止評価値算出部５３３は、所定の領域を占有する物体の停止状態を判定するために、ボール検出用評価画像の各ピクセルがボール検出用閾値以上のとなるピクセルをカウントし、静止評価値を算出する。

ボール位置分散算出部５３４は、ボール検出用評価画像の各ピクセルがボール検出用閾値以上となるピクセルの座標値（本実施形態においては輝度値）の平均座標値を算出する。そして、ボール位置分散算出部５３４は、算出した平均座標値を中心とする局所領域での分散評価値を算出する。これにより、領域枠内にボールとボール以外のものがあるかをピクセル単位で割り出すことができる。

ボール判定部５３５は、静止評価値算出部５３３により算出された静止評価値を基準として、ボール位置分散算出部５３４により算出された分散評価値から、ボールのみがあるか否かを判定する。即ち、ボール判定部５３５は、静止評価値に基づいて、領域内が静止状態であるかを判定して、さらに、分散評価値が一定の範囲内に納まっておりボールのみがある状態であるかを判定する。
また、ボール判定部５３５は、ボールのみが置かれた状態であるかを所定時間さらに判定する。即ち、ボール判定部５３５は、静止評価値に基づいて、領域内が静止状態であるかを判定して、さらに、分散評価値が一定の範囲内に納まっておりボールのみがある状態であるかをさらに所定の時間判定する。

ボール位置特定部５３６は、局所領域内で算出した平均座標に基づいて、ボール座標を算出する。そして、ボール位置特定部５３６は、算出したボール座標をボール位置として特定する。この際、ボール位置特定部５３６は、情報記憶部９１に記憶されるボール位置情報を更新すると共に、出力部１８に、ライブビュー画像と共に、特定したボールの強調的な表示を行う。

図７は、ボール位置の特定の結果を説明するための模式図である。なお、図７は、スイング対象者１００を正面から撮影した場合の例である。
図７（ａ）の例は、ボールＢが領域枠Ｒに置かれ、スイング対象者１００がこれからスイングを行おうとしている状態を示している。このような状態において、ボール位置の特定は、領域枠Ｒへの進入から開始され、領域枠Ｒの所定の領域を占め、さらに、静止している領域をボールが置かれたと判定することで行われる。
ボールＢの位置が特定された場合には、出力部１８には、ライブビュー画像と共に、図７（ｂ）に示すように、領域枠Ｒ内のボールに重畳的に、強調表示をするマークＭが表示される。ユーザは、当該マークＭを確認することにより、ボールＢの位置が特定されたことを確認することができる。

以上、スイング動画像撮影処理のうち、ボール位置特定処理を実行するための機能的構成について説明した。
次に、スイング動画像撮影処理のうち、インパクト検出処理を実行するための機能的構成について説明する。

図８は、スイング動画像撮影処理のうち、インパクト検出処理を実行するための機能的構成を示す機能ブロック図である。

インパクト検出処理を実行する場合には、図８に示すように、インパクト検出処理部５４において、第２テンプレート画像生成部５４１と、インパクト閾値設定部５４２と、インパクト評価画像生成部５４３と、インパクト評価値算出部５４４と、インパクト候補判定部５４５と、インパクト判定部５４６と、終了フレーム確定部５４７と、が機能する。

第２テンプレート画像生成部５４１は、ボールがあったと判定された直後のフレーム画像を、インパクトを検出するためのテンプレート画像（以下、「第２のインパクト検出用テンプレート画像」という）として生成する。第２のインパクト検出用テンプレート画像は、領域枠内にボールがある状態の画像である。本実施形態においては、ロバスト性を考慮して、ボールが検出された直後のフレームを第２のインパクト検出用テンプレート画像として用いる。
第２テンプレート画像生成部５４１は、その後、第２のインパクト検出用テンプレート画像を情報記憶部９１に保存する。

インパクト閾値設定部５４２は、第１のインパクト検出用テンプレート画像と第２のインパクト検出用テンプレート画像とに基づいて、インパクト検出用閾値を設定する。
インパクト検出用閾値は、第１のインパクト検出用テンプレート画像と第２のインパクト検出用テンプレート画像との差分値を用いる。このようなインパクト検出用閾値は、直近の処理の第１のインパクト検出用テンプレート画像と、第２のインパクト検出用テンプレート画像に基づいて決定されるために、適用的に設定されることとなる。

インパクト評価画像生成部５４３は、インパクトを検出するための評価画像（以下、「インパクト検出用評価画像」という）を生成する。インパクト検出用評価画像は、フレーム間の差分をとった画像（以下、「フレーム間差分画像」という）と、第２のインパクト検出用テンプレート画像のテンプレート画像とフレーム画像との差分画像（以下、「テンプレート差分画像」という）からなる。

インパクト評価値算出部５４４は、ボールが位置する座標内（ボール枠内）であるインパクト検出領域におけるフレーム間差分画像の評価値（以下、「フレーム間差分評価値」という）と、テンプレート差分画像の評価値（以下、「テンプレート差分評価値」という）とを算出する。以下、フレーム間差分評価値とテンプレート差分評価値とをまとめて、「インパクト評価値」という。

インパクト候補判定部５４５は、評価値の急激な変動のあるインパクトの瞬間を検出する判定を行う。即ち、インパクト候補判定部５４５は、フレーム間差分評価値と、テンプレート差分評価値とが共に、インパクト検出用閾値以上か否かを判定する。この場合、インパクト候補判定部５４５は、フレーム間差分評価値と、テンプレート差分評価値とが共に、インパクト検出用閾値以上であった場合には、インパクト検出があったと判定する。

インパクト判定部５４６は、フレーム間差分評価値の変動がなくなり、テンプレート差分評価値が一定以上の値が継続する定常状態となるインパクト後に生じる特有の状態を検出する。即ち、インパクト判定部５４６は、フレーム間差分評価値がインパクト検出用閾値以下であり、かつ、テンプレート差分評価値がインパクト検出用閾値以上であって、インパクト検出用閾値以上の状態が一定期間継続するか否かを判定する。この場合、インパクト判定部５４６は、フレーム間差分評価値がインパクト検出用閾値以下であり、かつ、テンプレート差分評価値がインパクト検出用閾値以上であって、インパクト検出用閾値以上の状態が一定期間継続する場合には、インパクトがあったと検出される。

ここで、インパクト判定について説明する。
図９は、インパクト付近のインパクト評価値の変動の一例を示すグラフである。図９では、横軸がフレーム数を表し、縦軸がインパクト評価値の値を表している。また、ａ線はフレーム間差分評価値を示し、ｂ線はテンプレート差分評価値を示す。

図９の例に示すように、領域枠内において、クラブ通過等が領域枠内にない場合には、インパクト評価値の変動がない（フレーム数：０から１３００付近で、インパクト評価値：０から１０００付近）が、クラブ通過等があった場合には、インパクト評価値の変動が生じる（フレーム数：１３００付近から１６００付近で、インパクト評価値：１０００から３０００付近）。この場合、ボールは、領域枠内に止まっているままなので、変動の幅は少ない。

その後、インパクトがあった場合（インパクトの瞬間）には、急激に変動して（フレーム数：１６５０付近で、インパクト評価値：６０００付近まで上昇）、その後、定常状態となる（フレーム数：１６５０付近以降で、インパク評価値：５０００付近に安定）。詳細には、インパクトがあった場合（インパクトの瞬間）には、フレーム間差分評価値及びテンプレート差分評価値が急激に上昇する（例えば、４５００以上）。そして、インパクトの直後では、テンプレート差分評価値が一定以上の状態を継続して維持した状態となる（例えば、４５００以上を、１００フレームの間継続）。

図１０は、インパクト付近のインパクト評価値の変動の他の例を示すグラフである。図１０では、図９と同様に横軸がフレーム数を表し、縦軸がインパクト評価値を表している。また、ａ線はフレーム間差分評価値を示し、ｂ線はテンプレート差分評価値を示す。

図１０の例は、ワッグルや素振り等で領域枠内を通過する状態が多く図９の例とは変動が異なるが、インパクトの瞬間と、インパクト直後の状態は同様の変動を辿ることになる。具体的には、インパクトがあった場合（インパクトの瞬間）には、急激に変動して（フレーム数：１５００付近で、インパクト評価値：８０００付近まで上昇）、その後、定常状態となる（フレーム数：１５００付近以降で、インパク評価値：７０００付近に安定）。詳細には、インパクトがあった場合（インパクトの瞬間）には、フレーム間差分評価値及びテンプレート差分評価値が急激に上昇する（例えば、４５００以上）。そして、インパクトの直後では、テンプレート差分評価値が一定以上の状態を継続して維持した状態となる（例えば、４５００以上を、１００フレームの間継続）。

図９及び図１０の例に示すように、インパクト以外の部分においては、領域枠への進入により種々の変動があるが、インパクトの瞬間と、インパクトの直後の変動に関しては規則性がある。このため、インパクトの判定を行う場合には、当該規則性を満たすインパクト評価値の変動を判定すればよいことになる。
インパクトの判定は、まず第１にインパクトの瞬間の変動を判定し、第２にインパクト直後の変動を判定する。
第１の判定となるインパクトの瞬間の変動は、フレーム間差分評価値と、テンプレート差分評価値とが共に、インパクト検出用閾値以上か否かを判定する。
そして、第２の判定となるインパクトの直後の変動は、フレーム間差分評価値がインパクト検出用閾値以下であり、かつ、テンプレート差分評価値がインパクト検出用閾値以上であって、インパクト検出用閾値以上の状態が一定期間継続するか否かを判定する。

終了フレーム確定部５４７は、インパクトが検出されたフレームから所定のフレーム（時間）経過したフレームを動画像として記憶する最後のフレームである終了フレームとして確定する。

以上、スイング動画像撮影処理のうち、インパクト検出処理を実行するための機能的構成について説明した。
次に、スイング動画像撮影処理のうち、アドレス検出処理を実行するための機能的構成について説明する。

図１１は、スイング動画像撮影処理のうち、アドレス検出処理を実行するための機能的構成を示す機能ブロック図である。

アドレス検出処理を実行する場合には、図１１に示すように、抽出時点特定部５５において、インパクト前フレーム取得部５５１と、基準領域設定部５５２と、アドレス判定部５５３と、が機能する。
記憶部１９の一領域には、アドレス検出識別器９２が設けられる。

アドレス検出識別器９２は、学習サンプルとして、アドレス姿勢の画像データ群であるポジティブサンプルと、アドレス姿勢以外の画像データ群であるネガティブサンプルを用いて、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量とＡｄａＢｏｏｓｔ（Ａｄａｐｔｉｖｅ Ｂｏｏｓｔｉｎｇ）よる機械学習により構築される。アドレス検出識別器９２は、詳細には、ポジティブサンプル及びネガティブサンプルの各画像データのエッジ方向ヒストグラムの特徴であるＨＯＧ特徴量を算出して弱識別器を構築し、構築した弱識別器に重み付けをすることで構築された強識別器である。
「ポジティブサンプル」とは、様々な人のゴルフスイングのアドレス姿勢の画像データを含む。また、「ネガティブサンプル」とは、人が全く含まれていない画像データに加えて、アドレス姿勢でない人の画像データも含む。このような学習サンプルを用いて機械学習することで、アドレス姿勢に近い姿勢ほど、厳密に識別できる強識別器を形成できる。

インパクト前フレーム取得部５５１は、リングバッファ７１から、インパクトが検出されたフレーム以前のフレームを取得する。

基準領域設定部５５２は、インパクト前フレーム取得部５５１により取得されたフレーム内において、スイング対象者（被写体）を含む所定の大きさの基準領域を設定する。
ここで、本実施形態において、「基準領域」とは、アドレス姿勢のユーザ及びゴルフボールを囲む領域である。

アドレス判定部５５３は、アドレス検出識別器９２を用いて、インパクト以前のフレームの中から、基準領域における特徴量が最も高いフレームをアドレス時のフレームとして判定する。
アドレス判定部５５３は、具体的には、インパクト以前のフレームそれぞれに対して、アドレス検出識別器９２を時系列順に使用してアドレスのフレームか否かの判定を行う。その結果、出力が最も高かったフレームをアドレスのフレームとして検出する。
インパクトとアドレスとは、酷似した姿勢であるが、上述したようにインパクト以前のフレームからアドレスのフレームを検出することでインパクトのフレームをアドレスのフレームとして誤検出してしまうことを防止し、より精度の高いアドレス検出を行うことができる。

図１２は、図３の機能構成を有する撮像装置１が実行するスイング動画像撮影処理の流れを説明するフローチャートである。

スイング動画像撮影処理は、ユーザによる入力部１７へのスイング動画像撮影処理の開始を指示する所定の操作を契機に開始される。

ステップＳ１において、進入検出処理部５１は、進入検出処理を実行する。即ち、進入検出処理部５１は、例えば、プレーヤがボールを置きにくる等の撮影領域への人等の物体の進入を検出する。

ステップＳ２において、バッファ記憶制御部５２は、リングバッファ７１をスタートする。即ち、バッファ記憶制御部５２は、動画像となるフレームのデータを記憶するようにリングバッファ７１を制御する。これにより、録画が開始される。

ステップＳ３において、ボール位置特定処理部５３は、ボール位置特定処理を実行する。ボール位置特定処理では、ボール位置特定処理部５３は、フレームにおけるボールの有無を検出して、ボールがある場合のフレームにおけるボールの位置（ボールの中心位置の座標）を決定する。

ステップＳ４において、インパクト検出処理部５４は、インパクト検出処理を実行する。インパクト検出処理では、インパクト検出処理部５４は、リングバッファ７１の各フレームのうち、インパクトのフレームを特定して、インパクトの検出を行う。また、インパクトの検出が行われることで、スイングの終期を決定する。本実施形態においては、インパクトの検出があったフレームから所定の時間経過後のフレームをスイングの終期とする。

ステップＳ５において、抽出時点特定部５５は、アドレス検出処理を実行する。アドレス検出では、インパクト検出処理部５４によりインパクトの検出が行われたフレーム以前の各フレームのうち、アドレスのフレームを特定して、アドレスの検出を行う。

ステップＳ６において、バッファ記憶制御部５２は、スイングの終期のフレームが到来したらリングバッファ７１をストップする。即ち、バッファ記憶制御部５２は、動画像となるフレームのデータの記憶を止めるようにリングバッファ７１を制御する。これにより、録画が終了する。

ステップＳ７において、動画像記憶制御部５６は、動画像を保存する。即ち、動画像記憶制御部５６は、リングバッファ７１に記憶されるフレームを動画像として保存するように動画像記憶部７２を制御する。

ステップＳ８において、ユーザによる入力部１７への終了ボタンの操作があったか否かを検出する。
終了ボタンの操作がない場合には、ステップＳ８においてＮＯと判断されて、処理はステップＳ１に戻る。その後、ステップＳ１以降の処理が実行される。即ち、終了ボタンの操作がなされるまで、進入検出からスイングの撮影、そして動画像の保存が繰り返されることになる。
これに対して、終了ボタンの操作があった場合には、ステップＳ８においてＹＥＳと判断されて、スイング動画像撮影処理は終了する。

以上、スイング動画像撮影処理の流れについて説明した。
次に、スイング動画像撮影処理のうち、進入検出処理の詳細な流れについて説明する。

図１３は、図４の機能構成を有する撮像装置１が実行するスイング動画像撮影処理のうち、進入検出処理の詳細な流れを説明するフローチャートである。

進入検出処理は、ユーザによる入力部１７への進入検出処理の開始を指示する所定の操作を契機に開始される。

ステップＳ３１において、領域枠設定部５１１は、撮影領域における所定の領域に、領域枠を設定する。例えば、領域枠は、図７（ａ）に示すように、撮影領域においてボールが置かれると予想される領域である。

ステップＳ３２において、進入検出処理部５１は、フレームをインクリメントする。即ち、進入検出処理部５１は、フレームの更新処理を行う。

ステップＳ３３において、進入評価画像生成部５１２は、進入検出用評価画像を生成する。詳細には、進入評価画像生成部５１２は、元画像から生成したエッジ画像の複数を時間方向で平滑化した１次微分のエッジ画像を進入検出用評価画像として生成する。

ステップＳ３４において、進入閾値設定部５１３は、進入検出用閾値の設定が完了しているか否かを判断する。
進入検出用閾値の設定が完了している場合には、ステップＳ３４においてＹＥＳと判断されて、処理はステップＳ３６に進む。ステップＳ３６以降の処理は後述する。

進入検出用閾値の設定が完了していない場合には、ステップＳ３４においてＮＯと判断されて、処理はステップＳ３５に進む。

ステップＳ３５において、進入閾値設定部５１３は、数フレーム間のピクセル単位での変動に基づいて、領域枠内の全てのピクセルに対して進入検出用閾値の設定をする。

ステップＳ３６において、進入判定部５１４は、進入判定をする。即ち、進入判定部５１４は、判定の対象となるフレームが進入閾値設定部５１３により決定された進入検出用閾値を超えているか否かを判定する。進入判定部５１４は、フレームが進入検出用閾値を超えている場合には、進入があったと判定して、進入検出用閾値を超えていない場合には、進入がないと判定する。詳細には、進入の判定は、フレームの各画素の所定数が画素毎に決定された閾値を超えているか否かをもって行う。

進入がない場合には、ステップＳ３６においてＮＯと判定され、処理はステップＳ３２に戻る。その後、ステップＳ３２以降の処理が行われる。

これに対して、進入があった場合には、ステップＳ３６においてＹＥＳと判定され、処理はステップＳ３７に進む。

ステップＳ３７において、第１テンプレート画像生成部５１５は、第１のインパクト検出用テンプレート画像を情報記憶部９１に保存をさせる。進入が検出された画像を第１のインパクト検出用テンプレート画像とすることで、ロバスト性を向上させることができる。
その後、進出検出処理は終了する。

以上、スイング動画像撮影処理のうち、進入検出処理の詳細な流れについて説明した。
次に、スイング動画像撮影処理のうち、ボール位置特定処理の詳細な流れについて説明する。

図１４は、図６の機能構成を有する撮像装置１が実行するスイング動画像撮影処理のうち、ボール位置特定処理の詳細な流れを説明するフローチャートである。

ボール位置特定処理は、ユーザによる入力部１７へのボール位置特定処理の開始を指示する所定の操作を契機に開始される。

ステップＳ５１において、ボール閾値設定部５３１は、進入検出前の数フレーム間のピクセル単位での変動に基づいて、領域枠内の全てのピクセルに対してボール検出用閾値を設定する。

ステップＳ５２において、ボール位置特定処理部５３は、フレームインクリメントをする。即ち、ボール位置特定処理部５３は、フレームの更新処理を行う。

ステップＳ５３において、ボール評価画像生成部５３２は、ボール検出用評価画像を生成する。詳細には、ボール評価画像生成部５３２は、元画像から生成したエッジ画像の複数を時間方向で平滑化した１次微分のエッジ画像をボール検出用評価画像として生成する。

ステップＳ５４において、静止評価値算出部５３３は、静止評価値を算出する。詳細には、静止評価値算出部５３３は、ボール検出用評価画像の各ピクセルがボール検出用閾値以上のとなるピクセルをカウントし、静止評価値を算出する。

ステップＳ５５において、ボール位置分散算出部５３４は、分散評価値を算出する。詳細には、ボール位置分散算出部５３４は、ボール検出用閾値以上となるピクセルの座標値の平均座標値を算出し、算出した平均座標値を中心とする局所領域での分散評価値を算出する。

ステップＳ５６において、ボール判定部５３５は、ボールのみがあるか否かを判定する。即ち、ボール判定部５３５は、静止評価値に基づいて、領域内が静止状態であるかを判定して、さらに、分散評価値が一定の範囲内に納まっておりボールのみがある状態であるかを判定する。

ボールがない、又はボール以外もある場合には、ステップＳ５６においてＮＯと判定されて、処理はステップＳ５１に戻る。その後、ステップＳ５１以降の処理が行われる。

これに対して、ボールのみがある場合には、ステップＳ５６においてＹＥＳと判定されて、処理はステップＳ５７に進む。

ステップＳ５７において、ボール判定部５３５は、ボールのみが置かれた状態であるかを所定時間さらに判定する状態継続判定をする。

所定時間ボールのみが置かれた状態でない場合には、ステップＳ５７においてＮＯと判定されて、処理はステップＳ５１に戻る。その後、ステップＳ５１以降の処理が行われる。

これに対して、所定時間ボールのみが置かれた状態である場合には、ステップＳ５７においてＹＥＳと判定されて、処理はステップＳ５８に進む。

ステップＳ５８において、ボール位置特定部５３６は、ボール位置を特定する。即ち、ボール位置特定部５３６は、局所領域内で算出した平均座標に基づいて、ボール座標を算出し、当該ボール座標をボール位置として特定する。

ステップＳ５９において、ボール位置特定部５３６は、ボール位置の反映を行う。即ち、ボール位置特定部５３６は、ボール位置情報の更新表示をする。即ち、ボール位置特定部５３６は、情報記憶部９１に記憶されるボール位置情報を更新すると共に、出力部１８に対してボールの位置を模式的に表示するようにライブビュー画像に重畳表示させる。その後、ボール位置特定処理は終了する。
具体的には、図７（ｂ）に示すように、出力部１８の領域枠Ｒ内のライブビュー画像に表示されるボールＢにマークＭが重畳表示される。

以上、スイング動画像撮影処理のうち、ボール位置特定処理の詳細な流れについて説明した。
次に、スイング動画像撮影処理のうち、インパクト検出処理の詳細な流れについて説明する。

図１５は、図８の機能構成を有する撮像装置１が実行するスイング動画像撮影処理のうち、インパクト検出処理の詳細な流れを説明するフローチャートである。

インパクト検出処理は、ユーザによる入力部１７へのインパクト検出処理の開始を指示する所定の操作を契機に開始される。

ステップＳ７１において、第２テンプレート画像生成部５４１は、第２のインパクト検出用テンプレート画像を情報記憶部９１に保存をする。

ステップＳ７２において、インパクト閾値設定部５４２は、第１のインパクト検出用テンプレート画像と、第２のインパクト検出用テンプレート画像に基づいて、インパクト検出用閾値を設定する。

ステップＳ７３において、インパクト検出処理部５４は、フレームインクリメントをする。即ち、インパクト検出処理部５４は、フレームの更新処理を行う。

ステップＳ７４において、インパクト評価画像生成部５４３は、インパクト検出用評価画像（フレーム間差分画像及びテンプレート差分画像）を生成する。

ステップＳ７５において、インパクト評価値算出部５４４は、インパクト評価値（フレーム間差分評価値及びテンプレート差分評価値）を算出する。

ステップＳ７６において、インパクト候補判定部５４５は、インパクトの候補があったか否かの判定をする（インパクト候補判定）。即ち、インパクト候補判定部５４５は、フレーム間差分評価値と、テンプレート差分評価値とが共に、インパクト検出用閾値以上か否かを判定する。ここでは、インパクトの瞬間が判定される。
具体的には、図９の例に示すように、フレーム数：１６５０付近が第１インパクトありとして判定されることとなる。また、異なる変動を示す図１０の例においては、フレーム数：１１００付近，１３００付近，１５００付近が第１インパクトありとして判定される。

インパクトがない場合には、ステップＳ７６においてＮＯと判定されて、処理はステップＳ７３に戻る。その後、ステップＳ７３以降の処理が行われる。

これに対して、インパクトがあった場合には、ステップＳ７６においてＹＥＳと判定されて、処理はステップＳ７７に進む。

ステップＳ７７において、インパクト判定部５４６は、インパクト候補が実際のインパクトであるか否かを判定する（インパクト判定）。即ち、インパクト判定部５４６は、フレーム間差分評価値がインパクト検出用閾値以下であり、かつ、テンプレート差分評価値がインパクト検出用閾値以上であって、インパクト検出用閾値以上の状態が一定期間継続するか否かを判定する。ここでは、インパクト後の状態（定常状態）が判定される。
具体的には、図９の例では、１６５０付近以降がインパクトであるとして判定されることとなる。また、異なる変動を示す図１０の例においては、１５００付近以降がインパクトであると判定される。
従って、最終的に検出されるインパクトとしては、図９の例では、インパクト候補判定及びインパクト判定で実際のインパクトであると判定された１６５０付近と、図１０の例では、１５００付近となる。

インパクトがない場合には、ステップＳ７７においてＮＯと判定されて、処理はステップＳ７３に戻る。その後、ステップＳ７３以降の処理が行われる。

これに対して、さらにインパクトがあった場合には、ステップＳ７７においてＹＥＳと判定されて、処理はステップＳ７８に進む。

ステップＳ７８において、終了フレーム確定部５４７は、検出されたインパクトから所定フレーム（時間）経過後のフレームを終了フレームとして確定する。その後、インパクト検出処理は終了する。

以上、スイング動画像撮影処理のうち、インパクト検出処理の詳細な流れについて説明した。
次に、スイング動画像撮影処理のうち、アドレス検出処理の詳細な流れについて説明する。

図１６は、図１１の機能構成を有する撮像装置１が実行するスイング動画像撮影処理のうち、アドレス検出処理の詳細な流れを説明するフローチャートである。

アドレス検出処理は、ユーザによる入力部１７へのアドレス検出処理の開始を指示する所定の操作を契機に開始される。

ステップＳ９１において、インパクト前フレーム取得部５５１は、リングバッファ７１から、インパクト検出されたフレーム以前のフレームを取得する。

ステップＳ９２において、基準領域設定部５５２は、インパクト前フレーム取得部５５１により取得されたフレーム内において、スイング対象者（被写体）を含む所定の大きさの基準領域を設定する。

ステップＳ９３において、アドレス判定部５５３は、アドレスがあったか否かの判定を行う。即ち、アドレス判定部５５３は、アドレス検出識別器９２を用いて、インパクト以前のフレームの中から、基準領域における特徴量が最も高いフレームをアドレス時のフレームとして判定する。

アドレスがない場合には、ステップＳ９３においてＮＯと判定され、アドレスがあるまで各フレームに対して判定を行う。

これに対して、アドレスがあった場合には、ステップＳ９３においてＹＥＳと判定され、アドレス検出処理は終了する。

次に、上述したアドレス検出の手法とは異なる他の手法について説明する。
アドレスは、例えば、アドレスの状態を撮影した画像とのマッチングを行うことで検出することが可能である。しかしながら、アドレスは、インパクトとスイング対象者の姿勢が酷似していたり、アドレスに至までの間に複数回アドレスの形をとったり等の事情があり、単なる画像のマッチングだけでは誤検出の可能性が高い。
そこで、本例では、単に一致率が最も高い画像を選択する等のマッチングではなく、ゴルフのスイングの特性を考慮した検出精度の高いアドレス検出の手法について説明する。
また、アドレス検出では、記憶部１９等に予め記憶される識別器を用いる。アドレス検出では、識別器を用いて、アドレスの姿勢の画像とのマッチングの度合いを数値化した識別スコアにより算出する。

本アドレス検出においては、まず、動画像から、種々の手法によりインパクトのフレームを特定する。なお、インパクト検出については、ボールの位置変化の検出等を利用した既存のインパクト検出技術を用いる。

アドレス検出においては、インパクト検出により動画像の中からインパクトを含む所定のフレーム画像が特定されると、特定されたインパクトを含む所定のフレームより前に撮像された各フレームに対して、識別器を適用して、識別スコアを記録する。

アドレス検出においては、検出されたインパクトのフレーム以前のフレームの中から該当するアドレスのフレームが特定される。ゴルフのスイングにおいては、アドレスから一連の動作であるスイングが開始されて、途中インパクトに到るというスイング動作の順番の特性があるからである。

アドレスのフレームは、まず、大まかにアドレスのフレームを含む所定期間のフレーム群が特定され、その後、アドレスのフレームを含む所定期間のフレーム群の中から、該当するフレームを特定することで検出される。

アドレスのフレームを含む所定期間のフレーム群は、識別スコアが一定の閾値以上で安定して変動している期間で特定される。
ゴルフのスイングにおいては、アドレス付近の動作では、アドレスに到る動作からアドレス、その後アドレス以降の動作に移行するのに所定期間があり、この期間はアドレスに似た姿勢となるからである。
また、識別スコアが一定の閾値以上で安定して変動している期間が複数ある場合には、インパクトを含むフレームに時間的に最も近かった期間に属するフレームをアドレスのフレームを含む所定期間のフレーム群とする。これは、インパクトを含むフレームに最も近いフレーム群がアドレスを特定する要素となるのは、ゴルフのスイングがアドレスからインパクトまでの一連の動作であるという理由からである。

アドレス検出においては、その後に、上述したように特定されたフレーム群のうち、識別スコアの変化が最も大きく、識別スコアの傾きが急激に変化するフレームを、アドレスに該当するフレームとして特定する。なお、本実施形態において、識別スコアの変化は、フレーム群における識別スコアの２回微分値から割り出す。

図１７は、インパクトを含むフレーム以前のフレームの識別スコアの変遷の一例を示すグラフである。
なお、グラフにおいては、縦軸が識別スコアの値を示し、横軸が時間を示す。また、太線は識別器の出力値である識別スコアを示し、細線はローパスフィルタ処理を施した識別スコアを示し、破線は所定区間における２回微分値を示している。

識別スコアは、図１７の例に示すように、インパクトの周辺のフレーム及びアドレスを含むアドレス近辺のフレームが高い値を示すことがわかる。インパクトは、別途他の手法で検出されているため、インパクト付近のフレームがアドレスのフレームとして検出されることはない。

実験等から経験的に導き出される所定の閾値（Ｔｈ）を上回る期間が所定時間（所定のフレーム数）を超えて安定して変動するフレーム群は、変動が少ない期間に含まれて、結果として、アドレスのフレームを含む所定期間のフレーム群となることがわかる。

そして、アドレスのフレームを含む所定期間のフレーム群のうち、期間Ｔに属するフレームから求められる２回微分値の最大値（２回微分値ＭＡＸ）となるフレームは、アドレスのフレームとなる。
したがって、本アドレス検出の手法においては、ゴルフのスイングの特性が考慮され、高い精度でアドレスのフレームの検出することができる。

次に、フィニッシュ検出の他の手法について説明する。フィニッシュについては、インパクトのフレームから所定の時間経過後のフレームをフィニッシュのフレームとしたが、これに限られずに、他の手法で検出することができる。
なお、フィニッシュの検出についても、アドレスの検出と同様に、検出用に特化した識別器を用いて処理が行われる。また、インパクトの検出についても、アドレスの検出と同様に、既存のインパクト検出技術を用いる。

フィニッシュ検出は、まず、インパクト検出したフレーム以降のフレームについて、識別器によりフレームの識別スコアを導き出し、導き出した識別スコアに対してローパスフィルタでノイズ低減を目的として処理した識別スコア（以下、「ノイズ低減後の識別スコア」という）を導き出して、それぞれ記録する。
検出したインパクト以降のフレームを検出対象とするのは、フィニッシュがインパクトの後の動作だからである。

フィニッシュ検出は、導き出された識別スコア及びノイズ低減後の識別スコアを用いて行われる。まず、フィニッシュの検出は、識別スコアが第１の閾値を超えた状態を一定期間継続しており、その後、第１の閾値よりも高い第２の閾値と第１の閾値の間に位置する期間を一定期間継続している期間に属するフレーム群を特定することにより行う。これにより、フィニッシュの検出においては、フィニッシュにより近似した姿勢が維持されて、かつ、フィニッシュが解除されるまでの期間を特定することができる。

また、フィニッシュ検出は、特定されたフレーム群のうち、インパクトが検出されたフレームから最も近いフレーム群を特定することにより行う。この期間のフレーム群は、フィニッシュのフレームが含まれるフレーム群となる。
ゴルフのスイングにおいては、例えば、個人の癖等でフィニッシュ後に何度かフィニッシュの姿勢を擬似的に取るようなことがあり、インパクトが検出されたフレームから最も近いフレーム群をフィニッシュが含まれるフレーム群とすることで、当該場面を排除して、スイング動作の終点であるフィニッシュを特定する。
そして、フィニッシュのフレームは、特定した期間に属するフレームのうち、ノイズ低減後の識別スコアが最も高い値を示すフレームから特定される。その結果、ノイズのない最もフィニッシュのスイングに近いフレームが特定される。

図１８は、インパクトを含むフレーム以降のフレームの識別スコアの変遷の一例を示すグラフである。
なお、グラフにおいては、縦軸が識別スコアの値を示し、横軸が時間を示す。また、太線は識別器の出力値である識別スコアを示し、細線はノイズ低減後の識別スコアを示している。

識別スコアは、図１８の例に示すように、インパクト以降、徐々にフィニッシュの動作に近づくにつれて、高くなることがわかる。そして、識別スコアは、一定期間高い値を示した後に、急激に低下する。一定期間高い値を示した後に、識別スコアが急激に低下するのは、フィニッシュ後にスイング動作を止めるからである。

実験等から経験的に導き出される所定の閾値（Ｔｈ＿Ａ）を上回る期間が所定時間（所定のフレーム数）を超えて、その後、閾値（Ｔｈ＿Ａ）と実験等から経験的に導き出される所定の閾値（Ｔｈ＿Ｂ）の間の一定期間（フィニッシュ判定期間）がフィニッシュを含むフレーム群となることがわかる。

そして、フィニッシュのフレームを含む所定期間のフレーム群のうち、最も高い値（ピーク）を示すノイズ低減後の識別スコアとなるフレームは、フィニッシュのフレームとなる。
したがって、本フィニッシュ検出の手法においては、ゴルフのスイングの特性が考慮され、高い精度でフィニッシュのフレームを検出することができる。
なお、上述したアドレス検出及びフィニッシュ検出に係る処理は、抽出時点特定部５５により実行させるように構成することができる。

以上のような撮像装置１によれば、ＣＰＵ１１と、撮像部１６と、インパクト検出処理部５４と、抽出時点特定部５５と、動画像記憶制御部５６と、を備える。
ＣＰＵ１１は、撮像部１６によって撮影された動画像を取得する。
インパクト検出処理部５４は、ＣＰＵ１１により取得された動画像中の所定の時点を特定する。
抽出時点特定部５５は、インパクト検出処理部５４により特定された抽出の時点に基づいて、動画像中における抽出の開始時点、及び／又は、抽出の終了時点を特定する。
動画像記憶制御部５６は、抽出時点特定部５５により特定された抽出の開始時点、及び／又は、終了時点に基づいて、動画像から所定の期間の動画像を抽出する。
これより、撮像装置１では、抽出時点特定部５５により特定された開始時点又は終了時点に基づいて、動画像から所定の期間の動画像を抽出するために、ユーザが所望の期間の動画像を抽出することができるようになる。

また、インパクト検出処理部５４は、動画像中のフレーム間の差分値、及び／又は、テンプレートマッチングによる差分値により所定の時点を特定する。
これにより、撮像装置１では、所定の時点の特定の精度を高めることができる。

また、インパクト検出処理部５４は、テンプレートマッチングの差分値が所定の閾値以上か否かを判定するインパクト候補判定部５４５と、インパクト候補判定部５４５により所定の閾値以上と判定された閾値に対応するフレームの継続状態を判定するインパクト判定部５４６と、を更に含み、インパクト判定部５４６による判定結果に基づいて、所定の時点を特定する。
これにより、撮像装置１では、所定の時点の特定の精度を高めることができる。

また、抽出時点特定部５５は、動画像の各フレームに対するテンプレートマッチングによる値を算出する。
また、抽出時点特定部５５は、インパクト評価値算出部５４４により算出された値に基づいて、開始時点、及び／又は、終了時点を特定する。
これにより、撮像装置１では、動画像の各フレームに対するテンプレートマッチングによる値を基準とした開始時点と終了時点を行うことができるために、精度の高い開始時点と終了時点の特定を行うことができる。

また、抽出時点特定部５５は、更に、テンプレートマッチングによる値の変位を算出する。
また、抽出時点特定部５５は、所定の時点より以前にインパクト評価値算出部５４４により算出された変位が最大となる時点を開始時点、及び／又は、終了時点として特定する。
これにより、撮像装置１では、テンプレートマッチングによる値の変位を基準とした開始時点と終了時点を行うことができるために、精度の高い開始時点と終了時点の特定を行うことができる。

また、抽出時点特定部５５は、所定の時点より以後にテンプレートマッチングによる値が所定の閾値以上となる所定の期間から、当該テンプレートマッチングの値が最大となる時点を開始時点、及び／又は、終了時点として特定する。
これにより、撮像装置１では、テンプレートマッチングの値が最大となる時点を基準とした開始時点と終了時点を行うことができるために、精度の高い開始時点と終了時点の特定を行うことができる。

また、撮像装置１は、抽出の時点に対応するテンプレートマッチング用の画像データを記憶するリングバッファ７１を更に備える。
抽出時点特定部５５は、リングバッファ７１に記憶された画像データに基づいて、所定の期間における当該動画像の抽出の開始時点、及び／又は、抽出の終了時点を抽出の時点として特定する。
これにより、撮像装置１では、所定の時点の特定の精度を高めることができる。

また、抽出時点特定部５５は、所定の時点以前のフレームから動画像の抽出の開始時点を特定し、所定の時点以降のフレームから抽出の終了時点を特定する。
これにより、撮像装置１では、所定の時点を基準とした開始時点と終了時点を行うことができるために、精度の高い開始時点と終了時点の特定を行うことができる。

また、動画像は、ゴルフのスイングを行うスイング対象者の動作の動画像である。
インパクト検出処理部５４は、所定の時点としてインパクトの時点を特定する。
抽出時点特定部５５は、開始時点としてアドレスの時点と終了時点としてフィニッシュの時点を特定する。
これにより、撮像装置１では、ゴルフのスイングにおいて、アドレスを開始時点としフィニッシュを終了時点とする動画像を抽出することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、スイング動画像撮影処理においては、スイング対象者であるユーザが撮像装置１側のタイミングを意識することなく自らのタイミングでスイングを行うことができるように、リングバッファ７１へのフレームの一時記憶を行うように構成した。
スイングにおいては、インパクト前に必ずクラブの振り上げの動作があるので、領域枠内にボールだけが置かれている状況が存在する。したがって、スイングの開始前からボール検出を完了しておく必要はない。この場合においては、リングバッファ７１への記憶は、進入検出後にする必要がある。
しかしながら、上述した実施形態に限られず、ボールの検出と位置特定の精度を高めるために、スイングの開始前にボール検出をするように構成してもよい。しかしながら、この場合には、例えば、クラブが領域枠内に入らないように動作をしてもらう等の領域枠内にボールのみが置かれている状態を作らなければならない。
上述の実施形態と、本例との比較でいうと、確実性（ボールの検出率）の観点では、本例の方を用いるのが効果的であり、ユーザビリティ（ゴルフの連動作性）の観点では、上述の実施形態の方を用いるのが効果的である。

また、上述した実施形態では、特定の手法でインパクト検出を行い、インパクト検出の結果を用いて、アドレス検出を行っていたがこれに限られない。インパクト検出及びアドレス検出は種々の手法を用いてもよく、種々の手法を用いてアドレス検出のみを用いるようにしてもよい。

また、上述した実施形態では、動画像の開始時点としてスイングの始期であるアドレスと、終了時点としてスイングの終期のフィニッシュとにそれぞれ対応する開始時点と終了時点の２つの間を保存するようにしたが、開始時点のみであったり、終了時点のみであったりしてもよい。また、所定の時点を動画像の時間軸の中心とするように構成してもよい。この場合、所定の時点から、所定時間又は所定フレーム前を開始時点とし、所定の時点から、所定時間又は所定フレーム後を終了時点とする。
また、フィニッシュのフレームの検出に際して、インパクトのフレームから所定の時間経過後のフレームをフィニッシュのフレームとして検出する場合や所定の閾値を用いてフィニッシュのフレームを検出する場合を記載したが、フィニッシュのフレームの判定方法はこれに限られない。
例えば、アドレスの検出と同様に、フィニッシュのフレームを検出するための識別器の検出用情報を用いて、フィニッシュのフレームを検出するようにしても良い。
また、逆に、アドレスの検出に際して、インパクトのフレームから所定の時間前のフレームや所定の閾値以上を有するフレームをアドレスのフレームとして検出するようにしても良い。
また、上述の実施形態では、テンプレートによるテンプレート差分評価値と、識別器による識別スコアとを別々の概念のように説明したが、テンプレートの概念と識別器の概念とは実質的に同一なので、各インパクト、フィニッシュ、アドレスの検出の手法は上述したどの手法を適用しても良い。

また、上述した実施形態では、動画像の容量削減及び検索性の向上のためにスイングの始期であるアドレスを検出するように構成したがこれに限られない。スイングの特定の姿勢以降を動画像として保存したり、特定の姿勢や状態から特定の姿勢や状態までを動画像として保存したりするように構成してもよい。

また、上述した実施形態では、ゴルフのスイングを例として説明したがこれに限られない。ゴルフ以外の他のスポーツに限らず、特定の動作や状態を検出して、所定の動作や状態の間だけ動画像を保存するように構成することもできる。

また、上述した実施形態では、ハイスピードカメラを例としたがこれに限られず、動画像を撮影可能な通常のデジタルカメラであってもよい。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、スイング動画像撮影機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、スマートフォン、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ１２や、図２の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
動画像を取得する取得手段と、
前記取得手段により取得された動画像中の所定の時点を特定する第１の特定手段と、
前記第１の特定手段により特定された所定の時点に基づいて、前記動画像中における抽出の開始時点、及び／又は、抽出の終了時点を特定する第２の特定手段と、
前記第２の特定手段により特定された抽出の時点に基づいて、前記動画像から所定の期間の動画像を抽出する抽出手段と、
を備えたことを特徴とする動画像抽出装置。
［付記２］
前記第１の特定手段は、動画像中のフレーム間の差分値、及び／又は、テンプレートマッチングによる差分値により所定の時点を特定すること、
を特徴とする付記１に記載の動画像抽出装置。
［付記３］
前記第１の特定手段は、
前記テンプレートマッチングによる差分値が所定の閾値以上か否かを判定する閾値判定手段と、
前記閾値判定手段により所定の閾値以上と判定された差分値に対応する各フレームの継続状態を判定する状態判定手段と、
を更に含み、
前記状態判定手段による判定結果に基づいて、前記所定の時点を特定すること、
を特徴とする付記２に記載の動画像抽出装置。
［付記４］
前記第２の特定手段は、前記動画像の各フレームに対する前記テンプレートマッチングによる値を算出し、前記算出された値に基づいて、前記開始時点、及び／又は、前記終了時点を特定することを特徴とする付記２又は３に記載の動画像抽出装置。
［付記５］
前記第２の特定手段は、更に、前記テンプレートマッチングによる値の変位を算出し、
前記所定の時点より以前に算出された変位が最大となる時点を前記開始時点、及び／又は、前記終了時点として特定することを特徴とする付記４に記載の動画像抽出装置。
［付記６］
前記第２の特定手段は、前記所定の時点より以後に前記テンプレートマッチングによる値が所定の閾値以上となる所定の期間から、当該テンプレートマッチングの値が最大となる時点を前記開始時点、及び／又は、前記終了時点として特定することを特徴とする付記４又は５に記載の動画像抽出装置。
［付記７］
前記抽出の開始時点、及び／又は、前記抽出の終了時点に対応する前記テンプレートマッチング用の画像データを記憶する記憶手段を更に備え、
前記第２の特定手段は、前記記憶手段に記憶された画像データに基づいて、前記所定の期間における当該動画像の抽出の開始時点、及び／又は、抽出の終了の時点を特定することを特徴とする付記１から６の何れか１つに記載の動画像抽出装置。
［付記８］
前記第２の特定手段は、所定の時点以前のフレームから前記開始時点を特定し、所定の時点以降のフレームから終了時点を特定すること、
を特徴とする付記１から７の何れか１つに記載の動画像抽出装置。
［付記９］
前記動画像は、ゴルフのスイングを行うスイング対象者の動作の動画像であり、
前記第１の特定手段は、前記所定の時点としてインパクトの時点を特定し、
前記第２の特定手段は、前記開始時点としてアドレスの時点と前記終了時点としてフィニッシュの時点を特定すること、
を特徴とする付記１から８の何れか１つに記載の動画像抽出装置。
［付記１０］
動画像抽出装置による動画像抽出方法であって、
動画像を取得する取得ステップと、
前記取得ステップにより取得された動画像中の所定の時点を特定する第１の特定ステップと、
前記第１の特定ステップにより特定された所定の時点に基づいて、前記動画像中における抽出の開始時点、及び／又は、抽出の終了時点を特定する第２の特定ステップと、
前記第２の特定ステップにより特定された抽出の時点に基づいて、前記動画像から所定の期間の動画像を抽出する抽出ステップと、
を含むことを特徴とする動画像抽出方法。
［付記１１］
コンピュータを、
動画像を取得する取得手段、
前記取得手段により取得された動画像中の所定の時点を特定する第１の特定手段、
前記第１の特定手段により特定された所定の時点に基づいて、前記動画像中における抽出の開始時点、及び／又は、抽出の終了時点を特定する第２の特定手段、
前記第２の特定手段により特定された抽出の時点に基づいて、前記動画像から所定の期間の動画像を抽出する抽出手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・進入検出処理部，５２・・・バッファ記憶制御部，５３・・・ボール位置特定処理部，５４・・・インパクト検出処理部，５５・・・抽出時点特定部，５６・・・動画像記憶制御部，７１・・・リングバッファ，９１・・・情報記憶部，９２・・・アドレス検出識別器，９２・・・動画像記憶部，５１１・・・領域枠設定部，５１２・・・進入評価画像生成部，５１３・・・進入判定部，５１４・・・進入閾値設定部，５１５・・・第１テンプレート画像生成部，５３１・・・ボール閾値設定部，５３２・・・ボール評価画像生成部，５３３・・・静止評価値算出部，５３４・・・ボール位置分散算出部，５３５・・・ボール判定部，５３６・・・ボール位置特定部，５４１・・・第２テンプレート画像生成部，５４２・・・インパクト閾値設定部，５４３・・・インパクト評価画像生成部，５４４・・・インパクト評価値算出部，５４５・・・インパクト候補判定部，５２６・・・インパクト候補判定部，５２７・・・最終フレーム確定部，５５１・・・インパクト前フレーム取得部，５５２・・・基準領域設定部，５５３・・・アドレス判定部

Claims (11)

1. 動画像を取得する取得手段と、
   前記取得手段により取得された動画像中の所定の時点を特定する第１の特定手段と、
   前記第１の特定手段により特定された所定の時点に基づいて、前記動画像中における抽出の開始時点、及び／又は、抽出の終了時点を特定する第２の特定手段と、
   前記第２の特定手段により特定された抽出の時点に基づいて、前記動画像から所定の期間の動画像を抽出する抽出手段と、
   を備えたことを特徴とする動画像抽出装置。
2. 前記第１の特定手段は、動画像中のフレーム間の差分値、及び／又は、テンプレートマッチングによる差分値により所定の時点を特定すること、
   を特徴とする請求項１に記載の動画像抽出装置。
3. 前記第１の特定手段は、
   前記テンプレートマッチングによる差分値が所定の閾値以上か否かを判定する閾値判定手段と、
   前記閾値判定手段により所定の閾値以上と判定された差分値に対応する各フレームの継続状態を判定する状態判定手段と、
   を更に含み、
   前記状態判定手段による判定結果に基づいて、前記所定の時点を特定すること、
   を特徴とする請求項２に記載の動画像抽出装置。
4. 前記第２の特定手段は、前記動画像の各フレームに対する前記テンプレートマッチングによる値を算出し、前記算出された値に基づいて、前記開始時点、及び／又は、前記終了時点を特定することを特徴とする請求項２又は３に記載の動画像抽出装置。
5. 前記第２の特定手段は、更に、前記テンプレートマッチングによる値の変位を算出し、
   前記所定の時点より以前に算出された変位が最大となる時点を前記開始時点、及び／又は、前記終了時点として特定することを特徴とする請求項４に記載の動画像抽出装置。
6. 前記第２の特定手段は、前記所定の時点より以後に前記テンプレートマッチングによる値が所定の閾値以上となる所定の期間から、当該テンプレートマッチングの値が最大となる時点を前記開始時点、及び／又は、前記終了時点として特定することを特徴とする請求項４又は５に記載の動画像抽出装置。
7. 前記抽出の開始時点、及び／又は、前記抽出の終了時点に対応する前記テンプレートマッチング用の画像データを記憶する記憶手段を更に備え、
   前記第２の特定手段は、前記記憶手段に記憶された画像データに基づいて、前記所定の期間における当該動画像の抽出の開始時点、及び／又は、抽出の終了の時点を特定することを特徴とする請求項１から６の何れか１項に記載の動画像抽出装置。
8. 前記第２の特定手段は、所定の時点以前のフレームから前記開始時点を特定し、所定の時点以降のフレームから終了時点を特定すること、
   を特徴とする請求項１から７の何れか１項に記載の動画像抽出装置。
9. 前記動画像は、ゴルフのスイングを行うスイング対象者の動作の動画像であり、
   前記第１の特定手段は、前記所定の時点としてインパクトの時点を特定し、
   前記第２の特定手段は、前記開始時点としてアドレスの時点と前記終了時点としてフィニッシュの時点を特定すること、
   を特徴とする請求項１から８の何れか１項に記載の動画像抽出装置。
10. 動画像抽出装置による動画像抽出方法であって、
    動画像を取得する取得ステップと、
    前記取得ステップにより取得された動画像中の所定の時点を特定する第１の特定ステップと、
    前記第１の特定ステップにより特定された所定の時点に基づいて、前記動画像中における抽出の開始時点、及び／又は、抽出の終了時点を特定する第２の特定ステップと、
    前記第２の特定ステップにより特定された抽出の時点に基づいて、前記動画像から所定の期間の動画像を抽出する抽出ステップと、
    を含むことを特徴とする動画像抽出方法。
11. コンピュータを、
    動画像を取得する取得手段、
    前記取得手段により取得された動画像中の所定の時点を特定する第１の特定手段、
    前記第１の特定手段により特定された所定の時点に基づいて、前記動画像中における抽出の開始時点、及び／又は、抽出の終了時点を特定する第２の特定手段、
    前記第２の特定手段により特定された抽出の時点に基づいて、前記動画像から所定の期間の動画像を抽出する抽出手段、
    として機能させることを特徴とするプログラム。

Images