JP2016126509A - 報知制御装置、報知制御方法及びプログラム - Google Patents

Abstract

【課題】ユーザが自身の動作に関する基準についての評価を知ることができること。
【解決手段】撮像装置１は、補助線設定処理部５１と、スイング判定部５４と、報知制御部５５と、を備える。補助線設定処理部５１は、物体の一連の動作が撮像された複数の画像データを取得する。スイング判定部５４は、補助線設定処理部５１により取得された複数の画像データ中の物体の位置を算出する。スイング判定部５４は、算出手段により算出された位置と、物体の動作を評価するための基準点の位置との位置関係を判定する。報知制御部５５は、スイング判定部５４による判定結果に応じた物体の動作の評価に関する報知処理を行う。
【選択図】図４

Description

本発明は、報知制御装置、報知制御方法及びプログラムに関する。

従来、ユーザのゴルフスイングのヘッドスピードのデータを別のヘッドスピードのデータと比較してアドバイス情報を表示する技術が知られている（特許文献１参照）。

特開２０１４−３３９４１号公報

上記特許文献１の技術は、一方のスイングを基準とした他方のスイングの評価を知るための技術のため、ユーザが自身の動作に関する基準についての評価を知りたい場合には対応できない虞があった。

本発明は、上記のような問題に鑑みてなされたものであり、ユーザが自身の動作に関する基準についての評価を知ることができることを目的とする。

上記目的を達成するため、本発明の一態様の報知制御装置は、
物体の一連の動作が撮像された複数の画像データを取得する取得手段と、
前記取得手段により取得された複数の画像データ中の物体の位置を算出する算出手段と、
前記算出手段により算出された位置と、前記物体の動作を評価するための基準点の位置との位置関係を判定する判定手段と、
前記判定手段による判定結果に応じた前記物体の動作の評価に関する報知処理を行う報知制御手段と、
を備えたことを特徴とする。

本発明によれば、ユーザが自身の動作に関する基準についての評価を知ることができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 本実施形態における補助線の設定手法を説明するための模式図である。 本実施形態におけるスイングの評価手法を説明するための模式図である。 図１の撮像装置の機能的構成のうち、スイング評価結果報知処理を実行するための機能的構成を示す機能ブロック図である。 図４の機能的構成を有する図１の撮像装置が実行するスイング評価結果報知処理の流れを説明するフローチャートである。 評価結果報知処理のうち、補助線設定処理の流れを説明するフローチャートである。 評価結果報知処理のうち、スイングポイント検出処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

このように構成される撮像装置１においては、ゴルフのスイングを撮影した動画像において、スイングの評価を行うための補助線を自動的に設定することができる機能を有する。

ここで、補助線の設定について説明する。
本実施形態において設定される補助線は、アドレス時のクラブヘッドの位置からスイングを行っている者（以下、単に「被写体」という。）の肩へ向かって設定されるシャフトラインとなる第１補助線Ｌ１と、腰に向かって設定されるスイングプレーンとなる第２補助線Ｌ２とで構成される。

図２は、本実施形態における補助線の設定手法を説明するための模式図である。なお、本実施形態においては、被写体を後方から撮影して、後方からのスイングに対して、補助線の設定やスイングの評価を行う。補助線を設定する動画像には、図２（ａ）に示すように、出力部１８のライブビュー画面に表示される人型グリッドＨＧ（本実施形態においては、人型グリッドＨＧの足から腰までの部分）に被写体が一致するようにして撮影されたものが用いられる。

補助線の設定は、まず、図２（ｂ）に示す動画像に対して、図２（ｃ）に示すように動きの変化を判定するために領域ＧＲ（本実施形態においては、格子状のグリッド領域ＧＲ）に分割する。

その後、図２（ｄ）〜（ｆ）に示すように動画像のコマを進めて再生して、図２（ｇ）に示すように一連のスイングのうち、動きのあった領域ＭＲを抽出する。ゴルフのスイングにおいては、後方からの場合、振り上げから振り下ろしの動作となるために、アドレスの姿勢においてクラブヘッドが右下にあった場合には、斜め上の左上への振り上げ時の動作が動きのあった領域ＭＲとして抽出されることになる。

次に、図２（ｈ）に示すように、抽出された動きのあった領域ＭＲのうち、テイクバックのタイミングで最も被写体ＯＢから水平方向に離れたポイントをクラブヘッドの位置として、補助線の始点を含む領域ＳＲを決定する。

次に、図２（ｉ）に示すように、決定した補助線の始点を含む領域ＳＲから人型グリッドＨＧの肩を通過する線を設定してシャフトラインとなる第１補助線Ｌ１とし、腰を通過する線を設定して理想的なスイングプレーン（スイングの軌道）となる第２補助線Ｌ２の補助線を設定する。

最後に、図２（ｊ）に示すように、当該設定したシャフトラインとなる第１補助線Ｌ１及びスイングプレーンとなる第２補助線Ｌ２を動画像上に重畳的に描画して、補助線を設定する。
このように、人型グリッドＨＧに基づいて撮影した被写体から、補助線の始点を含む領域ＳＲを決定し、人型グリッドＨＧに基づいて、補助線を設定することで、自動的に補助線を設定することができ、ユーザの利便性を向上させることができる。また、人型グリッドＨＧに基づいて、補助線を設定することで、グリッド基準の正確な補助線を設定することができる。

また、撮像装置１においては、撮影した動画像からスイングポイントを特定し、設定した補助線等を用いて、スイングポイントを特定して、スイングの評価を自動的に行うことができる機能を有する。スイングの評価は、スイングが適切な範囲のものであるかの評価と、インサイドアウトやアウトサイドイン等のスイングの軌道の種類の評価を行うものである。

ここで、本実施形態におけるスイングの評価手法について説明する。
図３は、本実施形態におけるスイングの評価手法を説明するための模式図である。

スイングの評価においては、まず、図３（ａ）及び（ｂ）に示すように、補助線が設定された状態において、動画像から動きのあった領域を抽出する。

次に、図３（ｃ）及び（ｄ）に示すように、検出したテイクバック、インパクト、フォロー等の各スイングポイントにおいて、第１補助線Ｌ１及び第２補助線Ｌ２から構成される検出エリアからのクラブヘッドの距離を割り出す。なお、各スイングポイントは、クラブヘッドである変換点が人型グリッドＨＧの位置と、補助線Ｌ１，Ｌ２の始点ＳＲとの位置関係で特定する。具体的には、図３（ｃ）のように変化点（クラブヘッド）が人型グリッドＨＧに対して、補助線Ｌ１，Ｌ２の始点ＳＲ寄りにある場合は、テイクバックとし、図３（ｄ）のように変化点（クラブヘッド）が人型グリッドＨＧに対して、補助線Ｌ１，Ｌ２の始点ＳＲ寄りでない場合は、トップとする。

次に、図３（ｅ）及び（ｆ）に示すように、割り出した検出エリアからのクラブヘッドの距離が所定値以上であるか否かを判定して、スイングの評価を行う。検出エリアからのクラブヘッドの距離が所定値以上である場合には、評価が悪くなり、検出エリアからのクラブヘッドの距離が所定値内である場合には、評価が良くなる。

また、本実施形態のスイング評価においては、各スイングの評価に加えて、スイングの軌道の種類の評価も行う。具体的には、図３（ｇ）に示すように、検出エリアとクラブヘッドの位置変化から、アウトサイドインやインサイドアウト等のスイングの軌道を評価する。「アウトサイドイン」とは、バックスイングやダウンスイングですでに飛球線を越えていて、インパクト以降のフォロースルーではインサイドに入ってくるスイングの軌道の種類であり、「インサイドアウト」とは、バックスイングやダウンスイングでクラブが飛球線よりも内側で、インパクトで飛球線に接しインパクト以降のフォロースルー時は、飛球線の内側に入っているスイングの軌道の種類である。

このような撮像装置１では、このような評価の結果を、出力部１８を介して映像や音声で報知／警告する機能を有する。具体的には、撮像装置１では、評価結果の程度（例えば、スイング全体又はスイングの各スイングポイントでの良否，当該良否の程度やスイングの軌道の良否，当該良否の程度）に応じた種々の報知／警告を行う。

図４は、このような撮像装置１の機能的構成のうち、スイング評価結果報知処理を実行するための機能的構成を示す機能ブロック図である。
「スイング評価結果報知処理」とは、補助線を動画像に設定し、設定した補助線に基づいて、動画像内のスイングを評価し、当該評価結果を報知する一連の処理をいう。
「スイング評価結果報知処理」は、「補助線設定処理」を含む。「補助線設定処理」とは、動画像の被写体上に補助線を設定する一連の処理である。「補助線設定処理」は、「スイングポイント検出処理」を含む。「スイングポイント検出処理」とは、テイクバックスターとのタイミングと、インパクトのタイミングのスイングポイントの検出を行う一連の処理である。

スイング評価結果報知処理を実行する場合には、図４に示すように、ＣＰＵ１１において、補助線設定処理部５１と、スイングポイント検出処理部５２と、検出エリア設定部５３と、スイング判定部５４と、報知制御部５５と、スイング軌道判定部５６が機能する。

また、記憶部１９の一領域には、画像記憶部７１と、判定情報記憶部７２と、が設定される。

画像記憶部７１には、判定対象となる動画像のデータが記憶される。なお、画像記憶部７１に記憶される動画像は、ライブビュー画像に重畳的に表示した図２（ａ）に示すような人型グリッドＨＧのガイドに合うように後方からゴルフのスイングをしている被写体を撮影した動画像である。

判定情報記憶部７２には、設定した補助線と各スイングポイント（テイクバック・トップ・インパクト・フォロー）との距離の情報が記憶される。

補助線設定処理部５１は、補助線設定処理を実行する。補助線設定処理の実行の結果、動画像上にスイングの判定基準となる補助線が設定される。

詳細には、補助線設定処理部５１は、検出したスイングポイント（テイクバックのスタートのタイミングとインパクトのタイミング）のフレーム付近の各フレームを、図２（ｃ）に示すように動きの変化を判定するために領域ＧＲ（本実施形態においては、格子状のグリッド領域ＧＲ）に分割する。そして、補助線設定処理部５１は、図２（ｇ）に示すように一連のスイングのうち、動きのあった領域ＭＲを抽出する。

また、補助線設定処理部５１は、被写体からテイクバックタイミングで水平方向に最も離れたポイントを補助線の始点として決定する。即ち、補助線設定処理部５１は、図２（ｈ）に示すように、抽出された動きのあった領域ＭＲのうち、テイクバックのタイミングで最も被写体ＯＢから水平方向に離れたポイントをクラブヘッドの位置として、補助線の始点を含む領域ＳＲを決定する。

また、補助線設定処理部５１は、決定した補助線の始点から人型グリッドＨＧを結ぶように補助線を設定する。即ち、補助線設定処理部５１は、図２（ｉ）に示すように、決定した補助線の始点を含む領域ＳＲから人型グリッドＨＧの肩を通過する線を設定してシャフトラインとなる第１補助線Ｌ１とし、腰を通過する線を設定して理想的なスイングプレーン（スイングの軌道）となる第２補助線Ｌ２の補助線を設定する。その結果、図２（ｊ）に示すように、当該設定したシャフトラインとなる第１補助線Ｌ１及びスイングプレーンとなる第２補助線Ｌ２を動画像上に重畳的に描画することで、各補助線を設定する。

スイングポイント検出処理部５２は、スイングポイント検出処理を実行する。スイングポイント検出処理の実行の結果、スイングポイント（テイクバックのスタート及びインパクトのタイミング）のフレームが検出される。
詳細には、スイングポイント検出処理部５２は、人型グリッドＨＧの位置からクラブが通過するインパクト付近に検出エリアを設定する。そして、スイングポイント検出処理部５２は、動画像フレームを順次比較して変化を検出する。さらに、スイングポイント検出処理部５２は、検出の回数に応じて、スイングポイント（１回目：テイクバックのスタート、２回目：インパクトのタイミング）のフレームが検出される。

検出エリア設定部５３は、補助線設定処理部５１によって設定された両補助線付近の領域にスイングの検出エリアを設定する。

スイング判定部５４は、変化点であるクラブのヘッドの位置により、スイングポイントを特定する。具体的には、スイング判定部５４は、テイクバックスタート後において、変化点であるクラブヘッドが人型グリッドＨＧよりも補助線Ｌ１，Ｌ２の始点ＳＲ寄りか否かを判定し、図３（ｃ）に示すような人型グリッドＨＧよりも補助線Ｌ１，Ｌ２の始点ＳＲ寄りである場合には、テイクバックであり、図３（ｄ）に示すような人型グリッドＨＧよりも補助線の始点寄りでない人型グリッドＨＧよりも先にある場合には、トップとする。
また、スイング判定部５４は、トップとされて、テイクバックスタート後でないときにおいて、変化点であるクラブのヘッドが人型グリッドＨＧよりも補助線Ｌ１，Ｌ２の始点ＳＲ寄りか否かを判定し、人型グリッドＨＧよりも補助線始点寄りである場合には、インパクト（本実施形態においては、インパクト直前）であり、人型グリッドＨＧよりも補助線Ｌ１，Ｌ２の始点ＳＲ寄りでない人型グリッドＨＧよりも先にある場合には、フォローとする。

また、スイング判定部５４は、設定した補助線と各スイングポイント（テイクバック・トップ・インパクト・フォロー）との距離を判定する。具体的には、スイング判定部５４は、特定した各スイングポイントのシーンにおけるクラブヘッドの位置から、設定した補助線との距離を算出する。
また、スイング判定部５４は、算出された各スイングポイントでの補助線からの距離を判定情報記憶部７２に記憶させる。

また、スイング判定部５４は、判定情報記憶部７２に記憶させた各スイングポイントでの補助線からの距離が所定値以上であるか否かを判定する。判定の結果、各スイングポイントでの補助線からの距離が所定値以上である場合には、異常なスイングであると判定され、所定値以内である場合には、正常なスイングであると判定される。

報知制御部５５は、正常である旨の報知や異常である旨の報知として警告を発するように出力部１８を制御する。具体的には、報知制御部５５は、スイング判定部５４による各スイングポイントでの補助線からの距離が所定値以上であるか否かの判定結果において正常なスイングである場合には、正常である旨の報知を行い、異常なスイングである場合には、警告を発するように出力部１８を制御する。この際、報知制御部５５は、例えば、音で報知／警告を行う場合、正常時と異常時で異なる音や色に鳴り分けをしたり、正常時には発音せず、異常時のみ発音したり正常／異常で異なる報知／警告をするように出力部１８を制御することもできる。
また、補助線からの距離の程度から、正常／異常の中に程度を設けた場合には、報知制御部５５は、正常／異常の程度に対応して、報知／警告の頻度、大きさ、音質を変えて、報知／警告を行うように出力部１８を制御する。
また、報知制御部５５は、各スイングポイントにおいて個別に正常／異常の可否を判定している場合には、各スイングポイントの別、正常／異常の別、正常／異常の程度の別で、報知／警告の頻度、大きさ、音質を変えて、報知／警告を行うように出力部１８を制御する。
また、報知制御部５５は、各スイングポイントでの評価を総合的な結果として出力する場合には、単純に正常／異常の別で報知／警告する他に、総合的な評価がどの程度の要素で構成されているかの割合で、報知／警告の頻度、大きさ、音質を変えて、報知／警告を行うように出力部１８を制御する。
その結果、出力部１８では、正常である旨の報知や警告が出力される。

また、報知制御部５５は、スイング軌道判定部５６で判定されたスイングの軌道を表示するように出力部１８を制御する。
その結果、出力部１８では、図３（ｈ）に示すように、スイングの軌道をイメージした絵柄として表示出力される。なお、この際、報知制御部５５は、スイングの軌道の評価結果の報知／警告を、単なる音、アナウンス音、スイングの軌道をイメージしたサウンド、文字情報等で行うように出力部１８を制御することができる。

スイング軌道判定部５６は、スイングのクラブヘッドの位置のズレ量から、スイングの軌道の種類を判定する。具体的には、スイング軌道判定部５６は、検出エリアとクラブヘッドの位置変化から、アウトサイドインやインサイドアウト等のスイングの軌道を評価する。

図５は、図４の機能的構成を有する図１の撮像装置が実行するスイング評価結果報知処理の流れを説明するフローチャートである。
スイング評価結果報知処理は、ユーザによる入力部１７へのスイング評価結果報知処理開始の操作により開始される。また、本実施形態においては、ライブビュー画像に重畳的に表示した図２（ａ）に示すような人型グリッドＨＧのガイドに合うように後方からゴルフのスイングをしている被写体を撮影した動画像が画像記憶部７１に記憶され、当該動画像を処理対象の動画像として用いる。

ステップＳ１１において、補助線設定処理部５１は、画像記憶部７１から判定対象となる動画像を取得して、補助線設定処理を実行する。補助線設定処理の結果、動画像上に補助線が重畳的に描画されて設定される。具体的には、図２（ｊ）に示すように、当該設定したシャフトラインとなる第１補助線Ｌ１及びスイングプレーンとなる第２補助線Ｌ２を動画像上に重畳的に描画して、補助線を設定する。
補助線設定処理の流れについては後述する。

ステップＳ１２において、検出エリア設定部５３は、設定した補助線付近に検出エリアを設定する。

ステップＳ１３において、スイング判定部５４は、動画像内のシーン（フレーム）がテイクバックスタート後である否かを判定する。詳細には、スイング判定部５４は、判定対象となるフレームがスイングポイント検出処理で決定されたテイクバックスタート後であるか否かを判定する。
テイクバックスタート後でない場合には、ステップＳ１３においてＮＯと判定されて、処理はステップＳ１７に進む。ステップＳ１７以降の処理は後述する。
テイクバックスタート後である場合には、ステップＳ１３においてＹＥＳと判定されて、処理はステップＳ１４に進む。

ステップＳ１４において、スイング判定部５４は、変化点が人型グリッドＨＧより補助線の始点寄りであるか否かを判定する。即ち、スイング判定部５４は、テイクバックスタート後において、変化点であるクラブヘッドが人型グリッドＨＧよりも補助線Ｌ１，Ｌ２の始点ＳＲ寄りか否かを判定し、図３（ｃ）に示すような人型グリッドＨＧよりも補助線Ｌ１，Ｌ２の始点ＳＲ寄りである場合には、テイクバックであり、図３（ｄ）に示すような人型グリッドＨＧよりも補助線の始点寄りでない人型グリッドＨＧよりも先にある場合には、トップとする。
変化点が人型グリッドＨＧより補助線の始点寄りである場合には、ステップＳ１４においてＹＥＳと判定されて、処理はステップＳ１５に進む。
変化点が人型グリッドＨＧより補助線の始点寄りでない場合には、ステップＳ１４においてＮＯと判定されて、処理はステップＳ１６に進む。

ステップＳ１５において、スイング判定部５４は、テイクバックスタートの補助線からの距離を判定、当該判定結果を判定情報記憶部７２に記録させる。

ステップＳ１６において、スイング判定部５４は、トップ補助線からの距離を判定、当該判定結果を判定情報記憶部７２に記録させる。

ステップＳ１７において、スイング判定部５４は、変化点が人型グリッドＨＧより補助線の始点寄りであるか否かを判定する。
変化点が人型グリッドＨＧより補助線の始点寄りである場合には、ステップＳ１７においてＹＥＳと判定されて、処理はステップＳ１８に進む。
変化点が人型グリッドＨＧより補助線の始点寄りでない場合には、ステップＳ１７においてＮＯと判定されて、処理はステップＳ１９に進む。

ステップＳ１８において、スイング判定部５４は、インパクト直前の補助線からの距離を判定、当該判定結果を判定情報記憶部７２に記録させる。

ステップＳ１９において、スイング判定部５４は、フォローの補助線からの距離を判定し、当該判定結果を判定情報記憶部７２に記録させる。

ステップＳ２０において、スイング判定部５４は、それぞれの補助線からの距離が所定値以上であるか否かを判定する。
それぞれの補助線からの距離が所定値以上である場合には、ステップＳ２０においてＹＥＳと判定されて、処理はステップＳ２１に進む。
それぞれの補助線からの距離が所定値以上でない場合には、ステップＳ２０においてＮＯと判定されて、処理はステップＳ２２に進む。

ステップＳ２１において、報知制御部５５は、異常である旨を報知したり、補助線からの距離（ズレ量）を加味した異常を報知したりして、警告を発するように出力部１８を制御する。その結果、出力部１８から警告音が出力される。

ステップＳ２２において、報知制御部５５は、正常である旨を報知したり、補助線からの距離（ズレ量）を加味した正常の報知をしたりするように出力部１８を制御する。その結果、出力部１８から正常である旨の報知音が出力される。

ステップＳ２３において、スイング軌道判定部５６は、スイングポイントごとのズレ量からスイング軌道を判定する。

ステップＳ２４において、報知制御部５５は、インサイドアウト／アウトサイドインなどの状態を報知したり、スイングポイントごとのズレ量を加味して、インサイドアウト／アウトサイドインなどの状態の程度を報知するように出力部１８を制御する。その結果、出力部１８から警告音等が出力される。
その後、スイング判定処理は終了する。

図６は、スイング評価結果報知処理のうち、補助線設定処理の流れを説明するフローチャートである。

ステップＳ４１において、スイングポイント検出処理部５２は、スイングポイント検出処理を実行する。スイングポイント検出処理の実行の結果、動画像からスイングポイントか検出される。
スイングポイント検出処理の流れについては後述する。

ステップＳ４２において、補助線設定処理部５１は、スイングポイント検出付近のエリアを分割してクラブヘッド通過ポイントを抽出する。具体的には、補助線設定処理部５１は、検出したスイングポイント（テイクバックのタイミングスタートとインパクトのタイミング）のフレーム付近の各フレームを、図２（ｃ）に示すように動きの変化を判定するために領域ＧＲ（本実施形態においては、格子状のグリッド領域ＧＲ）に分割する。そして、補助線設定処理部５１は、図２（ｇ）に示すように一連のスイングのうち、動きのあった領域ＭＲを抽出する。

ステップＳ４３において、補助線設定処理部５１は、被写体からテイクバックタイミングで水平方向に最も離れたポイントを補助線の始点として決定する。具体的には、補助線設定処理部５１は、図２（ｈ）に示すように、抽出された動きのあった領域ＭＲのうち、テイクバックのタイミングで最も被写体ＯＢから水平方向に離れたポイントをクラブヘッドの位置として、補助線の始点を含む領域ＳＲを決定する。

ステップＳ４４において、補助線設定処理部５１は、補助線始点から人型グリッドＨＧを結ぶように補助線を設定する。具体的には、補助線設定処理部５１は、図２（ｉ）に示すように、決定した補助線の始点を含む領域ＳＲから人型グリッドＨＧの肩を通過する線を設定してシャフトラインとなる第１補助線Ｌ１とし、腰を通過する線を設定して理想的なスイングプレーン（スイングの軌道）となる第２補助線Ｌ２の補助線を設定する。そして、補助線設定処理部５１は、図２（ｊ）に示すように、当該設定したシャフトラインとなる第１補助線Ｌ１及びスイングプレーンとなる第２補助線Ｌ２を動画像上に重畳的に描画して、補助線を設定する。

図７は、スイング評価結果報知処理のうち、スイングポイント検出処理の流れを説明するフローチャートである。

ステップＳ６１において、スイングポイント検出処理部５２は、人型グリッドＨＧの位置からクラブヘッドが通過するインパクト付近の領域にクラブヘッドの変化を検出する変化検出エリアを設定する。

ステップＳ６２において、スイングポイント検出処理部５２は、動画像を構成するフレームを順次比較して変化を検出する。

ステップＳ６３において、スイングポイント検出処理部５２は、変化を検出したか否かを判定する。
変化を検出しない場合には、ステップＳ６３においてＮＯと判定されて、処理はステップＳ６２に戻る。
変化を検出した場合には、ステップＳ６３においてＹＥＳと判定されて、処理はステップＳ６４に進む。

ステップＳ６４において、スイングポイント検出処理部５２は、検出された変化が１回目か否かを判定する。
１回目の場合には、ステップＳ６４においてＹＥＳと判定されて、処理はステップＳ６５に進む。
１回目でない場合には、ステップＳ６４においてＮＯと判定されて、処理はステップＳ６６に進む。

ステップＳ６５において、スイングポイント検出処理部５２は、検出された変化が１回目であるためクラブを振り上げるテイクバックスタートであると判定する。その後、処理はインパクトタイミングを検出するためにステップＳ６２に戻る。

ステップＳ６６において、スイングポイント検出処理部５２は、検出された変化が２回目であるか否かを判定する。
２回目の場合には、ステップＳ６６においてＹＥＳと判定されて、処理はステップＳ６７に進む。

ステップＳ６７において、スイングポイント検出処理部５２は、検出された変化が１回目であるためクラブを振り下ろしたインパクトタイミングと判定する。

これに対して、２回目でない場合には、テイクバックでもインパクトでもないためテイクバックでもステップＳ６６においてＮＯと判定されて、スイングポイント検出処理は終了する。

したがって、撮像装置１においては、事前にスイングプレーンとシャフトラインの補助線の設定をする。詳細には、クラブヘッドから腰へのラインとクラブヘッドから肩へのラインを補助線として自動で設定する。そして、スイングの開始時を判定し、画面内の動作の切り替わりによってスイングフェーズを判定する。
また、撮像装置１においては、スイングフェーズ（スタート・インパクト）は特定エリアの画像差分で判断し、補助線を設定したエリア外の画像差分を検出してどの程度補助線から離れているか記録する。この際、補助線から一定以上離れている場合にスイングエラーと判断し警告を発し、該当するフェーズでライン外にスイングがはみ出た場合、警告を発し、スイングポイントごとのズレ量からインサイドアウトやアウトサイドインを判定し、警告を発するように構成する。即ち、撮像装置１は、ゴルフにおいて理想的なスイング軌道から外れた場合に警告する機能を有する。

以上のように構成される撮像装置１は、補助線設定処理部５１と、スイング判定部５４と、報知制御部５５と、を備える。
補助線設定処理部５１は、物体の一連の動作が撮像された複数の画像データを取得する。
スイング判定部５４は、補助線設定処理部５１により取得された複数の画像データ中の物体の位置を算出する。
スイング判定部５４は、算出された位置と、物体の動作を評価するための基準点の位置との位置関係を判定する。
報知制御部５５は、スイング判定部５４による判定結果に応じた物体の動作の評価に関する報知処理を行う。
これにより、撮像装置１においては、物体の動作の評価に関する報知処理を行うため、ユーザが自身の動作に関する基準についての評価を知ることができる。

スイング判定部５４は、物体の一連の動作における特定の時点を判定する。
報知制御部５５は、スイング判定部５４による基準点の位置との関係の判定結果と物体の一連の動作における特定の時点の判定結果とに基づいて、物体の動作の評価に関する報知処理を行う。
これにより、撮像装置１においては、特定の時点での基準点の位置との関係の程度での報知処理を行うことができ、ユーザが自身の動作に関する詳細な評価を認識することができる。

スイング判定部５４は、位置関係として算出された位置と、基準点の位置との間の距離の程度で、算出された位置と、基準点の位置との関係を判定する。
報知制御部５５は、スイング判定部５４による基準点の位置との関係の判定結果と物体の一連の動作における特定の時点の判定結果とに基づいて、物体の動作の評価に関する報知処理を行う。
これにより、撮像装置１においては、簡単に評価判定を行うことができる。

スイング判定部５４は、一連の動作における物体の複数の時点の位置を算出する。
また、スイング判定部５４は、算出された複数の時点の位置と、物体の動作を評価するための複数の基準点の位置との間の複数の位置関係を判定する。
報知制御部５５は、スイング判定部５４により判定された複数の位置関係に基づいて、前記物体の動作の評価に関する報知処理を行う。
これにより、撮像装置１においては、物体の動作の評価を多角的に行うことができる。

物体の動作を評価するための基準点は、所定の動作毎に対応した範囲に複数点在する。
これにより、撮像装置１においては、より的確に基準点との位置を判定することができる。

物体の動作を評価するための基準点は、線形である。
これにより、撮像装置１においては、ユーザが基準点との差異を確認した場合、容易に基準点からの距離を把握することができる。

物体の一連の動作とは、ゴルフのスイングの動作である。
これにより、撮像装置１においては、ゴルフのスイングの評価に適用することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、処理対象の画像として、動画像を例示したが、例えば、連写した画像を処理対象の画像としてもよい。

また、上述の実施形態では、テイクバック直線の静止状態のクラブヘッドを抽出して、補助線の始点としたがこれに限られず、例えば、ボールを抽出して補助線の始点としてもよい。

また、上述の実施形態では、同一の動画像を用いて、補助線の設定及びスイングの評価を行ったが、例えば、事前に補助線の設定用にスイングをして補助線の設定を行って、評価対象のスイングをリアルタイムに評価するように構成することもできる。そして、評価結果が良い場合や悪い場合に、音等で報知するように構成することができる。

また、上述の実施形態では、異常と判定されたフレームにおいて、クラブヘッドの位置を強調表示してエラー箇所を表示するように構成してもよい。また、上述の実施形態では、検出エリアからはみ出した位置や量（補助線との距離）によって警告の種類・音量を変えるように構成してもよい。
また、検出エリアからはみ出した時点のスイングの種類によって警告の種類・音量を変えるようにしても良い。

また、上述の実施形態では、音を報知／警告の例としたがこれに限られず、人間が知覚することができる手段で報知／警告が行われればよく、例えば、音の他に、ライト等による光、バイブレーション等による振動等で報知／警告を行うことができる。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、スイング評価結果報知処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
物体の一連の動作が撮像された複数の画像データを取得する取得手段と、
前記取得手段により取得された複数の画像データ中の物体の位置を算出する算出手段と、
前記算出手段により算出された位置と、前記物体の動作を評価するための基準点の位置との位置関係を判定する判定手段と、
前記判定手段による判定結果に応じた前記物体の動作の評価に関する報知処理を行う報知制御手段と、
を備えたことを特徴とする報知制御装置。
［付記２］
前記物体の一連の動作における特定の時点を判定する第２の判定手段を更に備え、
前記報知制御手段は、前記第１の判定手段による判定結果と前記第２の判定結果とに基づいて、前記物体の動作の評価に関する報知処理を行う、
ことを特徴とする付記１に記載の報知制御装置。
［付記３］
前記判定手段は、前記算出された位置と、前記基準点の位置との間の距離の程度で、前記算出された位置と、前記基準点の位置との関係を判定する、
ことを特徴とする付記１又は２に記載の報知制御装置。
［付記４］
前記判定手段による判定結果に応じて、前記物体の動作の評価を行い、
前記物体の所定の動作又は当該物体の一連の動作を前記物体の動作の評価とする評価手段と、を備える、
ことを特徴とする付記１乃至３の何れか１つに記載の報知制御装置。
［付記５］
前記評価手段は、前記物体の一連の動作を構成する個別の動作を評価して、当該評価の結果から当該物体の一連の動作を評価する、
ことを特徴とする付記４に記載の報知制御装置。
［付記６］
前記物体の動作を評価するための基準点は、所定の動作毎に対応した範囲に複数点在する、
ことを特徴とする付記１乃至５の何れか１つに記載の報知制御装置。
［付記７］
前記物体の動作を評価するための基準点は、線形である、
ことを特徴とする付記６に記載の報知制御装置。
［付記８］
前記物体の一連の動作とは、ゴルフのスイングの動作である、
ことを特徴とする付記１乃至６の何れか１つに記載の報知制御装置。
［付記９］
物体の一連の動作が撮像された複数の画像データを取得する取得ステップと、
前記取得ステップにより取得された複数の画像データ中の物体の位置を算出する算出ステップと、
前記算出ステップにより算出された位置と、前記物体の動作を評価するための基準点の位置との位置関係を判定する判定ステップと、
前記判定ステップによる判定結果に応じた前記物体の動作の評価に関する報知処理を行う報知制御ステップと、
を含むことを特徴とする報知制御方法。
［付記１０］
物体の一連の動作が撮像された複数の画像データを取得する取得手段、
前記取得手段により取得された複数の画像データ中の物体の位置を算出する算出手段、
前記算出手段により算出された位置と、前記物体の動作を評価するための基準点の位置との位置関係を判定する判定手段、
前記判定手段による判定結果に応じた前記物体の動作の評価に関する報知処理を行う報知制御手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・補助線設定処理部，５２・・・スイングポイント検出処理部，５３・・・エリア検出部，５４・・・スイング判定部，５５・・・報知制御部，５６・・・スイング軌道判定部，７１・・・画像記憶部，７２・・・判定情報記憶部

Claims (9)

1. 物体の一連の動作が撮像された複数の画像データを取得する取得手段と、
   前記取得手段により取得された複数の画像データ中の物体の位置を算出する算出手段と、
   前記算出手段により算出された位置と、前記物体の動作を評価するための基準点の位置との位置関係を判定する第１の判定手段と、
   前記第１の判定手段による判定結果に応じた前記物体の動作の評価に関する報知処理を行う報知制御手段と、
   を備えたことを特徴とする報知制御装置。
2. 前記物体の一連の動作における特定の時点の動作の種類を判定する第２の判定手段を更に備え、
   前記報知制御手段は、前記第１の判定手段による判定結果と前記第２の判定手段による判定結果とに基づいて、前記物体の動作の評価に関する報知処理を行う、
   ことを特徴とする請求項１に記載の報知制御装置。
3. 前記第１の判定手段は、前記位置関係として、前記算出された位置と前記基準点の位置との間の距離を判定し、
   前記報知制御手段は、前記第１の判定手段により判定された前記算出された位置と前記基準点の位置との間の距離に応じて前記物体の動作の評価に関する報知処理を行う、
   ことを特徴とする請求項１又は２に記載の報知制御装置。
4. 前記算出手段は、前記一連の動作における前記物体の複数の時点の位置を算出し、
   前記第１の判定手段は、前記算出手段により算出された複数の時点の位置と、前記物体の動作を評価するための複数の基準点の位置との間の複数の位置関係を判定し、
   前記報知制御手段は、前記第１の判定手段により判定された複数の位置関係に基づいて、前記物体の動作の評価に関する報知処理を行う、
   ことを特徴とする請求項１乃至３の何れか１項に記載の報知制御装置。
5. 前記物体の動作を評価するための基準点は、所定の動作毎に対応した範囲に複数点在する、
   ことを特徴とする請求項１乃至４の何れか１項に記載の報知制御装置。
6. 前記物体の動作を評価するための基準点は、線形である、
   ことを特徴とする請求項５に記載の報知制御装置。
7. 前記物体の一連の動作とは、ゴルフのスイングの動作である、
   ことを特徴とする請求項１乃至６の何れか１項に記載の報知制御装置。
8. 物体の一連の動作が撮像された複数の画像データを取得する取得ステップと、
   前記取得ステップにより取得された複数の画像データ中の物体の位置を算出する算出ステップと、
   前記算出ステップにより算出された位置と、前記物体の動作を評価するための基準点の位置との位置関係を判定する判定ステップと、
   前記判定ステップによる判定結果に応じた前記物体の動作の評価に関する報知処理を行う報知制御ステップと、
   を含むことを特徴とする報知制御方法。
9. 物体の一連の動作が撮像された複数の画像データを取得する取得手段、
   前記取得手段により取得された複数の画像データ中の物体の位置を算出する算出手段、
   前記算出手段により算出された位置と、前記物体の動作を評価するための基準点の位置との位置関係を判定する判定手段、
   前記判定手段による判定結果に応じた前記物体の動作の評価に関する報知処理を行う報知制御手段、
   として機能させることを特徴とするプログラム。

Images