JP2017169203A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2017169203A JP2017169203A JP2017078568A JP2017078568A JP2017169203A JP 2017169203 A JP2017169203 A JP 2017169203A JP 2017078568 A JP2017078568 A JP 2017078568A JP 2017078568 A JP2017078568 A JP 2017078568A JP 2017169203 A JP2017169203 A JP 2017169203A
- Authority
- JP
- Japan
- Prior art keywords
- swing
- subject
- image data
- face
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
【課題】特殊なデバイスを使用しなくても所望の期間の動画像を特定して抽出することが
できる。
【解決手段】画像処理装置１は、動画像取得部５２と、顔判定部７１と、向き判定部１１１と、本振り領域抽出部７４と、を備える。動画像取得部５２は、所定の動作である本振りをしている被写体を含む動画像データを取得する。顔判定部７１は、動画像取得部５２により取得された動画像データにおける被写体の状態として顔の向きを特定する。向き判定部１１１は、顔判定部７１により特定された被写体の状態としての顔の向きが所定の状態となる横向きとなったか否かを判定する。本振り領域抽出部７４は、向き判定部１１１による判定結果に基づいて、動画像データから、所定の動作である本振りをしている被写体が含まれるフレーム画像データを抽出する。
【選択図】図４
できる。
【解決手段】画像処理装置１は、動画像取得部５２と、顔判定部７１と、向き判定部１１１と、本振り領域抽出部７４と、を備える。動画像取得部５２は、所定の動作である本振りをしている被写体を含む動画像データを取得する。顔判定部７１は、動画像取得部５２により取得された動画像データにおける被写体の状態として顔の向きを特定する。向き判定部１１１は、顔判定部７１により特定された被写体の状態としての顔の向きが所定の状態となる横向きとなったか否かを判定する。本振り領域抽出部７４は、向き判定部１１１による判定結果に基づいて、動画像データから、所定の動作である本振りをしている被写体が含まれるフレーム画像データを抽出する。
【選択図】図４
Description
本発明は、動画像のデータから画像のデータを抽出する画像処理装置、画像処理方法及びプログラムに関する。
従来から、スイング動作をしている被写体を撮影した動画像のデータから、インパクト時を含む一部の期間の動画像のデータを抽出する装置が知られている（特許文献１参照）。
具体的には、当該装置は、動画像のデータをエンドレスにリングバッファに記憶しつつ、ドップラセンサによりボールの速度を測定し、ボールの速度の測定に要した処理時間に基づいて、インパクト時のフレーム画像を基準に、一連のスイング動作をしている被写体を含む動画像のデータを抽出する。
具体的には、当該装置は、動画像のデータをエンドレスにリングバッファに記憶しつつ、ドップラセンサによりボールの速度を測定し、ボールの速度の測定に要した処理時間に基づいて、インパクト時のフレーム画像を基準に、一連のスイング動作をしている被写体を含む動画像のデータを抽出する。
しかしながら、特許文献１に記載の装置では、動画像のデータから所望の画像のデータを抽出するためには、ドップラセンサのような特殊なデバイスが必要であった。
本発明は、このような状況に鑑みてなされたものであり、特殊なデバイスを使用しなくても動画像のデータから所望の画像のデータを抽出できることを目的とする。
上記目的を達成するため、本発明の一態様の画像処理装置は、
所定の動作をしている被写体を含む動画像データを取得する取得手段と、
前記取得手段により取得された動画像データにおける被写体の第一の部分画像を特定する第一の特定手段と、
前記動画像データにおける被写体の前記第一の部分画像とは異なる第二の部分画像を特定する第二の特定手段と、前記第一の特定手段により特定された第一の部分画像と前記第二の特定手段により特定された第二の部分画像とから前記被写体の状態が所定の状態か否かを判定する状態判定手段と、
前記状態判定手段による判定結果に基づいて、前記動画像データから、前記所定の動作をしている被写体が含まれる画像データを抽出する抽出手段と、
を備えることを特徴とする。
所定の動作をしている被写体を含む動画像データを取得する取得手段と、
前記取得手段により取得された動画像データにおける被写体の第一の部分画像を特定する第一の特定手段と、
前記動画像データにおける被写体の前記第一の部分画像とは異なる第二の部分画像を特定する第二の特定手段と、前記第一の特定手段により特定された第一の部分画像と前記第二の特定手段により特定された第二の部分画像とから前記被写体の状態が所定の状態か否かを判定する状態判定手段と、
前記状態判定手段による判定結果に基づいて、前記動画像データから、前記所定の動作をしている被写体が含まれる画像データを抽出する抽出手段と、
を備えることを特徴とする。
本発明によれば、特殊なデバイスを使用しなくても動画像のデータから所望の画像のデータを抽出できる。
先ず、本発明の実施形態を説明する前に、スイング動作をしている被写体を撮像した動画像のデータから、本振りとなる一連のスイング動作がなされている期間の動画像のデータを特定する手法について説明する。
ゴルフのスイング（以下、単に「スイング」と呼ぶ）においては、スイングを行う者（以下、「スイング対象者」と呼ぶ）は、ゴルフクラブのスイングとして、先ずボールを打たない試しのスイング（以下、「素振り」と呼ぶ）をしてから、ボールを打つためのスイング（以下、「本振り」と呼ぶ）をすることが多い。
スイング対象者は、自身のスイング動作を確認するために、スイング動作をしている自らを被写体として、撮像装置に撮像させる場合がある。具体的には、スイング対象者は、当該撮像装置に対して記録開始の操作を行い、一連のスイング動作（素振りと本振り）をする。その後、スイング対象者は、撮像装置に対して、記録終了の操作を行って、撮像された動画像をディスプレイに表示させることで、スイング動作を確認する。スイング動作の確認は、概して、素振りの部分ではなく、本振りの部分に対して行われる。このため、スイング対象者は、本振りの部分の動画像を、撮像された動画像全体の中から探すことになる。また、その後において、スイング対象者は、撮像した動画像のデータを、自ら編集して、該当本振りの部分のみにする等の作業を行う場合がある。
スイング対象者は、自身のスイング動作を確認するために、スイング動作をしている自らを被写体として、撮像装置に撮像させる場合がある。具体的には、スイング対象者は、当該撮像装置に対して記録開始の操作を行い、一連のスイング動作（素振りと本振り）をする。その後、スイング対象者は、撮像装置に対して、記録終了の操作を行って、撮像された動画像をディスプレイに表示させることで、スイング動作を確認する。スイング動作の確認は、概して、素振りの部分ではなく、本振りの部分に対して行われる。このため、スイング対象者は、本振りの部分の動画像を、撮像された動画像全体の中から探すことになる。また、その後において、スイング対象者は、撮像した動画像のデータを、自ら編集して、該当本振りの部分のみにする等の作業を行う場合がある。
そこで、スイング対象者が被写体として含まれている動画像のデータの中から、不要な素振りの期間を除去して、本振りの期間だけの動画像のデータ（以下、「本振り動画像のデータ」と呼ぶ）を生成する、という手法が発明された。
本振り動画像をスイング動作の確認用として表示させることで、スイング対象者は、一連のスイング動作のうち確認が必要な期間、即ち本振りの期間を、手動で探す等の手間をかけることなく、視聴することができるので、スイング動作の確認を容易に行うことができる。また、本手法を適用することで、スイング対象者にとって確認に必要な期間のみを含む本振り動画像のデータが生成されるので、メモリ等のデータ容量の削減を図ることができる。
本振り動画像をスイング動作の確認用として表示させることで、スイング対象者は、一連のスイング動作のうち確認が必要な期間、即ち本振りの期間を、手動で探す等の手間をかけることなく、視聴することができるので、スイング動作の確認を容易に行うことができる。また、本手法を適用することで、スイング対象者にとって確認に必要な期間のみを含む本振り動画像のデータが生成されるので、メモリ等のデータ容量の削減を図ることができる。
図１は、本振り動画像のデータの生成の手法の概要を示す模式図である。
本手法では、図１に示すように、動画像を構成する複数のフレーム画像Ｆ１・・・Ｆｎの中から、主要被写体が所定の動作をしている期間のフレーム画像群（一部の動画像）と、主要被写体が当該所定の動作をしていない期間のフレーム画像群（一部の動画像）とが特定される。
具体的には例えば、一連のスイング動作をしているスイング対象者が主要被写体として撮影され、所定の動作として「スイング」が採用された場合には、スイングをしている期間のフレーム画像群（以下、「スイング部分」と呼ぶ）と、スイングをしていない期間のフレーム画像群（以下、「非スイング部分」と呼ぶ）とが特定される。
ここで、スイング部分が、図１に示すように、始点ｔａと終点ｔｂとにより特定される。始点ｔａとは、フレーム画像Ｆ１・・・Ｆｎのうちの、スイングを開始した主要被写体が含まれるフレーム画像Ｆａ（ａは、１〜ｎ−１のうちの任意の値）の表示時刻をいう。終点ｔｂとは、フレーム画像Ｆ１・・・Ｆｎのうちの、スイングを終了した主要被写体が含まれるフレーム画像Ｆｂ（ａは、２〜ｎのうちの任意の値）の表示時刻をいう。表示時刻とは、動画像の最初のフレーム画像Ｆ１の時刻を基準時刻として、各フレーム画像Ｆ１〜Ｆｎの各々が表示される時刻をいう。この場合、スイング部分の期間Ｔ（以下、「スイング部分の期間Ｔ」と呼ぶ）は、始点ｔａと終点ｔｂとの差分により特定される。
このようにして特定されるスイング部分には、主要被写体が素振りをしている期間のフレーム群（以下、「素振り部分」と呼ぶ）と、主要被写体が本振りをしている期間のフレーム群（以下、「本振り部分」と呼ぶ）とが含まれている。
そこで、さらに、本手法では、スイング部分の中から、本振り部分が特定される。
さらに以下、図２等を参照して、スイング部分及び本振り部分の特定手法について詳しく説明する。なお、本手法においては、各フレーム画像に含まれる被写体の動作、即ち、一連のスイング動作に含まれる動作やスイングしていない動作に含まれる動作を特定して抽出することとなる。特に、本振り部分を特定するため、特定対象となるフレーム画像に含まれる被写体のスイング動作を特定するための手法が必要となる。本実施形態においては、スイング動作のうち本振りのスイング動作を特定する。
本手法では、図１に示すように、動画像を構成する複数のフレーム画像Ｆ１・・・Ｆｎの中から、主要被写体が所定の動作をしている期間のフレーム画像群（一部の動画像）と、主要被写体が当該所定の動作をしていない期間のフレーム画像群（一部の動画像）とが特定される。
具体的には例えば、一連のスイング動作をしているスイング対象者が主要被写体として撮影され、所定の動作として「スイング」が採用された場合には、スイングをしている期間のフレーム画像群（以下、「スイング部分」と呼ぶ）と、スイングをしていない期間のフレーム画像群（以下、「非スイング部分」と呼ぶ）とが特定される。
ここで、スイング部分が、図１に示すように、始点ｔａと終点ｔｂとにより特定される。始点ｔａとは、フレーム画像Ｆ１・・・Ｆｎのうちの、スイングを開始した主要被写体が含まれるフレーム画像Ｆａ（ａは、１〜ｎ−１のうちの任意の値）の表示時刻をいう。終点ｔｂとは、フレーム画像Ｆ１・・・Ｆｎのうちの、スイングを終了した主要被写体が含まれるフレーム画像Ｆｂ（ａは、２〜ｎのうちの任意の値）の表示時刻をいう。表示時刻とは、動画像の最初のフレーム画像Ｆ１の時刻を基準時刻として、各フレーム画像Ｆ１〜Ｆｎの各々が表示される時刻をいう。この場合、スイング部分の期間Ｔ（以下、「スイング部分の期間Ｔ」と呼ぶ）は、始点ｔａと終点ｔｂとの差分により特定される。
このようにして特定されるスイング部分には、主要被写体が素振りをしている期間のフレーム群（以下、「素振り部分」と呼ぶ）と、主要被写体が本振りをしている期間のフレーム群（以下、「本振り部分」と呼ぶ）とが含まれている。
そこで、さらに、本手法では、スイング部分の中から、本振り部分が特定される。
さらに以下、図２等を参照して、スイング部分及び本振り部分の特定手法について詳しく説明する。なお、本手法においては、各フレーム画像に含まれる被写体の動作、即ち、一連のスイング動作に含まれる動作やスイングしていない動作に含まれる動作を特定して抽出することとなる。特に、本振り部分を特定するため、特定対象となるフレーム画像に含まれる被写体のスイング動作を特定するための手法が必要となる。本実施形態においては、スイング動作のうち本振りのスイング動作を特定する。
図２は、スイング部分及び本振り部分の特定手法の一例について示す模式図である。
先ず、スイング対象者である主要被写体の体の一部部位の向きや位置から、スイングをしている主要被写体を含むフレーム画像が特定される。このようにして特定されるフレーム画像が時間的に連続して複数配置される（表示される）フレーム群が、スイング部分となる。
さらに、このスイング部分が、所定のスイング動作時に所定の主要被写体の動作を含むフレーム画像である場合に、当該スイング部分が、本振り部分として特定される。
先ず、スイング対象者である主要被写体の体の一部部位の向きや位置から、スイングをしている主要被写体を含むフレーム画像が特定される。このようにして特定されるフレーム画像が時間的に連続して複数配置される（表示される）フレーム群が、スイング部分となる。
さらに、このスイング部分が、所定のスイング動作時に所定の主要被写体の動作を含むフレーム画像である場合に、当該スイング部分が、本振り部分として特定される。
具体的には例えば、図２の例でいえば、フレーム画像ｆａには、一連のスイング動作のうち、スイングの開始の動作となる「アドレス」をしているスイング対象者が、主要被写体として含まれている。
アドレス時には、主要被写体の顔ｆ１が下を向いた状態となる。また、アドレス時には、主要被写体の顔ｆ１の下方にゴルフクラブをグリップしている手ｇ１が位置する。
従って、アドレスの動作は、次のようにして特定される。即ち、顔ｆ１の方向が下向きであり、手ｈ１がゴルフクラブをグリップしている状態であり、かつ、当該手ｈ１の位置が顔ｆ１の下方に位置する状態となった主要被写体を含むフレーム画像が、アドレスをしている主要被写体を含むフレーム画像であると特定される。
ただし、偶然、主要被写体がアドレス以外の動作をしている場合であっても、上述したような状態となった主要被写体が撮像されることがあり、この場合、アドレスの誤検出が生ずる可能性がある。そこで、上述の状態が所定以上の期間継続すること（上述の状態となった主要被写体を含むフレーム画像が一定数以上連続していること）で特定の精度を高める。
アドレス時には、主要被写体の顔ｆ１が下を向いた状態となる。また、アドレス時には、主要被写体の顔ｆ１の下方にゴルフクラブをグリップしている手ｇ１が位置する。
従って、アドレスの動作は、次のようにして特定される。即ち、顔ｆ１の方向が下向きであり、手ｈ１がゴルフクラブをグリップしている状態であり、かつ、当該手ｈ１の位置が顔ｆ１の下方に位置する状態となった主要被写体を含むフレーム画像が、アドレスをしている主要被写体を含むフレーム画像であると特定される。
ただし、偶然、主要被写体がアドレス以外の動作をしている場合であっても、上述したような状態となった主要被写体が撮像されることがあり、この場合、アドレスの誤検出が生ずる可能性がある。そこで、上述の状態が所定以上の期間継続すること（上述の状態となった主要被写体を含むフレーム画像が一定数以上連続していること）で特定の精度を高める。
一連のスイング動作を構成するアドレス後の各動作、即ち、テイクバック、トップ、インパクト、フォロー等の動作は、ゴルフクラブを所定の方向に振り上げて振り下ろしてから反対方向に振り上げる動作の一部分であるから、主要被写体の手ｈが所定の軌道、即ち、円弧を描くように時間とともに変化してゆく間の一部の動作ということになる。このため、アドレス後の各動作は、主要被写体の手ｈ１の軌道を各フレーム画像で順次追従することで特定することができる。
フレーム画像ｆｂには、一連のスイング動作のうち、スイングの最後の動作となる「フィニッシュ」をしているスイング対象者が、主要被写体として含まれている。
フィニッシュの動作時においては、主要被写体の手ｈ２が円弧の軌道の終端に位置している。また、フィニッシュの動作時においては、主要被写体の顔ｆ２と手ｈ２との距離が近く、かつ、主要被写体の顔ｆ２よりも主要被写体の手ｈ２が上方に位置することとなる。
従って、フィニッシュの動作は、円弧の軌道の終端となり、主要被写体の手ｈ２の位置が主要被写体の顔ｆ２の上方付近に位置することをもって特定される。
フィニッシュの動作時においては、主要被写体の手ｈ２が円弧の軌道の終端に位置している。また、フィニッシュの動作時においては、主要被写体の顔ｆ２と手ｈ２との距離が近く、かつ、主要被写体の顔ｆ２よりも主要被写体の手ｈ２が上方に位置することとなる。
従って、フィニッシュの動作は、円弧の軌道の終端となり、主要被写体の手ｈ２の位置が主要被写体の顔ｆ２の上方付近に位置することをもって特定される。
上述したような本手法を適用することで、一連のスイング動作を構成する各動作の特徴から予想される主要被写体の体の部位の位置や、フレーム画像間での軌道に合致することを判定することで、一連のスイング動作（スイング部分）を特定することができる。
このようにして、動画像の中から１以上のスイング部分が特定され、これらの１以上のスイング部分の中で、本振り部分が特定される。なお、本実施形態においては、動画像の先頭のフレーム画像からスイング部分を特定し、特定されたスイング部分に対して、このスイング部分が本振り部分に該当するか否かを判定して、本振り部分を特定する。
本振り部分の特定の手法としては、フィニッシュの動作における主要被写体の顔ｆ２の向きに着目する手法が採用されている。
具体的には、フィニッシュの動作において、主要被写体の顔ｆ２の向きがスイングの方向と同一の向きになるときが、本振りとなる蓋然性が高い。これは、本振り時には、主要被写体たるスイング対象者が、フィニッシュの動作後にボールの行方を確認するために、その顔ｆ２をボールの飛んだ方向に向ける傾向にあることによる。これに対して、素振り時には、スイング対象者は、ボールを打たないために、ボールの行方を確認する等の行動はしない。このとき、スイング対象者は、その顔ｆ２を下方に向いたままか、或いは、スイング方向以外の他方に向ける傾向にある。
ここで、スイング対象者は、素振り時においても偶然に、スイング方向を向く可能性があるが、スイング方向を向いている時間は短時間にしか過ぎない。換言すると、スイング対象者は、本振り時にはボールの行方を確認する関係上、所定以上の時間、スイング方向に顔を向けていることとなる。即ち、主要被写体は、本振り時には、当該顔ｆ２をスイング方向に向けてから、その後の所定以上の時間（フレーム画像の枚数に換算すると所定以上の枚数）においても顔ｆ２を同一のスイング方向のまま維持している。
このため、本実施形態では、素振り時の偶然にスイング方向を向いている状態での誤検知を防止すべく、スイング対象者の顔の向きのみならず、さらに、その顔が一定方向を向いている時間も含めて、本振りが特定される。
本振り部分の特定の手法としては、フィニッシュの動作における主要被写体の顔ｆ２の向きに着目する手法が採用されている。
具体的には、フィニッシュの動作において、主要被写体の顔ｆ２の向きがスイングの方向と同一の向きになるときが、本振りとなる蓋然性が高い。これは、本振り時には、主要被写体たるスイング対象者が、フィニッシュの動作後にボールの行方を確認するために、その顔ｆ２をボールの飛んだ方向に向ける傾向にあることによる。これに対して、素振り時には、スイング対象者は、ボールを打たないために、ボールの行方を確認する等の行動はしない。このとき、スイング対象者は、その顔ｆ２を下方に向いたままか、或いは、スイング方向以外の他方に向ける傾向にある。
ここで、スイング対象者は、素振り時においても偶然に、スイング方向を向く可能性があるが、スイング方向を向いている時間は短時間にしか過ぎない。換言すると、スイング対象者は、本振り時にはボールの行方を確認する関係上、所定以上の時間、スイング方向に顔を向けていることとなる。即ち、主要被写体は、本振り時には、当該顔ｆ２をスイング方向に向けてから、その後の所定以上の時間（フレーム画像の枚数に換算すると所定以上の枚数）においても顔ｆ２を同一のスイング方向のまま維持している。
このため、本実施形態では、素振り時の偶然にスイング方向を向いている状態での誤検知を防止すべく、スイング対象者の顔の向きのみならず、さらに、その顔が一定方向を向いている時間も含めて、本振りが特定される。
具体的には例えば、図２の例でいえば、フレーム画像ｆｂでは、スイング方向が同図の右側であり、主要被写体の顔ｆ２の向きはスイング方向と略同一の方向を向いている。従って、フレーム画像ｆｂの後の複数のフレーム画像において主要被写体の顔ｆ２がスイング方向の向きを維持していれば、フレーム画像ｆｂを含む一連のフレーム画像群（スイング部分）は、本振りであると特定される。
以上説明したように、本発明においては、本手法が適用されること、即ち、スイング対象者を撮影した動画像のデータから、本振りのスイング部分からなる本振り動画像のデータを生成するまでの一連の処理が実現される。以下、このような一連の処理を、「本振り動画像生成処理」と呼ぶ。
以下、このような方法で本振りを特定する手法を実行する画像処理装置、即ち、本発明の一実施形態に係る画像処理装置について、図３以降の図面を参照して説明する。
図３は、本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばデジタルカメラとして構成される。
図３は、本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばデジタルカメラとして構成される。
画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、タッチパネル１８と、表示部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
ここで、本実施形態では、画像処理装置１は動画像のデータに対する画像処理を施すが、その際の処理単位は、動画像を構成するフレーム画像やフィールド画像といった単位画像である。本実施形態では、単位画像として、上述したようにフレーム画像が採用されている。
ここで、本実施形態では、画像処理装置１は動画像のデータに対する画像処理を施すが、その際の処理単位は、動画像を構成するフレーム画像やフィールド画像といった単位画像である。本実施形態では、単位画像として、上述したようにフレーム画像が採用されている。
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、タッチパネル１８、表示部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。
撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
このような撮像部１７による撮像動作は、１／３０秒等所定の時間間隔毎に行われ、その都度出力信号が出力される。このようにして出力される出力信号がフレーム画像のデータであり、順次出力される複数のフレーム画像のデータにより動画像のデータが構成される。動画像のデータは、ＣＰＵ１１や画像処理部１４等にフレーム画像を単位として適宜供給される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
このような撮像部１７による撮像動作は、１／３０秒等所定の時間間隔毎に行われ、その都度出力信号が出力される。このようにして出力される出力信号がフレーム画像のデータであり、順次出力される複数のフレーム画像のデータにより動画像のデータが構成される。動画像のデータは、ＣＰＵ１１や画像処理部１４等にフレーム画像を単位として適宜供給される。
タッチパネル１８は、表示部１９の表示画面に積層される静電容量式又は抵抗膜式のタッチパネルとして構成され、タッチ操作がなされた位置の座標を検出する。ここで、タッチ操作とは、タッチパネル１８に対する物体（ユーザの指やタッチペン等）の接触又は近接の操作をいう。
表示部１９は、ディスプレイにより構成され画像を表示する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
表示部１９は、ディスプレイにより構成され画像を表示する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
次に、画像処理装置１の機能的構成のうち、本振り動画像生成処理を実行するための機能的構成について説明する。
図４は、このような画像処理装置１の機能的構成のうち、本振り動画像生成処理を実行するための機能的構成を示す機能ブロック図である。
図４は、このような画像処理装置１の機能的構成のうち、本振り動画像生成処理を実行するための機能的構成を示す機能ブロック図である。
本振り動画像生成処理が実行される場合には、ＣＰＵ１１において、撮像制御部５１と、動画像取得部５２と、表示制御部５３と、が機能する。
撮像制御部５１は、タッチパネル１８からの撮像の指示に基づいて、撮像部１７が動画像を撮像するように制御する。
動画像取得部５２は、撮像部１７から出力された動画像のデータを、フレーム画像を単位として取得する。動画像取得部５２は、取得した動画像のデータを後述する動画像記憶部９１にフレーム画像を単位として記憶させる。この際、動画像取得部５２は、撮像部１７により逐次撮像されたフレーム画像のデータを前記動画像データとして循環的に保持し、循環的に保持された動画像のデータを取得する。
表示制御部５３は、後述する本振り動画像記憶部９３に記憶される本振り動画像のデータを表示部１９から表示出力するように制御する。
また、本振り動画像生成処理が実行される場合には、画像処理部１４において、顔判定部７１と、スイング判定部７２と、本振り判定部７３と、本振り領域抽出部７４と、が機能する。
顔判定部７１は、動画像を構成する各フレーム画像のデータの各々について、主要被写体の顔の向きを検出して、検出結果に基づいて顔の判定を行う。ここで、顔の判定とは、本実施形態では、主要被写体の顔の向きが下方を向いているか否かという判定と、主要被写体の顔の向きがスイング方向を向いているか否かという判定と、スイング方向を向いている場合には、そのスイング方向を向いた状態を一定時間以上維持しているか否かの判定をいう。
主要被写体の顔の向きが下方を向いているか否かという判定は、スイング部分の特定（特に、スイングの開始の動作であるアドレスの特定）に用いられる判定である。
また、主要被写体の顔の向きがスイング方向を向いているか否かという判定と、スイング方向を向いている場合には、そのスイング方向を向いた状態を一定時間以上維持しているか否かの判定は、スイング部分が本振り部分であるかを特定するために用いられる判定である。
このような顔の判定は、例えば、予め取得しておいた顔に関する情報（本実施形態においては、後述する登録モードで予め記憶した顔領域の情報）に基づいて行う。
主要被写体の顔の向きが下方を向いているか否かという判定は、スイング部分の特定（特に、スイングの開始の動作であるアドレスの特定）に用いられる判定である。
また、主要被写体の顔の向きがスイング方向を向いているか否かという判定と、スイング方向を向いている場合には、そのスイング方向を向いた状態を一定時間以上維持しているか否かの判定は、スイング部分が本振り部分であるかを特定するために用いられる判定である。
このような顔の判定は、例えば、予め取得しておいた顔に関する情報（本実施形態においては、後述する登録モードで予め記憶した顔領域の情報）に基づいて行う。
スイング判定部７２は、動画像を構成する各フレーム画像のデータの各々について、主要被写体の動作を解析して、その解析結果に基づいて、一連のスイング動作を構成する各動作をそれぞれ特定する。スイング判定部７２は、例えば、フレーム画像における主要被写体の体の一部分（例えば、ゴルフクラブをグリップしている手や顔の位置）を特定して、特定された部分を複数の連続するフレーム間で追従することで、一連のスイング動作であるか否かを特定する。さらに、スイング判定部７２は、一連のスイング動作と判定した複数のフレーム群を対象に、アドレス、テイクバック、トップ、インパクト、フォロー、フィニッシュ等の動作をそれぞれ特定する。
本振り判定部７３は、顔判定部７１及びスイング判定部７２の判定結果を用いて、動画像のデータに本振り部分が含まれているか否かを判定する。具体的には、本振り判定部７３は、一連のスイング動作を含む部分であって、フィニッシュのスイング動作においてスイング方向に、所定の期間顔を向けていることをもって、本振り部分であると判定する。
本振り領域抽出部７４は、動画像のデータの中から、本振り判定部７３によって判定された本振り部分のデータを抽出して、抽出結果に基づいて本振り動画像のデータを生成して後述する本振り動画像記憶部９３に記憶させる。
また、記憶部２０の一領域として、動画像記憶部９１と、スイング情報記憶部９２と、本振り動画像記憶部９３と、が設けられる。
動画像記憶部９１は、撮像部１７で撮像され、動画像取得部５２から出力された動画像のデータを記憶する。
動画像記憶部９１は、撮像部１７で撮像され、動画像取得部５２から出力された動画像のデータを記憶する。
スイング情報記憶部９２は、動画像のデータに含まれるスイング動作を判定するために、予めスイングに関する情報を記憶する。「スイングに関する情報」とは、例えば、登録モードで登録された顔領域に関する情報や、スイングの軌道に関する情報等のスイングの情報である。
また、本実施形態においては、帽子やサングラス等の顔領域の特定の妨げになる要素によって、顔領域の判定精度を低下させないために、登録モードを採用している。
「登録モード」とは、予め、スイング対象者のスイングを撮像して、当該スイング対象者の顔領域をタッチパネル１８等への操作で特定する。本実施形態においては、ユーザが撮像した動画像を参照しながら、アドレスの動作とフィニッシュの動作の顔領域をタッチパネル１８への操作（例えば、タッチパネル１８に対して、顔領域を円描いて指定する操作）で特定する。具体的には、本実施形態においては、図２に示すようなアドレスの動作を含んだ画像ｆａの顔領域ｆ１を指定し、フィニッシュの動作を含んだ画像ｆｂの顔領域ｆ２を指定する。
このように顔領域を特定する登録モードにおいては、判定を行う動画像のデータから顔領域を特定するために、特定された顔領域の情報から特徴点を算出して、顔領域を特定する情報としてスイング情報記憶部９２に記憶する。
なお、本実施形態においては、「登録モード」以外のモードとして、「撮像モード」を搭載する。「撮像モード」とは、動画像の撮像から本振り動画像のデータの生成、本振り動画像のデータの表示等を行うモードである。本実施形態においては、特に断りがない場合には、「撮像モード」となっているものとして説明を行う。
また、本実施形態においては、帽子やサングラス等の顔領域の特定の妨げになる要素によって、顔領域の判定精度を低下させないために、登録モードを採用している。
「登録モード」とは、予め、スイング対象者のスイングを撮像して、当該スイング対象者の顔領域をタッチパネル１８等への操作で特定する。本実施形態においては、ユーザが撮像した動画像を参照しながら、アドレスの動作とフィニッシュの動作の顔領域をタッチパネル１８への操作（例えば、タッチパネル１８に対して、顔領域を円描いて指定する操作）で特定する。具体的には、本実施形態においては、図２に示すようなアドレスの動作を含んだ画像ｆａの顔領域ｆ１を指定し、フィニッシュの動作を含んだ画像ｆｂの顔領域ｆ２を指定する。
このように顔領域を特定する登録モードにおいては、判定を行う動画像のデータから顔領域を特定するために、特定された顔領域の情報から特徴点を算出して、顔領域を特定する情報としてスイング情報記憶部９２に記憶する。
なお、本実施形態においては、「登録モード」以外のモードとして、「撮像モード」を搭載する。「撮像モード」とは、動画像の撮像から本振り動画像のデータの生成、本振り動画像のデータの表示等を行うモードである。本実施形態においては、特に断りがない場合には、「撮像モード」となっているものとして説明を行う。
本振り動画像記憶部９３は、本振り領域抽出部７４によって動画像のデータから抽出されたフレーム画像のデータに基づいて生成された本振り動画像のデータを記憶する。
さらに以下、顔判定部７１の機能的構成の詳細について説明する。
図５は、図４の画像処理装置１の機能的構成のうち、顔判定部７１の機能的構成の詳細を示す機能ブロック図である。
図５は、図４の画像処理装置１の機能的構成のうち、顔判定部７１の機能的構成の詳細を示す機能ブロック図である。
顔判定処理が実行される場合には、画像処理部１４の顔判定部７１において、向き判定部１１１と、計測部１１２と、計測判定部１１３と、が機能する。
「顔判定処理」とは、スイングと判断された部分における顔の向きを取得して、取得した顔の向きがスイング方向か否かを判定するまでの一連の処理である。
「顔判定処理」とは、スイングと判断された部分における顔の向きを取得して、取得した顔の向きがスイング方向か否かを判定するまでの一連の処理である。
向き判定部１１１は、顔判定部７１により判定された顔の向きを判定する。具体的には、特定された向きがスイング方向であるか否かを判定する。
計測部１１２は、所定の向きに向いている顔がどれくらい期間継続していること（継続状態のフレーム画像がいくつ連続していること）を計測する。
計測判定部１１３は、計測部１１２により計測された期間が所定以上の期間継続している（継続状態のフレーム画像が一定数以上連続している）かを判定する。
次に、このような機能的構成を有する画像処理装置１が実行する本振り動画像生成処理の流れについて説明する。
図６は、図４の機能的構成を有する図３の画像処理装置１が実行する本振り動画像生成処理の流れを説明するフローチャートである。
本振り動画像生成処理は、ユーザがタッチパネル１８を用いて本振り動画像生成処理を実行する所定の操作をした場合、その操作を契機として開始される。
なお、本振り動画像生成処理にあたり、ユーザは、登録モードにより、予め、アドレスの動作とフィニッシュの動作の顔領域の登録を行う。その結果、画像処理装置１は、登録モードで登録された顔領域の情報から算出された特徴点を用いて、本振り動画像生成処理における顔領域の特定に用いる。
図６は、図４の機能的構成を有する図３の画像処理装置１が実行する本振り動画像生成処理の流れを説明するフローチャートである。
本振り動画像生成処理は、ユーザがタッチパネル１８を用いて本振り動画像生成処理を実行する所定の操作をした場合、その操作を契機として開始される。
なお、本振り動画像生成処理にあたり、ユーザは、登録モードにより、予め、アドレスの動作とフィニッシュの動作の顔領域の登録を行う。その結果、画像処理装置１は、登録モードで登録された顔領域の情報から算出された特徴点を用いて、本振り動画像生成処理における顔領域の特定に用いる。
ステップＳ１において、顔判定部７１、スイング判定部７２及び本振り判定部７３は、各機能を起動する。即ち、顔判定部７１、スイング判定部７２及び本振り判定部７３は、本振り判定処理、顔判定処理及びスイング判定処理を実行する。なお、本振り判定処理、顔判定処理及びスイング判定処理の詳細については、後述する。
ステップＳ２において、動画像取得部５２は、動画像のデータを取得する。即ち、動画像取得部５２は、撮像制御部５１の制御により、撮像部１７で撮像された動画像のデータを取得する。
ステップＳ３において、動画像取得部５２は、動画像記憶部９１のバッファに空きがあるか否かを判定する。
動画像記憶部９１のバッファに空きがない場合には、ステップＳ３においてＮＯと判定されて、処理はステップＳ４に進む。
ステップＳ４において、動画像取得部５２は、動画像記憶部９１のバッファにある古いデータを削除して、処理はステップＳ５に進む。
これに対して、動画像記憶部９１のバッファに空きがある場合には、ステップＳ３においてＹＥＳと判定されて、処理はステップＳ５に進む。
ステップＳ５において、動画像取得部５２は、動画像記憶部９１のバッファに動画像のデータを格納する。
ステップＳ６において、本振り領域抽出部７４は、本振り判定処理における通知（以下、「本振り判定通知」と呼ぶ）があるか否かを判断する。
本振り判定通知がない場合には、ステップＳ６においてＮＯと判断されて、処理はステップＳ２に進み、それ以降の処理が実行される。
本振り判定通知がある場合には、ステップＳ６においてＹＥＳと判断されて、処理はステップＳ７に進む。
本振り判定通知がない場合には、ステップＳ６においてＮＯと判断されて、処理はステップＳ２に進み、それ以降の処理が実行される。
本振り判定通知がある場合には、ステップＳ６においてＹＥＳと判断されて、処理はステップＳ７に進む。
ステップＳ７において、本振り領域抽出部７４は、本振りと判定された動画像のデータにおける始点ｔａから終点ｔｂまで区間、即ち、一連の動作の期間（Ｔ）のデータを動画像記憶部９１のバッファから取り出して、本振り動画像のデータを生成する。その後、本振り領域抽出部７４は、生成した本振り動画像のデータを本振り動画像記憶部９３に出力して記憶させる。
ステップＳ８において、顔判定部７１、スイング判定部７２及び本振り判定部７３は、各機能を終了する。即ち、顔判定部７１、スイング判定部７２及び本振り判定部７３は、本振り判定処理、顔判定処理及びスイング判定処理の実行を終了する。これにより、本振り動画像生成処理が終了する。
次に、図４の機能的構成を有する図３の画像処理装置１が実行する本振り判定処理の詳細な流れを説明する。
図７は、図４の機能的構成を有する図３の画像処理装置１が実行する本振り判定処理の流れを説明するフローチャートである。
「本振り判定処理」とは、一連のスイング動作と判断され、フィニッシュの動作を含むフレーム画像における顔の向きを取得して、取得した顔の向きに基づいて、一連のスイング動作が本振りか素振りであるかを判定する一連の処理である。
図７は、図４の機能的構成を有する図３の画像処理装置１が実行する本振り判定処理の流れを説明するフローチャートである。
「本振り判定処理」とは、一連のスイング動作と判断され、フィニッシュの動作を含むフレーム画像における顔の向きを取得して、取得した顔の向きに基づいて、一連のスイング動作が本振りか素振りであるかを判定する一連の処理である。
ステップＳ２１において、本振り判定部７３は、スイング判定処理における通知（以下、「スイング判定通知」と呼ぶ）があるか否かを判断する。
スイング判定通知がない場合には、ステップＳ２１においてＮＯと判断されて、スイング判定通知があるまで、待機状態となる。
スイング判定通知がある場合には、ステップＳ２１においてＹＥＳと判断されて、処理はステップＳ２２に進む。
ステップＳ２２において、本振り判定部７３は、スイング判定機能からの通知に含まれる、スイングの始点ｔａと、終点ｔｂと、スイング方向に関する情報と、をスイング情報記憶部９２に格納する。
ステップＳ２３において、本振り判定部７３は、顔判定処理における通知（以下、「顔判定通知」と呼ぶ）があるか否かを判断する。
顔判定通知がタイムアウトや素振り候補であった場合には、ステップＳ２３において〈タイムアウト ＯＲ 素振り候補〉であると判断されて、処理はステップＳ２６に進む。ステップＳ２６の処理については、後述する。
顔判定通知がタイムアウトや素振り候補であった場合には、ステップＳ２３において〈タイムアウト ＯＲ 素振り候補〉であると判断されて、処理はステップＳ２６に進む。ステップＳ２６の処理については、後述する。
顔判定通知が本振り候補であった場合には、ステップＳ２３において〈本振り候補〉であると判断されて、処理はステップＳ２４に進む。この際、顔判定通知には、本振り候補である旨と共に、顔の向きの情報が含められる。
ステップＳ２４において、本振り判定部７３は、顔判定通知に含まれる顔の向きの情報を取得する。
ステップＳ２５において、本振り判定部７３は、スイング方向と顔の向きが同じであるか否か（スイング方向＝顔の向き？）を判定する。即ち、本振り判定部７３は、ステップＳ２２においてスイング情報記憶部９２に格納されたスイング方向とフィニッシュ時点での顔の向きが同じ方向であるか否かを判定する。
スイング方向と顔の向きが同じでないと判定された場合には、ステップＳ２５においてＮＯと判定されて、処理はステップＳ２６に進む。
ステップＳ２６において、本振り判定部７３は、スイング情報記憶部９２に格納されている顔の向きに関する情報（値）のデータを破棄する。これにより、処理は、ステップＳ２１に戻り、その後、ステップＳ２１以降の処理が実行される。
これに対して、スイング方向と顔の向きが同じであると判定された場合には、ステップＳ２５においてＹＥＳと判定されて、処理はステップＳ２７に進む。
ステップＳ２７において、本振り判定部７３は、本振り動画像生成処理に対して、本振り判定通知を行う。本振り判定通知に際して、本振り判定部７３は、スイングの始点ｔａと、終点ｔｂに関する情報を当該通知に含める。これにより、本振り判定処理は終了する。
次に、図５の機能的構成を有する図３の画像処理装置１が実行する顔判定処理の詳細な流れを説明する。
図８は、図５の機能的構成を有する図３の画像処理装置１が実行する顔判定処理の流れを説明するフローチャートである。
図８は、図５の機能的構成を有する図３の画像処理装置１が実行する顔判定処理の流れを説明するフローチャートである。
ステップＳ５１において、向き判定部１１１は、各フレーム画像のデータ毎に順次、顔の向きを検索して、下向きの顔領域を検出する。向き判定部１１１は、例えば、スイング情報記憶部９２に格納される顔に関する情報に基づいて、下向きの顔領域を検出する。
ステップＳ５２において、顔判定部７１は、スイング判定処理に対して、検出した顔領域をスイング対象者となる主要被写体の顔領域である旨を含めた顔判定通知を行う。
ステップＳ５３において、顔判定部７１は、顔の向きを追従する。即ち、顔判定部７１は、特定された顔領域の変化を各フレーム画像において検出する。
ステップＳ５４において、向き判定部１１１は、顔の向きが横向きに遷移したか否か（顔の向き＝横向きへ遷移？）を判定する。
顔の向きが横向きに遷移しないと判定された場合には、ステップＳ５４においてＮＯであると判定されて、処理はステップＳ５１に戻り、ステップＳ５１以降の処理が実行される。
顔の向きが横向きに遷移しないと判定された場合には、ステップＳ５４においてＮＯであると判定されて、処理はステップＳ５１に戻り、ステップＳ５１以降の処理が実行される。
顔の向きが横向きに遷移したと判定された場合には、ステップＳ５４においてＹＥＳであると判定されて、処理はステップＳ５５に進む。
ステップＳ５５において、計測部１１２は、横向きになった時点（ｔ１）を計測取得する。
ステップＳ５６において、向き判定部１１１は、横向きが解除、即ち、横向きでない方向を向いたか否かを判定する。
横向きが解除されたと判定された場合には、ステップＳ５６においてＹＥＳと判定されて、処理はステップＳ５７に進む。
ステップＳ５７において、顔判定部７１は、本振り判定処理に対して、素振り候補である旨を含めた顔判定通知をする。その後、顔判定処理は、終了する。
これに対して、横向きが解除されなかったと判定された場合には、ステップＳ５６においてＮＯと判定されて、処理はステップＳ５８に進む。
ステップＳ５８において、計測判定部１１３は、顔の向きの状態が横向きとなった時点（ｔ１）から２秒経過したか否かを判定する。
横向きの状態が２秒経過していない場合には、ステップＳ５８においてＮＯと判定されて、処理はステップＳ５６に戻る。
横向きの状態が２秒経過した場合には、本振りである蓋然性が高いために、本振り候補とすべく、ステップＳ５８においてＹＥＳと判定されて、ステップＳ５９に進む。
ステップＳ５９において、顔判定部７１は、本振り判定処理に対して、本振り候補である旨を含めた顔判定通知をする。その際、顔判定部７１は、本振り候補である旨とともに、顔の向きの情報もあわせて含めた顔判定通知をする。これにより、顔判定処理は終了する。
次に、図４の機能的構成を有する図３の画像処理装置１が実行するスイング判定処理の詳細な流れを説明する。
図９は、図４の機能的構成を有する図３の画像処理装置１が実行するスイング判定処理の詳細な流れを説明する。
「スイング判定処理」とは、動画像のデータにおけるスイングの動作の箇所を特定し、さらにスイングの方向も特定するまでの一連の処理である。
図９は、図４の機能的構成を有する図３の画像処理装置１が実行するスイング判定処理の詳細な流れを説明する。
「スイング判定処理」とは、動画像のデータにおけるスイングの動作の箇所を特定し、さらにスイングの方向も特定するまでの一連の処理である。
ステップＳ７１においては、スイング判定部７２は、顔判定通知があるか否かの判断を行う。
顔判定通知がない場合には、ステップＳ７１においてＮＯと判断されて、顔判定通知があるまで、待機状態となる。
顔判定通知がある場合には、ステップＳ７１においてＹＥＳと判断されて、処理はステップＳ７２に進む。
顔判定通知がない場合には、ステップＳ７１においてＮＯと判断されて、顔判定通知があるまで、待機状態となる。
顔判定通知がある場合には、ステップＳ７１においてＹＥＳと判断されて、処理はステップＳ７２に進む。
ステップＳ７２において、スイング判定部７２は、顔判定通知に含まれる顔領域を含むフレーム画像を注目フレーム画像に設定する。
ステップＳ７３において、スイング判定部７２は、注目フレーム画像の中で、顔領域の下方の位置するフレーム画像を検索する。
ステップＳ７４において、スイング判定部７２は、注目フレーム画像を１つずつ動かして、ゴルフクラブをグリップしている手の位置（グリップ位置）を検索して追従する。
ステップＳ７５において、スイング判定部７２は、追従の結果、グリップ位置が所定の位置で所定の時間移動せずに、静止したか否か（グリップ位置＝静止？）を判定する。
グリップ位置が静止していないと判定された場合には、ステップＳ７５においてＮＯであり、処理は、ステップＳ７４に戻る。
これに対して、グリップ位置が静止していると判定された場合には、ステップＳ７５においてＹＥＳであり、処理は、ステップＳ７６に進む。
グリップ位置が静止していないと判定された場合には、ステップＳ７５においてＮＯであり、処理は、ステップＳ７４に戻る。
これに対して、グリップ位置が静止していると判定された場合には、ステップＳ７５においてＹＥＳであり、処理は、ステップＳ７６に進む。
ステップＳ７６において、スイング判定部７２は、動き出す時刻、即ち、始点（ｔａ）を保持する。
ステップＳ７７において、スイング判定部７２は、その後のグリップの動きがスイングの軌道であるか否か（その後の動き＝スイング軌道？）を判定する。具体的には、スイング判定部７２は、例えば、スイング情報記憶部９２に予め記憶されたスイングに関する情報とグリップの動きとを比較してスイング軌道を判定する。
その後のグリップの動きがスイングの軌道でないと判定された場合には、ステップＳ７７においてＮＯと判定されて、処理はステップＳ７４へ戻る。
これに対して、その後のグリップの動きがスイングの軌道であると判定された場合には、ステップＳ７７においてＹＥＳと判定されて、処理はステップＳ７８に進む。
その後のグリップの動きがスイングの軌道でないと判定された場合には、ステップＳ７７においてＮＯと判定されて、処理はステップＳ７４へ戻る。
これに対して、その後のグリップの動きがスイングの軌道であると判定された場合には、ステップＳ７７においてＹＥＳと判定されて、処理はステップＳ７８に進む。
ステップＳ７８において、スイング判定部７２は、グリップ位置がフィニッシュ状態になった時刻、即ち、終点（ｔｂ）を保持する。
ステップＳ７９において、スイング判定部７２は、スイング方向を算出する。具体的には、スイング判定部７２は、例えば、スイングの軌道からスイング方向を算出する。
ステップＳ８０において、スイング判定部７２は、本振り判定機能にスイングの判定結果（スイングの始点（ｔａ）、終点（ｔｂ）及びスイング方向に関する情報）を通知する。これにより、スイング判定処理は終了する。
以上のような画像処理装置１によれば、動画像取得部５２と、顔判定部７１と、向き判定部１１１と、本振り領域抽出部７４と、を備える。
動画像取得部５２は、一連の動作をしている被写体を含む動画像データを取得する。
顔判定部７１は、動画像取得部５２により取得された動画像データにおける被写体の向きを特定する。
向き判定部１１１は、顔判定部７１により特定された被写体の向きが所定の向きとなったか否かを判定する。
本振り領域抽出部７４は、向き判定部１１１による判定結果に基づいて、動画像データから、一連の動作をしている被写体が含まれる所定の期間のフレーム画像のデータを抽出する。
これにより、画像処理装置１は、顔判定部７１により特定された被写体の向きが所定の向きとなっている動画像データ中の被写体の一連の動作のフレーム画像のデータに対応する所定の期間のフレーム画像のデータを抽出する。
従って、画像処理装置１においては、特殊なデバイスを使用しなくても撮影環境に影響されることなく所望の期間の動画像や所望の画像を特定できる。
また、画像処理装置１においては、実際にボールを打ったときだけを切り取ることで、本当に必要な部分のみデータ化でき、再生する際に場所を探す必要がなくなり、かつデータ容量を削減することができる。
また、画像処理装置１においては、スイングの開始のタイミングに影響を与えずにスイング対象者が特に意識することなく、さらに、スイング後にすぐに操作する必要もないため、スイング自体に意識を集中できる。
動画像取得部５２は、一連の動作をしている被写体を含む動画像データを取得する。
顔判定部７１は、動画像取得部５２により取得された動画像データにおける被写体の向きを特定する。
向き判定部１１１は、顔判定部７１により特定された被写体の向きが所定の向きとなったか否かを判定する。
本振り領域抽出部７４は、向き判定部１１１による判定結果に基づいて、動画像データから、一連の動作をしている被写体が含まれる所定の期間のフレーム画像のデータを抽出する。
これにより、画像処理装置１は、顔判定部７１により特定された被写体の向きが所定の向きとなっている動画像データ中の被写体の一連の動作のフレーム画像のデータに対応する所定の期間のフレーム画像のデータを抽出する。
従って、画像処理装置１においては、特殊なデバイスを使用しなくても撮影環境に影響されることなく所望の期間の動画像や所望の画像を特定できる。
また、画像処理装置１においては、実際にボールを打ったときだけを切り取ることで、本当に必要な部分のみデータ化でき、再生する際に場所を探す必要がなくなり、かつデータ容量を削減することができる。
また、画像処理装置１においては、スイングの開始のタイミングに影響を与えずにスイング対象者が特に意識することなく、さらに、スイング後にすぐに操作する必要もないため、スイング自体に意識を集中できる。
画像処理装置１は、計測部１１２と、計測判定部１１３と、を更に備える。
計測部１１２は、向き判定部１１１により被写体の向きが所定の向きとなったと判定されると、当該被写体が所定の向きとなっている時間を計測する。
計測判定部１１３は、計測部１１２により計測された時間が所定の閾値を超えたか否かを判定する。
本振り領域抽出部７４は、更に、計測判定部１１３により計測された時間が所定の閾値を超えたと判定されると、所定の期間のデータを抽出する。
これにより、画像処理装置１は、計測判定部１１３により計測された時間が所定の閾値を超えたと判定されると、所定の期間のデータを抽出する。
従って、画像処理装置１においては、より高い精度で本振り動画像のデータの抽出を行うことができる。
計測部１１２は、向き判定部１１１により被写体の向きが所定の向きとなったと判定されると、当該被写体が所定の向きとなっている時間を計測する。
計測判定部１１３は、計測部１１２により計測された時間が所定の閾値を超えたか否かを判定する。
本振り領域抽出部７４は、更に、計測判定部１１３により計測された時間が所定の閾値を超えたと判定されると、所定の期間のデータを抽出する。
これにより、画像処理装置１は、計測判定部１１３により計測された時間が所定の閾値を超えたと判定されると、所定の期間のデータを抽出する。
従って、画像処理装置１においては、より高い精度で本振り動画像のデータの抽出を行うことができる。
また、画像処理装置１は、スイング判定部７２を更に備える。
スイング判定部７２は、動画像取得部５２により取得された動画像データにおける被写体の一連のスイング動作の軌道が所定の軌道と類似するか否かを判定する。具体的には、スイング判定部７２は、ゴルフクラブをグリップしている手の軌道が円弧状となっているか否かを判定する。
本振り領域抽出部７４は、向き判定部１１１の判定結果及びスイング判定部７２の判定結果に基づいて、所定の期間の本振り動画像のデータを抽出する。
このため、画像処理装置１は、向き判定部１１１の判定結果及びスイング判定部７２の判定結果に基づいて、所定の期間の本振り動画像のデータを抽出する。
従って、画像処理装置１においては、より高い精度で一連のスイング動作が本振りか否かを判定でき、本振り動画像のデータの抽出を行うことができる。
スイング判定部７２は、動画像取得部５２により取得された動画像データにおける被写体の一連のスイング動作の軌道が所定の軌道と類似するか否かを判定する。具体的には、スイング判定部７２は、ゴルフクラブをグリップしている手の軌道が円弧状となっているか否かを判定する。
本振り領域抽出部７４は、向き判定部１１１の判定結果及びスイング判定部７２の判定結果に基づいて、所定の期間の本振り動画像のデータを抽出する。
このため、画像処理装置１は、向き判定部１１１の判定結果及びスイング判定部７２の判定結果に基づいて、所定の期間の本振り動画像のデータを抽出する。
従って、画像処理装置１においては、より高い精度で一連のスイング動作が本振りか否かを判定でき、本振り動画像のデータの抽出を行うことができる。
また、画像処理装置１は、撮像部１７を備える。
動画像取得部５２は、撮像部１７により逐次撮像されたフレーム画像のデータを前記動画像データとして循環的に保持し、循環的に保持された動画像のデータを取得する。
従って、画像処理装置１においては、フレーム画像のデータから動画像のデータを取得することができる。
動画像取得部５２は、撮像部１７により逐次撮像されたフレーム画像のデータを前記動画像データとして循環的に保持し、循環的に保持された動画像のデータを取得する。
従って、画像処理装置１においては、フレーム画像のデータから動画像のデータを取得することができる。
スイング判定部７２は、動画像のデータを構成する複数のフレーム画像のデータのうち、被写体の向きが所定の向きとなり、かつ、被写体が所定の位置になっているフレーム画像のデータを、所定の期間の始点のフレーム画像のデータとして特定し、被写体が所定の位置になったフレーム画像のデータを、所定の期間の終点のフレーム画像のデータとして特定する。
従って、画像処理装置１においては、一連のスイング動作の特定をすることができる。
従って、画像処理装置１においては、一連のスイング動作の特定をすることができる。
顔判定部７１は、動画像のデータから被写体の顔領域を検出する。
また、顔判定部７１は、その検出結果に基づいて、被写体の向きを特定する。
従って、画像処理装置１においては、顔の向きを検出することができる。
また、顔判定部７１は、その検出結果に基づいて、被写体の向きを特定する。
従って、画像処理装置１においては、顔の向きを検出することができる。
画像処理装置１は、顔に関する情報を記憶するスイング情報記憶部９２を更に備える。
顔判定部７１は、スイング情報記憶部９２に記憶される情報に基づいて、顔の領域を検出する。
従って、画像処理装置１においては、顔領域を簡単かつ迅速に特定することができる。
顔判定部７１は、スイング情報記憶部９２に記憶される情報に基づいて、顔の領域を検出する。
従って、画像処理装置１においては、顔領域を簡単かつ迅速に特定することができる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
また、上述した実施形態では、スイング動作の解析や顔の向きの検出を画像解析で行うように構成したがこれに限られず、例えば、モーションセンサ等のスイング対象者の動きを検出できる装置等を用いて、スイング動作や顔の向きの検出を行ってもよい。
また、上述した実施形態では、帽子やサングラス等の顔の検出を妨げるものを着用するものにより、顔の検出の精度が下がってしまうという問題を回避することを目的として、登録モードを設けるようにしたが、これに限られない。都度ユーザが登録するようにせずに、予め一般的な顔検出に必要な情報を登録しておいて、当該情報で顔の検出をしてもよい。
また、上述した実施形態では、各種の値（顔の向きを検出するタイムアウトの値）により、各種の判定を行っているが、これらの値は、暫定値であり、固定でも、事後的に変更可能にしてもよい。また、過去のスイングのデータから、顔の向きの保持時間を経験的に算出して、当該算出した値を判定の閾値とするように構成してもよい。
また、上述した実施形態では、本振りの判定を、スイングの軌道、顔の向き、所定の向きにおける顔の保持時間等の被写体の状態が所定の状態となったことを判定要素として用いたがこれに限られない。また、被写体の状態が所定の状態になることに加えて、ボールの有無や音等の他の本振りを判定できる判定要素と一緒に活用することも可能である。このようにすることで、本振りの判定の精度を高めることができる。
また、上述した実施形態では、本振りの部分を特定して抽出したがこれに限られない。
抽出するデータは、特定できる所定の動作（例えば、一連の動作）であればよく、ゴルフのスイングの場合では、素振り部分やスイングしていない部分を抽出対象としてもよいし、例えば、アドレスからテイクバックまでの動作等の一連のスイング内の特定の動作を抽出する対象としてもよい。
また、抽出対象として、例えば、ゴルフクラブとボールとのインパクトの瞬間の画像を抽出するようにしても良い。
抽出するデータは、特定できる所定の動作（例えば、一連の動作）であればよく、ゴルフのスイングの場合では、素振り部分やスイングしていない部分を抽出対象としてもよいし、例えば、アドレスからテイクバックまでの動作等の一連のスイング内の特定の動作を抽出する対象としてもよい。
また、抽出対象として、例えば、ゴルフクラブとボールとのインパクトの瞬間の画像を抽出するようにしても良い。
また、上述した実施形態では、ゴルフのスイングについて適用したがこれに限られない。少なくとも、素振りと本振りがあり、本振り時には打球方向を見るような、例えば、卓球や野球のスイングに適用可能である。
また、上述の実施形態では、本発明が適用される画像処理装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、本振り動画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
例えば、本発明は、本振り動画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５及び６の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５及び６の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
換言すると、図５及び６の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５及び６の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図３のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図３のＲＯＭ１２や、図３の記憶部２０に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
所定の動作をしている被写体を含む動画像データを取得する取得手段と、
前記取得手段により取得された動画像データにおける被写体の状態を特定する特定手段と、
前記特定手段により特定された被写体の状態が所定の状態となったか否かを判定する状態判定手段と、
前記状態判定手段による判定結果に基づいて、前記動画像データから、前記所定の動作をしている被写体が含まれる画像データを抽出する抽出手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記状態判定手段により被写体の状態が所定の状態となったと判定されると、当該被写体が所定の状態となっている時間を計測する計測手段と、
前記計測手段により計測された時間が所定の閾値を超えたか否かを判定する閾値判定手段と、を更に備え、
前記抽出手段は、更に、前記閾値判定手段により前記計測された時間が所定の閾値を超えたと判定されると、前記所定の期間のデータを抽出することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記取得手段により取得された動画像データにおける被写体の所定の動作の軌道が所定の軌道と類似するか否かを判定する類似判定手段を更に備え、
前記抽出手段は、前記状態判定手段の判定結果及び前記類似判定手段の判定結果に基づいて、前記所定の期間の画像データを抽出することを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
撮像手段と、
前記撮像手段により逐次撮像された画像データを前記動画像データとして循環的に保持する保持手段と、を更に備え、
前記取得手段は、前記保持手段により循環的に保持された動画像データを取得することを特徴とする付記１乃至３の何れか１つに記載の画像処理装置。
［付記５］
前記特定手段は、前記動画像データを構成する複数の単位画像データのうち、被写体の状態が所定の状態となり、かつ、被写体が所定の位置になっている単位画像データを、前記所定の期間の始点の単位画像データとして特定し、被写体が所定の位置になった単位画像データを、前記所定の期間の終点の単位画像データとして特定することを特徴とする付記１乃至４の何れか１つに記載の画像処理装置。
［付記６］
前記抽出手段は、前記所定の動作をしている被写体が含まれる所定の期間の画像データを抽出することを特徴とする付記１乃至５の何れか１つに記載の画像処理装置。
［付記７］
前記動画像データから前記被写体の顔の領域を検出する検出手段を更に備え、
前記特定手段は、前記検出手段による検出結果に基づいて、前記被写体の状態を特定することを特徴とする付記１乃至６の何れか１つに記載の画像処理装置。
［付記８］
顔に関する情報を記憶する顔情報記憶手段を更に備え、
前記検出手段は、前記顔情報記憶手段に記憶される前記情報に基づいて、前記顔の領域を検出することを特徴とする付記７に記載の画像処理装置。
［付記９］
前記特定手段は、被写体の動きを検出するモーションセンサにより被写体の状態を特定することを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１０］
前記特定手段は、前記所定の状態として前記被写体の向きを特定し、
前記状態判定手段は、前記特定手段により特定された被写体の向きが所定の向きとなったか否かを判定することを特徴とする付記１乃至９の何れか１つに記載の画像処理装置。
［付記１１］
前記所定の動作は、一連のゴルフスイングの動作であることを特徴とする付記１乃至１０の何れか１つに記載の画像処理装置。
［付記１２］
所定の動作をしている画像データを含む動画像データを取得する取得ステップと、
前記取得ステップにより取得された動画像データ中の被写体の状態を特定する特定ステップと、
前記特定ステップにより特定された被写体の状態が所定の状態となったか否かを判定する状態判定ステップと、
前記状態判定ステップによる判定結果に基づいて、前記動画像データから、前記所定の動作をしている被写体が含まれる画像データを抽出する抽出ステップと、
を含むことを特徴とする画像処理方法。
［付記１３］
コンピュータを、
所定の動作をしている被写体の画像データを含む動画像データを取得する取得手段、
前記取得手段により取得された動画像データ中の被写体の状態を特定する特定手段、
前記特定手段により特定された被写体の状態が所定の状態となったか否かを判定する状態判定手段、
前記状態判定手段による判定結果に基づいて、前記動画像データから、前記所定の動作をしている被写体が含まれる画像データを抽出する抽出手段、
として機能させることを特徴とするプログラム。
［付記１］
所定の動作をしている被写体を含む動画像データを取得する取得手段と、
前記取得手段により取得された動画像データにおける被写体の状態を特定する特定手段と、
前記特定手段により特定された被写体の状態が所定の状態となったか否かを判定する状態判定手段と、
前記状態判定手段による判定結果に基づいて、前記動画像データから、前記所定の動作をしている被写体が含まれる画像データを抽出する抽出手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記状態判定手段により被写体の状態が所定の状態となったと判定されると、当該被写体が所定の状態となっている時間を計測する計測手段と、
前記計測手段により計測された時間が所定の閾値を超えたか否かを判定する閾値判定手段と、を更に備え、
前記抽出手段は、更に、前記閾値判定手段により前記計測された時間が所定の閾値を超えたと判定されると、前記所定の期間のデータを抽出することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記取得手段により取得された動画像データにおける被写体の所定の動作の軌道が所定の軌道と類似するか否かを判定する類似判定手段を更に備え、
前記抽出手段は、前記状態判定手段の判定結果及び前記類似判定手段の判定結果に基づいて、前記所定の期間の画像データを抽出することを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
撮像手段と、
前記撮像手段により逐次撮像された画像データを前記動画像データとして循環的に保持する保持手段と、を更に備え、
前記取得手段は、前記保持手段により循環的に保持された動画像データを取得することを特徴とする付記１乃至３の何れか１つに記載の画像処理装置。
［付記５］
前記特定手段は、前記動画像データを構成する複数の単位画像データのうち、被写体の状態が所定の状態となり、かつ、被写体が所定の位置になっている単位画像データを、前記所定の期間の始点の単位画像データとして特定し、被写体が所定の位置になった単位画像データを、前記所定の期間の終点の単位画像データとして特定することを特徴とする付記１乃至４の何れか１つに記載の画像処理装置。
［付記６］
前記抽出手段は、前記所定の動作をしている被写体が含まれる所定の期間の画像データを抽出することを特徴とする付記１乃至５の何れか１つに記載の画像処理装置。
［付記７］
前記動画像データから前記被写体の顔の領域を検出する検出手段を更に備え、
前記特定手段は、前記検出手段による検出結果に基づいて、前記被写体の状態を特定することを特徴とする付記１乃至６の何れか１つに記載の画像処理装置。
［付記８］
顔に関する情報を記憶する顔情報記憶手段を更に備え、
前記検出手段は、前記顔情報記憶手段に記憶される前記情報に基づいて、前記顔の領域を検出することを特徴とする付記７に記載の画像処理装置。
［付記９］
前記特定手段は、被写体の動きを検出するモーションセンサにより被写体の状態を特定することを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１０］
前記特定手段は、前記所定の状態として前記被写体の向きを特定し、
前記状態判定手段は、前記特定手段により特定された被写体の向きが所定の向きとなったか否かを判定することを特徴とする付記１乃至９の何れか１つに記載の画像処理装置。
［付記１１］
前記所定の動作は、一連のゴルフスイングの動作であることを特徴とする付記１乃至１０の何れか１つに記載の画像処理装置。
［付記１２］
所定の動作をしている画像データを含む動画像データを取得する取得ステップと、
前記取得ステップにより取得された動画像データ中の被写体の状態を特定する特定ステップと、
前記特定ステップにより特定された被写体の状態が所定の状態となったか否かを判定する状態判定ステップと、
前記状態判定ステップによる判定結果に基づいて、前記動画像データから、前記所定の動作をしている被写体が含まれる画像データを抽出する抽出ステップと、
を含むことを特徴とする画像処理方法。
［付記１３］
コンピュータを、
所定の動作をしている被写体の画像データを含む動画像データを取得する取得手段、
前記取得手段により取得された動画像データ中の被写体の状態を特定する特定手段、
前記特定手段により特定された被写体の状態が所定の状態となったか否かを判定する状態判定手段、
前記状態判定手段による判定結果に基づいて、前記動画像データから、前記所定の動作をしている被写体が含まれる画像データを抽出する抽出手段、
として機能させることを特徴とするプログラム。
１・・・画像処理装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・画像処理部，１５・・・入出力インターフェース，１６・・・バス，１７・・・撮像部，１８・・・タッチパネル，１９・・・表示部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・動画像取得部，５３・・・表示制御部，７１・・・顔判定部，７２・・・スイング判定部，７３・・・本振り判定部，７４・・・動画像領域抽出部，９１・・・動画像記憶部，９２・・・スイング情報記憶部，９３・・・本振り動画像記憶部，１１１・・・向き判定部，１１２・・・計測部，１１３・・・計測判定部
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
上記目的を達成するため、本発明の一態様の画像処理装置は、
所定の動作をしている被写体を含む動画像データを取得する取得手段と、
前記取得手段により取得された前記動画像データにおける前記被写体の部分画像を特定する特定手段と、
前記特定手段により特定された前記被写体の部分画像から、当該被写体の状態が所定の状態となったか否かを判定する状態判定手段と、
前記取得手段により取得された前記動画像データにおける前記被写体の所定の動作の軌道が所定の軌道と類似するか否かを判定する類似判定手段と、
前記状態判定手段の判定結果及び前記類似判定手段の判定結果に基づいて、前記動画像データから、前記所定の動作をしている被写体が含まれる所定の期間の画像データを抽出する抽出手段と、
を備えることを特徴とする。
また、本発明の他の一態様の画像処理装置は、
所定の動作をしている被写体を含む動画像データを取得する取得手段と、
前記取得手段により取得された前記動画像データにおける前記被写体の部分画像を特定するとともに、当該被写体の顔領域の画像を特定する特定手段と、
前記特定手段により特定された前記部分画像から、前記被写体の向きを判定するとともに、前記特定手段により特定された前記顔領域の画像から、前記被写体の顔の向きを判定する方向判定手段と、
前記方向判定手段により判定された前記被写体の向きと、前記被写体の顔の向きとが同じ向きであるか否かを判定する状態判定手段と、
前記状態判定手段により前記被写体の向きと前記被写体の顔の向きとが同じ向きであると判定された場合に、前記動画像データから、前記所定の動作をしている被写体が含まれる画像データを抽出する抽出手段と、
備えることを特徴とする。
所定の動作をしている被写体を含む動画像データを取得する取得手段と、
前記取得手段により取得された前記動画像データにおける前記被写体の部分画像を特定する特定手段と、
前記特定手段により特定された前記被写体の部分画像から、当該被写体の状態が所定の状態となったか否かを判定する状態判定手段と、
前記取得手段により取得された前記動画像データにおける前記被写体の所定の動作の軌道が所定の軌道と類似するか否かを判定する類似判定手段と、
前記状態判定手段の判定結果及び前記類似判定手段の判定結果に基づいて、前記動画像データから、前記所定の動作をしている被写体が含まれる所定の期間の画像データを抽出する抽出手段と、
を備えることを特徴とする。
また、本発明の他の一態様の画像処理装置は、
所定の動作をしている被写体を含む動画像データを取得する取得手段と、
前記取得手段により取得された前記動画像データにおける前記被写体の部分画像を特定するとともに、当該被写体の顔領域の画像を特定する特定手段と、
前記特定手段により特定された前記部分画像から、前記被写体の向きを判定するとともに、前記特定手段により特定された前記顔領域の画像から、前記被写体の顔の向きを判定する方向判定手段と、
前記方向判定手段により判定された前記被写体の向きと、前記被写体の顔の向きとが同じ向きであるか否かを判定する状態判定手段と、
前記状態判定手段により前記被写体の向きと前記被写体の顔の向きとが同じ向きであると判定された場合に、前記動画像データから、前記所定の動作をしている被写体が含まれる画像データを抽出する抽出手段と、
備えることを特徴とする。
図１は、本振り動画像のデータの生成の手法の概要を示す模式図である。
本手法では、図１に示すように、動画像を構成する複数のフレーム画像Ｆ１・・・Ｆｎの中から、主要被写体が所定の動作をしている期間のフレーム画像群（一部の動画像）と、主要被写体が当該所定の動作をしていない期間のフレーム画像群（一部の動画像）とが特定される。
具体的には例えば、一連のスイング動作をしているスイング対象者が主要被写体として撮影され、所定の動作として「スイング」が採用された場合には、スイングをしている期間のフレーム画像群（以下、「スイング部分」と呼ぶ）と、スイングをしていない期間のフレーム画像群（以下、「非スイング部分」と呼ぶ）とが特定される。
ここで、スイング部分が、図１に示すように、始点ｔａと終点ｔｂとにより特定される。始点ｔａとは、フレーム画像Ｆ１・・・Ｆｎのうちの、スイングを開始した主要被写体が含まれるフレーム画像Ｆａ（ａは、１〜ｎ−１のうちの任意の値）の表示時刻をいう。終点ｔｂとは、フレーム画像Ｆ１・・・Ｆｎのうちの、スイングを終了した主要被写体が含まれるフレーム画像Ｆｂ（ｂは、２〜ｎのうちの任意の値）の表示時刻をいう。表示時刻とは、動画像の最初のフレーム画像Ｆ１の時刻を基準時刻として、各フレーム画像Ｆ１〜Ｆｎの各々が表示される時刻をいう。この場合、スイング部分の期間Ｔ（以下、「スイング部分の期間Ｔ」と呼ぶ）は、始点ｔａと終点ｔｂとの差分により特定される。
このようにして特定されるスイング部分には、主要被写体が素振りをしている期間のフレーム画像群（以下、「素振り部分」と呼ぶ）と、主要被写体が本振りをしている期間のフレーム画像群（以下、「本振り部分」と呼ぶ）とが含まれている。
そこで、さらに、本手法では、スイング部分の中から、本振り部分が特定される。
さらに以下、図２等を参照して、スイング部分及び本振り部分の特定手法について詳しく説明する。なお、本手法においては、各フレーム画像に含まれる被写体の動作、即ち、一連のスイング動作に含まれる動作やスイングしていない動作に含まれる動作を特定して抽出することとなる。特に、本振り部分を特定するため、特定対象となるフレーム画像に含まれる被写体のスイング動作を特定するための手法が必要となる。本実施形態においては、スイング動作のうち本振りのスイング動作を特定する。
本手法では、図１に示すように、動画像を構成する複数のフレーム画像Ｆ１・・・Ｆｎの中から、主要被写体が所定の動作をしている期間のフレーム画像群（一部の動画像）と、主要被写体が当該所定の動作をしていない期間のフレーム画像群（一部の動画像）とが特定される。
具体的には例えば、一連のスイング動作をしているスイング対象者が主要被写体として撮影され、所定の動作として「スイング」が採用された場合には、スイングをしている期間のフレーム画像群（以下、「スイング部分」と呼ぶ）と、スイングをしていない期間のフレーム画像群（以下、「非スイング部分」と呼ぶ）とが特定される。
ここで、スイング部分が、図１に示すように、始点ｔａと終点ｔｂとにより特定される。始点ｔａとは、フレーム画像Ｆ１・・・Ｆｎのうちの、スイングを開始した主要被写体が含まれるフレーム画像Ｆａ（ａは、１〜ｎ−１のうちの任意の値）の表示時刻をいう。終点ｔｂとは、フレーム画像Ｆ１・・・Ｆｎのうちの、スイングを終了した主要被写体が含まれるフレーム画像Ｆｂ（ｂは、２〜ｎのうちの任意の値）の表示時刻をいう。表示時刻とは、動画像の最初のフレーム画像Ｆ１の時刻を基準時刻として、各フレーム画像Ｆ１〜Ｆｎの各々が表示される時刻をいう。この場合、スイング部分の期間Ｔ（以下、「スイング部分の期間Ｔ」と呼ぶ）は、始点ｔａと終点ｔｂとの差分により特定される。
このようにして特定されるスイング部分には、主要被写体が素振りをしている期間のフレーム画像群（以下、「素振り部分」と呼ぶ）と、主要被写体が本振りをしている期間のフレーム画像群（以下、「本振り部分」と呼ぶ）とが含まれている。
そこで、さらに、本手法では、スイング部分の中から、本振り部分が特定される。
さらに以下、図２等を参照して、スイング部分及び本振り部分の特定手法について詳しく説明する。なお、本手法においては、各フレーム画像に含まれる被写体の動作、即ち、一連のスイング動作に含まれる動作やスイングしていない動作に含まれる動作を特定して抽出することとなる。特に、本振り部分を特定するため、特定対象となるフレーム画像に含まれる被写体のスイング動作を特定するための手法が必要となる。本実施形態においては、スイング動作のうち本振りのスイング動作を特定する。
図２は、スイング部分及び本振り部分の特定手法の一例について示す模式図である。
先ず、スイング対象者である主要被写体の体の一部部位の向きや位置から、スイングをしている主要被写体を含むフレーム画像が特定される。このようにして特定されるフレーム画像が時間的に連続して複数配置される（表示される）フレーム画像群が、スイング部分となる。
さらに、このスイング部分が、所定のスイング動作時に所定の主要被写体の動作を含むフレーム画像である場合に、当該スイング部分が、本振り部分として特定される。
先ず、スイング対象者である主要被写体の体の一部部位の向きや位置から、スイングをしている主要被写体を含むフレーム画像が特定される。このようにして特定されるフレーム画像が時間的に連続して複数配置される（表示される）フレーム画像群が、スイング部分となる。
さらに、このスイング部分が、所定のスイング動作時に所定の主要被写体の動作を含むフレーム画像である場合に、当該スイング部分が、本振り部分として特定される。
具体的には例えば、図２の例でいえば、フレーム画像ｆａには、一連のスイング動作のうち、スイングの開始の動作となる「アドレス」をしているスイング対象者が、主要被写体として含まれている。
アドレス時には、主要被写体の顔ｆ１が下を向いた状態となる。また、アドレス時には、主要被写体の顔ｆ１の下方にゴルフクラブをグリップしている手ｈ１が位置する。
従って、アドレスの動作は、次のようにして特定される。即ち、顔ｆ１の方向が下向きであり、手ｈ１がゴルフクラブをグリップしている状態であり、かつ、当該手ｈ１の位置が顔ｆ１の下方に位置する状態となった主要被写体を含むフレーム画像が、アドレスをしている主要被写体を含むフレーム画像であると特定される。
ただし、偶然、主要被写体がアドレス以外の動作をしている場合であっても、上述したような状態となった主要被写体が撮像されることがあり、この場合、アドレスの誤検出が生ずる可能性がある。そこで、上述の状態が所定以上の期間継続すること（上述の状態となった主要被写体を含むフレーム画像が一定数以上連続していること）で特定の精度を高める。
アドレス時には、主要被写体の顔ｆ１が下を向いた状態となる。また、アドレス時には、主要被写体の顔ｆ１の下方にゴルフクラブをグリップしている手ｈ１が位置する。
従って、アドレスの動作は、次のようにして特定される。即ち、顔ｆ１の方向が下向きであり、手ｈ１がゴルフクラブをグリップしている状態であり、かつ、当該手ｈ１の位置が顔ｆ１の下方に位置する状態となった主要被写体を含むフレーム画像が、アドレスをしている主要被写体を含むフレーム画像であると特定される。
ただし、偶然、主要被写体がアドレス以外の動作をしている場合であっても、上述したような状態となった主要被写体が撮像されることがあり、この場合、アドレスの誤検出が生ずる可能性がある。そこで、上述の状態が所定以上の期間継続すること（上述の状態となった主要被写体を含むフレーム画像が一定数以上連続していること）で特定の精度を高める。
一連のスイング動作を構成するアドレス後の各動作、即ち、テイクバック、トップ、インパクト、フォロー等の動作は、ゴルフクラブを所定の方向に振り上げて振り下ろしてから反対方向に振り上げる動作の一部分であるから、主要被写体の手ｈ１が所定の軌道、即ち、円弧を描くように時間とともに変化してゆく間の一部の動作ということになる。このため、アドレス後の各動作は、主要被写体の手ｈ１の軌道を各フレーム画像で順次追従することで特定することができる。
フレーム画像ｆｂには、一連のスイング動作のうち、スイングの最後の動作となる「フィニッシュ」をしているスイング対象者が、主要被写体として含まれている。
フィニッシュの動作時においては、主要被写体の手ｈ２が円弧の軌道の終端に位置している。また、フィニッシュの動作時においては、主要被写体の顔ｆ２と手ｈ２との距離が近く、かつ、主要被写体の顔ｆ２よりも主要被写体の手ｈ２が上方（図２においては左側）に位置することとなる。
従って、フィニッシュの動作は、円弧の軌道の終端となり、主要被写体の手ｈ２の位置が主要被写体の顔ｆ２の上方付近に位置することをもって特定される。
フィニッシュの動作時においては、主要被写体の手ｈ２が円弧の軌道の終端に位置している。また、フィニッシュの動作時においては、主要被写体の顔ｆ２と手ｈ２との距離が近く、かつ、主要被写体の顔ｆ２よりも主要被写体の手ｈ２が上方（図２においては左側）に位置することとなる。
従って、フィニッシュの動作は、円弧の軌道の終端となり、主要被写体の手ｈ２の位置が主要被写体の顔ｆ２の上方付近に位置することをもって特定される。
スイング判定部７２は、動画像を構成する各フレーム画像のデータの各々について、主要被写体の動作を解析して、その解析結果に基づいて、一連のスイング動作を構成する各動作をそれぞれ特定する。スイング判定部７２は、例えば、フレーム画像における主要被写体の体の一部分（例えば、ゴルフクラブをグリップしている手や顔の位置）を特定して、特定された部分を複数の連続するフレーム画像間で追従することで、一連のスイング動作であるか否かを特定する。さらに、スイング判定部７２は、一連のスイング動作と判定した複数のフレーム画像群を対象に、アドレス、テイクバック、トップ、インパクト、フォロー、フィニッシュ等の動作をそれぞれ特定する。
スイング情報記憶部９２は、動画像のデータに含まれるスイング動作を判定するために、予めスイングに関する情報を記憶する。「スイングに関する情報」とは、例えば、登録モードで登録された顔領域に関する情報や、スイングの軌道に関する情報等のスイングの情報である。
また、本実施形態においては、帽子やサングラス等の顔領域の特定の妨げになる要素によって、顔領域の判定精度を低下させないために、登録モードを採用している。
「登録モード」とは、予め、スイング対象者のスイングを撮像して、当該スイング対象者の顔領域をタッチパネル１８等への操作で特定する。本実施形態においては、ユーザが撮像した動画像を参照しながら、アドレスの動作とフィニッシュの動作の顔領域をタッチパネル１８への操作（例えば、タッチパネル１８に対して、顔領域に円を描いて指定する操作）で特定する。具体的には、本実施形態においては、図２に示すようなアドレスの動作を含んだ画像ｆａの顔領域ｆ１を指定し、フィニッシュの動作を含んだ画像ｆｂの顔領域ｆ２を指定する。
このように顔領域を特定する登録モードにおいては、判定を行う動画像のデータから顔領域を特定するために、特定された顔領域の情報から特徴点を算出して、顔領域を特定する情報としてスイング情報記憶部９２に記憶する。
なお、本実施形態においては、「登録モード」以外のモードとして、「撮像モード」を搭載する。「撮像モード」とは、動画像の撮像から本振り動画像のデータの生成、本振り動画像のデータの表示等を行うモードである。本実施形態においては、特に断りがない場合には、「撮像モード」となっているものとして説明を行う。
また、本実施形態においては、帽子やサングラス等の顔領域の特定の妨げになる要素によって、顔領域の判定精度を低下させないために、登録モードを採用している。
「登録モード」とは、予め、スイング対象者のスイングを撮像して、当該スイング対象者の顔領域をタッチパネル１８等への操作で特定する。本実施形態においては、ユーザが撮像した動画像を参照しながら、アドレスの動作とフィニッシュの動作の顔領域をタッチパネル１８への操作（例えば、タッチパネル１８に対して、顔領域に円を描いて指定する操作）で特定する。具体的には、本実施形態においては、図２に示すようなアドレスの動作を含んだ画像ｆａの顔領域ｆ１を指定し、フィニッシュの動作を含んだ画像ｆｂの顔領域ｆ２を指定する。
このように顔領域を特定する登録モードにおいては、判定を行う動画像のデータから顔領域を特定するために、特定された顔領域の情報から特徴点を算出して、顔領域を特定する情報としてスイング情報記憶部９２に記憶する。
なお、本実施形態においては、「登録モード」以外のモードとして、「撮像モード」を搭載する。「撮像モード」とは、動画像の撮像から本振り動画像のデータの生成、本振り動画像のデータの表示等を行うモードである。本実施形態においては、特に断りがない場合には、「撮像モード」となっているものとして説明を行う。
さらに以下、顔判定部７１の機能的構成の詳細について説明する。
図５は、図４の機能的構成のうち、顔判定部７１の機能的構成の詳細を示す機能ブロック図である。
図５は、図４の機能的構成のうち、顔判定部７１の機能的構成の詳細を示す機能ブロック図である。
顔判定処理が実行される場合には、画像処理部１４の顔判定部７１において、向き判定部１１１と、計測部１１２と、計測判定部１１３と、が機能する。
「顔判定処理」とは、スイングと判断された部分における顔の向きを取得して、取得した顔の向きがスイング（横）方向か否かを判定するまでの一連の処理である。
「顔判定処理」とは、スイングと判断された部分における顔の向きを取得して、取得した顔の向きがスイング（横）方向か否かを判定するまでの一連の処理である。
向き判定部１１１は、顔判定部７１により判定された顔の向きを判定する。具体的には、特定された向きが下方やスイング方向であるか否かを判定する。
計測部１１２は、所定の向き（スイング方向である横向き）に顔が向いて継続している期間（継続状態のフレーム画像が連続している数）を計測する。
ステップＳ６において、本振り領域抽出部７４は、後述する本振り判定処理における通知（以下、「本振り判定通知」と呼ぶ）があるか否かを判断する。
本振り判定通知がない場合には、ステップＳ６においてＮＯと判断されて、処理はステップＳ２に進み、それ以降の処理が実行される。
本振り判定通知がある場合には、ステップＳ６においてＹＥＳと判断されて、処理はステップＳ７に進む。
本振り判定通知がない場合には、ステップＳ６においてＮＯと判断されて、処理はステップＳ２に進み、それ以降の処理が実行される。
本振り判定通知がある場合には、ステップＳ６においてＹＥＳと判断されて、処理はステップＳ７に進む。
ステップＳ２１において、本振り判定部７３は、後述するスイング判定処理における通知（以下、「スイング判定通知」と呼ぶ）があるか否かを判断する。
ステップＳ２２において、本振り判定部７３は、スイング判定処理からの通知に含まれる、スイングの始点ｔａと、終点ｔｂと、スイング方向に関する情報と、をスイング情報記憶部９２に格納する。
ステップＳ２３において、本振り判定部７３は、後述する顔判定処理における通知（以下、「顔判定通知」と呼ぶ）があるか否かを判断する。
顔判定通知がタイムアウトや素振り候補であった場合には、ステップＳ２３において〈タイムアウトｏｒ素振り候補〉であると判断されて、処理はステップＳ２６に進む。ステップＳ２６の処理については、後述する。
顔判定通知がタイムアウトや素振り候補であった場合には、ステップＳ２３において〈タイムアウトｏｒ素振り候補〉であると判断されて、処理はステップＳ２６に進む。ステップＳ２６の処理については、後述する。
ステップＳ２７において、本振り判定部７３は、前述した本振り動画像生成処理に対して、本振り判定通知を行う。本振り判定通知に際して、本振り判定部７３は、スイングの始点ｔａと、終点ｔｂに関する情報を当該通知に含める。これにより、本振り判定処理は終了する。
ステップＳ５２において、顔判定部７１は、後述するスイング判定処理に対して、検出した顔領域をスイング対象者となる主要被写体の顔領域である旨を含めた顔判定通知を行う。
ステップＳ５４において、向き判定部１１１は、顔の向きが横向き（スイング方向）に遷移したか否か（顔の向き＝横向きへ遷移？）を判定する。
顔の向きが横向きに遷移しないと判定された場合には、ステップＳ５４においてＮＯであると判定されて、処理はステップＳ５１に戻り、ステップＳ５１以降の処理が実行される。
顔の向きが横向きに遷移しないと判定された場合には、ステップＳ５４においてＮＯであると判定されて、処理はステップＳ５１に戻り、ステップＳ５１以降の処理が実行される。
ステップＳ５５において、計測部１１２は、横向きになった時点（ｔ１）を取得するとともに計測を開始する。
ステップＳ５７において、顔判定部７１は、前述した本振り判定処理に対して、素振り候補である旨を含めた顔判定通知をする。その後、顔判定処理は、終了する。
横向きの状態で２秒経過していない場合には、ステップＳ５８においてＮＯと判定されて、処理はステップＳ５６に戻る。
横向きの状態で２秒経過した場合には、本振りである蓋然性が高いために、本振り候補とすべく、ステップＳ５８においてＹＥＳと判定されて、ステップＳ５９に進む。
ステップＳ５９において、顔判定部７１は、前述した本振り判定処理に対して、本振り候補である旨を含めた顔判定通知をする。その際、顔判定部７１は、本振り候補である旨とともに、顔の向きの情報もあわせて含めた顔判定通知をする。これにより、顔判定処理は終了する。
ステップＳ７３において、スイング判定部７２は、注目フレーム画像の中で、顔領域の下方においてゴルフクラブをグリップしている手の位置（グリップ位置）を検索する。
ステップＳ７４において、スイング判定部７２は、注目フレーム画像を１つずつ動かして、グリップ位置を検索して追従する。
ステップＳ８０において、スイング判定部７２は、前述した本振り判定処理にスイングの判定結果（スイングの始点（ｔａ）、終点（ｔｂ）及びスイング方向に関する情報）を通知する。これにより、スイング判定処理は終了する。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５及び４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５及び４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
換言すると、図５及び４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５及び４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
１・・・画像処理装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・画像処理部，１５・・・バス，１６・・・入出力インターフェース，１７・・・撮像部，１８・・・タッチパネル，１９・・・表示部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・動画像取得部，５３・・・表示制御部，７１・・・顔判定部，７２・・・スイング判定部，７３・・・本振り判定部，７４・・・本振り領域抽出部，９１・・・動画像記憶部，９２・・・スイング情報記憶部，９３・・・本振り動画像記憶部，１１１・・・向き判定部，１１２・・・計測部，１１３・・・計測判定部
Claims (14)
- 所定の動作をしている被写体を含む動画像データを取得する取得手段と、
前記取得手段により取得された動画像データにおける被写体の第一の部分画像を特定する第一の特定手段と、
前記動画像データにおける被写体の前記第一の部分画像とは異なる第二の部分画像を特定する第二の特定手段と、
前記第一の特定手段により特定された第一の部分画像と前記第二の特定手段により特定された第二の部分画像とから前記被写体の状態が所定の状態か否かを判定する状態判定手段と、
前記状態判定手段による判定結果に基づいて、前記動画像データから、前記所定の動作をしている被写体が含まれる画像データを抽出する抽出手段と、
を備えることを特徴とする画像処理装置。 - 前記第一の特定手段は、前記被写体の第一の部分画像として顔領域の画像を特定する、
ことを特徴とする請求項１に記載の画像処理装置。 - 前記状態判定手段により被写体の状態が所定の状態となったと判定されると、
当該被写体が所定の状態となっている時間を計測する計測手段と、
前記計測手段により計測された時間が所定の閾値を超えたか否かを判定する閾値判定手段と、
を更に備え、
前記抽出手段は、更に、前記閾値判定手段により前記計測された時間が所定の閾値を超えたと判定されると、前記所定の期間のデータを抽出することを特徴とする請求項１又は２に記載の画像処理装置。 - 前記取得手段により取得された動画像データにおける被写体の所定の動作の軌道が所定の軌道と類似するか否かを判定する類似判定手段を更に備え、
前記抽出手段は、前記状態判定手段の判定結果及び前記類似判定手段の判定結果に基づいて、前記所定の動作をしている被写体が含まれる画像データを抽出することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。 - 撮像手段と、
前記撮像手段により逐次撮像された画像データを前記動画像データとして循環的に保持する保持手段と、を更に備え、
前記取得手段は、前記保持手段により循環的に保持された動画像データを取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。 - 前記第二の特定手段は、前記動画像データを構成する複数の単位画像データのうち、被写体の状態が所定の状態となり、かつ、被写体が所定の位置になっている単位画像データを、前記所定の期間の始点の単位画像データとして特定し、被写体が所定の位置になった単位画像データを、前記所定の期間の終点の単位画像データとして特定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
- 顔に関する情報を記憶する顔情報記憶手段を更に備え、
前記第二の特定手段は、前記顔情報記憶手段に記憶される前記情報に基づいて、前記被写体の第一の部分画像として顔領域の画像を特定することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。 - 前記状態判定手段は、被写体の動きを検出するモーションセンサにより被写体の状態を判定することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
- 前記第二の特定手段により特定された前記第二の部分画像から、前記被写体の身体の向きを判定する方向判定手段、
を更に備え、
前記状態判定手段は、前記方向判定手段により判定された被写体の身体の向きが所定の向きとなったか否かを判定することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。 - 前記第二の特定手段は、前記被写体の第一の部分画像として顔領域の画像を特定し、
前記方向判定手段は、前記第二の特定手段により特定された前記顔領域の画像から、前記被写体の顔の向きを判定し、
前記状態判定手段は、前記方向判定手段により判定された被写体の顔の向きが所定の向きとなったか否かを判定することを特徴とする請求項９に記載の画像処理装置。 - 前記状態判定手段は、前記方向判定手段により判定された前記被写体の顔の向きと、前記被写体の身体の向きとが同じ向きであるか否かを判定し、
前記抽出手段は、前記状態判定手段により前記被写体の身体の向きと顔の向きが同じ向きであると判定された場合に前記動画像データから、前記所定の動作をしている被写体が含まれる画像データを抽出することを特徴とする請求項９又は１０に記載の画像処理装置。 - 前記所定の動作は、一連のゴルフスイングの動作であることを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
- 所定の動作をしている画像データを含む動画像データを取得する取得ステップと、
前記取得ステップにより取得された動画像データ中の被写体の第一の部分画像を特定する第一の特定ステップと、
前記動画像データにおける被写体の前記第一の部分画像とは異なる第二の部分画像を特定する第二の特定ステップ、
前記第一の特定ステップにより特定された第一の部分画像と前記第二の特定手段により特定された第二の部分画像とから前記被写体の状態が所定の状態か否かを判定する状態判定ステップと、
前記状態判定ステップによる判定結果に基づいて、前記動画像データから、前記所定の動作をしている被写体が含まれる画像データを抽出する抽出ステップと、
を含むことを特徴とする画像処理方法。 - コンピュータを、
所定の動作をしている被写体の画像データを含む動画像データを取得する取得手段、
前記取得手段により取得された動画像データ中の被写体の第一の部分画像を特定する第一の特定手段、
前記動画像データにおける被写体の前記第一の部分画像とは異なる第二の部分画像を特定する第二の特定手段、
前記第一の特定手段により特定された第一の部分画像と前記第二の特定手段により特定された第二の部分画像とから前記被写体の状態が所定の状態か否かを判定する状態判定手段、
前記状態判定手段による判定結果に基づいて、前記動画像データから、前記所定の動作をしている被写体が含まれる画像データを抽出する抽出手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017078568A JP6384564B2 (ja) | 2017-04-12 | 2017-04-12 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017078568A JP6384564B2 (ja) | 2017-04-12 | 2017-04-12 | 画像処理装置、画像処理方法及びプログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012185299A Division JP6127410B2 (ja) | 2012-08-24 | 2012-08-24 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017169203A true JP2017169203A (ja) | 2017-09-21 |
| JP6384564B2 JP6384564B2 (ja) | 2018-09-05 |
Family
ID=59914154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017078568A Active JP6384564B2 (ja) | 2017-04-12 | 2017-04-12 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6384564B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112512845A (zh) * | 2018-08-10 | 2021-03-16 | 日立汽车系统株式会社 | 信息处理装置、车辆控制方法、信息处理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001273503A (ja) * | 2000-03-23 | 2001-10-05 | Eiji Kawamura | モーション認識システム |
| JP2002210055A (ja) * | 2001-01-17 | 2002-07-30 | Saibuaasu:Kk | スイング測定システム |
| JP2005270534A (ja) * | 2004-03-26 | 2005-10-06 | Sumitomo Rubber Ind Ltd | ゴルフスウィング計測方法 |
| JP2011030669A (ja) * | 2009-07-30 | 2011-02-17 | Sega Corp | ゴルフ練習装置 |
| JP2011120611A (ja) * | 2009-12-08 | 2011-06-23 | Sri Sports Ltd | ゴルフスイング診断システム |
-
2017
- 2017-04-12 JP JP2017078568A patent/JP6384564B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001273503A (ja) * | 2000-03-23 | 2001-10-05 | Eiji Kawamura | モーション認識システム |
| JP2002210055A (ja) * | 2001-01-17 | 2002-07-30 | Saibuaasu:Kk | スイング測定システム |
| JP2005270534A (ja) * | 2004-03-26 | 2005-10-06 | Sumitomo Rubber Ind Ltd | ゴルフスウィング計測方法 |
| JP2011030669A (ja) * | 2009-07-30 | 2011-02-17 | Sega Corp | ゴルフ練習装置 |
| JP2011120611A (ja) * | 2009-12-08 | 2011-06-23 | Sri Sports Ltd | ゴルフスイング診断システム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112512845A (zh) * | 2018-08-10 | 2021-03-16 | 日立汽车系统株式会社 | 信息处理装置、车辆控制方法、信息处理系统 |
| CN112512845B (zh) * | 2018-08-10 | 2024-03-29 | 日立安斯泰莫株式会社 | 信息处理装置、车辆控制方法、信息处理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6384564B2 (ja) | 2018-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9761013B2 (en) | Information notification apparatus that notifies information of motion of a subject | |
| US9017079B2 (en) | Information notification apparatus that notifies information of data of motion | |
| US10382704B2 (en) | Image processing device that generates a composite image | |
| KR101642854B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 기록 매체 | |
| JP5794215B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5928386B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
| JP5754458B2 (ja) | 動画像抽出装置、動画像抽出方法及びプログラム | |
| JP7215515B2 (ja) | 解析装置、解析方法及びプログラム | |
| JP2016066127A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5733298B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
| JP5811654B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2012151526A (ja) | 撮像装置および撮像方法 | |
| JP6384564B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6149891B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
| JP6127410B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2017174094A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2015126812A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2009124210A (ja) | 撮像装置、撮像方法、画像検索装置および画像検索方法 | |
| JP2015061237A (ja) | 画像合成装置、画像合成方法及びプログラム | |
| JP6075356B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2014064125A (ja) | 画像生成装置、画像生成方法及びプログラム | |
| JP6115656B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US20230276117A1 (en) | Main object determination apparatus, imaging apparatus, and control method for controlling main object determination apparatus | |
| JP7069953B2 (ja) | 電子機器、動作データの部分特定方法、及び、プログラム | |
| JP2018082771A (ja) | 運動解析装置、運動解析方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180320 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180723 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6384564 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |