JP2011254151A - 動画再生装置、動画再生方法及びプログラム - Google Patents

Abstract

【課題】手持ち撮影された動画像において、容易かつ正確に人物の特定の動作を解析できるようにする。
【解決手段】動画像の再生に際し、ゴルフクラブのスイングフォームの解析に供する指標（複数の補助ライン等）を動画像に重ねて表示する。ユーザにより指標の表示位置が設定された位置設定用の画像に、表示位置に応じて探索領域を設定する（Ｓ１２）。位置設定用の画像に続く各フレームの画像の表示中に、探索領域を分割したブロック毎に動きベクトルを取得する（Ｓ１３，Ｓ１４）。ブロック毎の動きベクトルに基づき、指標の表示位置を直前のフレームの画像に対する画角の変化を相殺する位置に逐次補正し（Ｓ１６）、位置補正後の指標を重ねた状態で各フレームの画像を表示する（Ｓ１７）。動画像においてバックスイングの開始時までの時間が長くとも、指標の表示位置が、ユーザにより設定されたスイングフォームの解析に適する適正位置を保持される。
【選択図】図４

Description

本発明は、例えばデジタルカメラに用いて好適な動画再生技術に関するものである。

従来、例えば下記特許文献１には、ゴルフクラブをスイングする人物を撮影した映像（以下、動画像という。）の再生時に、ゴルフクラブのスイングフォームの解析（チェック）に際して指標となる基準線を動画像に重ねて表示する撮影・再生装置が記載されている。係る装置においては、ユーザが、撮影対象者がアドレス（ボールを打つ体勢）に入った時点のフレームの画像をコマ送り操作により表示させ、基準線の表示位置をスイングフォームの解析に適した位置に手動で設定した後に動画像を再生すれば、スイングフォームを解析することができる。

特開平１０−２０１８９８号公報

しかしながら上記文献に記載された技術では、スイングフォームの解析対象となる動画像が、例えばデジタルカメラによって三脚を使用せず手持ち撮影されたものである場合には以下のような問題があった。

すなわち手持ち撮影された動画像においては、撮影時にカメラが揺れていたために、フレーム毎に画角（ここでは撮影範囲を意味する。）が変化している場合が多い。一方、撮影対象者がゴルフクラブをスイングしている時間はごく短い（１秒以下）が、撮影対象者がアドレスに入ってから実際にスイング（バックスイング）を開始するまでの時間はスイングしている時間に比べると遙かに長い。

したがって、手持ち撮影された動画像でスイングフォームの解析を行う場合には、動画像の再生に先だちユーザが表示位置を設定した基準線と、被写体（撮影対象者等）との位置関係が、スイングが開始される以前にずれてしまい、結果的にスイングフォームを正確に解析することができない場合が多い。

無論、係る不具合は、ユーザが、予めゴルフクラブのスイングが開始される直前の特定フレームの画像を表示させた状態において基準線の表示位置を設定すれば回避することができる。しかしながら、上記特定フレームの画像を表示させるためには、動画像のコマ送りやコマ戻し操作を繰り返し行う必要がある。そのため、ユーザにおいては基準線の表示位置の設定に要する作業が極めて煩雑となるという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、手持ち撮影された動画像においても、容易かつ正確に人物の特定の動作を解析できるようにすることを目的とする。

前記課題を解決するため、請求項１記載の発明に係る動画再生装置にあっては、予め記憶されている動画像を再生する動画再生装置において、前記動画像を表示する表示手段と、前記動画像を構成する位置設定用の画像に重ねた状態で人物の特定動作の解析に供する指標を前記表示手段に表示させるとともに、使用者による位置設定操作に応じて前記指標の表示位置を設定する位置設定手段と、この位置設定用の画像に続く各フレームの画像からなる動画像に重ねた状態で前記指標を前記表示手段に表示させる表示制御手段と、前記位置設定用の画像に続く各フレームの画像について、これら各フレームの画像における直前のフレームの画像に対する画角の変位を示す変位情報を取得する変位情報取得手段と、この変位情報取得手段により取得された各フレームの画像の変位情報に基づき、前記表示制御手段が前記位置設定用の画像に続く各フレームの画像に重ねて表示手段に表示させる指標の表示位置をこれら各フレームの画像の直前のフレームの画像に対する画角の変化を相殺するように補正する位置補正手段とを備えたことを特徴とする。

また、請求項２記載の発明に係る動画再生装置にあっては、前記位置設定手段により設定された指標の表示位置に対応する特定の領域を画像内に設定する領域設定手段を更に備え、前記変位情報取得手段は、前記位置設定用の画像に続く各フレームの画像について、前記領域設定手段により設定された特定の領域の画像情報に基づいて、前記変位情報を取得することを特徴とする。

また、請求項３記載の発明に係る動画再生装置にあっては、前記位置設定用の画像に続く各フレームの画像に基づいて、前記動画像における人物の特定動作の開始時期を判断する判断手段を更に備え、前記変位情報取得手段は、前記位置設定用の画像に続く各フレームの画像であって、前記判断手段により判断された人物の特定動作の開始時期に相当する特定のフレームまでの各画像について前記変位情報を取得し、前記位置補正手段は、前記表示制御手段が前記位置設定用の画像に続く各フレームの画像に重ねて表示手段に表示させる指標の表示位置を、前記判断手段により判断された人物の特定動作の開始時期に相当する特定のフレームまでのフレーム期間においてのみ、前記変位情報取得手段により取得された各フレームの画像の変位情報に基づき、直前のフレームの画像に対する画角の変化を相殺する位置に補正することを特徴とする。

また、請求項４記載の発明に係る動画再生装置にあっては、前記指標は１又は複数の補助ラインから構成されることを特徴とする。

また、請求項５記載の発明に係る動画再生装置にあっては、前記領域設定手段は、前記指標を構成する１又は複数の補助ラインを基準として前記特定の領域を画像内に設定することを特徴とする。

また、請求項６記載の発明に係る動画再生方法にあっては、予め記憶されている動画像の再生に際し、動画像を構成する位置設定用の画像に、人物の特定動作の解析に供する指標を重ねて表示するとともに、使用者による位置設定操作に応じて前記指標の表示位置を設定する位置設定ステップと、この位置設定ステップにて設定した表示位置に前記指標を重ねた状態で前記位置設定用の画像に続く各フレームの画像からなる動画像を表示する表示ステップと、前記位置設定用の画像に続く各フレームの画像からなる動画像を表示する間に、直前のフレームの画像に対する画角の変位を示す変位情報に基づき、直前のフレームの画像に対する画角の変化を相殺するように各フレームの画像に重ねて表示する指標の表示位置を補正する補正ステップとを含むことを特徴とする。

また、請求項７記載の発明に係るプログラムにあっては、動画像を表示する表示手段を備え、予め記憶されている動画像を再生する動画再生装置が有するコンピュータを、前記動画像を構成する位置設定用の画像に重ねた状態で人物の特定動作の解析に供する指標を前記表示手段に表示させるとともに、使用者による位置設定操作に応じて前記指標の表示位置を設定する位置設定手段、この位置設定用の画像に続く各フレームの画像からなる動画像に重ねた状態で前記指標を前記表示手段に表示させる表示制御手段、前記位置設定用の画像に続く各フレームの画像について、これら各フレームの画像における直前のフレームの画像に対する画角の変位を示す変位情報を取得する変位情報取得手段、この変位情報取得手段により取得された各フレームの画像の変位情報に基づき、前記表示制御手段が前記位置設定用の画像に続く各フレームの画像に重ねて表示手段に表示させる指標の表示位置をこれら各フレームの画像の直前のフレームの画像に対する画角の変化を相殺するように補正する位置補正手段として機能させることを特徴とする。

本発明によれば、手持ち撮影された動画像においても、容易かつ正確に人物の特定の動作を解析することが可能となる。

本発明に係るデジタルカメラのブロック図である。 （ａ）は第１の指標を示す図、（ｂ）は第２の指標を示す図である。 動画再生処理を示すフローチャートである。 図３に続くフローチャートである。 ライン位置修正処理を示すフローチャートである。 第１の指標の修正手順を示す説明図である。 図６に続く説明図である。 第２の指標の修正手順を示す説明図である。 図８に続く説明図である。 図９に続く説明図である。 （ａ）は第１の指標に対応する探索領域を示した図、（ｂ）は第２の指標に対応する探索領域を示した図である。

以下、本発明の実施形態について説明する。本実施形態は、静止画像と動画像とが撮影可能であるとともに、本発明の動画再生装置としての機能を備えたデジタルカメラに関するものである。なお、本実施形態のデジタルカメラは、人物の動作が撮影された動作解析用の動画像の再生時に、特定の動作の解析に供する二次元情報からなる指標（詳細については後述する。）を動画像に重ねて表示する機能を有している。

以下、本実施形態を図に従い説明する。図１は、本実施形態のデジタルカメラ１の概略構成を示すブロック図であり、デジタルカメラ１は以下の各部から構成される。すなわちデジタルカメラ１は、主として撮影光学系２と、撮像部３、ＣＤＳ／ＡＤＣ４、画像処理部５、ドライバ６、表示部７、ＣＰＵ（Central Processing Unit）８、ワークメモリ９、プログラム記憶部１０、操作入力部１１、外部Ｉ／Ｆ１２、外部記憶部１３によって構成されている。

撮影光学系２は、ズームレンズ群、フォーカスレンズ群を含み、図示しないレンズモータにより、各々のレンズ群の位置がＣＰＵ８によって適宜制御される。

撮像部３は、撮影光学系２で集光された光学像を光電変換し、ＲＧＢ成分からなる画像信号として出力するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Meta1 0xide Semiconductor）等の固体撮像素子である。

ＣＤＳ／ＡＤＣ４は、ＣＤＳ（Correlated Double Sampling）と、ＡＤＣ（Analog-to-Digital Converter）とから構成され、撮像部３から出力された画像信号のノイズを除去してデジタル信号、つまり画像データに変換する。

画像処理部５は、ＣＤＳ／ＡＤＣ４から入力する画像データを蓄積するバッファメモリを含み、バッファメモリに蓄積された画像データにガンマ補正や、撮影光原の種類に応じたホワイトバランス調整、画素毎のＲ，Ｇ，Ｂの色成分データの生成、生成したＲＧＢデータをＹＵＶデータに変換するＹＵＶ変換等の種々の画像処理を行う。

さらに、画像処理部５はＣＰＵ８の命令に従い画像データの圧縮及び伸張を行う。すなわち画像処理部５は、静止画モードでの撮影時には、ＹＵＶデータに変換後の画像データをＪＰＥＧ方式等により圧縮符号化する。圧縮後の画像データは、ＣＰＵ８によって所定の情報を付加された後、外部記憶部１３に静止画ファイルとして記録される。

また、画像処理部５は、動画モードでの撮影時には、順次生成したＹＵＶデータをＭＰＥＧ方式等によりフレーム毎に圧縮符号化する。圧縮後の画像データは、ＣＰＵ８によって所定の情報を付加された後、外部記憶部１３に動画ファイルとして記録される。

さらに、画像処理部５は、再生モードにおいては、ＣＰＵ８によって外部記憶部１３から読み出された圧縮状態の静止画データまたは動画データを復号し、ＣＰＵ８へ供給する。

外部記憶部１３は、デジタルカメラ１の図示しない本体に設けられているカードスロットに着脱自在に装着されたカード型の記録メディアである。外部Ｉ／Ｆ１２は、外部記憶部１３とＣＰＵ８との間におけるデータの入出力を制御する入出力インターフェースである。

表示部７は、例えばＴＦＴ型のカラー液晶パネルにより構成され、ドライバ６により駆動されることによって種々の画像や、その他の情報を表示する。すなわち表示部７は、静止画モード、又は動画モードでの撮影待機状態、さらに動画モードでの撮影中においては、画像処理部５により生成されたＹＵＶデータに基づく画像をスルー画像として表示する。また、表示部７は、再生モードにおいては画像処理部５によって伸張された後のＹＵＶデータに基づく静止画像や動画像を表示する。

ワークメモリ９はＳＤＲＡＭ（Synchronous dynamic random-access memory）等の揮発性メモリである。プログラム記憶部１０はＲＯＭ（Read Only Memory）である。プログラム記憶部１０には、ＣＰＵ８にデジタルカメラ１を制御させるための種々のプログラムや、データが格納されている。プログラム記憶部１０に格納されている種々のプログラムには、ＣＰＵ８を本発明の位置設定手段、表示制御手段、変位情報取得手段、位置補正手段、領域設定手段、判断手段として機能させることによって、ＣＰＵ８に後述する処理を行わせるプログラムが含まれている。

また、プログラム記憶部１０に格納されているデータには、以下に述べるラインデータ１０ａが含まれている。

ラインデータ１０ａは、ＣＰＵ８が、動画像の再生時に必要に応じて表示する指標を構成する後述する複数本の補助ラインを規定するデータである。デジタルカメラ１において表示可能な指標は、ゴルフクラブのスイングフォームの確認に寄与するものである。ラインデータ１０ａは、具体的には、ゴルフクラブをスイングする人物（以下、撮影対象者という。）を側方から撮影した動画像（以下、側方動画と称す。）に使用する第１の指標と、撮影対象者を正面から撮影した動画像（以下、正面動画と称す。）に使用する第２の指標とを表すデータである。

図２（ａ）は、第１の指標を示した図である。図に示したように第１の指標は、表示部７が有する表示画面Ｇの上下及び左右の各辺に対して互いに異なる角度の傾きを有し、かつ予め決められた位置で交差する第１の斜線１０１と第２の斜線１０２との２本の補助ラインにより構成されるものである。

図２（ｂ）は第２の指標を示した図である。図に示したように第２の指標は、表示部７が有する表示画面Ｇの上下の各辺に平行な互いに離間する第１の横線２０１及び第２の横線２０２と、表示画面Ｇの左右の各辺に平行な互いに離間する第１の縦線３０１及び第２の縦線３０２との４本の補助ラインにより構成されるものである。

そして、プログラム記憶部１０には、ラインデータ１０ａとして、第１の指標と第２の指標とをそれぞれ構成する各補助ライン（１０１，１０２，２０１，２０２，３０１，３０２）の太さ、及び表示画面Ｇに最初に表示すべき位置（初期位置）と、第１の指標を構成する第１の斜線１０１と第２の斜線１０２の傾き角度を示すデータとが格納されている。

一方、操作入力部１１は、シャッターボタンと、ズーム倍率の操作に使用するズームキー、基本となる動作モード（静止画モード、動画モード、再生モード）を設定するためのモード設定ボタン、上下左右の方向を指示する方向キー、セットキー等のスイッチ類から構成される。

方向キー及びセットキーは、表示部７に表示されるメニュー画面を操作してデジタルカメラ１の動作内容の設定や、基本となる動作モードの下位に位置する複数種の動作モードの設定等に使用される。また、方向キー及びセットキーは、前述した第１の指標や第２の指標を構成する各々の補助ラインの位置調整にも使用される。

次に、以上の構成からなるデジタルカメラ１の動作について説明する。図３〜図５は、ユーザがモード設定ボタンの操作により再生モードを設定した後、外部記憶部１３に記憶されている任意の動画像を選択したときＣＰＵ８が実行する本発明に係る処理を示したフローチャートである。なお、以下の説明においては、ユーザにより選択された動画像が、ゴルフクラブをスイングする撮影対象者を撮影した動画像（側方動画、又は正面動画）であるものとする。

図３に示したようにＣＰＵ８は、動画像が選択されると、直ちに選択された動画像のデータを外部記憶部１３から読み出し、動画データの伸張処理を画像処理部５に行わせることによって、先頭フレームの画像を再生し表示部７に表示させる（ステップＳ１）。

次に、ＣＰＵ８は、先頭フレームの画像を表示した状態を維持したままで、操作入力部１１のスイッチ類の操作状態を検出し、ユーザによる動画像の再生指示の有無、コマ送り、又はコマ戻し操作の有無、指標の選択指示の有無を順に確認する（ステップＳ２〜ステップＳ４）。

ここで、ＣＰＵ８は、所定のキー操作によってユーザから動画像の再生指示があったときには（ステップＳ２：ＹＥＳ）、先頭フレームの画像を表示している表示対象の動画像を通常の状態で再生する（ステップＳ５）。つまりＣＰＵ８は、ステップＳ１で読み出した動画データの伸張処理を画像処理部５に再開させ、動画像のみを表示部７に表示させる。そして、ＣＰＵ８は、ステップＳ５の処理で最終フレームの画像を表示した段階で動画再生処理を終了する（図４参照）。

また、ＣＰＵ８は、ユーザによるコマ送り、又はコマ戻し操作が確認できると（ステップＳ３：ＹＥＳ）、ユーザの操作に応じて表示画像を次のフレームの画像、又は前のフレームの画像に切り替える（ステップＳ６）。このときユーザにおいては、撮影対象者がアドレスに入った状態のフレームの画像を手動で表示部７に表示させる。なお、図では省略するが、ＣＰＵ８は、処理開始当初のように表示画像が先頭フレームの画像である状態については、コマ送り操作を確認した場合にのみステップＳ６の処理を行う。

そして、ＣＰＵ８は、ユーザによる指標の選択指示が確認できると（ステップＳ４：ＹＥＳ）、ユーザに所定のキー操作を行わせて指標の種類を選択させる（ステップＳ７）。すなわち、ＣＰＵ８は、表示対象の動画像として側方動画が選択されている場合には、図２（ａ）に示した第１の指標をユーザに選択させ、表示対象の動画像として正面動画が選択されている場合には、図２（ｂ）に示した第２の指標をユーザに選択させる。

しかる後、ＣＰＵ８は、プログラム記憶部１０に記憶されているラインデータ１０ａに基づき、ユーザにより選択された種類の指標（第１の指標、又は第２の指標）を構成する複数の補助ラインを、表示中の任意のフレームの画像に重ねて表示部７に表示させる（ステップＳ８）。なお、この時点で表示されている任意のフレームの画像が位置設定用の画像である。

図６（ａ）は、表示対象の動画像が側方動画であって、指標として第１の指標がユーザにより選択された場合の表示部７における表示画面の例を示した図である。この場合、表示部７には、ステップＳ１、又はステップＳ６の処理で表示された画像Ｇｓに、第１の斜線１０１と第２の斜線１０２との２本の補助ラインが重ねて表示される。なお、各々の補助ライン（１０１，１０２）の表示位置は、図２（ａ）に示した初期位置である。

また、図８（ａ）は、表示対象の動画像が正面動画であって、指標として第２の指標がユーザにより選択された場合の表示部７における表示画面の例を示した図である。この場合、表示部７には、ステップＳ１、又はステップＳ６の処理で表示された画像Ｇｓに、第１の横線２０１及び第２の横線２０２と、第１の縦線３０１及び第２の縦線３０２との４本の補助ラインが重ねて表示される。なお、各々の補助ライン（２０１，２０２，３０１，３０２）の表示位置は、図２（ｂ）に示した初期位置である。

引き続き、ＣＰＵ８は、所定のキー操作によってユーザに補助ラインの位置修正と、動画像の再生のいずれかを指示させる。そして、ＣＰＵ８は、ユーザによって補助ラインの位置修正が指示された場合には（ステップＳ９：ＹＥＳ）、図５に示したライン位置修正処理を行う（ステップＳ１０）。

ライン位置修正処理において、ＣＰＵ８は、表示対象の動画像が側方動画であれば（ステップＳ１０１：側方動画）、まず、図６（ｂ）に示したように、先頭フレームの画像Ｇｓに重ねて表示している第１の斜線１０１と第２の斜線１０２との交点に、円形の位置合わせマークＭを表示させる（ステップＳ１０２）。

その後、ＣＰＵ８は、所定のキー操作によってユーザから位置決定指示があるまでの間（ステップＳ１０４：ＮＯ）、ユーザによる所定のキー操作に応じて、位置合わせマークＭ、つまり第１の斜線１０１と第２の斜線１０２との交点の位置を、両者の交差角度を維持した状態のままで上下左右に移動させる処理を繰り返す（ステップＳ１０３）。

なお、その間、ユーザには、図７（ａ）に示したように、位置合わせマークＭ（第１の斜線１０１と第２の斜線１０２との交点）の位置をクラブヘッドに重なる位置に調整させる。

引き続き、ＣＰＵ８は、ユーザから位置決定指示があったら（ステップＳ１０４：ＹＥＳ）、所定のキー操作によってユーザから角度決定指示があるまでの間（ステップＳ１０６：ＮＯ）、ユーザによる所定のキー操作に応じて、第１の斜線１０１と第２の斜線１０２との傾き角度を、双方の交差位置を固定したまま個別に変更する処理を繰り返す（ステップＳ１０５）。

なお、その間、ユーザには、図７（ｂ）に示したように、第１の斜線１０１がゴルフクラブのシャフトに略平行となり、かつ第２の斜線１０２が撮影対象者Ｐの首の付け根を通過する状態となるように、第１の斜線１０１と第２の斜線１０２との傾き角度を調整させる。そして、ＣＰＵ８は、ユーザから角度決定指示があったら（ステップＳ１０６：ＹＥＳ）、その時点でライン位置修正処理を終了してメインフロー（図３）に戻る。

一方、ライン位置修正処理に際して、ＣＰＵ８は、表示対象の動画像が正面動画であれば（ステップＳ１０１：正面動画）、まず、図８（ｂ）に示したように、先頭フレームの画像Ｇｓに重ねて表示している第１の横線２０１と第１の縦線３０１との交点に、円形の位置合わせマークＭを表示させる（ステップＳ１０７）。

その後、ＣＰＵ８は、所定のキー操作によってユーザから位置決定指示があるまでの間（ステップＳ１０９：ＮＯ）、ユーザによる所定のキー操作に応じて、位置合わせマークＭ、つまり第１の横線２０１と第１の縦線３０１との交点の位置を上下左右に移動させる処理を繰り返す（ステップＳ１０８）。

なお、その間、ユーザには、図９（ａ）に示したように、第１の横線２０１を撮影対象者Ｐの頭頂部に位置させ、かつ第１の縦線３０１を撮影対象者Ｐの右足の外側に位置させるように位置合わせマークＭの位置を調整させる。

引き続き、ＣＰＵ８は、図９（ｂ）に示したように、先頭フレームの画像Ｇｓに重ねて表示している第２の横線２０２と第２の縦線３０２との交点に、円形の位置合わせマークＭを表示させる（ステップＳ１１０）。

その後、ＣＰＵ８は、所定のキー操作によってユーザから位置決定指示が再度あるまでの間（ステップＳ１１２：ＮＯ）、ユーザによる所定のキー操作に応じて、位置合わせマークＭ、つまり第２の横線２０２と第２の縦線３０２との交点の位置を上下左右に移動させる処理を繰り返す（ステップＳ１１１）。

なお、その間、ユーザには、図１０に示したように、第２の横線２０２をゴルフボールに位置させ、かつ第２の縦線３０２を撮影対象者Ｐの左足の外側に位置させるように位置合わせマークＭの位置を調整させる。そして、ＣＰＵ８は、ユーザから位置決定指示があったら（ステップＳ１１２：ＹＥＳ）、その時点でライン位置修正処理を終了してメインフロー（図３）に戻る。

引き続き、ＣＰＵ８は、ユーザによって動画像の再生が指示されたら（ステップＳ９：ＮＯ、ステップＳ１１：ＹＥＳ）、図４に示した以下の処理によって、後続するフレームの画像を所定のフレームレートで表示部７に順に表示する。

まず、ＣＰＵ８は、表示部７の表示画像（位置設定用の画像）に、表示画像に重ねて表示しているユーザにより選択された指標の種類に応じた特定の領域である探索領域を設定する（ステップＳ１２）。

図１１（ａ）は、表示対象の動画像が側面動画である場合に、ステップＳ１２の処理においてＣＰＵ８が第１の指標に対応して表示画像Ｇｓに設定する探索領域４０１を示した図である。第１の指標に対応する探索領域４０１は、第１の指標を構成する第１の斜線１０１と第２の斜線１０２とを基準とする領域であり、第１の斜線１０１と第２の斜線１０２との交点Ｏを中心とする四角形領域である。探索領域４０１の大きさ及び縦横比は予め決められている大きさ及び縦横比である。すなわち探索領域４０１は、表示画像Ｇｓにおいてゴルフクラブのヘッドが存在する領域である。

図１１（ｂ）は、表示対象の動画像が正面動画である場合に、ステップＳ１２の処理においてＣＰＵ８が第２の指標に対応して表示画像Ｇｓに設定する探索領域４０２を示した図である。第２の指標に対応する探索領域４０２は、第２の指標を構成する第２の横線２０２と、第１の縦線３０１及び第２の縦線３０２とを基準とする領域であり、第１の縦線３０１及び第２の縦線３０２に挟まれた第２の横線２０２における線分区間の中点Ｑを中心とする四角形領域である。探索領域４０２の縦横比は予め決められている縦横比である。ただし、探索領域４０２の大きさは第１の縦線３０１と第２の縦線３０２との離間距離に比例する大きさであり、例えば横方向の大きさが離間距離のｎ％（予め決められている比率）となる大きさである。すなわち探索領域４０２も、図１１（ａ）に示した探索領域４０１と同様、表示画像Ｇｓにおいてゴルフクラブのヘッドが存在する領域である。

次に、ＣＰＵ８は、表示部７に表示中の画像の次のフレームの画像を画像処理部５に再生させた後（ステップＳ１３）、先に設定した探索領域（４０１，４０２）を複数のマクロブロックに分割し、ブロック毎に探索領域における被写体部分のフレーム間での相対的なずれ量及びずれ方向を示す動きベクトルを取得する（ステップＳ１４）。なお、動きベクトルの取得は、各ブロックの被写体部分を追跡対象としたブロックマッチング法等の周知の方法により行う。また、ここで取得されるブロック毎の動きベクトルが、次のフレームの画像における直前のフレームの画像に対する画角の変位を示す本発明の変位情報として使用される。

引き続き、ＣＰＵ８は、取得したブロック毎の動きベクトルに基づいて、動画像における撮影対象者がゴルフクラブのバックスイングを開始したか否か、つまり次のフレームがバックスイング（特定の動作）の開始時期に相当するか否かを、以下の手法によって判断する（ステップＳ１５）。

すなわち、既説したようにステップＳ１２の処理で設定した探索領域（４０１，４０２）は、ゴルフクラブのヘッドが存在する領域である。そのため、撮影時において直前のフレームから次のフレームまでの期間に、例えばカメラの揺れに伴い画角が変化していたとき、ゴルフクラブのヘッドが静止していれば、ブロック毎の動きベクトルの全てがほぼ同一となる。これに対し、バックスイングの開始に伴ってゴルフクラブのヘッドが移動していると、ゴルフクラブのヘッドに対応するブロックの動きベクトルは、それ以外のブロックの動きベクトルと異なるものとなる。これを前提としてＣＰＵ８は、撮影対象者がバックスイングを開始したか否かを判断する。

より具体的に説明すると、ＣＰＵ８は、まず予め決められている基準に従って、ブロック毎の動きベクトルを移動方向及び移動量が近似することを条件としてグループ化する。そして、ＣＰＵ８は、ブロック毎の動きベクトルが複数のグループにグループ化できない場合には、直ちに「バックスイングは開始されていない」と判断する。

また、ＣＰＵ８は、ブロック毎の動きベクトルが複数のグループにグループ化できた場合には、さらに、動きベクトルの数が最も多い第１のグループと、動きベクトルの数が２番目に多い第２のグループについて、各々の動きベクトルにより示される移動方向を平均化し、かつ各々の動きベクトルにより示される移動量とを平均化する。なお、第１のグループと第２のグループの一方側が、ゴルフクラブのヘッドが存在するブロックの動きベクトル群からなるグループであり、他方側が、ゴルフクラブのヘッドの背景の被写体部分が存在するブロックの動きベクトル群からなるグループである。

しかる後、ＣＰＵ８は、第１のグループと第２のグループとにおける平均化した移動方向、及び／又は移動量の差が閾値以下であれば、「バックスイングは開始されていない」と判断する。逆に、ＣＰＵ８は、第１のグループと第２のグループとにおける平均化した移動方向、及び／又は移動量の差が閾を超えていれば、「バックスイングが開始された」と判断する。

そして、ＣＰＵ８は、ステップＳ１５の処理において、バックスイングが開始されていないと判断した場合には（ステップＳ１５：ＮＯ）、ブロックの動きベクトルに基づいて、表示中の指標の表示位置を直前のフレームの画像に対する画角の変化を相殺する位置に補正する（ステップＳ１６）。

ステップＳ１６の処理においてＣＰＵ８は、ブロック毎の動きベクトルが複数のグループにグループ化できない場合には、まず、全ての動きベクトルにより示される移動方向、及び移動量をそれぞれ平均化する。しかる後、ＣＰＵ８は、現在表示中の指標を、平均化後の移動方向と逆方向に平均化後の移動量分だけ画面内で移動させる。この場合、全ての動きベクトルが本発明の変位情報として使用されることとなる。

また、ＣＰＵ８は、ブロック毎の動きベクトルが複数のグループにグループ化できていた場合については、現在表示中の指標を、第１のグループについて取得している平均化後の移動方向と逆方向に、平均化後の移動量分だけ画面内で移動させる。この場合、第１のグループを構成する動きベクトルのみが本発明の変位情報として使用されることとなる。なお、ここで第１のグループについて取得している平均化後の移動方向と平均化後の移動量とを使用して指標を移動する理由は、本実施形態では、前述した探索領域（４０１，４０２）の面積が、ゴルフクラブのヘッドの面積の少なくとも２倍以上であることを前提としているためである。

しかる後、ＣＰＵ８は、補正後の表示位置で指標を重ねた状態で次のフレームの画像を表示部７に表示させ（ステップＳ１７）、ステップＳ１３の処理へ戻る。以後、ＣＰＵ８は、ステップＳ１３〜ステップＳ１７の処理を繰り返す。

やがて、ＣＰＵ８は、いずれかのフレームの画像の再生後に、バックスイングが開始されたと判断できたら（ステップＳ１５：ＹＥＳ）、最後に補正した表示位置、つまり直前に行ったステップＳ１６の処理で補正した表示位置に指標を重ねた状態で次のフレームの画像を表示部７に表示させる（ステップＳ１８）。

その後、ＣＰＵ８は、全てのフレームの画像の表示が終了するまでの間は（ステップＳ１９：ＮＯ）、次のフレームの画像を順に再生するとともに（ステップＳ２０）、最後に補正した表示位置に指標を重ねた状態で、新たに再生した次のフレームの画像を表示部７に順に表示させる（ステップＳ１８）。そして、ＣＰＵ８は、全てのフレームの画像の表示が終了した段階で動画再生処理を終了する。

したがって、ユーザにおいては、ゴルフクラブをスイングする撮影対象者（自己、又は他人）を撮影した動画像の再生時には、動画像の種類（側面動画、又は正面動画）に応じた指標（第１の指標、又は第２の指標）を表示させることによって、動画像に重ねて表示される指標に基づいてゴルフクラブのスイングフォームの解析を容易に行うことができる。

ここで、本実施形態のデジタルカメラ１においては、指標を重ねた状態で動画像を再生（表示）する際、バックスイングが開始されるまでの期間においては、指標の表示位置を、直前のフレームの画像に対する画角の変化を相殺する位置にフレーム毎に補正する。そのため、バックスイングが開始されるまでの期間においては、指標の表示位置が、ユーザにより設定されたゴルフクラブのスイングフォームの解析に適した適正位置に保持される。

係ることから、ユーザにおいては、動画像の再生に先立ち指標の表示位置を設定する際には、動画像のコマ送りやコマ戻し操作を何度も繰り返して、ゴルフクラブのスイングが開始される直前の特定フレームの画像を表示させなくともよい。つまり、単に撮影対象者がアドレスに入った状態のフレームの画像を表示させて、指標の表示位置を設定するだけで、ゴルフクラブのスイングフォームを正確に解析することができる。また、例えばスイングフォームを解析する動画像の表示に先立ち、先頭フレームの画像をゴルフクラブのスイングが開始される直前の特定フレームの画像とする編集作業を事前に行わずとも、ゴルフクラブのスイングフォームを正確に解析することができる。

よって、手持ち撮影された動画像、すなわち撮影時にカメラが揺れていたために、フレーム毎に画角が変化している場合が多い動画像においても、容易かつ正確にゴルフクラブのスイングフォームを解析することができる。

また、本実施形態においては、ゴルフクラブをスイングしている時間よりも遙かに長い、撮影対象者がアドレスに入ってから実際にバックスイング（特定の動作）を開始するまでのフレーム期間においてのみ、指標の表示位置を、直前のフレームの画像に対する画角の変化を相殺する位置にフレーム毎に補正する構成とした。よって、バックスイングの開始以降のフレームの動画再生時におけるＣＰＵ８の処理負担を軽減することができる。

なお、本発明の実施に際しては、動画像の全期間について指標の表示位置をフレーム毎に補正する構成としても構わない。その場合であっても、手持ち撮影された動画像において、容易かつ正確にゴルフクラブのスイングフォームを解析することができる。

また、本実施形態においては、指標の表示位置を設定したときの画像に続く各フレームの画像について、ユーザの操作に応じて設定した指標の表示位置に対応する探索領域（４０１，４０２）を設定し、設定した探索領域を処理対象として動きベクトルを取得した。したがって、指標の表示位置の補正に要する本発明における変位情報を効率的、かつ正確に取得することができる。

なお、本発明の実施に際しては、上記の動きベクトルを、ユーザの操作に応じて設定した指標の表示位置に対応する探索領域ではなく、例えば各フレームの画像の全領域や、予め固定的に決められている特定領域（画像の四隅の利用域等）を処理対象として取得するようにしても構わない。

また、本実施形態においては、本発明の変位情報として使用する探索領域のブロック毎の動きベクトルを、動画像の表示中に逐次取得する構成とした。しかし、本発明の実施に際しては、例えば指標の表示位置を設定した後の動画像の表示を開始する直前等に、各フレームについて、ブロック毎の動きベクトルを予め一括して取得する構成を採用することもできる。

また、本実施形態においては、指標の種類に応じて設定した探索領域（４０１，４０２）を処理対象としてブロック毎に取得した動きベクトルを本発明の変位情報として使用する構成とした。しかし、本発明の実施に際しては、動きベクトル以外の情報を変位情報として使用する構成を採用することもできる。例えば撮影時の手ぶれを検出するための加速度センサ等の手ぶれ検出センサを備えたデジタルカメラに本発明を適用する場合には、手ぶれ検出センサの検出信号等を本発明の変位情報として使用することができる。

また、本実施形態においては、動画像に重ねて表示する指標が複数の補助ラインによって構成されるものである場合について説明したが、動画像に重ねて表示する指標は、例えば１本の補助ラインで構成されるものでも構わない。また、指標を１又は複数の補助ラインで構成する場合、補助ラインの形態については任意であり、直線に限らず曲線等でもよいし、破線等であっても構わない。

さらに、動画像に重ねて表示する指標は、動画像に重ねて表示できるもの、つまり二次元情報であれば必ずしも線画である必要はなく、任意の二次元情報に変更することができる。

また、本実施形態においては、動画像に重ねて表示する指標がゴルフクラブのスイングフォームの解析に供するものである場合について説明した。しかし、動画像に重ねて表示する指標は、予め決められている特定の動作の解析に供するものであればよく、例えば野球の投球フォームや、バットのスイングフォーム等の他の動作の解析に供するものであっても構わない。その場合、動画像に重ねて表示する指標の具体的な構成は、解析すべき動作の種類に適したものに変更すればよい。

また、実施形態においては、本発明を動画像の撮影が可能なデジタルカメラに適用した場合について説明した。しかし、本発明は、予め記録されている動画像を再生する機能を備えた装置であれば、動画像の撮影機能を有していないパーソナルコンピュータや、携帯電話端末、さらに、近年、主としてデジタルカメラで撮影された写真を表示するために使用されているデジタルフォトフレーム等の他の装置にも適用することができる。

１ デジタルカメラ
２ 撮影光学系
３ 撮像部
４ ＣＤＳ／ＡＤＣ
５ 画像処理部
６ ドライバ
７ 表示部
８ ＣＰＵ
９ ワークメモリ
１０ プログラム記憶部
１０ａ ラインデータ
１０ｂ 基準変移データ
１１ 操作入力部
１２ 外部Ｉ／Ｆ
１３ 外部記憶部
４０１ 探索領域
４０２ 探索領域

Claims (7)

1. 予め記憶されている動画像を再生する動画再生装置において、
   前記動画像を表示する表示手段と、
   前記動画像を構成する位置設定用の画像に重ねた状態で人物の特定動作の解析に供する指標を前記表示手段に表示させるとともに、使用者による位置設定操作に応じて前記指標の表示位置を設定する位置設定手段と、
   この位置設定用の画像に続く各フレームの画像からなる動画像に重ねた状態で前記指標を前記表示手段に表示させる表示制御手段と、
   前記位置設定用の画像に続く各フレームの画像について、これら各フレームの画像における直前のフレームの画像に対する画角の変位を示す変位情報を取得する変位情報取得手段と、
   この変位情報取得手段により取得された各フレームの画像の変位情報に基づき、前記表示制御手段が前記位置設定用の画像に続く各フレームの画像に重ねて表示手段に表示させる指標の表示位置をこれら各フレームの画像の直前のフレームの画像に対する画角の変化を相殺するように補正する位置補正手段と
   を備えたことを特徴とする動画再生装置。
2. 前記位置設定手段により設定された指標の表示位置に対応する特定の領域を画像内に設定する領域設定手段を更に備え、
   前記変位情報取得手段は、前記位置設定用の画像に続く各フレームの画像について、前記領域設定手段により設定された特定の領域の画像情報に基づいて、前記変位情報を取得することを特徴とする請求項１記載の動画再生装置。
3. 前記位置設定用の画像に続く各フレームの画像に基づいて、前記動画像における人物の特定動作の開始時期を判断する判断手段を更に備え、
   前記変位情報取得手段は、前記位置設定用の画像に続く各フレームの画像であって、前記判断手段により判断された人物の特定動作の開始時期に相当する特定のフレームまでの各画像について前記変位情報を取得し、
   前記位置補正手段は、前記表示制御手段が前記位置設定用の画像に続く各フレームの画像に重ねて表示手段に表示させる指標の表示位置を、前記判断手段により判断された人物の特定動作の開始時期に相当する特定のフレームまでのフレーム期間においてのみ、前記変位情報取得手段により取得された各フレームの画像の変位情報に基づき、直前のフレームの画像に対する画角の変化を相殺する位置に補正することを特徴とする請求項１又は２記載の動画再生装置。
4. 前記指標は１又は複数の補助ラインから構成されることを特徴とする請求項１又は２，３記載の動画再生装置。
5. 前記領域設定手段は、前記指標を構成する１又は複数の補助ラインを基準として前記特定の領域を画像内に設定することを特徴とする請求項４記載の動画再生装置。
6. 予め記憶されている動画像の再生に際し、動画像を構成する位置設定用の画像に、人物の特定動作の解析に供する指標を重ねて表示するとともに、使用者による位置設定操作に応じて前記指標の表示位置を設定する位置設定ステップと、
   この位置設定ステップにて設定した表示位置に前記指標を重ねた状態で前記位置設定用の画像に続く各フレームの画像からなる動画像を表示する表示ステップと、
   前記位置設定用の画像に続く各フレームの画像からなる動画像を表示する間に、直前のフレームの画像に対する画角の変位を示す変位情報に基づき、直前のフレームの画像に対する画角の変化を相殺するように各フレームの画像に重ねて表示する指標の表示位置を補正する補正ステップと
   を含むことを特徴とする動画再生方法。
7. 動画像を表示する表示手段を備え、予め記憶されている動画像を再生する動画再生装置が有するコンピュータを、
   前記動画像を構成する位置設定用の画像に重ねた状態で人物の特定動作の解析に供する指標を前記表示手段に表示させるとともに、使用者による位置設定操作に応じて前記指標の表示位置を設定する位置設定手段、
   この位置設定用の画像に続く各フレームの画像からなる動画像に重ねた状態で前記指標を前記表示手段に表示させる表示制御手段、
   前記位置設定用の画像に続く各フレームの画像について、これら各フレームの画像における直前のフレームの画像に対する画角の変位を示す変位情報を取得する変位情報取得手段、
   この変位情報取得手段により取得された各フレームの画像の変位情報に基づき、前記表示制御手段が前記位置設定用の画像に続く各フレームの画像に重ねて表示手段に表示させる指標の表示位置をこれら各フレームの画像の直前のフレームの画像に対する画角の変化を相殺するように補正する位置補正手段
   として機能させることを特徴とするプログラム。

Images