JP2012210376A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】被写体の動きの評価に用いる補助画像を自動的に画像に付加すること。
【解決手段】画像取得部５１は、被写体の動きが連続的に撮像された複数の画像のデータを取得する。基準画像抽出部５２は、当該複数の画像のデータから、任意の画像のデータを抽出する。差分画像生成部５３は、任意の画像のデータと、それ以外の画像のデータとの差分を取ることによって、差分画像のデータを夫々生成する。特徴領域特定部５６は、複数の差分画像のデータを合成し、その合成結果から特徴領域を特定する。合成画像生成部５４は、特徴領域特定部５６により特定された特徴領域に基づいて、被写体の動きを評価するための補助画像のデータを生成する。出力部２０は、補助画像のデータとともに複数の画像のデータを表示出力する。
【選択図】図３

Description

本発明は、例えば、被写体の動きを画像で評価する技術に用いられる画像処理装置、画像処理方法及びプログラムに関する。

従来より、ゴルフクラブのスイングフォームの確認のために、ゴルフクラブのスイングに係る一連の動作を撮像する技術がある（特許文献１）。この従来の技術では、ゴルフクラブのスイングを行う者を被写体として、被写体の正面方向から、スイングの開始から終了に到るまでの動作が連続的に撮像され、その結果得られる複数の連続した画像（動画）を用いて、ゴルフクラブのスイングフォームの確認が行われる。具体的には、上記特許文献１は、ゴルフクラブのスイングフォームの確認に際して、ゴルフクラブのスイングフォームを評価しやすいように、ゴルフクラブのスイングフォームの評価の指標となる基準線（補助線）が、複数の連続した画像の各々に付加されて表示される。

特開平１０−２０１８９８号公報

しかしながら、上述特許文献１では、ゴルフクラブのスイングフォームを確認する者（被写体自身等）は、手動操作により、複数の連続した画像の各々に付加された補助線の位置合わせをする必要があるため、補助線の調整に非常に手間がかかるという問題があった。

本発明は、このような状況に鑑みてなされたものであり、被写体の動きの評価に用いる補助画像を自動的に画像に付加することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、被写体の動きが連続的に撮像された複数の画像のデータを取得する取得手段と、前記取得手段により取得された前記複数の画像のデータから、任意の画像のデータを抽出する抽出手段と、前記抽出手段により抽出された任意の画像のデータと、当該任意の画像のデータを除いた前記複数の画像のデータとの差分を取ることによって、複数の差分画像のデータを夫々生成する第１生成手段と、前記第１生成手段により生成された前記複数の差分画像のデータを合成し、当該合成結果から特徴領域を特定する特定手段と、前記特定手段により特定された特徴領域に基づいて、前記被写体の動きを評価するための補助画像のデータを生成する第２生成手段と、前記第２生成手段により生成された補助画像のデータとともに前記複数の画像のデータを表示出力する出力手段と、を備えたことを特徴とする。

また、上記目的を達成するため、本発明の一態様の画像処理方法は、被写体の動きを連続的に撮像した結果得られる複数の画像のデータを取得する取得ステップと、前記取得ステップの処理により取得された前記複数の画像のデータから、基準画像のデータを抽出する抽出ステップと、前記抽出ステップの処理により抽出された基準画像のデータと、前記基準画像を除いた前記複数の画像のデータとの差分を取ることによって、複数の差分画像のデータを夫々生成する差分画像生成ステップと、前記差分画像生成ステップの処理により生成された前記複数の差分画像のデータを合成することによって、合成画像のデータを生成する合成画像生成ステップと、前記合成画像生成ステップの処理により生成された前記合成画像のデータから、特徴領域を特定する第１特定ステップと、前記第１特定ステップの処理により特定された前記特徴領域から、前記複数の画像のデータを加工して表示出力する出力ステップと、を含むことを特徴とする。

また、上記目的を達成するため、本発明の一態様のプログラムは、コンピュータを、被写体の動きを連続的に撮像した結果得られる複数の画像のデータを取得する取得手段、前記取得手段により取得された前記複数の画像のデータから、基準画像のデータを抽出する抽出手段、前記抽出手段により抽出された基準画像のデータと、前記基準画像を除いた前記複数の画像のデータとの差分を取ることによって、複数の差分画像のデータを夫々生成する差分画像生成手段、前記差分画像生成手段により生成された前記複数の差分画像のデータを合成することによって、合成画像のデータを生成する合成画像生成手段、前記合成画像生成手段により生成された前記合成画像のデータ基づいて、特徴領域を特定する第１特定手段、前記第１特定手段により特定された前記特徴領域に基づいて、前記複数の画像のデータを加工して表示出力する出力手段、として機能させることを特徴とする。

本発明によれば、被写体の動きの評価に用いる補助画像を自動的に画像に付加することができる。

本実施形態において実行される補助画像出力処理の実行結果の一例を示す図である。 本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 撮像装置の機能的構成のうち、補助画像出力処理を実行するための機能的構成を示す機能ブロック図である。 図３の機能的構成を有する図２の撮像装置が実行する補助画像出力処理の流れを説明するフローチャートである。 一連のスイング動作を示す動画像の少なくとも一部を構成する、７種類の姿勢の撮像画像の一例を示している。 本例の図５の輝度画像Ｐ０〜Ｐ６のデータから得られる差分画像のデータの一例を示している。 このようにして図６の差分画像Ｄ１〜Ｄ６から得られる合成画像ＳＤの一例を示している。 図７の合成画像ＳＤのデータが式（２）に従ってハフ変換されたことによって得られる正弦曲線を示すグラフの一例である。 図８のハフ変換の結果に基づいて、図７の合成画像ＳＤから特定されたクラブの近似直線を含む特徴領域を示す模式図である。 輝度値の総和の変化を示すグラフである。 変化点の特定手法の具体的な２つの例を説明する図である。 基準からみてｘ軸の正の領域で特定された補助線領域を示す模式図である。 基準からみてｘ軸の正方向及び負方向の領域でそれぞれ特定された２つの補助線領域を示す模式図である。

以下、本発明の実施形態について、図面を用いて説明する。

本発明に係る撮像装置は、ゴルフクラブ（以下、単に「クラブ」と呼ぶ）のスイング（以下、クラブのスイングを単に「スイング」と呼ぶ）をしている者を被写体として、当該被写体の一連のスイング動作を連続的に繰り返し撮像し、その結果得られる動画像を表示することができる。
ここで、動画像には、いわゆる映像のみならず、連写により撮像された複数の画像の組も含まれている。即ち、動画像は、フレームやフィールドといった画像（以下、「単位画像」と呼ぶ）が連続して複数枚配置することによって構成される。

本発明に係る撮像装置は、一連のスイング動作についての動画像に対して補助画像を重畳するように合成し、その結果得られる合成画像を表示出力（再生）する。このような一連の処理を、以下、「補助画像出力処理」と呼ぶ。
ここで、補助画像は、当該スイングの一連の動作の評価が容易に可能になる補助的なオブジェクトを含む画像であれば足りる。本実施形態では、このような補助的なオブジェクトとして、当該スイングの一連の動作の評価が容易に可能になる補助線と、近似的にクラブ位置を示す線（以下、「クラブ近似線」と呼ぶ）とが採用されている。

ここで、一連のスイング動作とは、被写体がボールの前に立ってクラブを握り始めてからゴルフクラブを振り終わるまでの一連の動作をいう。具体的には、被写体の姿勢が、「グリップ」、「アドレス」、「テイクバック」、「トップ」、「ダウンスイング」、「インパクト」、「フォロー」及び「フィニッシュ」等の順番で連続して推移していく一連の動作が、一連のスイング動作である。なお、以下の説明では、説明の簡略上、上述した各姿勢のうちスイングフォームに関係する「アドレス」から「フィニッシュ」までの動作を一連のスイング動作とみなすものとする。

図１は、本実施形態において実行される補助画像出力処理の実行結果の一例を示す図である。
図１（ａ）は、補助画像出力処理の実行前の動画像内の所定の単位画像を示す模式図である。図１（ｂ）、は補助画像出力処理の実行後の動画像内の、時間軸上で図１（ａ）と同一位置（同一時刻）の単位画像を示す図である。
図１（ｂ）の単位画像は、図１（ａ）の単位画像に対して、３つの直線を補助的なオブジェクトとして含む補助画像が重畳された画像（以下、「補助画像重畳画像」と呼ぶ）である。これら３つの直線のうち、中央の白抜きの直線がクラブ位置を近似的に示すクラブ近似線であり、当該中央のクラブ近似線の両側の白抜きの直線が、スイングの一連の動作を評価するために用いられる補助線である。
このような補助画像重畳画像を単位画像として、複数の単位画像により構成される動画像を、以下、「補助画像重畳動画像」と呼ぶ。

具体的には、一連のスイング動作の動画像が表示される場合、通常では単に当該動画像が表示対象になるため、図１（ａ）に示すように、被写体のスイング動作を示す動画像が単に表示されるだけであるが、本実施形態においては、補助画像重畳動画像が表示対象になるため、図１（ｂ）に示すように、被写体のスイング動作と共に、当該被写体の両足付近に直線状に延びる補助線が表示される。
従って、動画像の鑑賞者は、例えば、補助線と被写体の姿勢との関係から、スイングフォームを評価すること、即ちスイングフォームの良し悪しを判断することができる。

次に、このような補助画像出力処理を実行可能な、本発明に係る撮像装置の一実施の形態について、図２以降の図面を参照して説明する。

図２は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。

撮像装置１は、例えばデジタルカメラとして構成され、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、輝度画像変換部１５と、バス１６と、入出力インターフェース１７と、撮像部１８と、入力部１９と、出力部２０と、記憶部２１と、通信部２２と、ドライブ２３と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２１からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。ＣＰＵ１１の処理の詳細は、後述する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、例えば、各種画像のデータに対して、各種画像処理を施す。画像処理部１４の画像処理の詳細は、後述する。
輝度画像変換部１５は、各種カラー画像のデータを、輝度値のみを画素値として有する画像のデータ（以下、「輝度画像のデータ」と呼ぶ）に変換する。輝度画像変換部１５の処理対象等の詳細は、後述する。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、画像処理部１４及び輝度画像変換部１５は、バス１６を介して相互に接続されている。このバス１６にはまた、入出力インターフェース１７も接続されている。入出力インターフェース１７には、撮像部１８、入力部１９、出力部２０、記憶部２１、通信部２２及びドライブ２３が接続されている。

撮像部１８は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１８の出力信号として出力される。
このような撮像部１８の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や画像処理部１４等に適宜供給される。

入力部１９は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部２０は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２１は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２２は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２３によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２１にインストールされる。また、リムーバブルメディア３１は、記憶部２１に記憶されている画像のデータ等の各種データも、記憶部２１と同様に記憶することができる。

次に、このような撮像装置１の機能的構成のうち、上述した補助画像表示処理を実行するための機能的構成について図３を用いて説明する。図３は、撮像装置１の機能的構成のうち、補助画像出力処理を実行するための機能的構成を示す機能ブロック図である。

ＣＰＵ１１においては、補助画像表示処理又はその前処理が実行される際には、撮像制御部４１と、表示制御部４２と、が機能する。
撮像制御部４１は、撮像部１８の撮像動作を制御する。本実施形態において、撮像制御部４１は、撮像部１８が所定の時間間隔で被写体を連続して繰り返し撮像するように制御する。この撮像制御部４１の制御により、所定の時間間隔毎に撮像部１８から順次出力される撮像画像のデータの各々が記憶部２１に記憶される。即ち、撮像制御部４１の制御が開始されてから終了されるまでの間に、撮像部１８から出力された順に記憶部２１に順次記憶された複数の撮像画像の各データが単位画像のデータとなり、これらの複数の単位画像のデータの集合体が１つの動画像のデータを構成する。
表示制御部４２は、出力部２０の表示出力を制御する。本実施形態において、表示制御部４２は、記憶部２１に記憶されている動画像（単位画像としての複数の撮像画像の集合体）のデータに対して、後に詳述する補助画像のデータを重畳することによって、補助画像重畳動画像のデータを生成する。そして、表示制御部４２は、当該補助画像重畳動画像を出力部２０が表示出力するように制御する。

画像処理部１４においては、補助画像表示処理又はその前処理が実行される際には、画像取得部５１と、基準画像抽出部５２と、差分画像生成部５３と、合成画像生成部５４と、ハフ変換部５５と、特徴領域特定部５６と、補助線領域特定部５７と、補助画像生成部５８と、を備える。

画像取得部５１は、撮像部１８によって撮像されて記憶部２１に記憶された動画像のデータを構成する複数の撮像画像（単位画像）のデータから、Ｔ枚（Ｔは２以上の整数値）の撮像画像のデータを取得する。
本実施形態において、画像取得部５１により取得される撮像画像のデータは、スイングの一連の動作を示す動画像のうち、被写体が所定の７種類のスイング姿勢を取っている様子がそれぞれ写った７（＝Ｔ）枚の撮像画像のデータである。
ここで、所定の７種類のスイングの姿勢とは、本実施形態において、「アドレス」の姿勢、「テイクバック」の姿勢、「トップ」の姿勢、「ダウンスイング」の姿勢、「インパクト」の姿勢、「フォロー」の姿勢及び「フィニッシュ」の姿勢である。

基準画像抽出部５２は、画像取得部５１により取得された７枚の撮像画像（単位画像）のデータの中から１枚の基準画像のデータを抽出する。
本例において、基準画像のデータの決定の仕方としては、７枚の撮像画像の中から先頭の画像のデータを基準画像のデータとして決定する。
しかし、基準画像のデータの決定としてはこのような方法に限られず、出力部２０に７枚の撮像画像を表示出力させたものを、ユーザの入力部１９の操作により７枚の撮像画像から１つの画像を選択させた後、基準画像抽出部５２がユーザにより選択された画像のデータを基準画像のデータとして決定しても良い。
基準画像のデータは、所定のクラブ位置（姿勢）の画像のデータであれば足りるが、本実施形態においては、「アドレス」の姿勢の撮像画像のデータが採用されている。
なお、基準画像も含め、画像取得部５１により取得されたＴ枚（ここではＴ＝７）の撮像画像（単位画像）の各データは、輝度画像変換部１５によって輝度画像のデータに変換された後、差分画像生成部５３に供給される。

差分画像生成部５３は、基準画像に対応する輝度画像（以下、「基準輝度画像」と呼ぶ）のデータと、基準画像以外の（Ｔ−１）枚の輝度画像の各データのそれぞれとの差分を取ることによって、（Ｔ−１）枚の差分画像のデータをそれぞれ生成する。ここで、データの差分を取るとは、各画素毎に、画素値（輝度画像の画素値なので輝度値）の差分を取ることを意味する。

即ち、本実施形態において、基準輝度画像とは、上述のごとく、「アドレス」の姿勢の輝度画像である。従って、差分画像生成部５３は、当該基準輝度画像のデータと、残り６（＝Ｔ−１）種類の姿勢の輝度画像の各データとの差分を取ることによって、６枚（＝Ｔ−１枚）の第１差分画像乃至第６差分画像のデータをそれぞれ生成する。
即ち、第１差分画像のデータは、「アドレス」の姿勢の輝度画像のデータと、「テイクバック」の姿勢の輝度画像のデータとの差分により得られたものである。
第２差分画像のデータは、「アドレス」の姿勢の輝度画像のデータと、「トップ」の姿勢の輝度画像のデータとの差分により得られたものである。
第３差分画像のデータは、「アドレス」の姿勢の輝度画像のデータと、「ダウンスイング」の姿勢の輝度画像のデータとの差分により得られたものである。
第４差分画像のデータは、「アドレス」の姿勢の輝度画像のデータと、「インパクト」の姿勢の輝度画像のデータとの差分により得られたものである。
第５差分画像のデータは、「アドレス」の姿勢の輝度画像のデータと、「フォロー」の姿勢の輝度画像のデータとの差分により得られたものである。
第６差分画像のデータは、「アドレス」の姿勢の輝度画像のデータと、「フィニッシュ」の姿勢の輝度画像のデータとの差分により得られたものである。
なお、第１差分画像乃至６差分画像の具体例については、図６を参照して後述する。

合成画像生成部５４は、差分画像生成部５３により生成された（Ｔ−１）枚の差分画像のデータをそれぞれ合成することによって、合成画像のデータを生成する。
ここでは、「アドレス」の姿勢の基準輝度画像のデータと、残り６種類の姿勢の各輝度画像の各データとの差分が取られて、第１差分画像乃至第６差分画像のデータが得られ、これらの第１差分画像乃至第６差分画像のデータがそれぞれ合成されて、合成画像のデータが生成される。
従って、このようにして生成された合成画像のデータは、「アドレス」の姿勢及びクラブ位置が強調された輝度画像のデータとなっている。即ち、当該合成画像は、動画像に写り込んでいた、「アドレス」の姿勢時の被写体及びクラブ以外のものがノイズとしてほぼ除去されて、「アドレス」の姿勢時の被写体及びクラブが特定可能な状態となった輝度画像になっている。

ハフ変換部５５は、合成画像生成部５４により生成された合成画像のデータに対して、ハフ変換（Ｈｏｕｇｈ変換）を施す。ここで、ハフ変換とは、画像内の直線を検出するために、直交座標系で特定される各画素をハフ空間上の正弦曲線に変換する、といった画像処理の手法をいう。

特徴領域特定部５６は、ハフ変換部５５によるハフ変換後のハフ空間上の正弦曲線に基づいて、合成画像内の直線のうち、「アドレス」の姿勢時のクラブを近似的に示す直線を示す領域を、特徴領域として特定する。

補助線領域特定部５７は、特徴領域特定部５６により特定された特徴領域に基づいて、補助線領域を特定する。補助線領域特定部５７により特定される補助線領域とは、後に詳述する補助画像内に付加される補助線の位置を特定する領域（本実施形態においては、直線）である。
即ち、特徴領域が示す「アドレス」の姿勢時のクラブ（その近似直線）を基準として、当該基準との関係からスイングフォームを評価することが容易になる１以上の直線、例えば、「アドレス」の姿勢時の被写体の両足の先端をそれぞれ通る略垂直方向の２つの直線を補助線として、当該１以上の補助線をそれぞれ示す領域が補助領域として特定される。

補助画像生成部５８は、本実施形態においては、撮像画像（単位画像）と同一解像度の画像であって、特徴領域特定部５６により特定された特徴領域、及び補助線領域特定部５７により特定される補助線領域については所定色で半透過状態にして、それ以外の領域は完全透過状態にした画像のデータを、補助画像のデータとして生成する。

その後、上述したように、表示制御部４２によって、記憶部２１に記憶されている動画像のデータに対して、補助画像生成部５８により生成された補助画像のデータが重畳されて、補助画像重畳動画像のデータが生成される。そして、表示制御部４２の制御によって、図１（ｂ）に示すような、当該補助画像重畳動画像が出力部２０に表示される。

次に、本実施形態における撮像装置１が実行する補助画像出力処理の流れについて図４を用いて説明する。図４は、図３の機能的構成を有する図２の撮像装置１が実行する補助画像出力処理の流れを説明するフローチャートである。

補助画像出力処理の前処理として、撮像部１８は、撮像制御部４１の制御により、所定の時間間隔で被写体を繰り返して連続して撮像する。その結果、撮像部１８により連続的に繰り返し撮像された被写体の像をそれぞれ含む複数の撮像画像のデータが、記憶部２１に順次記憶されていく。その結果、撮像制御部４１の制御が終了した段階で、これらの複数の撮像画像を単位画像として、複数の撮像画像から構成される動画像のデータが記憶部２１に記憶される。

次に、画像取得部５１は、このような動画像のデータから、連写されたＴ枚の撮像画像のデータを取得する。

図５は、一連のスイング動作を示す動画像の少なくとも一部を構成する、７種類の姿勢の撮像画像の一例を示している。
ここで、少なくとも一部としたのは、一連のスイング動作を示す映像の中かから、７つのフレーム（単位画像）が抽出されたものが、図５に示される７種類の姿勢の撮像画像であると把握してもよいからである。この場合、画像取得部５１は、記憶部２１等に各姿勢を判断できる画像（比較画像）のデータを予め記憶しておき、一連のスイング動作を示す映像を構成する各フレームと、各比較画像とのそれぞれのデータを比較することによって、各比較画像に最も類似する撮像画像のデータを、７種類の姿勢の撮像画像のデータとして取得するようにしてもよい。
或いはまた、画像取得部５１は、いわゆる連写動作により得られた７枚（＝Ｔ枚）の撮像画像のデータの全てをそのまま、７種類の姿勢の撮像画像のデータとして取得してもよい。

図５（ａ）は「アドレス」の姿勢の撮像画像を示す模式図である。
図５（ｂ）は「テイクバック」の姿勢の撮像画像を示す模式図である。
図５（ｃ）は「トップ」の姿勢の撮像画像を示す模式図である。
図５（ｄ）は「ダウンスイング」の姿勢の撮像画像を示す模式図である。
図５（ｅ）は「インパクト」の姿勢の撮像画像を示す模式図である。
図５（ｆ）は「フォロー」の姿勢の撮像画像を示す模式図である。
図５（ｇ）は「フィニッシュ」の姿勢の撮像画像を示す模式図である。
なお、図５（ｈ）は、図５（ａ）の「アドレス」の姿勢の撮像画像をより正確に示したものである。このように「アドレス」の姿勢の撮像画像のみが正確に示されているのは、後述するステップＳ１の処理で、当該「アドレス」の姿勢の撮像画像のデータが、基準画像のデータとして抽出されるからである。

以下、説明を容易なものとするために、前処理の具体例として、このような図５（ａ）〜図５（ｇ）の各々に示す７枚（Ｔ＝７）の撮像画像のデータが画像取得部５１により取得されたものとする。
このような前処理が実行された後に、ユーザが入力部１９を用いて所定操作をすると、図４の補助画像出力処理は開始され、次のような処理が実行される。

ステップＳ１において、基準画像抽出部５２は、画像取得部５１により取得されたＴ枚の撮像画像のデータの中から、先頭の画像のデータを基準画像のデータとして決定する。
具体的には本例では、基準画像抽出部５２は、図５及び図５（ｈ）の「アドレス」の姿勢の撮像画像のデータを、基準画像のデータとして決定する。
また、基準画像のデータの決定としては上述の方法に限られず、出力部２０に７枚の撮像画像を表示出力させたものを、ユーザの入力部１９の操作により７枚の撮像画像から１つの画像を選択させた後、基準画像抽出部５２がユーザにより選択された画像のデータを基準画像のデータとして決定しても良い。

ステップＳ２において、輝度画像変換部１５は、Ｔ枚の撮像画像のデータを輝度画像Ｐｔ（ｔは、０〜Ｔ−１の範囲内の数値）のデータに変換する。これによりエッジが特定し易くなり、被写体やクラブ等の特定が容易に可能になる。
ここで、輝度画像Ｐ０は、基準輝度画像を示すものとして、以下、輝度画像Ｐｔという場合には、ｔは、１〜Ｔ−１の範囲内の数値を示すものとする。
なお、以上説明したステップＳ１及びＳ２の処理の順番は、図４の例に特に限定されず、ステップＳ２の処理の後にステップＳ１の処理が実行されてもよい。何れにしても、ステップＳ１及びＳ２の処理が終了すると、処理はステップＳ３に進む。
本例では、図５（ａ）が、基準輝度画像Ｐ０のデータに変換される。残り６枚の図５（ｂ）〜図５（ｇ）の各々の撮像画像のデータが、輝度画像Ｐ１〜Ｐ６の各々のデータに変換される。

ステップＳ３において、差分画像生成部５３は、基準輝度画像Ｐ０と輝度画像Ｐｔとの差分画像Ｄｔを夫々算出する。
図６は、本例の図５の輝度画像Ｐ０〜Ｐ６のデータから得られる差分画像のデータの一例を示している。
具体的には、本例では、差分画像生成部５３は、「アドレス」の姿勢の撮像画像に対応する図５（ａ）及び図５（ｆ）の輝度画像Ｐ０のデータと、「テイクバック」の姿勢の撮像画像に対応する図５（ｂ）の輝度画像Ｐ１のデータとの差分を取り、図６（ａ）に示すような差分画像Ｄ１を生成する。
また、差分画像生成部５３は、基準輝度画像Ｐ０のデータと、「トップ」の姿勢の撮像画像に対応する図５（ｃ）の輝度画像Ｐ２のデータとの差分を取り、図６（ｂ）に示すような差分画像Ｄ２のデータを生成する。
また、差分画像生成部５３は、基準輝度画像Ｐ０のデータと、「ダウンスイング」の姿勢の撮像画像に対応する図５（ｄ）の輝度画像Ｐ３のデータとの差分を取り、図６（ｃ）に示すような差分画像Ｄ３のデータを生成する。
また、差分画像生成部５３は、基準輝度画像Ｐ０のデータと、「インパクト」の姿勢の撮像画像に対応する図５（ｅ）の輝度画像Ｐ４のデータとの差分を取り、図６（ｄ）に示すような差分画像Ｄ４のデータを生成する。
また、差分画像生成部５３は、基準輝度画像Ｐ０のデータと、「フォロー」の姿勢の撮像画像に対応する図５（ｆ）の輝度画像Ｐ５のデータとの差分を取り、図６（ｅ）に示すような差分画像Ｄ５のデータを生成する。
また、差分画像生成部５３は、基準輝度画像Ｐ０のデータと、「フィニッシュ」の姿勢の撮像画像に対応する図５（ｇ）の輝度画像Ｐ６のデータとの差分を取り、図６（ｆ）に示すような差分画像Ｄ６のデータを生成する。

ステップＳ４において、合成画像生成部５４は、各差分画像Ｄｔの各データを足し合わせることによって、合成画像ＳＤのデータを生成する。ここで、各データを足し合わせるとは、各画素毎に、画素値（輝度値の差分値）が積算されることをいう。
具体的には、合成画像生成部５４は、次の式（１）の演算をすることによって、合成画像ＳＤのデータを算出する。
なお、本例では、Ｔ＝７であるため、図６の差分画像Ｄ１〜Ｄ６の各データが足し合わされて、合成画像ＳＤのデータが生成される。
図７は、このようにして図６の差分画像Ｄ１〜Ｄ６から得られる合成画像ＳＤの一例を示している。

ステップＳ５において、ハフ変換部５５は、合成画像ＳＤのデータをハフ変換し、最多投票におけるθｍａｘ及びρｍａｘを算出する。
具体的には、次の式（２）に従って、合成画像ＳＤのデータがハフ変換される。即ち、合成画像ＳＤのうち画素位置（ｘ，ｙ）の画素は、次の式（２）に従って、θ軸とρ軸とから構築されるハフ空間上の正弦曲線に変換される。ここで、ρは、原点からの距離を指す。
図８は、図７の合成画像ＳＤのデータが式（２）に従ってハフ変換されたことによって得られる正弦曲線を示すグラフの一例である。
図８においては、縦軸はρ軸であり、横軸はθ軸であり、後述する投票数が多い点程白く（明るく）なるように表示されている。
その後、ハフ変換部５５は、図８に示すように、正弦曲線の通る数（以下、「投票数」という）が最も多い点のハフ空間上のθ軸及びρ軸の各座標を、最多投票数を得るθｍａｘ及びρｍａｘとしてそれぞれ算出する。

ステップＳ６において、特徴領域特定部５６は、算出されたθｍａｘ及びρｍａｘを逆変換することで、クラブの近似直線を含む特徴領域を特定する。
具体的には、特徴領域特定部５６（ハフ変換部５５はでもよい）は、図８に示すθｍａｘ及びρｍａｘを逆変換することによって、図７に示す合成画像ＳＤ内の直線のうち、クラブの近似直線を特定し、当該近似直線を含む特徴領域を特定する。

即ち、図５（ａ）及び図５（ｆ）の「アドレス」の姿勢の撮像画像に対応する基準輝度画像Ｓ０のデータと、それ以外の６種類の姿勢の輝度画像Ｓ１〜Ｓ６のデータのそれぞれとの差分を取ることにより得られた６枚の差分画像Ｄ１〜Ｄ６の各データが足し合わされたものが、合成画像ＳＤのデータである。
従って、合成画像ＳＤとは、次の式（３）に示すように、基準輝度画像Ｐ０が６倍に強調されたものから、各輝度画像Ｐ１〜Ｐ６を減算したものと等価になる。ここで、スイング動作中、被写体の動きは少ないのに対して、クラブの動きは大きくなる。
よって、６倍に強調された基準輝度画像Ｐ０に含まれる被写体の領域は、その他の基準輝度画像Ｐ１〜Ｐ６で減算されることによりある程度相殺されて合成画像ＳＤに含まれることになる。これに対して、６倍に強調された基準輝度画像Ｐ０に含まれるクラブの領域（略直線の領域）は、その他の基準輝度画像Ｐ１〜Ｐ６ではクラブ位置が全く異なるため、その他の基準輝度画像Ｐ１〜Ｐ６で減算されても、ほぼ６倍に強調されたまま残って合成画像ＳＤに含まれることになる。
従って、合成画像ＳＤに含まれる直線のうち、このようにほぼ６倍に強調された、「アドレス」の姿勢時のクラブの近似直線が、ハフ変換によって、ハフ空間上の座標（θｍａｘ，ρｍａｘ）の点として示されることになる。このため、θｍａｘ及びρｍａｘを逆変換されると、合成画像ＳＤ内の直線のうち、クラブの近似直線が特定されるのである。

図９は、図８のハフ変換の結果に基づいて、図７の合成画像ＳＤから特定されたクラブの近似直線を含む特徴領域を示す模式図である。
同図中中央からやや右方において、上方から下方に向けて若干左斜めになりながら合成画像ＳＤを貫いている直線の領域が、クラブの像をほぼ通過していることから、特徴領域になる。

ステップＳ７において、補助線領域特定部５７は、合成画像ＳＤにおける、近似直線のｘ座標を基準として、基準から距離ｉに位置するｘ座標について、垂直方向に位置する各画素の画素値の総和Ｒｉを算出する。
ただし、図９に示すように、クラブの近似直線は必ずしも垂直方向に平行ではないため、本実施形態では、当該近似直線の最下方のｘ座標が基準（原点）として設定される。
具体的には、総和Ｒｉは、次の式（４）により算出される。
なお、式（４）において、ｐｉｘ（α，β）は、合成画像ＳＤにおいて、座標（ｘ、ｙ）＝（α，β）に位置する画素の画素値を示している。ここで、ｘ＝０は、近似直線のｘ座標値とされている。即ち、総和Ｒｉは、合成画像ＳＤにおいて、ｘ＝ｉで固定した状態で、ｙ座標を可変させた場合に、各位置に存在する画素値ｐｉｘ（ｉ，ｙ）が総加算されることによって、総和Ｒｉは求められる。

補助線領域特定部５７は、さらに、基準からの距離ｉを変化させて、その都度総和Ｒｉを演算する。これにより、距離ｉに応じた総和Ｒｉの変化が得られることになる。
図１０は、輝度値の総和の変化を示すグラフである。
同図中、ｘ軸は基準からの距離ｉを示し、ｙ軸は輝度値の総和Ｒｉを示している。

ステップＳ８において、補助線領域特定部５７は、総和Ｒｉの変化に基づいて、被写体のスイング姿勢を解析するための補助線を含む補助線領域を特定する。
ここでは、補助線領域特定部５７は、基準（ここでは特徴領域の最下方のｘ座標）からみて、ｘ軸の正の領域とｘ軸の負方向の領域のそれぞれにおいて、補助線領域を１つずつ特定する。即ち、総計で２つの補助線領域が特定されることになる。
補助線領域の特定手法は、特に限定されないが、本実施形態では、輝度値の総和Ｒｉの変化が最も急峻となるｘ座標の位置を特定し、特定したｘ座標を有する画素の集合体、即ち、特定したｘ座標は固定としたままｙ軸方向（垂直方向）に平行に延びる直線の領域を、補助線領域として特定する、といった手法が採用されている。この手法が採用されている理由は、合成画像ＳＤ内においては、被写体やクラブを示す輝度値が存在する範囲内では、当該輝度値が累積されるため、輝度値の総和Ｒｉはある程度の値を有するところ、被写体が存在しなくなると、輝度値を有する画素はほぼ無くなり、輝度値の総和Ｒｉもまた小さな値となるからである。即ち、基準からｘ軸の正又は負の領域で、輝度値の総和Ｒｉの変化を観察していくと、被写体の足元を超えたあたり（被写体が存在しなくなる境目あたり）で、輝度値の総和Ｒｉが急に低下する（急峻に変化する）ことが予想されるからである。

このような特定手法を採用する場合、輝度値の総和Ｒｉの変化の様子を把握する必要があり、このため、本実施形態では、上述した図１０に示すような輝度値の総和Ｒｉの変化を示すグラフが用いられる。
また、本実施形態では、図１０に示すような輝度値の総和Ｒｉの変化を示すグラフ内の各プロット点のうち、輝度値の総和Ｒｉが急に低下する（急峻に変化する）点が、「変化点」として定義されている。そして、この変化点を通る直線であって、ｙ軸と平行な直線（垂直方向の直線）が、補助線として特定される。

なお、変化点の特定手法は、特に限定されず、例えば図１１に示すような手法を採用することができる。
図１１は、変化点の特定手法の具体的な２つの例を説明する図である。

図１１（ａ）に示す手法では、図１０に示すような輝度値の総和Ｒｉの変化を示すグラフにおける各プロット点が順次、変化点候補となり、次のような処理が実行される。即ち、基準からの距離ｉが順次変化していき、変化する毎に、変化後の距離ｉにおけるプロット点が変化点候補となり、次のような処理が実行される。
即ち、図１１（ａ）に示すように、補助線領域特定部５７は、変化点候補に対して、正の領域及び負の領域にて互いに隣接する８個分のプロットの集合をそれぞれ処理単位として、処理単位内の各プロットのｙ座標が示す輝度値の総和Ｒｉを合計した値（以下、「隣接差分絶対値合計」という）をそれぞれ算出する。そして、補助線領域特定部５７は、変化点候補に対して、正の領域及び負の領域のそれぞれの領域について、隣接差分絶対値合計の差分を、指標値として算出する。
この指標値が最大となるプロット点が、変化点として特定される。

図１１（ｂ）に示す手法とは、実験等から経験的に算出された足先における輝度値の総和Ｒｉを、閾値として用いて、ｙ座標値（＝輝度値の総和Ｒｉ）が当該閾値以下になった直後のプロット点を変化点として特定する、といった手法である。なお、図１１（ｂ）の例では、閾値は、１０００とされている。

このようにして、補助線領域特定部５７は、基準（ここでは特徴領域の最下方のｘ座標）からみて例えばｘ軸の正の領域において、１つの変化点を特定し、この変化点を通る直線であって、ｙ軸と平行な直線（垂直方向の直線）を補助線として含む補助線領域を特定する。
図１２は、基準からみてｘ軸の正の領域で特定された補助線領域を示す模式図である。
補助線領域特定部５７は、さらに、基準からみてｘ軸の負の領域にも、補助線領域を特定する。
図１３は、基準からみてｘ軸の正及び負の領域でそれぞれ特定された２つの補助線領域を示す模式図である。
このようにして、補助線領域が特定されると、処理は図４のステップＳ８からステップＳ９に進む。

ステップＳ９において、補助画像生成部５８は、撮像画像（単位画像）と同一解像度の画像であって、ステップＳ６の処理で特定された特徴領域及びステップＳ８の処理で特定された補助線領域については所定色で半透過状態にして、それ以外の領域は完全透過状態にした画像のデータを、補助画像のデータとして生成する。

ステップＳ１０において、表示制御部４２は、記憶部２１に記憶されている動画像のデータに対して、ステップＳ９の処理で生成された補助画像のデータを重畳して、補助画像重畳動画像のデータを生成する。そして、表示制御部４２は、当該補助画像重畳動画像が出力部２０に表示させる。
これにより、補助画像出力処理は終了する。

従って、このような補助画像出力処理の結果として表示された補助画像重畳動画像を閲覧したユーザは、補助線と被写体との関係から、スイングフォームの良し悪しを容易に判断することができる。

以上説明したように、撮像装置１は、画像取得部５１と、基準画像抽出部５２と、差分画像生成部５３と、合成画像生成部５４と、特徴領域特定部５６と、補助画像生成部５８と、出力部２０とを備える。
画像取得部５１は、被写体の動きが連続的に撮像される結果得られる複数の画像のデータを取得する。
基準画像抽出部５２は、により取得された複数の画像のデータから、任意の画像のデータ（基準画像のデータ）を抽出する。
差分画像生成部５３は、基準画像抽出部５２により抽出された基準画像のデータと、基準画像を除いた複数の画像のデータとの差分を取ることによって、複数の差分画像のデータを夫々生成する。
合成画像生成部５４は、差分画像生成部５３により生成された複数の差分画像のデータを合成することによって、合成画像のデータを生成する。
特徴領域特定部５６は、合成画像生成部５４により生成された合成画像のデータから、特徴領域を特定する。
補助画像生成部５８は、特徴領域特定部５６により特定された特徴領域に基づいて、被写体の動きを評価するための補助画像のデータを生成する。
出力部２０は、補助画像生成部５８により生成された補助画像のデータとともに、複数の画像のデータを表示出力する。

従って、撮像装置１は、取得した撮像画像から、スイングフォームの評価に用いることができる補助線を、動画の再生とともに自動的に表示させることができる。

また、撮像装置１は、補助線領域特定部５７を更に備える。
特徴領域特定部５６は、特徴領域として、基準画像内における基準となるべきクラブとなる直線を含む領域を特定する。
補助画像生成部５８は、特徴領域特定部５６により特定された前記直線を基準として、前記補助画像のデータを生成する。
出力部２０は、複数の画像のデータに対して、補助画像生成部５８により生成された補助画像のデータを重畳するように加工して、加工後の複数の画像のデータを表示出力する。
従って、撮像装置１においては、正確な位置で補助線を表示させることができる。

また、撮像装置１では、複数の撮像画像のデータを輝度画像のデータに変換するハフ変換部５５をさらに備える。
差分画像生成部５３は、複数の差分画像のデータを複数の輝度画像のデータとして生成する。
従って、撮像装置１においては、正確な位置で補助線を表示させることができる。

補助画像生成部５８は、所定の方向に延びる補助線を、補助画像のデータとして生成する。
従って、撮像装置１においては、導き出した直線をクラブとして特定することができる。

被写体の動きは、ゴルフの一連のスイング動作である。
従って、撮像装置１においては、ゴルフのスイングフォームの評価に用いる表示を行うことができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、合成画像生成部５４は、本実施形態においては、各差分画像の画素値を足し合わせて合成画像を生成したがこれに限られず、例えば、各差分画像の画素値をかけ合わせたり、引いたり等により合成画像を生成してもよい。

また、上述の実施形態では、ゴルフのスイングフォームの評価に用いるための補助線を表示するように構成したがこれに限られず、例えば、ゴルフと同様に、両足を地面について、地面に置かれた対象を打撃するゲートボール、ホッケー、クリケット、馬上の競技であるポロ等の他、足を地面に付けてスイングを行うような野球や弓道のフォームの評価に用いるための補助線を表示するように構成してもよい。
さらに、補助画像に含まれるものは、補助線である必要は特になく、ゴルフのスイングフォームの評価の指標となるものであれば足りる。
さらに、撮像画像に補助画像を重畳する目的は、本実施形態では、ゴルフの一連のスイング動作を撮像した結果得られる動画像を表示対象とすることから、ゴルフのスイングフォームの評価であったが、目的は特にこれに限られず、被写体の任意の動きの評価であってもよい。この場合、補助画像に含まれるものは、表示対象の動画像に移る被写体の動きの評価の指標となるものであれば足りる。

また、上述の実施形態では、複数枚の静止画像を連続的に再生して動画像を表示するように構成したが、これに限られず、静止画像やスライド画像を表示するように構成してもよい。

また、上述の実施形態では、補助線を動画像に重ねて表示するように、動画像とは別の補助画像として構成したがこれに限られず、例えば、動画像に補助線を合成したり、補助線の座標位置だけを記憶部２１等に記憶しておき、補助線の座標位置に基づいて都度補助線を生成して表示したりして構成してもよい。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、補助画像出力処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ１２や、図２の記憶部２１に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体の動きが連続的に撮像された複数の画像のデータを取得する取得手段と、
前記取得手段により取得された前記複数の画像のデータから、任意の画像のデータを抽出する抽出手段と、
前記抽出手段により抽出された任意の画像のデータと、当該任意の画像のデータを除いた前記複数の画像のデータとの差分を取ることによって、複数の差分画像のデータを夫々生成する第１生成手段と、
前記第１生成手段により生成された前記複数の差分画像のデータを合成し、当該合成結果から特徴領域を特定する特定手段と、
前記特定手段により特定された特徴領域に基づいて、前記被写体の動きを評価するための補助画像のデータを生成する第２生成手段と、
前記生成手段により生成された補助画像のデータとともに前記複数の画像のデータを表示出力する出力手段と、
を備えたことを特徴とする画像処理装置。
［付記２］
前記第１特定手段は、前記特徴領域として、前記任意の画像内における基準となるべき直線を含む領域を特定し、
前記第２生成手段は、前記第１特定手段により特定された前記直線を基準として、前記補助画像のデータを生成し、
前記出力手段は、前記複数の画像のデータに対して、前記第２生成手段により生成された前記補助画像のデータを重畳するように加工して、加工後の前記複数の画像のデータを表示出力することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記複数の画像のデータを輝度画像のデータに変換する変換手段をさらに備え、
前記第１生成手段は、前記複数の差分画像のデータを複数の輝度画像のデータとして生成することを特徴とする付記１又は２記載の画像処理装置。
［付記４］
前記第２生成手段は、所定の方向に延びる補助線を、前記補助画像のデータとして生成することを特徴とする付記２に記載の画像処理装置。
［付記５］
前記被写体の動きは、ゴルフの一連のスイング動作であることを特徴とする付記１乃至３の何れか１項に記載の画像処理装置。
［付記６］
被写体の動きが連続的に撮像された複数の画像のデータを取得する取得ステップと、
前記取得ステップの処理により取得された前記複数の画像のデータから、任意の画像のデータを抽出する抽出ステップと、
前記抽出ステップの処理により抽出された任意の画像のデータと、当該任意の画像のデータを除いた前記複数の画像のデータとの差分を取ることによって、複数の差分画像のデータを夫々生成する第１生成ステップと、
前記第１生成ステップの処理により生成された前記複数の差分画像のデータを合成し、当該合成結果から特徴領域を特定する特定ステップと、
前記特定ステップの処理により特定された前記特徴領域に基づいて、前記被写体の動きを評価するための補助画像のデータを生成する第２生成ステップと、
第２生成ステップの処理により生成された補助画像のデータとともに前記複数の画像のデータを表示出力する出力ステップと、
を含むことを特徴とする画像処理方法。
［付記７］
コンピュータを、
被写体の動きが連続的に撮像された複数の画像のデータを取得する取得手段、
前記取得手段により取得された前記複数の画像のデータから、任意の画像のデータを抽出する抽出手段、
前記抽出手段により抽出された任意の画像のデータと、当該任意の画像のデータを除いた前記複数の画像のデータとの差分を取ることによって、複数の差分画像のデータを夫々生成する第１生成手段、
前記第１生成手段により生成された前記複数の差分画像のデータを合成し、当該合成結果から特徴領域を特定する特定手段、
前記特定手段により特定された特徴領域に基づいて、前記被写体の動きを評価するための補助画像のデータを生成する第２生成手段、
前記第２生成手段により生成された補助画像のデータとともに前記複数の画像のデータを表示出力する出力手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・画像処理部，１５・・・輝度画像変換部，１６・・・バス，１７・・・入出力インターフェース，１８・・・撮像部，１９・・・入力部，２０・・・出力部，２１・・・記憶部，２２・・・通信部，２３・・・ドライブ，３１・・・リムーバブルメディア，４１・・・撮像制御部，４２・・・表示制御部，５１・・・画像取得部，５２・・・基準画像抽出部，５３・・・差分画像生成部，５４・・・合成画像生成部，５５・・・ハフ変換部，５６・・・特徴領域特定部，５７・・・補助線領域特定部，５８・・・補助画像生成部

Claims (7)

1. 被写体の動きが連続的に撮像された複数の画像のデータを取得する取得手段と、
   前記取得手段により取得された前記複数の画像のデータから、任意の画像のデータを抽出する抽出手段と、
   前記抽出手段により抽出された任意の画像のデータと、当該任意の画像のデータを除いた前記複数の画像のデータとの差分を取ることによって、複数の差分画像のデータを夫々生成する第１生成手段と、
   前記第１生成手段により生成された前記複数の差分画像のデータを合成し、当該合成結果から特徴領域を特定する特定手段と、
   前記特定手段により特定された特徴領域に基づいて、前記被写体の動きを評価するための補助画像のデータを生成する第２生成手段と、
   前記第２生成手段により生成された補助画像のデータとともに前記複数の画像のデータを表示出力する出力手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記特定手段は、前記特徴領域として、前記任意の画像内における基準となるべき直線を含む領域を特定し、
   前記第２生成手段は、前記特定手段により特定された前記直線を基準として、前記補助画像のデータを生成し、
   前記出力手段は、前記複数の画像のデータに対して、前記第２生成手段により生成された前記補助画像のデータを重畳するように加工して、加工後の前記複数の画像のデータを表示出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像のデータを輝度画像のデータに変換する変換手段をさらに備え、
   前記第１生成手段は、前記複数の差分画像のデータを複数の輝度画像のデータとして生成することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記第２生成手段は、所定の方向に延びる補助線を、前記補助画像のデータとして生成することを特徴とする請求項２に記載の画像処理装置。
5. 前記被写体の動きは、ゴルフの一連のスイング動作であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
6. 被写体の動きが連続的に撮像された複数の画像のデータを取得する取得ステップと、
   前記取得ステップの処理により取得された前記複数の画像のデータから、任意の画像のデータを抽出する抽出ステップと、
   前記抽出ステップの処理により抽出された任意の画像のデータと、当該任意の画像のデータを除いた前記複数の画像のデータとの差分を取ることによって、複数の差分画像のデータを夫々生成する第１生成ステップと、
   前記第１生成ステップの処理により生成された前記複数の差分画像のデータを合成し、当該合成結果から特徴領域を特定する特定ステップと、
   前記特定ステップの処理により特定された前記特徴領域に基づいて、前記被写体の動きを評価するための補助画像のデータを生成する第２生成ステップと、
   第２生成ステップの処理により生成された補助画像のデータとともに前記複数の画像のデータを表示出力する出力ステップと、
   を含むことを特徴とする画像処理方法。
7. コンピュータを、
   被写体の動きが連続的に撮像された複数の画像のデータを取得する取得手段、
   前記取得手段により取得された前記複数の画像のデータから、任意の画像のデータを抽出する抽出手段、
   前記抽出手段により抽出された任意の画像のデータと、当該任意の画像のデータを除いた前記複数の画像のデータとの差分を取ることによって、複数の差分画像のデータを夫々生成する第１生成手段、
   前記第１生成手段により生成された前記複数の差分画像のデータを合成し、当該合成結果から特徴領域を特定する特定手段、
   前記特定手段により特定された特徴領域に基づいて、前記被写体の動きを評価するための補助画像のデータを生成する第２生成手段、
   前記第２生成手段により生成された補助画像のデータとともに前記複数の画像のデータを表示出力する出力手段、
   として機能させることを特徴とするプログラム。