JP2017174094A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】基準となる姿勢と実際の姿勢とのズレ量をユーザに容易に把握させること。【解決手段】撮像装置１は、画像取得部５１と、ライン設定部５２と、動きベクトル判定部５４と、を備える。画像取得部５１は、複数の画像を取得する。ライン設定部５２は、画像取得部５１により取得された画像における被写体に動作の基準となる第１のラインを設定する。動きベクトル判定部５４は、ライン設定部５２により設定された第１のラインと被写体の動作が異なるか否かを判定する。ライン設定部５２は、動きベクトル判定部５４により、被写体の動作が第１のラインと異なると判定された場合、当該被写体の動作において第１のラインと異なる箇所に対応して表示位置を変えた第２のラインを設定する。【選択図】図３

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来より、表示されたゴルフスイングの動画上に当該スイングのチェックのための基準線を表示させる技術が知られている（特許文献１参照）。このような特許文献１に記載の技術では、被写体領域付近に基準線を設定して、該被写体の動作を確認する際の基準とする。

特開２０１１−２５４１５１号公報

しかしながら、上述した特許文献１に記載された技術では、基準線と一連の動作を行う被写体との位置関係から被写体の動作状態を把握するための表示を行うことができるが、ユーザは表示される基準線と被写体画像とから、該基準線と該被写体との間における誤差を読み取る必要があるために、誤差の把握を容易に行うことが出来なかった。

本発明は、このような状況に鑑みてなされたものであり、基準となる姿勢と実際の姿勢とのズレ量をユーザに容易に把握させることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された画像における被写体に動作の基準となる第１のラインを設定する第１の設定手段と、
前記被写体の姿勢を検出する姿勢検出手段と、
前記第１の設定手段によって設定された前記第１のラインと、前記被写体の姿勢との間のズレ量を算出する算出手段と、
を備えることを特徴とする。

本発明によれば、基準となる姿勢と実際の姿勢とのズレ量をユーザに容易に把握させることができる。

本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。 本実施形態の動画の表示を説明するための模式図である。 図１の撮像装置１の機能的構成のうち、動画再生処理を実行するための機能的構成を示す機能ブロック図である。 図３の機能的構成を有する図１の撮像装置１が実行する動画再生処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラとして構成される。

撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

このように構成される撮像装置１では、ゴルフのスイングを撮影した動画の再生に際して、被写体に重畳してスイングのフォームの指標となるラインを表示する機能を有する。
撮像装置１では、スイング開始時点での被写体の姿勢をライン（以下、「基準姿勢ライン」という。）で表示し、表示フレームにおける被写体の姿勢を基準姿勢ラインとは異なるライン（以下、「現姿勢ライン」という。）で同時に表示する。

図２は、本実施形態の動画の表示を説明するための模式図である。
本実施形態においては、図２（ａ）に示すように、ゴルフのスイングをプレーヤの側面から撮影した動画を表示する場合において、スイングの初期位置（例えば、アドレス）で動作解析のポイントとなるプレーヤの動作軸付近に基準姿勢ラインＬ１，Ｌ２，Ｌ３を設定して表示する。本実施形態においては、ボールと肩を結んだ基準姿勢ラインＬ１と、ボールと腰を結んだ基準姿勢ラインＬ２と、頭と腰を結んだ基準姿勢ラインＬ３とが設定される。
スイング動作が進み、プレーヤの姿勢が変化することにより、身体の動作軸の傾きや位置が変化した場合に、再度基準姿勢ラインＬ３に対応する現姿勢ラインを設定する。身体の動作軸の位置の変化は、図２（ｂ）に示すように、基準姿勢ラインＬ３位置付近の画素の動きベクトルの変化の有無によって検出する。
基準姿勢ラインＬ３位置付近の画素の動きベクトルに変化があり、身体の動作軸の位置の変化が検出された場合に、図２（ｃ）に示すように、当該変化した位置に現姿勢ラインＬ４が設定される。
現姿勢ラインＬ４が設定された場合には、図２（ｄ）に示すように、初期位置で設定した基準姿勢ラインＬ３に再度設定した現在のフレームにおける位置の現姿勢ラインＬ４を追従して重複表示する。

これにより、初期位置での基準姿勢ラインＬ３と、スイング動作の進行に伴い傾きや位置が変化する動作軸を基準とする現姿勢ラインＬ４とが表示されるために、ユーザはスイングの動画を見ながら、スイングフォームの安定具合を簡単に認識することができる。

また、基準姿勢ラインＬ３と、現姿勢ラインＬ４との間のなす角や移動距離を算出してズレ量を数値化して表示する。本実施形態においては、図２（ｄ）に示すように、角度を「ズレ：−５度」として表示している。
なお、ズレ量を数値化して表示したが、例えば、ズレ量の大きさやズレ方向によって基準姿勢ライン又は現姿勢ラインの色や太さを変更したり、基準姿勢ラインと現姿勢ラインとの間に補助線を引いたりして表示するように構成してもよい。

図３は、図１の撮像装置１の機能的構成のうち、動画再生処理を実行するための機能的構成を示す機能ブロック図である。
動画再生処理とは、スイングを撮影した動画を再生する際に、基準となる姿勢と現在表示されている被写体の姿勢とをラインを設定することで把握しやすく表示する一連の処理をいう。

動画再生処理を実行する場合には、図３に示すように、ＣＰＵ１１において、画像取得部５１と、ライン設定部５２と、出力制御部５３と、動きベクトル判定部５４と、が機能する。
また、記憶部１９の一領域には、動画記憶部７１が設定される。
動画記憶部７１には、動画のデータが記憶される。

画像取得部５１は、動画記憶部７１に記憶される動画から処理の対象となるフレームを取得する。
具体的には、画像取得部５１は、基準姿勢ラインＬ１，Ｌ２，Ｌ３の設定の対象となるフレーム（本実施形態においては、動画の初期フレーム）を取得する。また、画像取得部５１は、現姿勢ラインＬ４の設定の対象となる表示対象となるフレームを取得する。

ライン設定部５２は、対象となるフレームに対し画像解析を行い、被写体の姿勢に対応するライン（基準姿勢ラインＬ１，Ｌ２，Ｌ３と、現姿勢ラインＬ４）を設定する。
本実施形態において、基準姿勢ラインＬ３に対応する変化のみを現姿勢ラインＬ４として設定するように構成している。
ライン設定部５２は、基準姿勢ラインが設定されている対象箇所の動きベクトルに変化があった場合には、動きベクトルの変化に応じて現姿勢ラインＬ４の位置・角度を設定する。

出力制御部５３は、画像を表示するように出力部１８を制御する。
具体的には、出力制御部５３は、初期フレームにおいて基準姿勢ラインＬ１，Ｌ２，Ｌ３を画像に合成して表示するように出力部１８を制御する。
また、出力制御部５３は、表示するフレームにおいて被写体の動作軸の位置に変化があった場合には、基準姿勢ラインＬ１，Ｌ２，Ｌ３に加えて、さらに現姿勢ラインＬ４を画像に合成して表示するように出力部１８を制御する。

動きベクトル判定部５４は、時系列に沿って連続する画像間における所定の領域の動きベクトルの変化の有無を判定する。
具体的には、動きベクトル判定部５４は、判定対象となるフレームと、初期フレームとを比較して、基準姿勢ラインＬ３付近の箇所の動きベクトルに変化があったか否かを判定する。
より具体的には、動きベクトル判定部５４は、判定対象となるフレームと初期フレームの基準姿勢ラインＬ３位置付近をブロック毎に探索領域における被写体部分のフレーム間での相対的なズレ量及びズレ方向に変化（動きベクトルに変化）があったか否かを判定する。
なお、動きベクトルの取得は、例えば、基準姿勢ラインＬ３位置付近の各ブロックの被写体部分を追跡対象としたブロックマッチング法等の周知の方法により行う。
また、探索領域の位置・範囲はユーザが任意に設定してもよく、動きベクトル判定部５４によって動画再生処理の対象となる動画像を解析し、解析結果に基づいてプレーヤの動作判定の基準となる位置・範囲に探索領域を自動的に設定するよう構成してもよい。

図４は、図３の機能的構成を有する図１の撮像装置１が実行する動画再生処理の流れを説明するフローチャートである。
動画再生処理は、ユーザによる入力部１７への動画再生処理開始の操作により開始される。

ステップＳ１１において、画像取得部５１は、動画記憶部７１に記憶される動画の初期フレームを取得する。

ステップＳ１２において、ライン設定部５２は、取得した初期フレームにおいて基準姿勢ラインを設定する。本実施形態においては、図２（ａ）に示すように、ライン設定部５２は、ボールと肩を通る基準姿勢ラインＬ１と、ボールと腰を通る基準姿勢ラインＬ２と、頭と腰を通る基準姿勢ラインＬ３を設定する。
なお、基準姿勢ラインは、被写体の姿勢とボールから自動的に設定（自動設定）されるように構成したが、ユーザにより任意に設定（マニュアル設定）するように構成してもよい。

ステップＳ１３において、出力制御部５３は、初期フレームにおいて基準姿勢ラインをフレームに合成して表示するように出力部１８を制御する。その結果、出力部１８には、図２（ａ）に示すような、スイングをしている被写体に重畳して基準姿勢ラインＬ１，Ｌ２，Ｌ３が描画される表示が行われる。

ステップＳ１４において、画像取得部５１は、次のフレームを取得する。

ステップＳ１５において、動きベクトル判定部５４は、基準姿勢ライン付近の動きベクトルに変化があるか否かを判定する。具体的には、図２（ｂ）に示すように、初期フレームの基準姿勢ラインＬ３付近の位置と判定対象のフレームの基準姿勢ラインＬ３付近の位置とを比較して、動きベクトルの変化の有無を判定する。
動きベクトルに変化があった場合には、ステップＳ１５においてＹＥＳと判定されて、処理はステップＳ１７に進む。
動きベクトルに変化がなかった場合には、ステップＳ１５においてＮＯと判定されて、処理はステップＳ１６に進む。

ステップＳ１６において、出力制御部５３は、表示対象のフレームにおいて基準姿勢ラインをフレームに合成して表示するように出力部１８を制御する。その後、処理はステップＳ１９に進む。

ステップＳ１７において、ライン設定部５２は、動きベクトルの変化に応じて現姿勢ラインを設定する。具体的には、ライン設定部５２は、図２（ｃ）のように現姿勢ラインＬ４が設定される。

ステップＳ１８において、出力制御部５３は、表示するフレームにおいて基準姿勢ライン及び現姿勢ラインをフレームに合成して表示するように出力部１８を制御する。その結果、出力部１８には、図２（ｄ）に示すような、スイングをしている被写体に重畳して基準姿勢ラインＬ１，Ｌ２，Ｌ３と、現姿勢ラインＬ４が描画される表示が行われる。さらに、基準姿勢ラインＬ３と、現姿勢ラインＬ４との角度の差が文字形式（本実施形態においては、数値）で表示される。

ステップＳ１９において、画像取得部５１は、動画のフレームが終了したか否かを判定する。
動画のフレームが終了していない場合には、ステップＳ１９においてＮＯと判定されて、処理はステップＳ１４に戻る。
動画のフレームが終了した場合には、ステップＳ１９においてＹＥＳと判定されて、動画再生処理は終了する。

したがって、撮像装置１においては、姿勢変化があった場合に、基準となる姿勢に対応した基準姿勢ラインと共に、現在の姿勢に対応する現姿勢ラインを表示して、姿勢変化の差異を明確にする表示を行うことで、対象の姿勢変化を直感的に把握させることができる。

以上のように構成される撮像装置１は、画像取得部５１と、ライン設定部５２と、動きベクトル判定部５４と、を備える。
画像取得部５１は、複数の画像を取得する。
ライン設定部５２は、画像取得部５１により取得された画像における被写体に動作の基準となる第１のラインである基準姿勢ラインを設定する。
動きベクトル判定部５４は、ライン設定部５２により設定された第１のラインである基準姿勢ラインと被写体の動作が異なるか否かを判定する。
ライン設定部５２は、動きベクトル判定部５４により、被写体の動作が第１のラインである基準姿勢ラインと異なると判定された場合、当該被写体の動作において第１のラインである基準姿勢ラインと異なる箇所に対応して表示位置を変えた第２のラインである現姿勢ラインを設定する。
これにより、撮像装置１においては、第１のラインである基準姿勢ラインと共に第２のラインである現姿勢ラインを設定することで、基準となる姿勢と実際の姿勢とのズレ量をユーザに容易に把握させる表示を行うことができる。

ライン設定部５２により設定されたズレ量を報知する出力部１８を更に備える。
これにより、撮像装置１においては、基準となる姿勢と実際の姿勢とのズレ量をユーザに容易に把握させることができる。

出力部１８は、出力制御部５３により制御される。
ライン設定部５２は、設定結果に基づき、第１のラインである基準姿勢ラインと異なる位置に第２のラインである現姿勢ラインを設定する。
出力制御部５３は、被写体とともに、第１のラインである基準姿勢ライン及び第２のラインである現姿勢ラインを表示させるように出力部１８を制御する。
これにより、撮像装置１においては、第１のラインである基準姿勢ラインと共に第２のラインである現姿勢ラインを設定することで、基準となる姿勢と実際の姿勢とのズレ量をユーザに容易に把握させる表示を行うことができる。

画像取得部５１は、被写体の一連の動作が撮像された画像群を取得する。
動きベクトル判定部５４は、前記被写体の一連の動作の中で変化する姿勢を検出する。
ライン設定部５２は、第１のラインと被写体の姿勢との間のズレ量を算出して、算出手段によりズレ量が算出された場合、第１のラインである基準姿勢ラインとは異なる位置に第２のラインである現姿勢ラインを設定する。
これにより、撮像装置１においては、第１のラインである基準姿勢ラインと共に第２のラインである現姿勢ラインを設定することで、基準となる姿勢と実際の姿勢とのズレ量をユーザに容易に把握させる表示を行うことができる。

出力制御部５３は、第１のラインである基準姿勢ラインからの第２のラインである現姿勢ラインのズレ量に応じて出力の程度を変えるように出力部１８を制御する。
これにより、撮像装置１においては、基準となる姿勢と実際の姿勢とのズレ量をユーザに容易に把握させることができる。

出力制御部５３は、第１のラインである基準姿勢ラインからの第２のラインである現姿勢ラインのズレ方向に応じて、出力の程度を変える出力部１８を制御する。
これにより、撮像装置１においては、基準となる姿勢と実際の姿勢とのズレ方向をユーザに容易に把握させることができる。

出力制御部５３は、第１のラインである基準姿勢ラインと第２のラインである現姿勢ラインの角度又は距離の差を出力するように出力部１８を制御する。
これにより、撮像装置１においては、より明確にラインの角度又は距離の差異を把握させることができる。

出力制御部５３は、ライン設定部５２により設定されたズレ量を文字形式で出力するように出力部１８を制御する。
これにより、撮像装置１においては、基準となる姿勢と実際の姿勢とのズレ量を文字形式でユーザに把握させることができる。

画像取得部５１は、動画を構成するフレームを複数の画像として取得する。
これにより、撮像装置１においては、動画における姿勢の差異を把握させることができる。

画像は、ゴルフのスイングを撮影した画像である。
これにより、撮像装置１においては、ゴルフスイングにおける姿勢の差異を把握させることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、一連のゴルフスイングを撮影した動画において初期フレームと対象フレームにおける際を表示するように構成したが、異なる人や異なるスイング間における画像を表示するように構成してもよい。

また、上述の実施形態では、ゴルフスイングを例に説明したがそれに限定されず、他のアクティビティに適用するように構成してもよい。例えば、野球やテニスといった他のスポーツのスイングであっても基準となるユーザの位置及び姿勢と、その後の動作における位置変化があるような動作を撮影したものであればよい。

また、上述の実施形態では、動画を表示するように構成したが、静止画を表示するように構成してもよいし、画像の表示に限らず、音や光で出力するように構成してもよい。
具体的には、撮像装置１は、表示、音声又は光によって、ライン設定部５２によって第２のラインである現姿勢ラインが設定されたことを出力するように出力部１８を制御する出力制御部５３をさらに備える。

また、上述の実施形態では、動作によって生じたズレ量そのものを報知する構成にしたが、発生したズレ量を修正するためのアドバイス情報を報知するように構成してもよい。
具体的には、基準となる姿勢に対応した基準線から、動作を行うことでプレーヤが前傾する方向に５°ずれた場合に「前傾しているので、姿勢を正してくだい」等、ズレを修正して基準姿勢に戻せるようなアドバイス情報を画面に表示、又は音声によって報知してもよい。

また、上述の実施形態では、動画記憶部７１に記憶された動画のデータを動画再生処理の対象としたが、再生対象となる動画のデータは撮像部１６によってリアルタイムに撮影される動画としてもよく、既に外部ネットワーク又はリムーバブルメディア３１等の外部メモリに記録された動画を動画再生処理の対象としてもよい。

また、上述の実施形態では、撮像装置１においてはラインの設定のみを行って、当該設定に基づいて出力を外部で行うように構成してもよい。

また、上述の実施形態では、設定した基準姿勢ラインに基づいて、動きのあった部分に対して、現姿勢ラインを設定するように構成したがこれに限られない。例えば、画像解析等により、被写体の姿勢を検出するように構成して、検出した姿勢と設定した基準姿勢ラインの距離や角度等のズレ量を算出するように構成してもよい。被写体の姿勢検出は、画像解析技術等の公知の技術を用いることができ、種々の手法で行うことができる。
具体的には、撮像装置１は、被写体の姿勢を検出する姿勢検出手段と、設定された基準姿勢ラインと、被写体の姿勢との間のズレ量を算出する算出手段と、を備えるように構成することができる。
また、算出手段により算出されたズレ量を報知する報知手段を更に備えるように構成する。
また、報知手段は、表示手段を制御する表示制御手段を含むように構成し、算出手段による算出結果に基づき、第１のラインと異なる位置に第２のラインを設定する設定手段を更に備えるように構成する。表示制御手段は、被写体とともに、第１のライン及び第２のラインを表示させるように報知手段を制御するように構成する。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、動画再生処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された画像における被写体に動作の基準となる第１のラインを設定する第１の設定手段と、
前記被写体の姿勢を検出する姿勢検出手段と、
前記第１の設定手段によって設定された前記第１のラインと、前記被写体の姿勢との間のズレ量を算出する算出手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記算出手段により算出された前記ズレ量を報知する報知手段を更に備える、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記報知手段は、表示手段を制御する表示制御手段を有し、
前記算出手段による算出結果に基づき、前記第１のラインと異なる位置に第２のラインを設定する第２の設定手段を更に備え、
前記表示制御手段は、前記被写体とともに、前記第１のライン及び前記第２のラインを表示させるように前記報知手段を制御する、
を備えることを特徴とする付記２に記載の画像処理装置。
［付記４］
前記画像取得手段は、前記被写体の一連の動作が撮像された画像群を取得し、
前記姿勢検出手段は、前記被写体の一連の動作の中で変化する姿勢を検出し、
前記算出手段は、前記第１のラインと前記被写体の姿勢との間のズレ量を算出し、
前記第２の設定手段は、前記算出手段によりズレ量が算出された場合、前記第１のラインとは異なる位置に前記第２のラインを設定する、
ことを特徴とする付記３に記載の画像処理装置。
［付記５］
前記報知手段は、前記第１のラインからの前記第２のラインのズレ量に応じて出力の程度を変えて報知する、
ことを特徴とする付記３乃至４の何れか１つに記載の画像処理装置。
［付記６］
前記報知手段は、前記第１のラインからの前記第２のラインのズレ方向に応じて、出力の程度を変えて報知する、
ことを特徴とする付記３乃至５の何れか１つに記載の画像処理装置。
［付記７］
前記報知手段は、前記第１のラインと前記第２のラインの角度又は距離の差を出力するように報知する、
ことを特徴とする付記３乃至６の何れか１つに記載の画像処理装置。
［付記８］
前記算出手段により算出された前記ズレ量を文字形式で報知する報知手段を更に備える、
ことを特徴とする付記２乃至７の何れか１つに記載の画像処理装置。
［付記９］
前記報知手段は、前記算出手段により算出された前記ズレ量を音声又は光によって報知する、
ことを特徴とする付記２乃至８の何れか１つに記載の画像処理装置。
［付記１０］
前記画像取得手段は、被写体の一連の動作が撮像された画像群である動画を構成するフレームを複数の画像として取得する、
ことを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１１］
複数の画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された画像における被写体に動作の基準となる第１のラインを設定する設定ステップと、
前記被写体の姿勢を検出する姿勢検出ステップと、
前記設定ステップによって設定された前記第１のラインと、前記被写体の姿勢との間のズレ量を算出する算出ステップと、
を含むことを特徴とする画像処理方法。
［付記１２］
コンピュータを、
複数の画像を取得する画像取得手段、
前記画像取得手段により取得された画像における被写体に動作の基準となる第１のラインを設定する設定手段、
前記被写体の姿勢を検出する姿勢検出手段、
前記設定手段によって設定された前記第１のラインと、前記被写体の姿勢との間のズレ量を算出する算出手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・画像取得部，５２・・・ライン設定部，５３・・・出力制御部，５４・・・動きベクトル判定部，７１・・・動画記憶部

Claims (12)

1. 複数の画像を取得する画像取得手段と、
   前記画像取得手段により取得された画像における被写体に動作の基準となる第１のラインを設定する第１の設定手段と、
   前記被写体の姿勢を検出する姿勢検出手段と、
   前記第１の設定手段によって設定された前記第１のラインと、前記被写体の姿勢との間のズレ量を算出する算出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記算出手段により算出された前記ズレ量を報知する報知手段を更に備える、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記報知手段は、表示手段を制御する表示制御手段を有し、
   前記算出手段による算出結果に基づき、前記第１のラインと異なる位置に第２のラインを設定する第２の設定手段を更に備え、
   前記表示制御手段は、前記被写体とともに、前記第１のライン及び前記第２のラインを表示させるように前記報知手段を制御する、
   を備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記画像取得手段は、前記被写体の一連の動作が撮像された画像群を取得し、
   前記姿勢検出手段は、前記被写体の一連の動作の中で変化する姿勢を検出し、
   前記算出手段は、前記第１のラインと前記被写体の姿勢との間のズレ量を算出し、
   前記第２の設定手段は、前記算出手段によりズレ量が算出された場合、前記第１のラインとは異なる位置に前記第２のラインを設定する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記報知手段は、前記第１のラインからの前記第２のラインのズレ量に応じて出力の程度を変えて報知する、
   ことを特徴とする請求項３乃至４の何れか１項に記載の画像処理装置。
6. 前記報知手段は、前記第１のラインからの前記第２のラインのズレ方向に応じて、出力の程度を変えて報知する、
   ことを特徴とする請求項３乃至５の何れか１項に記載の画像処理装置。
7. 前記報知手段は、前記第１のラインと前記第２のラインの角度又は距離の差を出力するように報知する、
   ことを特徴とする請求項３乃至６の何れか１項に記載の画像処理装置。
8. 前記算出手段により算出された前記ズレ量を文字形式で報知する報知手段を更に備える、
   ことを特徴とする請求項２乃至７の何れか１項に記載の画像処理装置。
9. 前記報知手段は、前記算出手段により算出された前記ズレ量を音声又は光によって報知する、
   ことを特徴とする請求項２乃至８の何れか１項に記載の画像処理装置。
10. 前記画像取得手段は、被写体の一連の動作が撮像された画像群である動画を構成するフレームを複数の画像として取得する、
    ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
11. 複数の画像を取得する画像取得ステップと、
    前記画像取得ステップにより取得された画像における被写体に動作の基準となる第１のラインを設定する設定ステップと、
    前記被写体の姿勢を検出する姿勢検出ステップと、
    前記設定ステップによって設定された前記第１のラインと、前記被写体の姿勢との間のズレ量を算出する算出ステップと、
    を含むことを特徴とする画像処理方法。
12. コンピュータを、
    複数の画像を取得する画像取得手段、
    前記画像取得手段により取得された画像における被写体に動作の基準となる第１のラインを設定する設定手段、
    前記被写体の姿勢を検出する姿勢検出手段、
    前記設定手段によって設定された前記第１のラインと、前記被写体の姿勢との間のズレ量を算出する算出手段、
    として機能させることを特徴とするプログラム。

Images