JP2013034492A - Display device and display method - Google Patents
Display device and display method Download PDFInfo
- Publication number
- JP2013034492A JP2013034492A JP2011170184A JP2011170184A JP2013034492A JP 2013034492 A JP2013034492 A JP 2013034492A JP 2011170184 A JP2011170184 A JP 2011170184A JP 2011170184 A JP2011170184 A JP 2011170184A JP 2013034492 A JP2013034492 A JP 2013034492A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- image
- posture
- postures
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、表示装置及び表示方法に関する。 The present invention relates to a display device and a display method.
従来より、ゴルフのスイングや野球のバッティングなど、ゴルフクラブやバットを構えてから打球する際の一連の動作を練習する際には、所定の動作姿勢において、指導者等が実演した動作からのずれをチェックしたいという要望があった。この動作をチェックするための従来技術としては、一連の動作を練習する利用者をカメラで撮像し、その撮像した画像を利用者の目の前に表示する運動練習装置や(特許文献1)、一連の動作を練習する利用者を撮像した画像と、指導者等による一連の動作を撮像した画像データとを比較し、利用者自身の動きのずれや誤りをアラーム音で報知する運動支援システム(特許文献2)が知られている。 Conventionally, when practicing a series of movements when hitting a golf club or bat, such as golf swing or baseball batting, deviation from the movements performed by the leaders in a predetermined movement posture There was a request to check. As a prior art for checking this operation, an exercise practice device that captures a user who practices a series of operations with a camera and displays the captured image in front of the user's eyes (Patent Document 1), An exercise support system that compares an image of a user who is practicing a series of actions with image data of a series of actions taken by an instructor, etc. Patent document 2) is known.
しかしながら、上述した従来技術では、所定の動作姿勢における指導者等の動作からのずれを、利用者の動きに合わせてリアルタイムにチェックしたいという要望に十分に応えることができなかった。例えば、特許文献1では、利用者自らの動きをリアルタイムに確認できるが、指導者等の動作からどの程度ずれているかを十分に確認できない。また、特許文献2では、指導者等による一連の動作に利用者側がタイミングを合わせる必要があり、利用者の動きに合わせたチェックを行うことができない。例えばゴルフのスイングの場合には、アドレス→バックスイング→トップスイング→ダウンスイング→インパクト→フィニッシュの順に行う指導者の一連の動作に利用者側がタイミングを合わせなければ、動きのずれや誤りとして報知されることとなる。このため、トップスイングからインパクトまでをゆっくり動作して動作姿勢をチェックするなど、利用者の動きに合わせたチェックができない。
However, in the above-described conventional technology, it has not been possible to sufficiently meet the demand for checking in real time the user's movement for the deviation from the movement of the leader or the like in a predetermined movement posture. For example, in
本発明は、上記に鑑みてなされたものであって、一連の動作を練習する際の、所定の動作姿勢におけるずれを、利用者の動きに合わせて確認することを可能とする表示装置及び表示方法を提供することを目的とする。 The present invention has been made in view of the above, and a display device and a display capable of confirming a shift in a predetermined operation posture in accordance with a user's movement when practicing a series of operations It aims to provide a method.
上述した課題を解決し、目的を達成するために、実施形態の表示装置は、利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込む画像取込部と、連続する複数の動作姿勢で構成される基本動作画像を記録した記録部と、前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出する特徴点抽出部と、前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分を検出する検出部と、前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示する表示部と、を備える。 In order to solve the above-described problems and achieve the object, the display device according to the embodiment includes an image capturing unit that sequentially captures captured images captured as a plurality of continuous motion postures of a user, and a plurality of continuous image capturing units. A recording unit that records a basic motion image composed of a motion posture; a feature point extraction unit that extracts a predetermined feature point from the plurality of continuous motion postures of the captured image and the basic motion image; and A detection unit that detects a difference between the position of the feature point of the predetermined motion posture and the position of the feature point extracted from the plurality of continuous motion postures of the basic motion image; and the detected difference A display unit that displays the motion posture of the basic motion image within a predetermined threshold together with the predetermined motion posture of the captured image.
また、実施形態の表示方法は、表示装置で実行される表示方法であって、利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込むステップと、連続した複数の動作姿勢で構成される基本動作画像を記録する記録ステップと、前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出するステップと、前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分を検出するステップと、前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示するステップとを含む。 The display method according to the embodiment is a display method executed by the display device, and includes a step of sequentially capturing captured images obtained by capturing a user's motion as a plurality of continuous motion postures, and a plurality of continuous motion postures. A recording step of recording a configured basic motion image; a step of extracting a predetermined feature point from the plurality of continuous motion postures of the captured image and the basic motion image; and a predetermined motion posture of the captured image Detecting a difference between the position of the feature point and the position of the feature point extracted from the plurality of continuous motion postures of the basic motion image, and the detected difference is within a predetermined threshold Displaying the motion posture of the basic motion image together with a predetermined motion posture of the captured image.
本発明にかかる表示装置及び表示方法は、動作を練習する際の、所定の動作姿勢におけるずれを、利用者の動きに合わせて確認することができる、という効果を奏する。 The display device and the display method according to the present invention have an effect that it is possible to check a shift in a predetermined motion posture in accordance with the movement of the user when practicing the motion.
以下に、本発明にかかる表示装置及び表示方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。 Embodiments of a display device and a display method according to the present invention will be described below in detail with reference to the drawings. In addition, this invention is not limited by this embodiment.
図1は、実施形態にかかる表示装置10の使用例を示す斜視図である。図1に示すように、表示装置10は、利用者である人1がゴルフのスイングなどの一連の動作姿勢を練習する際に、頭部2に装着して使用する頭部装着型の表示装置(ヘッドマウントディスプレイ(HMD:Head Mounted Display))である。撮像装置20は、人1の動作姿勢を撮像するデジタルカメラである。表示装置10と、撮像装置20とは、通信部14、23(図4参照)により、例えば無線LAN(Local Area Network)等の通信ネットワークを介して互いに通信可能に接続されている。
FIG. 1 is a perspective view illustrating a usage example of the
ここで、一連の動作とは、所定の開始姿勢から終了姿勢までの動きを人が連続して行うことを意味し、動作姿勢とは、一連の動作の際の、その人のある時点での姿勢(フォーム)を意味するものである。例えば、本実施形態では、ゴルフクラブ4を把持した人1が、ゴルフボール3を打つ際の一連の動作を練習する場合を例に説明する。この一連の動作には、アドレス、バックスイング、トップスイング、ダウンスイング、インパクト、フィニッシュなどの動作姿勢が含まれる。なお、表示装置10を用いた一連の動作の練習は、上述したゴルフのスイング以外に、野球のバッティングや体操などであってもよいことは言うまでもないことである。また、撮像装置20は、図示例のように1台で人1を正面から撮像するだけでなく、複数台で人1を背面、側面などから撮像する構成であってもよい。
Here, a series of movements means that a person continuously performs a movement from a predetermined start posture to an end posture, and the movement posture is a certain point in time during the series of movements. It means posture. For example, in the present embodiment, a case where the
図2は、頭部2に装着して使用する表示装置10を例示する概念図である。図2に示すように、表示装置10は、頭部2の外周に接触して支えるフレームFに表示部11、操作部12を備える構成である。表示部11は、フレームFにより人1の眼前に配置され、人1に向けて映像を表示するディスプレイである。具体的には、表示部11は、網膜走査型ディスプレイ、透過型液晶ディスプレイ等であってよい。操作部12は、フレームFのサイドなどに設けられた操作スイッチ等である。なお、操作部12は、人1の手元で操作するリモートコントローラ(図示しない)などであってもよい。
FIG. 2 is a conceptual diagram illustrating the
図3は、表示部11における表示画面Gを例示する概念図である。図3に示すように、表示部11における表示画面Gは、人1の視野方向における視界を遮ることなく透過して表示される。例えば、網膜走査型ディスプレイの場合は、画像信号に応じた光束を2次元方向に走査し、走査した光を眼に導き網膜上に表示画像を形成する。したがって、図示例のとおり、ゴルフボール3にゴルフクラブ4を近づけたアドレス動作中の人1(図1も参照)の視界を遮ることがない。なお、図14、15には、表示画像として表示画面Gに再生画像G1、G2、G3を表示する場合を例示している(詳細は後述する)。
FIG. 3 is a conceptual diagram illustrating the display screen G in the
図4は、表示装置10のハードウエア構成の一例を示すブロック図である。図4に示すように、表示装置10は、上述した表示部11、操作部12の他、システムコントローラ13、通信部14、記憶装置15、DRAM16、入出力I/F部17、画像処理部18を備える。撮像装置20は、例えばデジタルビデオカメラなどであり、CCDやCMOSイメージセンサ等の撮像素子21、撮像素子21が撮像した画像データをA/D変換するA/D変換部22、変換された画像データを所定の形式で符号化して表示装置10へ送信する通信部23を備える。
FIG. 4 is a block diagram illustrating an example of a hardware configuration of the
システムコントローラ13は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などを有し、CPUがROMに記憶されたプログラムをRAMの作業領域に展開して順次実行することで、表示装置10の動作を統括制御する。通信部14は、撮像装置20との間のデータ通信を行う通信インタフェースである。通信部14は、システムコントローラ13の制御のもと、撮像装置20が所定のフレームレートで撮像して通信部23より出力される動画像データを取得する。取得された動画像データは、システムコントローラ13の制御のもと、DRAM16などに一時的に格納され、画像処理部18による画像処理や記憶装置15への記録が行われる。
The
記憶装置15は、HDD(Hard Disk Drive)等のストレージデバイスであり、人1の練習にかかる一連の動作を予め記録した記録動画像にかかる動画像データ、撮像装置20が撮像した動画像データ、各種設定データなどを記憶する。なお、記録動画像は、連続する複数の動作姿勢で構成される基本動作画像であり、本実施形態ではアドレス→バックスイング→トップスイング→ダウンスイング→インパクト→フィニッシュの順に行うゴルフのスイングを、撮像装置20と同一方向から見た場合の動画像であり、例えば指導者のスイングを撮像した動画像や、コンピュータグラフィックス処理により、理想的なスイングを再現した動画像などであってよい。
The
DRAM16(Dynamic RAM)は、動画像などの画像データを一時的に格納する記憶領域を提供する。入出力I/F部17は、システムコントローラ13の制御のもと、USB(Universal Serial Bus)等の各種通信ポートにより通信接続する外部機器との間のデータの入出力を行う。
The DRAM 16 (Dynamic RAM) provides a storage area for temporarily storing image data such as moving images. The input / output I /
画像処理部18は、画像処理用のDSP(Digital Signal Processor)であり、システムコントローラ13の制御のもとで各種画像処理を行う。具体的には、画像処理部18は、CODEC部181、特徴点抽出部182、相対位置検出部183を有する。
The
CODEC部181は、画像データの符号化処理や復号処理を行う。例えば、CODEC部181は、MPEG(Moving Picture Experts Group)形式等の符号化された動画像データを復号する。このCODEC部181の復号により、表示装置10では、動画像データに含まれる動作姿勢のフレーム画像を得る。
The
特徴点抽出部182は、フレーム画像に含まれる所定の物体を特徴点として抽出する。この特徴点の抽出については、特開平8−214289などに記載されている、フレーム画像から特徴点を抽出する公知技術を用いるものとする。具体的には、特徴点抽出部182は、フレーム画像の中から人の身体を構成する特徴的な部分(例えば、頭、肩、肘、手、腰、膝)や、所定の形状を有する物体(クラブやクラブヘッド)を抽出する。本実施形態では、動作姿勢を示す特徴点として、フレーム画像中の人の頭、肩、肘、手、腰、膝や、その人が把持するクラブのクラブヘッドを抽出する。また、特徴点抽出部182は、動画像における前後のフレーム画像から抽出した特徴点同士を比較することで、特徴点の動きを示す動きベクトルを算出する。
The feature
相対位置検出部183は、特徴点抽出部182により抽出された特徴点をもとに、互いに異なる動画像のフレーム画像同士を比較して特徴点の相対的な位置関係を検出する。具体的には、相対位置検出部183は、各々のフレーム画像において抽出された特徴点の位置を比較し、その差分を検出する。本実施形態では、相対位置検出部183は、システムコントローラ13の制御のもと、撮像装置20により撮像された撮像画像より抽出された特徴点と、記憶装置15に記録された動画像に含まれる各フレーム画像より抽出された特徴点との間の相対的な位置関係を検出する。これにより、撮像装置20により撮像された撮像画像から抽出された特徴点の位置と、記憶装置15に記録された動画像において一連の動作姿勢に沿って動く特徴点の位置との間の差分が検出される。
Based on the feature points extracted by the feature
システムコントローラ13は、相対位置検出部183により検出された差分をもとに、記憶装置15に記録された動画像に含まれるフレーム画像の中で、撮像装置20により撮像された人1の動作姿勢に類似する動作姿勢を含むフレーム画像を特定する。具体的には、相対位置検出部183により検出された差分が所定の閾値内であるフレーム画像を、類似する動作姿勢を含むフレーム画像として特定する。このフレーム画像の特定については、特開2004−94667などに記載された、抽出された特徴点をもとに類似するフレーム画像を特定する公知技術を用いるものとする。
Based on the difference detected by the
次に、表示装置10の動作の流れについて説明する。図5は、表示装置10の動作の一例を示すフローチャートである。
Next, the operation flow of the
図5に示すように、操作部12の操作などにより動作の開始が指示されて処理が開始されると、システムコントローラ13は、表示部11の表示画面Gに各種情報を表示するためのサブ画面の表示をオンにする(S1)。次いで、操作部12により選択操作を受け付けて、システムコントローラ13は、操作部12が受け付けた選択操作を判定する(S2)。
As shown in FIG. 5, when the start of the operation is instructed by the operation of the
選択操作が「撮像」である場合、システムコントローラ13は、撮像装置20が逐次撮像した撮像画像(フレーム画像)を通信部14を介して取得し(S3)、取得した撮像画像を逐次記憶装置15へ記録・保存する(S4)。したがって、人1は、「撮像」を選択操作することで、自らがゴルフクラブ4をスイングした際の動画像を記憶装置15に記録することができる。
When the selection operation is “imaging”, the
選択操作が「同期表示」である場合、システムコントローラ13は、同期表示を開始し(S5)、通信部14を介して撮像装置20が撮像した画像、すなわち人1の動作を撮像した撮像画像(動作姿勢のフレーム画像)を逐次取り込む(S6)。取り込んだ撮像画像は、DRAM16に一時記憶される。
When the selection operation is “synchronous display”, the
次いで、システムコントローラ13は、特徴点抽出部182により、取り込んだ撮像画像、及び記憶装置15に記録された動画像データから上述した特徴点の抽出を行う(S7)。
Next, the
図6は撮像画像G10の一例を示す概念図であり、図7は撮像画像G10からの特徴点の抽出を例示する概念図である。S6において図6に示すような撮像画像G10が取り込まれた場合、S7では、人1の頭、肩、肘、手、腰、膝や、人1が把持するゴルフクラブ4のクラブヘッドに対応した特徴点P1〜P9が撮像画像G10より抽出される。同様に、記憶装置15に記録された動画像データに含まれる各フレーム画像からも特徴点P1〜P9の抽出が行われる。
FIG. 6 is a conceptual diagram illustrating an example of the captured image G10, and FIG. 7 is a conceptual diagram illustrating the extraction of feature points from the captured image G10. When the captured image G10 as shown in FIG. 6 is captured in S6, in S7, it corresponds to the head, shoulder, elbow, hand, waist, knee of the
次いで、システムコントローラ13は、取り込んだ撮像画像G10、及び記憶装置15に記録された動画像データより抽出した特徴点をもとに、人1の動作姿勢に同期した動画像データを表示部11に表示する同期再生処理(詳細は後述する)を行う(S8)。
Next, the
選択操作が「メニュー」である場合、システムコントローラ13は、設定操作にかかるメニューをサブ画面に表示し(S9)、手本選択(S101)、カメラ選択(S102)、表示設定(S103)等の設定操作を操作部12より受け付ける(S10)。ここで、手本選択は、記憶装置15に記録された複数の動画像の中で、どの動画像を同期再生処理で手本として表示するかの設定を行う選択操作である。カメラ選択は、撮像装置20が複数ある場合に、どの撮像装置20で撮像した画像を表示部11に表示するかの設定を行う選択操作である。表示設定は、同期再生処理時における表示形式(並べて表示や重畳して表示)の設定を行う。
When the selection operation is “menu”, the
選択操作が「終了」である場合、システムコントローラ13は、サブ画面の表示をオフにして(S11)、処理を終了する。
When the selection operation is “end”, the
ここで、同期再生処理の詳細を説明する。図8は、同期再生処理の一例を示すフローチャートである。図8に示すように、同期再生処理が開始されると、相対位置検出部183は、撮像画像G10より抽出された特徴点、及び記憶装置15に記録された動画像データに含まれる各フレーム画像より抽出された特徴点について、所定の特徴点に着目し、その着目した特徴点同士を比較して(S21)、特徴点の位置の差分を算出する(S22)。
Here, details of the synchronous reproduction processing will be described. FIG. 8 is a flowchart illustrating an example of the synchronized playback process. As illustrated in FIG. 8, when the synchronized playback process is started, the relative
ここで、着目する特徴点は、一連の動作姿勢の中で位置が大きく変化する特徴点がより好ましい。図9は、一連の動作姿勢を並べた概念図である。図9に示すように、人1がゴルフのスイングを行う場合は、アドレスからフィニッシュに至る動作姿勢A1〜A7の中で、ゴルフクラブ4のクラブヘッドが最も大きく、人1の手がその次に大きく変化する特徴点である。したがって、本実施形態では、ゴルフクラブ4のクラブヘッドを1つ目に着目する特徴点とし、人1の手を2つ目に着目する特徴点とする。
Here, the feature point of interest is more preferably a feature point whose position changes greatly in a series of motion postures. FIG. 9 is a conceptual diagram in which a series of motion postures are arranged. As shown in FIG. 9, when the
次いで、システムコントローラ13は、相対位置検出部183により検出された差分をもとに、記憶装置15に記録された動画像データに含まれる動作姿勢のフレーム画像の中で、撮像装置20により撮像された人1の動作姿勢に類似する動作姿勢を含むフレーム画像を特定する(S23)。次いで、システムコントローラ13は、S23において複数のフレーム画像が特定されたか否かを判定する(S24)。
Next, based on the difference detected by the
図10は、一連の動作姿勢を重ねた概念図である。図10に示すように、ゴルフクラブ4のクラブヘッドを着目する特徴点とした場合、動作姿勢A3及び動作姿勢A7のフレーム画像、動作姿勢A2及び動作姿勢A4のフレーム画像、動作姿勢A1及び動作姿勢A5のフレーム画像が人1の動作姿勢に類似する動作姿勢を含むフレーム画像として特定されることがある。例えば、人1が動作姿勢A2でゴルフクラブ4を構えている場合には、動作姿勢A4でゴルフクラブ4を構えているフレーム画像も特定されることがある。したがって、S24では、異なる動作姿勢のフレーム画像も特定されているか否かを判定する。
FIG. 10 is a conceptual diagram in which a series of motion postures are overlapped. As shown in FIG. 10, when the club head of the
S23において複数のフレーム画像が特定された場合(S24:YES)、システムコントローラ13は、撮像画像G10及び特定されたフレーム画像について特徴点抽出部182が算出した特徴点の動きを示す動きベクトルを取得し(S25)、取得した動きベクトルをもとにフレーム画像を絞り込む(S26)。具体的には、撮像画像G10の特徴点の動きベクトルに近い動きベクトルの特徴点を持つフレーム画像に絞り込む。
When a plurality of frame images are identified in S23 (S24: YES), the
図11は、動き方向の異なる動作姿勢を例示する概念図である。図11に示すように、動作姿勢A2付近では、動作姿勢A2と、nフレーム前(−n)の動作姿勢A2とを比較した場合、ゴルフクラブ4は振りかぶる方向に動いている。また、動作姿勢A4付近では、動作姿勢A4と、nフレーム前(−n)の動作姿勢A4とを比較した場合、ゴルフクラブ4は振り下ろす方向に動いている。したがって、撮像画像G10の特徴点の動きベクトルに近いか否かにより、動作姿勢A4又は動作姿勢A2を区別することができる。
FIG. 11 is a conceptual diagram illustrating motion postures with different motion directions. As shown in FIG. 11, in the vicinity of the motion posture A2, when the motion posture A2 is compared with the motion posture A2 n frames before (−n), the
S26に次いで、システムコントローラ13は、S26で1つのフレーム画像に絞りこまれたか否かを判定する(S27)。S26で1つのフレーム画像に絞りこまれていない場合(S27:NO)、システムコントローラ13は、1つ目に着目した特徴点とは異なる2つ目に着目した特徴点との位置関係(前述した差分)をもとに、フレーム画像を絞り込む(S28)。
Subsequent to S26, the
図12は、ゴルフのスイングにおけるフィニッシュ動作(動作姿勢A7付近)を例示する概念図である。図13は、ゴルフのスイングにおけるトップスイング動作(動作姿勢A3付近)を例示する概念図である。図12、13を比較しても明らかなように、フィニッシュ動作とトップスイング動作では、ゴルフクラブ4のクラブトップが略同じ動きをする。したがって、nフレーム前(−n)の動作姿勢A7から動作姿勢A7と、動作姿勢A3からnフレーム後(+n)の動作姿勢A3においては、撮像画像G10のクラブヘッドの特徴点の動きベクトルに近い動きベクトルだけでは、フレーム画像の絞り込みができない。このため、S28では、2つ目に着目した特徴点(人1の手)の位置関係をもとに、フレーム画像を絞り込む。
FIG. 12 is a conceptual diagram illustrating the finish operation (near the operation posture A7) in a golf swing. FIG. 13 is a conceptual diagram illustrating a top swing motion (near the motion posture A3) in a golf swing. As is apparent from a comparison of FIGS. 12 and 13, the club top of the
S29において、システムコントローラ13は、記憶装置15に記録された動画像データを、絞りこまれたフレーム画像の位置から、撮像画像G10における人1の動作に合わせて動くように同期して再生する画像と、撮像画像G10とを表示部11の表示画面Gに表示する、同期再生を行う(S29)。なお、動画像データの再生については、撮像画像G10及び絞りこまれたフレーム画像について特徴点抽出部182が算出した特徴点の動きを示す動きベクトルを比較し、撮像画像G10の特徴点の動きベクトルに一致するように、再生時のフレームレート及び再生方向を調整することで、人1の動作に合わせて動くように同期した再生が行われることとなる。
In S29, the
次いで、操作部12による操作指示をもとに、再生(「同期再生」)を終了するか否かを判定する(S30)。終了する場合(S30:YES)は、S21〜S29にかかる同期再生処理を終了する。終了しない場合(S30:NO)、システムコントローラ13は、S21へ処理を戻し、同期再生処理を継続する。
Next, it is determined whether or not the reproduction (“synchronous reproduction”) is ended based on the operation instruction from the operation unit 12 (S30). When the process is to be ended (S30: YES), the synchronous reproduction process in S21 to S29 is ended. If not finished (S30: NO), the
図14、図15は、同期再生の一例を示す概念図である。図14に示すように、表示画面Gにおいて、撮像画像G10の再生画像G1と、動画像データの再生画像G2とは、並べて表示してよい。このように、人1自身を撮像した撮像画像G10を再生した再生画像G1と、記憶装置15に記録された動画像データを人1の動作姿勢に合わせて再生した再生画像G2とが表示画面Gに表示されることから、人1は、一連の動作を練習する際の、所定の動作姿勢におけるずれを、自らの動きに合わせてリアルタイムに確認することができる。
14 and 15 are conceptual diagrams showing an example of synchronized playback. As shown in FIG. 14, on the display screen G, the reproduced image G1 of the captured image G10 and the reproduced image G2 of the moving image data may be displayed side by side. In this way, the display image G1 includes a reproduction image G1 obtained by reproducing the captured image G10 obtained by imaging the
また、図15に示すように、撮像画像G10、及び動画像データを再生する画像は、一方を透過状態で他方に重畳した再生画像G3として表示画面Gに表示してよい。この場合、重畳した部分との差分を抽出し、抽出した差分をもとに相違する領域を検出することで、その相違する領域を他の領域とは異なる表示態様としてもよい。具体的には、図示例に示すように、相違する領域を点線などで表示してよい。このように相違する領域を異なる表示態様とすることで、人1は、一連の動作を練習する際の、所定の動作姿勢におけるずれを、明確に認識できる。
Further, as shown in FIG. 15, the captured image G10 and the image for reproducing moving image data may be displayed on the display screen G as a reproduction image G3 in which one is transmitted and superimposed on the other. In this case, the difference between the overlapped portion is extracted, and a different area is detected based on the extracted difference, so that the different area may have a display mode different from other areas. Specifically, as shown in the illustrated example, different areas may be displayed with dotted lines or the like. By setting different regions in different display modes in this way, the
以上のように、表示装置10は、人1の動作を撮像した撮像画像G10を通信部14を介して撮像装置20より逐次取り込む。表示装置10は、特徴点抽出部182により、取り込まれた撮像画像G10、及び人1の練習にかかる一連の動作を記憶装置15に予め記録した動画像の連続する複数の動作姿勢から所定の特徴点を抽出する。表示装置10は、相対位置検出部183により、撮像画像G10から抽出された特徴点の位置と、動画像の連続する複数の動作姿勢から抽出された特徴点の位置との間の差分を検出する。表示装置10は、動画像に含まれる連続する複数の動作姿勢の中で、検出された差分が所定の閾値内にあり、人1の動作姿勢に類似するフレーム画像を、撮像画像G10とともに表示部11に表示する。したがって、表示装置10を利用する人1は、一連の動作を練習する際の、所定の動作姿勢からのずれを、人1自身の動きに合わせて確認することができる。
As described above, the
次に、表示装置10の変形例を説明する。図16は、変形例にかかる表示装置10の使用例を示す斜視図である。図16に示すように、表示装置10は、ゴルフの練習場所などに設置されたテレビ型の表示装置であってもよい。具体的には、表示装置10は、ゴルフのスイングを練習する際にリアルタイムに確認できるよう、人1がゴルフのスイングを行う際に正面に位置するように設置されてよい。
Next, a modified example of the
図17は、変形例にかかるシステム構成を例示するブロック図である。図17に例示したシステム構成のように、表示装置10、撮像装置20は、無線LANなどの通信ネットワークNを介し、PC(Personal Computer)やWS(Work Station)等の情報機器であるサーバ装置30と接続する構成であってよい。このようなシステム構成では、記憶装置15における動画像の記録や、画像処理部18が行う画像処理などはサーバ装置30が受け持って行い、表示装置10はサーバ装置30により出力された画像データの表示のみを行うものであってよい。
FIG. 17 is a block diagram illustrating a system configuration according to a modification. As in the system configuration illustrated in FIG. 17, the
1…人、2…頭部、3…ゴルフボール、4…ゴルフクラブ、10…表示装置、11…表示部、12…操作部、13…システムコントローラ、14…通信部、15…記憶装置、16…DRAM、17…入出力I/F部、18…画像処理部、20…撮像装置、21…撮像素子、22…A/D変換部、23…通信部、30…サーバ装置、181…CODEC部、182…特徴点抽出部、183…相対位置検出部、A1〜A7…動作姿勢、F…フレーム、G…表示画面、G1〜G3…再生画像、G10…撮像画像、P1〜P9…特徴点、N…通信ネットワーク
DESCRIPTION OF
Claims (9)
連続する複数の動作姿勢で構成される基本動作画像を記録した記録部と、
前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出する特徴点抽出部と、
前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分をそれぞれ検出する検出部と、
前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示する表示部と、
を備える表示装置。 An image capturing section that sequentially captures captured images captured as a plurality of continuous motion postures of the user's motion;
A recording unit that records a basic motion image composed of a plurality of continuous motion postures;
A feature point extraction unit for extracting a predetermined feature point from the plurality of continuous motion postures of the captured image and the basic motion image;
A detection unit that detects a difference between the position of the feature point of the predetermined motion posture in the captured image and the position of the feature point extracted from the plurality of continuous motion postures of the basic motion image;
A display unit for displaying the motion posture of the basic motion image in which the detected difference is within a predetermined threshold together with a predetermined motion posture of the captured image;
A display device comprising:
前記表示部は、変更した前記撮像画像の動作姿勢を前記基本動作画像の前記動作姿勢とともに逐次表示する、
請求項1に記載の表示装置。 The detection unit sequentially changes the predetermined motion posture to detect a difference;
The display unit sequentially displays the changed motion posture of the captured image together with the motion posture of the basic motion image;
The display device according to claim 1.
請求項2に記載の表示装置。 When there are a plurality of motion postures in which the detected difference is within a predetermined threshold, the display unit shows a motion of a feature point similar to a motion of a feature point of the captured image from the plurality of motion postures. Narrow down and display the movement posture,
The display device according to claim 2.
前記検出部は、複数抽出された特徴点ごとに、前記撮像画像から抽出された特徴点の位置と、前記基本動作画像から抽出された特徴点の位置との間の差分を検出し、
前記表示部は、検出されたいずれか一つの特徴点の差分が所定の閾値内にある動作姿勢が複数ある場合は、前記複数ある動作姿勢の中から、検出された他の特徴点の差分をもとに動作姿勢を絞り込んで表示する、
請求項1乃至3のいずれか一項に記載の表示装置。 The feature point extraction unit extracts a plurality of predetermined feature points from the motion posture,
The detection unit detects, for each of a plurality of extracted feature points, a difference between the position of the feature point extracted from the captured image and the position of the feature point extracted from the basic motion image,
When there are a plurality of motion postures in which the difference between any one of the detected feature points is within a predetermined threshold, the display unit displays the difference between the detected other feature points from the plurality of motion postures. Based on the movement posture,
The display apparatus as described in any one of Claims 1 thru | or 3.
請求項1乃至4のいずれか一項に記載の表示装置。 The display unit displays the basic operation image and the captured image side by side;
The display apparatus as described in any one of Claims 1 thru | or 4.
請求項1乃至4のいずれか一項に記載の表示装置。 The display unit displays one of the basic operation image and the captured image in a transparent state and superimposed on the other;
The display apparatus as described in any one of Claims 1 thru | or 4.
請求項6に記載の表示装置。 The display unit displays a different area when the basic motion image and the captured image are overlapped with each other in a display mode different from other areas.
The display device according to claim 6.
前記特徴点抽出部は、前記撮像画像、及び前記基本動作画像に含まれる前記クラブのヘッド部分を特徴点として抽出する、
請求項1乃至7のいずれか一項に記載の表示装置。 The plurality of continuous motion postures are motion postures in a motion of swinging a club,
The feature point extraction unit extracts the club head portion included in the captured image and the basic motion image as a feature point.
The display device according to claim 1.
利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込むステップと、
連続する複数の動作姿勢で構成される基本動作画像を記録する記録ステップと、
前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出するステップと、
前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分をそれぞれ検出するステップと、
前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示するステップと、
を含む表示方法。 A display method executed on a display device,
Sequentially capturing captured images captured as a plurality of continuous motion postures of the user's motion;
A recording step for recording a basic motion image composed of a plurality of continuous motion postures;
Extracting predetermined feature points from the plurality of continuous motion postures of the captured image and the basic motion image;
Detecting each difference between the position of the feature point of the predetermined motion posture in the captured image and the position of the feature point extracted from the plurality of continuous motion postures of the basic motion image;
Displaying the motion posture of the basic motion image in which the detected difference is within a predetermined threshold together with a predetermined motion posture of the captured image;
Display method including.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011170184A JP5776423B2 (en) | 2011-08-03 | 2011-08-03 | Display device and display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011170184A JP5776423B2 (en) | 2011-08-03 | 2011-08-03 | Display device and display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013034492A true JP2013034492A (en) | 2013-02-21 |
JP5776423B2 JP5776423B2 (en) | 2015-09-09 |
Family
ID=47884724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011170184A Active JP5776423B2 (en) | 2011-08-03 | 2011-08-03 | Display device and display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5776423B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014217030A (en) * | 2013-04-30 | 2014-11-17 | 日本電信電話株式会社 | Video reproduction device and video reproduction program |
JP2015229052A (en) * | 2014-06-06 | 2015-12-21 | セイコーエプソン株式会社 | Head mounted display device, control method for the same, and computer program |
CN105301771A (en) * | 2014-06-06 | 2016-02-03 | 精工爱普生株式会社 | Head mounted display, detection device, control method for head mounted display, and computer program |
JP2016131782A (en) * | 2015-01-21 | 2016-07-25 | セイコーエプソン株式会社 | Head wearable display device, detection device, control method for head wearable display device, and computer program |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004094667A (en) * | 2002-08-30 | 2004-03-25 | Sony Corp | Information processor |
JP2004260765A (en) * | 2003-02-27 | 2004-09-16 | Nihon Knowledge Kk | Practical skill analysis system and program |
JP2005237494A (en) * | 2004-02-24 | 2005-09-08 | Nihon Knowledge Kk | Actual action analysis system and program |
JP2006302122A (en) * | 2005-04-22 | 2006-11-02 | Nippon Telegr & Teleph Corp <Ntt> | Exercise support system, user terminal therefor and exercise support program |
JP2007324663A (en) * | 2006-05-30 | 2007-12-13 | Sharp Corp | Video camera |
US20090298650A1 (en) * | 2008-06-02 | 2009-12-03 | Gershom Kutliroff | Method and system for interactive fitness training program |
WO2010085704A1 (en) * | 2009-01-23 | 2010-07-29 | Shiv Kumar Bhupathi | Video overlay sports motion analysis |
JP2011048096A (en) * | 2009-08-26 | 2011-03-10 | Canon Inc | Motion training device, motion training system, control method of motion training device, and program |
JP2011062352A (en) * | 2009-09-17 | 2011-03-31 | Koki Hashimoto | Exercise motion teaching device and play facility |
-
2011
- 2011-08-03 JP JP2011170184A patent/JP5776423B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004094667A (en) * | 2002-08-30 | 2004-03-25 | Sony Corp | Information processor |
JP2004260765A (en) * | 2003-02-27 | 2004-09-16 | Nihon Knowledge Kk | Practical skill analysis system and program |
JP2005237494A (en) * | 2004-02-24 | 2005-09-08 | Nihon Knowledge Kk | Actual action analysis system and program |
JP2006302122A (en) * | 2005-04-22 | 2006-11-02 | Nippon Telegr & Teleph Corp <Ntt> | Exercise support system, user terminal therefor and exercise support program |
JP2007324663A (en) * | 2006-05-30 | 2007-12-13 | Sharp Corp | Video camera |
US20090298650A1 (en) * | 2008-06-02 | 2009-12-03 | Gershom Kutliroff | Method and system for interactive fitness training program |
WO2010085704A1 (en) * | 2009-01-23 | 2010-07-29 | Shiv Kumar Bhupathi | Video overlay sports motion analysis |
JP2011048096A (en) * | 2009-08-26 | 2011-03-10 | Canon Inc | Motion training device, motion training system, control method of motion training device, and program |
JP2011062352A (en) * | 2009-09-17 | 2011-03-31 | Koki Hashimoto | Exercise motion teaching device and play facility |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014217030A (en) * | 2013-04-30 | 2014-11-17 | 日本電信電話株式会社 | Video reproduction device and video reproduction program |
JP2015229052A (en) * | 2014-06-06 | 2015-12-21 | セイコーエプソン株式会社 | Head mounted display device, control method for the same, and computer program |
CN105301771A (en) * | 2014-06-06 | 2016-02-03 | 精工爱普生株式会社 | Head mounted display, detection device, control method for head mounted display, and computer program |
US10162408B2 (en) | 2014-06-06 | 2018-12-25 | Seiko Epson Corporation | Head mounted display, detection device, control method for head mounted display, and computer program |
JP2016131782A (en) * | 2015-01-21 | 2016-07-25 | セイコーエプソン株式会社 | Head wearable display device, detection device, control method for head wearable display device, and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP5776423B2 (en) | 2015-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6770061B2 (en) | Methods and devices for playing video content anytime, anywhere | |
JP5754439B2 (en) | Information notification apparatus, information notification method, and program | |
JP6213146B2 (en) | Information processing apparatus, recording medium, and information processing method | |
US9466110B2 (en) | Image processing device that analyzes motion of object | |
JP4646209B2 (en) | Practical skill analysis system and program | |
JP2004195243A5 (en) | ||
US9017079B2 (en) | Information notification apparatus that notifies information of data of motion | |
KR101703924B1 (en) | 3d virtual reality system using 3d-spectacles for virtual image display | |
JP5776423B2 (en) | Display device and display method | |
JP2015088095A (en) | Information processor and information processing method | |
JP2010087569A (en) | Full-length mirror apparatus | |
JP6165815B2 (en) | Learning system, learning method, program, recording medium | |
JP5874626B2 (en) | Display control apparatus, display control system, display control method, and program | |
JP2010069102A (en) | Information processing method, information processing apparatus, program and computer-readable recording medium | |
JP5970890B2 (en) | Exercise count measuring device, exercise count measuring method and program | |
JP2014127735A (en) | Display control device, display control system, display control method, and program | |
JP2009119252A (en) | Rocking type exercise apparatus | |
JP2008135923A (en) | Production method of videos interacting in real time, video production device, and video production system | |
WO2015058388A1 (en) | Method and device for displaying image | |
JP2006181014A (en) | Image analysis device and movement correction system | |
JP7070675B2 (en) | Display method, display program and information processing device | |
CN110996149A (en) | Information processing method, device and system | |
Chen et al. | Improving golf swing skills using intelligent glasses | |
JP6787072B2 (en) | Image processing equipment, analysis system, image processing method and program | |
JP6075356B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141104 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150622 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5776423 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |