JP2013034492A - Display device and display method - Google Patents

Display device and display method Download PDF

Info

Publication number
JP2013034492A
JP2013034492A JP2011170184A JP2011170184A JP2013034492A JP 2013034492 A JP2013034492 A JP 2013034492A JP 2011170184 A JP2011170184 A JP 2011170184A JP 2011170184 A JP2011170184 A JP 2011170184A JP 2013034492 A JP2013034492 A JP 2013034492A
Authority
JP
Japan
Prior art keywords
motion
image
posture
postures
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011170184A
Other languages
Japanese (ja)
Other versions
JP5776423B2 (en
Inventor
Osamu Yanagisawa
修 柳沢
Hiroshi Kamitsuma
浩 上妻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2011170184A priority Critical patent/JP5776423B2/en
Publication of JP2013034492A publication Critical patent/JP2013034492A/en
Application granted granted Critical
Publication of JP5776423B2 publication Critical patent/JP5776423B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To match a gap between a predetermined motion posture and a motion posture of a user in accordance with movement of the user when the user practices a series of motions.SOLUTION: The display device includes: an image capture part for gradually capturing images taken as a series of multiple motion postures of the motion of the user; a recording part in which basic posture images composed of a series of the multiple motion postures recorded; a feature point extraction part for extracting a predetermined feature point from the series of multiple motion postures of images and the basic posture images; a detection part for detecting the respective differences between positions of the feature points of the predetermined motion posture from images and positions of the feature points extracted from the series of multiple motion postures of the basic posture images; and a display part for displaying the motion postures of the basic motion images when the detected differences are in a predetermined threshold value as well as displaying the predetermined motion posture of the images.

Description

本発明は、表示装置及び表示方法に関する。   The present invention relates to a display device and a display method.

従来より、ゴルフのスイングや野球のバッティングなど、ゴルフクラブやバットを構えてから打球する際の一連の動作を練習する際には、所定の動作姿勢において、指導者等が実演した動作からのずれをチェックしたいという要望があった。この動作をチェックするための従来技術としては、一連の動作を練習する利用者をカメラで撮像し、その撮像した画像を利用者の目の前に表示する運動練習装置や(特許文献1)、一連の動作を練習する利用者を撮像した画像と、指導者等による一連の動作を撮像した画像データとを比較し、利用者自身の動きのずれや誤りをアラーム音で報知する運動支援システム(特許文献2)が知られている。   Conventionally, when practicing a series of movements when hitting a golf club or bat, such as golf swing or baseball batting, deviation from the movements performed by the leaders in a predetermined movement posture There was a request to check. As a prior art for checking this operation, an exercise practice device that captures a user who practices a series of operations with a camera and displays the captured image in front of the user's eyes (Patent Document 1), An exercise support system that compares an image of a user who is practicing a series of actions with image data of a series of actions taken by an instructor, etc. Patent document 2) is known.

特開平6−165847号公報JP-A-6-165847 特開2006−302122号公報JP 2006-302122 A

しかしながら、上述した従来技術では、所定の動作姿勢における指導者等の動作からのずれを、利用者の動きに合わせてリアルタイムにチェックしたいという要望に十分に応えることができなかった。例えば、特許文献1では、利用者自らの動きをリアルタイムに確認できるが、指導者等の動作からどの程度ずれているかを十分に確認できない。また、特許文献2では、指導者等による一連の動作に利用者側がタイミングを合わせる必要があり、利用者の動きに合わせたチェックを行うことができない。例えばゴルフのスイングの場合には、アドレス→バックスイング→トップスイング→ダウンスイング→インパクト→フィニッシュの順に行う指導者の一連の動作に利用者側がタイミングを合わせなければ、動きのずれや誤りとして報知されることとなる。このため、トップスイングからインパクトまでをゆっくり動作して動作姿勢をチェックするなど、利用者の動きに合わせたチェックができない。   However, in the above-described conventional technology, it has not been possible to sufficiently meet the demand for checking in real time the user's movement for the deviation from the movement of the leader or the like in a predetermined movement posture. For example, in patent document 1, although a user's own movement can be confirmed in real time, it cannot fully confirm how much it deviates from operation | movement of a leader. Moreover, in patent document 2, it is necessary for the user side to match a timing with a series of operations by an instructor or the like, and it is not possible to perform a check in accordance with the movement of the user. For example, in the case of a golf swing, if the user does not match the timing of the instructor's actions in the order of address → back swing → top swing → down swing → impact → finish, it is reported as a movement deviation or error. The Rukoto. For this reason, it is not possible to check in accordance with the movement of the user, such as checking the movement posture by slowly moving from the top swing to the impact.

本発明は、上記に鑑みてなされたものであって、一連の動作を練習する際の、所定の動作姿勢におけるずれを、利用者の動きに合わせて確認することを可能とする表示装置及び表示方法を提供することを目的とする。   The present invention has been made in view of the above, and a display device and a display capable of confirming a shift in a predetermined operation posture in accordance with a user's movement when practicing a series of operations It aims to provide a method.

上述した課題を解決し、目的を達成するために、実施形態の表示装置は、利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込む画像取込部と、連続する複数の動作姿勢で構成される基本動作画像を記録した記録部と、前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出する特徴点抽出部と、前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分を検出する検出部と、前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示する表示部と、を備える。   In order to solve the above-described problems and achieve the object, the display device according to the embodiment includes an image capturing unit that sequentially captures captured images captured as a plurality of continuous motion postures of a user, and a plurality of continuous image capturing units. A recording unit that records a basic motion image composed of a motion posture; a feature point extraction unit that extracts a predetermined feature point from the plurality of continuous motion postures of the captured image and the basic motion image; and A detection unit that detects a difference between the position of the feature point of the predetermined motion posture and the position of the feature point extracted from the plurality of continuous motion postures of the basic motion image; and the detected difference A display unit that displays the motion posture of the basic motion image within a predetermined threshold together with the predetermined motion posture of the captured image.

また、実施形態の表示方法は、表示装置で実行される表示方法であって、利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込むステップと、連続した複数の動作姿勢で構成される基本動作画像を記録する記録ステップと、前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出するステップと、前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分を検出するステップと、前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示するステップとを含む。   The display method according to the embodiment is a display method executed by the display device, and includes a step of sequentially capturing captured images obtained by capturing a user's motion as a plurality of continuous motion postures, and a plurality of continuous motion postures. A recording step of recording a configured basic motion image; a step of extracting a predetermined feature point from the plurality of continuous motion postures of the captured image and the basic motion image; and a predetermined motion posture of the captured image Detecting a difference between the position of the feature point and the position of the feature point extracted from the plurality of continuous motion postures of the basic motion image, and the detected difference is within a predetermined threshold Displaying the motion posture of the basic motion image together with a predetermined motion posture of the captured image.

本発明にかかる表示装置及び表示方法は、動作を練習する際の、所定の動作姿勢におけるずれを、利用者の動きに合わせて確認することができる、という効果を奏する。   The display device and the display method according to the present invention have an effect that it is possible to check a shift in a predetermined motion posture in accordance with the movement of the user when practicing the motion.

図1は、実施形態にかかる表示装置の使用例を示す斜視図である。FIG. 1 is a perspective view illustrating an example of use of the display device according to the embodiment. 図2は、頭部に装着して使用する表示装置を例示する概念図である。FIG. 2 is a conceptual diagram illustrating a display device that is used by being mounted on the head. 図3は、表示部における表示画面を例示する概念図である。FIG. 3 is a conceptual diagram illustrating a display screen in the display unit. 図4は、表示装置のハードウエア構成の一例を示すブロック図である。FIG. 4 is a block diagram illustrating an example of a hardware configuration of the display device. 図5は、表示装置の動作の一例を示すフローチャートである。FIG. 5 is a flowchart illustrating an example of the operation of the display device. 図6は、撮像画像の一例を示す概念図である。FIG. 6 is a conceptual diagram illustrating an example of a captured image. 図7は、撮像画像からの特徴点の抽出を例示する概念図である。FIG. 7 is a conceptual diagram illustrating extraction of feature points from a captured image. 図8は、同期再生処理の一例を示すフローチャートである。FIG. 8 is a flowchart illustrating an example of the synchronized playback process. 図9は、一連の動作姿勢を並べた概念図である。FIG. 9 is a conceptual diagram in which a series of motion postures are arranged. 図10は、一連の動作姿勢を重ねた概念図である。FIG. 10 is a conceptual diagram in which a series of motion postures are overlapped. 図11は、動き方向の異なる動作姿勢を例示する概念図である。FIG. 11 is a conceptual diagram illustrating motion postures with different motion directions. 図12は、ゴルフのスイングにおけるフィニッシュ動作を例示する概念図である。FIG. 12 is a conceptual diagram illustrating the finishing operation in a golf swing. 図13は、ゴルフのスイングにおけるトップスイング動作を例示する概念図である。FIG. 13 is a conceptual diagram illustrating a top swing operation in a golf swing. 図14は、同期再生の一例を示す概念図である。FIG. 14 is a conceptual diagram showing an example of synchronized playback. 図15は、同期再生の一例を示す概念図である。FIG. 15 is a conceptual diagram showing an example of synchronized playback. 図16は、変形例にかかる表示装置の使用例を示す斜視図である。FIG. 16 is a perspective view illustrating a usage example of the display device according to the modification. 図17は、変形例にかかるシステム構成を例示するブロック図である。FIG. 17 is a block diagram illustrating a system configuration according to a modification.

以下に、本発明にかかる表示装置及び表示方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。   Embodiments of a display device and a display method according to the present invention will be described below in detail with reference to the drawings. In addition, this invention is not limited by this embodiment.

図1は、実施形態にかかる表示装置10の使用例を示す斜視図である。図1に示すように、表示装置10は、利用者である人1がゴルフのスイングなどの一連の動作姿勢を練習する際に、頭部2に装着して使用する頭部装着型の表示装置(ヘッドマウントディスプレイ(HMD:Head Mounted Display))である。撮像装置20は、人1の動作姿勢を撮像するデジタルカメラである。表示装置10と、撮像装置20とは、通信部14、23(図4参照)により、例えば無線LAN(Local Area Network)等の通信ネットワークを介して互いに通信可能に接続されている。   FIG. 1 is a perspective view illustrating a usage example of the display device 10 according to the embodiment. As shown in FIG. 1, the display device 10 is a head-mounted display device that is used by being worn on the head 2 when a person 1 who is a user practices a series of movement postures such as a golf swing. (Head Mounted Display (HMD)). The imaging device 20 is a digital camera that captures an action posture of the person 1. The display device 10 and the imaging device 20 are communicably connected to each other via a communication network such as a wireless local area network (LAN) by communication units 14 and 23 (see FIG. 4).

ここで、一連の動作とは、所定の開始姿勢から終了姿勢までの動きを人が連続して行うことを意味し、動作姿勢とは、一連の動作の際の、その人のある時点での姿勢(フォーム)を意味するものである。例えば、本実施形態では、ゴルフクラブ4を把持した人1が、ゴルフボール3を打つ際の一連の動作を練習する場合を例に説明する。この一連の動作には、アドレス、バックスイング、トップスイング、ダウンスイング、インパクト、フィニッシュなどの動作姿勢が含まれる。なお、表示装置10を用いた一連の動作の練習は、上述したゴルフのスイング以外に、野球のバッティングや体操などであってもよいことは言うまでもないことである。また、撮像装置20は、図示例のように1台で人1を正面から撮像するだけでなく、複数台で人1を背面、側面などから撮像する構成であってもよい。   Here, a series of movements means that a person continuously performs a movement from a predetermined start posture to an end posture, and the movement posture is a certain point in time during the series of movements. It means posture. For example, in the present embodiment, a case where the person 1 holding the golf club 4 practices a series of actions when hitting the golf ball 3 will be described as an example. This series of motions includes motion postures such as address, back swing, top swing, down swing, impact, and finish. Needless to say, the practice of a series of operations using the display device 10 may be baseball batting, gymnastics, or the like in addition to the golf swing described above. Further, the imaging device 20 may be configured not only to capture the person 1 from the front as in the illustrated example, but also to capture the person 1 from the back, the side, or the like with a plurality of the imaging apparatuses 20.

図2は、頭部2に装着して使用する表示装置10を例示する概念図である。図2に示すように、表示装置10は、頭部2の外周に接触して支えるフレームFに表示部11、操作部12を備える構成である。表示部11は、フレームFにより人1の眼前に配置され、人1に向けて映像を表示するディスプレイである。具体的には、表示部11は、網膜走査型ディスプレイ、透過型液晶ディスプレイ等であってよい。操作部12は、フレームFのサイドなどに設けられた操作スイッチ等である。なお、操作部12は、人1の手元で操作するリモートコントローラ(図示しない)などであってもよい。   FIG. 2 is a conceptual diagram illustrating the display device 10 used by being mounted on the head 2. As shown in FIG. 2, the display device 10 is configured to include a display unit 11 and an operation unit 12 on a frame F that contacts and supports the outer periphery of the head 2. The display unit 11 is a display that is disposed in front of the person 1 with the frame F and displays an image toward the person 1. Specifically, the display unit 11 may be a retinal scanning display, a transmissive liquid crystal display, or the like. The operation unit 12 is an operation switch or the like provided on the side of the frame F or the like. The operation unit 12 may be a remote controller (not shown) operated by the person 1.

図3は、表示部11における表示画面Gを例示する概念図である。図3に示すように、表示部11における表示画面Gは、人1の視野方向における視界を遮ることなく透過して表示される。例えば、網膜走査型ディスプレイの場合は、画像信号に応じた光束を2次元方向に走査し、走査した光を眼に導き網膜上に表示画像を形成する。したがって、図示例のとおり、ゴルフボール3にゴルフクラブ4を近づけたアドレス動作中の人1(図1も参照)の視界を遮ることがない。なお、図14、15には、表示画像として表示画面Gに再生画像G1、G2、G3を表示する場合を例示している(詳細は後述する)。   FIG. 3 is a conceptual diagram illustrating the display screen G in the display unit 11. As shown in FIG. 3, the display screen G in the display unit 11 is displayed in a transparent manner without obstructing the view in the visual field direction of the person 1. For example, in the case of a retinal scanning display, a light beam corresponding to an image signal is scanned in a two-dimensional direction, and the scanned light is guided to the eye to form a display image on the retina. Therefore, as shown in the illustrated example, the field of view of the person 1 (see also FIG. 1) who is performing an addressing operation in which the golf club 4 is brought close to the golf ball 3 is not obstructed. 14 and 15 exemplify cases where reproduced images G1, G2, and G3 are displayed on the display screen G as display images (details will be described later).

図4は、表示装置10のハードウエア構成の一例を示すブロック図である。図4に示すように、表示装置10は、上述した表示部11、操作部12の他、システムコントローラ13、通信部14、記憶装置15、DRAM16、入出力I/F部17、画像処理部18を備える。撮像装置20は、例えばデジタルビデオカメラなどであり、CCDやCMOSイメージセンサ等の撮像素子21、撮像素子21が撮像した画像データをA/D変換するA/D変換部22、変換された画像データを所定の形式で符号化して表示装置10へ送信する通信部23を備える。   FIG. 4 is a block diagram illustrating an example of a hardware configuration of the display device 10. As shown in FIG. 4, the display device 10 includes a display controller 11, an operation unit 12, a system controller 13, a communication unit 14, a storage device 15, a DRAM 16, an input / output I / F unit 17, and an image processing unit 18. Is provided. The imaging device 20 is, for example, a digital video camera, an imaging device 21 such as a CCD or CMOS image sensor, an A / D conversion unit 22 that performs A / D conversion on image data captured by the imaging device 21, and converted image data. Is provided in a predetermined format and transmitted to the display device 10.

システムコントローラ13は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などを有し、CPUがROMに記憶されたプログラムをRAMの作業領域に展開して順次実行することで、表示装置10の動作を統括制御する。通信部14は、撮像装置20との間のデータ通信を行う通信インタフェースである。通信部14は、システムコントローラ13の制御のもと、撮像装置20が所定のフレームレートで撮像して通信部23より出力される動画像データを取得する。取得された動画像データは、システムコントローラ13の制御のもと、DRAM16などに一時的に格納され、画像処理部18による画像処理や記憶装置15への記録が行われる。   The system controller 13 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The CPU expands a program stored in the ROM into a work area of the RAM and sequentially executes the program. Thus, the operation of the display device 10 is comprehensively controlled. The communication unit 14 is a communication interface that performs data communication with the imaging device 20. Under the control of the system controller 13, the communication unit 14 acquires moving image data output from the communication unit 23 by the imaging device 20 imaging at a predetermined frame rate. The acquired moving image data is temporarily stored in the DRAM 16 or the like under the control of the system controller 13, and image processing by the image processing unit 18 or recording in the storage device 15 is performed.

記憶装置15は、HDD(Hard Disk Drive)等のストレージデバイスであり、人1の練習にかかる一連の動作を予め記録した記録動画像にかかる動画像データ、撮像装置20が撮像した動画像データ、各種設定データなどを記憶する。なお、記録動画像は、連続する複数の動作姿勢で構成される基本動作画像であり、本実施形態ではアドレス→バックスイング→トップスイング→ダウンスイング→インパクト→フィニッシュの順に行うゴルフのスイングを、撮像装置20と同一方向から見た場合の動画像であり、例えば指導者のスイングを撮像した動画像や、コンピュータグラフィックス処理により、理想的なスイングを再現した動画像などであってよい。   The storage device 15 is a storage device such as an HDD (Hard Disk Drive), and includes moving image data relating to a recorded moving image in which a series of operations relating to the practice of the person 1 is recorded in advance, moving image data captured by the imaging device 20, Stores various setting data. The recorded moving image is a basic motion image composed of a plurality of continuous motion postures. In this embodiment, a golf swing performed in the order of address → back swing → top swing → down swing → impact → finish is imaged. It is a moving image when viewed from the same direction as the device 20, and may be, for example, a moving image obtained by capturing an instructor's swing or a moving image that reproduces an ideal swing by computer graphics processing.

DRAM16(Dynamic RAM)は、動画像などの画像データを一時的に格納する記憶領域を提供する。入出力I/F部17は、システムコントローラ13の制御のもと、USB(Universal Serial Bus)等の各種通信ポートにより通信接続する外部機器との間のデータの入出力を行う。   The DRAM 16 (Dynamic RAM) provides a storage area for temporarily storing image data such as moving images. The input / output I / F unit 17 inputs / outputs data to / from an external device that is connected for communication through various communication ports such as a USB (Universal Serial Bus) under the control of the system controller 13.

画像処理部18は、画像処理用のDSP(Digital Signal Processor)であり、システムコントローラ13の制御のもとで各種画像処理を行う。具体的には、画像処理部18は、CODEC部181、特徴点抽出部182、相対位置検出部183を有する。   The image processing unit 18 is a DSP (Digital Signal Processor) for image processing, and performs various types of image processing under the control of the system controller 13. Specifically, the image processing unit 18 includes a CODEC unit 181, a feature point extraction unit 182, and a relative position detection unit 183.

CODEC部181は、画像データの符号化処理や復号処理を行う。例えば、CODEC部181は、MPEG(Moving Picture Experts Group)形式等の符号化された動画像データを復号する。このCODEC部181の復号により、表示装置10では、動画像データに含まれる動作姿勢のフレーム画像を得る。   The CODEC unit 181 performs image data encoding processing and decoding processing. For example, the CODEC unit 181 decodes encoded moving image data such as MPEG (Moving Picture Experts Group) format. By the decoding of the CODEC unit 181, the display device 10 obtains a frame image with an action posture included in the moving image data.

特徴点抽出部182は、フレーム画像に含まれる所定の物体を特徴点として抽出する。この特徴点の抽出については、特開平8−214289などに記載されている、フレーム画像から特徴点を抽出する公知技術を用いるものとする。具体的には、特徴点抽出部182は、フレーム画像の中から人の身体を構成する特徴的な部分(例えば、頭、肩、肘、手、腰、膝)や、所定の形状を有する物体(クラブやクラブヘッド)を抽出する。本実施形態では、動作姿勢を示す特徴点として、フレーム画像中の人の頭、肩、肘、手、腰、膝や、その人が把持するクラブのクラブヘッドを抽出する。また、特徴点抽出部182は、動画像における前後のフレーム画像から抽出した特徴点同士を比較することで、特徴点の動きを示す動きベクトルを算出する。   The feature point extraction unit 182 extracts a predetermined object included in the frame image as a feature point. For this feature point extraction, a known technique for extracting a feature point from a frame image described in JP-A-8-214289 is used. Specifically, the feature point extraction unit 182 includes a characteristic part (for example, a head, a shoulder, an elbow, a hand, a waist, and a knee) constituting a human body from a frame image or an object having a predetermined shape. Extract (club or club head). In the present embodiment, a person's head, shoulders, elbows, hands, hips, knees, and club heads of clubs held by the person in the frame image are extracted as feature points indicating the motion posture. Further, the feature point extraction unit 182 calculates a motion vector indicating the motion of the feature point by comparing the feature points extracted from the previous and next frame images in the moving image.

相対位置検出部183は、特徴点抽出部182により抽出された特徴点をもとに、互いに異なる動画像のフレーム画像同士を比較して特徴点の相対的な位置関係を検出する。具体的には、相対位置検出部183は、各々のフレーム画像において抽出された特徴点の位置を比較し、その差分を検出する。本実施形態では、相対位置検出部183は、システムコントローラ13の制御のもと、撮像装置20により撮像された撮像画像より抽出された特徴点と、記憶装置15に記録された動画像に含まれる各フレーム画像より抽出された特徴点との間の相対的な位置関係を検出する。これにより、撮像装置20により撮像された撮像画像から抽出された特徴点の位置と、記憶装置15に記録された動画像において一連の動作姿勢に沿って動く特徴点の位置との間の差分が検出される。   Based on the feature points extracted by the feature point extraction unit 182, the relative position detection unit 183 compares frame images of different moving images with each other and detects the relative positional relationship between the feature points. Specifically, the relative position detection unit 183 compares the positions of the feature points extracted in the respective frame images and detects the difference. In the present embodiment, the relative position detection unit 183 is included in the feature points extracted from the captured image captured by the imaging device 20 and the moving image recorded in the storage device 15 under the control of the system controller 13. The relative positional relationship between the feature points extracted from each frame image is detected. Thereby, the difference between the position of the feature point extracted from the captured image captured by the imaging device 20 and the position of the feature point moving along a series of motion postures in the moving image recorded in the storage device 15 is obtained. Detected.

システムコントローラ13は、相対位置検出部183により検出された差分をもとに、記憶装置15に記録された動画像に含まれるフレーム画像の中で、撮像装置20により撮像された人1の動作姿勢に類似する動作姿勢を含むフレーム画像を特定する。具体的には、相対位置検出部183により検出された差分が所定の閾値内であるフレーム画像を、類似する動作姿勢を含むフレーム画像として特定する。このフレーム画像の特定については、特開2004−94667などに記載された、抽出された特徴点をもとに類似するフレーム画像を特定する公知技術を用いるものとする。   Based on the difference detected by the relative position detector 183, the system controller 13 moves the motion posture of the person 1 captured by the imaging device 20 among the frame images included in the moving image recorded in the storage device 15. A frame image including a motion posture similar to is specified. Specifically, a frame image in which the difference detected by the relative position detection unit 183 is within a predetermined threshold is specified as a frame image including a similar motion posture. For the specification of the frame image, a known technique for specifying a similar frame image based on the extracted feature points described in Japanese Patent Application Laid-Open No. 2004-94667 is used.

次に、表示装置10の動作の流れについて説明する。図5は、表示装置10の動作の一例を示すフローチャートである。   Next, the operation flow of the display device 10 will be described. FIG. 5 is a flowchart illustrating an example of the operation of the display device 10.

図5に示すように、操作部12の操作などにより動作の開始が指示されて処理が開始されると、システムコントローラ13は、表示部11の表示画面Gに各種情報を表示するためのサブ画面の表示をオンにする(S1)。次いで、操作部12により選択操作を受け付けて、システムコントローラ13は、操作部12が受け付けた選択操作を判定する(S2)。   As shown in FIG. 5, when the start of the operation is instructed by the operation of the operation unit 12 or the like, the system controller 13 displays a sub screen for displaying various information on the display screen G of the display unit 11. Is turned on (S1). Next, the selection operation is received by the operation unit 12, and the system controller 13 determines the selection operation received by the operation unit 12 (S2).

選択操作が「撮像」である場合、システムコントローラ13は、撮像装置20が逐次撮像した撮像画像(フレーム画像)を通信部14を介して取得し(S3)、取得した撮像画像を逐次記憶装置15へ記録・保存する(S4)。したがって、人1は、「撮像」を選択操作することで、自らがゴルフクラブ4をスイングした際の動画像を記憶装置15に記録することができる。   When the selection operation is “imaging”, the system controller 13 acquires captured images (frame images) sequentially captured by the imaging device 20 via the communication unit 14 (S3), and sequentially stores the acquired captured images. Record and save to (S4). Therefore, the person 1 can record a moving image when the user swings the golf club 4 in the storage device 15 by performing a selection operation of “imaging”.

選択操作が「同期表示」である場合、システムコントローラ13は、同期表示を開始し(S5)、通信部14を介して撮像装置20が撮像した画像、すなわち人1の動作を撮像した撮像画像(動作姿勢のフレーム画像)を逐次取り込む(S6)。取り込んだ撮像画像は、DRAM16に一時記憶される。   When the selection operation is “synchronous display”, the system controller 13 starts synchronous display (S5), and an image captured by the imaging device 20 via the communication unit 14, that is, a captured image captured of the operation of the person 1 ( The frame image of the motion posture) is sequentially captured (S6). The captured image captured is temporarily stored in the DRAM 16.

次いで、システムコントローラ13は、特徴点抽出部182により、取り込んだ撮像画像、及び記憶装置15に記録された動画像データから上述した特徴点の抽出を行う(S7)。   Next, the system controller 13 causes the feature point extraction unit 182 to extract the above-described feature points from the captured image and the moving image data recorded in the storage device 15 (S7).

図6は撮像画像G10の一例を示す概念図であり、図7は撮像画像G10からの特徴点の抽出を例示する概念図である。S6において図6に示すような撮像画像G10が取り込まれた場合、S7では、人1の頭、肩、肘、手、腰、膝や、人1が把持するゴルフクラブ4のクラブヘッドに対応した特徴点P1〜P9が撮像画像G10より抽出される。同様に、記憶装置15に記録された動画像データに含まれる各フレーム画像からも特徴点P1〜P9の抽出が行われる。   FIG. 6 is a conceptual diagram illustrating an example of the captured image G10, and FIG. 7 is a conceptual diagram illustrating the extraction of feature points from the captured image G10. When the captured image G10 as shown in FIG. 6 is captured in S6, in S7, it corresponds to the head, shoulder, elbow, hand, waist, knee of the person 1 or the club head of the golf club 4 held by the person 1. Feature points P1 to P9 are extracted from the captured image G10. Similarly, feature points P1 to P9 are extracted from each frame image included in the moving image data recorded in the storage device 15.

次いで、システムコントローラ13は、取り込んだ撮像画像G10、及び記憶装置15に記録された動画像データより抽出した特徴点をもとに、人1の動作姿勢に同期した動画像データを表示部11に表示する同期再生処理(詳細は後述する)を行う(S8)。   Next, the system controller 13 displays moving image data synchronized with the motion posture of the person 1 on the display unit 11 based on the captured image G10 and the feature points extracted from the moving image data recorded in the storage device 15. A synchronous reproduction process to be displayed (details will be described later) is performed (S8).

選択操作が「メニュー」である場合、システムコントローラ13は、設定操作にかかるメニューをサブ画面に表示し(S9)、手本選択(S101)、カメラ選択(S102)、表示設定(S103)等の設定操作を操作部12より受け付ける(S10)。ここで、手本選択は、記憶装置15に記録された複数の動画像の中で、どの動画像を同期再生処理で手本として表示するかの設定を行う選択操作である。カメラ選択は、撮像装置20が複数ある場合に、どの撮像装置20で撮像した画像を表示部11に表示するかの設定を行う選択操作である。表示設定は、同期再生処理時における表示形式(並べて表示や重畳して表示)の設定を行う。   When the selection operation is “menu”, the system controller 13 displays a menu related to the setting operation on the sub-screen (S9), model selection (S101), camera selection (S102), display setting (S103), and the like. A setting operation is received from the operation unit 12 (S10). Here, the model selection is a selection operation for setting which of the plurality of moving images recorded in the storage device 15 is to be displayed as a model in the synchronous reproduction process. The camera selection is a selection operation for setting which imaging device 20 displays an image captured on the display unit 11 when there are a plurality of imaging devices 20. The display setting sets the display format (displayed side by side or superimposed) during the synchronous playback process.

選択操作が「終了」である場合、システムコントローラ13は、サブ画面の表示をオフにして(S11)、処理を終了する。   When the selection operation is “end”, the system controller 13 turns off the display of the sub screen (S11), and ends the process.

ここで、同期再生処理の詳細を説明する。図8は、同期再生処理の一例を示すフローチャートである。図8に示すように、同期再生処理が開始されると、相対位置検出部183は、撮像画像G10より抽出された特徴点、及び記憶装置15に記録された動画像データに含まれる各フレーム画像より抽出された特徴点について、所定の特徴点に着目し、その着目した特徴点同士を比較して(S21)、特徴点の位置の差分を算出する(S22)。   Here, details of the synchronous reproduction processing will be described. FIG. 8 is a flowchart illustrating an example of the synchronized playback process. As illustrated in FIG. 8, when the synchronized playback process is started, the relative position detection unit 183 includes the feature points extracted from the captured image G10 and the frame images included in the moving image data recorded in the storage device 15. With respect to the extracted feature points, attention is paid to predetermined feature points, the feature points of interest are compared with each other (S21), and the difference between the positions of the feature points is calculated (S22).

ここで、着目する特徴点は、一連の動作姿勢の中で位置が大きく変化する特徴点がより好ましい。図9は、一連の動作姿勢を並べた概念図である。図9に示すように、人1がゴルフのスイングを行う場合は、アドレスからフィニッシュに至る動作姿勢A1〜A7の中で、ゴルフクラブ4のクラブヘッドが最も大きく、人1の手がその次に大きく変化する特徴点である。したがって、本実施形態では、ゴルフクラブ4のクラブヘッドを1つ目に着目する特徴点とし、人1の手を2つ目に着目する特徴点とする。   Here, the feature point of interest is more preferably a feature point whose position changes greatly in a series of motion postures. FIG. 9 is a conceptual diagram in which a series of motion postures are arranged. As shown in FIG. 9, when the person 1 performs a golf swing, the club head of the golf club 4 is the largest in the operation postures A1 to A7 from the address to the finish, and the hand of the person 1 is the next. It is a feature point that changes greatly. Therefore, in the present embodiment, the club head of the golf club 4 is the feature point that focuses on the first, and the hand of the person 1 is the feature point that focuses on the second.

次いで、システムコントローラ13は、相対位置検出部183により検出された差分をもとに、記憶装置15に記録された動画像データに含まれる動作姿勢のフレーム画像の中で、撮像装置20により撮像された人1の動作姿勢に類似する動作姿勢を含むフレーム画像を特定する(S23)。次いで、システムコントローラ13は、S23において複数のフレーム画像が特定されたか否かを判定する(S24)。   Next, based on the difference detected by the relative position detector 183, the system controller 13 is imaged by the imaging device 20 in the motion posture frame image included in the moving image data recorded in the storage device 15. A frame image including an action posture similar to the action posture of the person 1 is specified (S23). Next, the system controller 13 determines whether or not a plurality of frame images have been specified in S23 (S24).

図10は、一連の動作姿勢を重ねた概念図である。図10に示すように、ゴルフクラブ4のクラブヘッドを着目する特徴点とした場合、動作姿勢A3及び動作姿勢A7のフレーム画像、動作姿勢A2及び動作姿勢A4のフレーム画像、動作姿勢A1及び動作姿勢A5のフレーム画像が人1の動作姿勢に類似する動作姿勢を含むフレーム画像として特定されることがある。例えば、人1が動作姿勢A2でゴルフクラブ4を構えている場合には、動作姿勢A4でゴルフクラブ4を構えているフレーム画像も特定されることがある。したがって、S24では、異なる動作姿勢のフレーム画像も特定されているか否かを判定する。   FIG. 10 is a conceptual diagram in which a series of motion postures are overlapped. As shown in FIG. 10, when the club head of the golf club 4 is a feature point of interest, the frame images of the motion posture A3 and the motion posture A7, the frame images of the motion posture A2 and the motion posture A4, the motion posture A1 and the motion posture The frame image of A5 may be specified as a frame image including an action posture similar to the action posture of the person 1. For example, when the person 1 holds the golf club 4 in the movement posture A2, the frame image holding the golf club 4 in the movement posture A4 may be specified. Therefore, in S24, it is determined whether or not frame images with different motion postures are also specified.

S23において複数のフレーム画像が特定された場合(S24:YES)、システムコントローラ13は、撮像画像G10及び特定されたフレーム画像について特徴点抽出部182が算出した特徴点の動きを示す動きベクトルを取得し(S25)、取得した動きベクトルをもとにフレーム画像を絞り込む(S26)。具体的には、撮像画像G10の特徴点の動きベクトルに近い動きベクトルの特徴点を持つフレーム画像に絞り込む。   When a plurality of frame images are identified in S23 (S24: YES), the system controller 13 acquires a motion vector indicating the motion of the feature points calculated by the feature point extraction unit 182 for the captured image G10 and the identified frame images. Then, the frame image is narrowed down based on the acquired motion vector (S26). Specifically, the image is narrowed down to frame images having motion vector feature points close to the feature point motion vector of the captured image G10.

図11は、動き方向の異なる動作姿勢を例示する概念図である。図11に示すように、動作姿勢A2付近では、動作姿勢A2と、nフレーム前(−n)の動作姿勢A2とを比較した場合、ゴルフクラブ4は振りかぶる方向に動いている。また、動作姿勢A4付近では、動作姿勢A4と、nフレーム前(−n)の動作姿勢A4とを比較した場合、ゴルフクラブ4は振り下ろす方向に動いている。したがって、撮像画像G10の特徴点の動きベクトルに近いか否かにより、動作姿勢A4又は動作姿勢A2を区別することができる。   FIG. 11 is a conceptual diagram illustrating motion postures with different motion directions. As shown in FIG. 11, in the vicinity of the motion posture A2, when the motion posture A2 is compared with the motion posture A2 n frames before (−n), the golf club 4 moves in a swinging direction. Further, in the vicinity of the motion posture A4, when the motion posture A4 is compared with the motion posture A4 n frames before (−n), the golf club 4 is moving in the swing-down direction. Therefore, the motion posture A4 or the motion posture A2 can be distinguished depending on whether or not it is close to the motion vector of the feature point of the captured image G10.

S26に次いで、システムコントローラ13は、S26で1つのフレーム画像に絞りこまれたか否かを判定する(S27)。S26で1つのフレーム画像に絞りこまれていない場合(S27:NO)、システムコントローラ13は、1つ目に着目した特徴点とは異なる2つ目に着目した特徴点との位置関係(前述した差分)をもとに、フレーム画像を絞り込む(S28)。   Subsequent to S26, the system controller 13 determines whether or not one frame image has been narrowed down in S26 (S27). When it is not narrowed down to one frame image in S26 (S27: NO), the system controller 13 determines the positional relationship with the second feature point that is different from the first feature point (described above). Based on the difference, the frame image is narrowed down (S28).

図12は、ゴルフのスイングにおけるフィニッシュ動作(動作姿勢A7付近)を例示する概念図である。図13は、ゴルフのスイングにおけるトップスイング動作(動作姿勢A3付近)を例示する概念図である。図12、13を比較しても明らかなように、フィニッシュ動作とトップスイング動作では、ゴルフクラブ4のクラブトップが略同じ動きをする。したがって、nフレーム前(−n)の動作姿勢A7から動作姿勢A7と、動作姿勢A3からnフレーム後(+n)の動作姿勢A3においては、撮像画像G10のクラブヘッドの特徴点の動きベクトルに近い動きベクトルだけでは、フレーム画像の絞り込みができない。このため、S28では、2つ目に着目した特徴点(人1の手)の位置関係をもとに、フレーム画像を絞り込む。   FIG. 12 is a conceptual diagram illustrating the finish operation (near the operation posture A7) in a golf swing. FIG. 13 is a conceptual diagram illustrating a top swing motion (near the motion posture A3) in a golf swing. As is apparent from a comparison of FIGS. 12 and 13, the club top of the golf club 4 moves in substantially the same manner in the finish operation and the top swing operation. Accordingly, the motion posture A7 to the motion posture A7 n frames before (−n) and the motion posture A3 n frames after the motion posture A3 (+ n) are close to the motion vectors of the feature points of the club head in the captured image G10. The frame image cannot be narrowed down only by the motion vector. For this reason, in S28, the frame image is narrowed down based on the positional relationship of the second feature point (person 1's hand).

S29において、システムコントローラ13は、記憶装置15に記録された動画像データを、絞りこまれたフレーム画像の位置から、撮像画像G10における人1の動作に合わせて動くように同期して再生する画像と、撮像画像G10とを表示部11の表示画面Gに表示する、同期再生を行う(S29)。なお、動画像データの再生については、撮像画像G10及び絞りこまれたフレーム画像について特徴点抽出部182が算出した特徴点の動きを示す動きベクトルを比較し、撮像画像G10の特徴点の動きベクトルに一致するように、再生時のフレームレート及び再生方向を調整することで、人1の動作に合わせて動くように同期した再生が行われることとなる。   In S29, the system controller 13 reproduces the moving image data recorded in the storage device 15 synchronously so as to move in accordance with the operation of the person 1 in the captured image G10 from the position of the narrowed frame image. Then, the captured image G10 is displayed on the display screen G of the display unit 11 and synchronized playback is performed (S29). For reproduction of moving image data, the motion vectors indicating the motion of the feature points calculated by the feature point extraction unit 182 for the captured image G10 and the narrowed frame image are compared, and the motion vectors of the feature points of the captured image G10 are compared. By adjusting the frame rate and the reproduction direction during reproduction so as to match the above, reproduction synchronized with the movement of the person 1 is performed.

次いで、操作部12による操作指示をもとに、再生(「同期再生」)を終了するか否かを判定する(S30)。終了する場合(S30:YES)は、S21〜S29にかかる同期再生処理を終了する。終了しない場合(S30:NO)、システムコントローラ13は、S21へ処理を戻し、同期再生処理を継続する。   Next, it is determined whether or not the reproduction (“synchronous reproduction”) is ended based on the operation instruction from the operation unit 12 (S30). When the process is to be ended (S30: YES), the synchronous reproduction process in S21 to S29 is ended. If not finished (S30: NO), the system controller 13 returns the process to S21 and continues the synchronous reproduction process.

図14、図15は、同期再生の一例を示す概念図である。図14に示すように、表示画面Gにおいて、撮像画像G10の再生画像G1と、動画像データの再生画像G2とは、並べて表示してよい。このように、人1自身を撮像した撮像画像G10を再生した再生画像G1と、記憶装置15に記録された動画像データを人1の動作姿勢に合わせて再生した再生画像G2とが表示画面Gに表示されることから、人1は、一連の動作を練習する際の、所定の動作姿勢におけるずれを、自らの動きに合わせてリアルタイムに確認することができる。   14 and 15 are conceptual diagrams showing an example of synchronized playback. As shown in FIG. 14, on the display screen G, the reproduced image G1 of the captured image G10 and the reproduced image G2 of the moving image data may be displayed side by side. In this way, the display image G1 includes a reproduction image G1 obtained by reproducing the captured image G10 obtained by imaging the person 1 and a reproduction image G2 obtained by reproducing the moving image data recorded in the storage device 15 in accordance with the movement posture of the person 1. Therefore, the person 1 can confirm in real time the deviation in the predetermined motion posture when practicing a series of motions according to his / her motion.

また、図15に示すように、撮像画像G10、及び動画像データを再生する画像は、一方を透過状態で他方に重畳した再生画像G3として表示画面Gに表示してよい。この場合、重畳した部分との差分を抽出し、抽出した差分をもとに相違する領域を検出することで、その相違する領域を他の領域とは異なる表示態様としてもよい。具体的には、図示例に示すように、相違する領域を点線などで表示してよい。このように相違する領域を異なる表示態様とすることで、人1は、一連の動作を練習する際の、所定の動作姿勢におけるずれを、明確に認識できる。   Further, as shown in FIG. 15, the captured image G10 and the image for reproducing moving image data may be displayed on the display screen G as a reproduction image G3 in which one is transmitted and superimposed on the other. In this case, the difference between the overlapped portion is extracted, and a different area is detected based on the extracted difference, so that the different area may have a display mode different from other areas. Specifically, as shown in the illustrated example, different areas may be displayed with dotted lines or the like. By setting different regions in different display modes in this way, the person 1 can clearly recognize a shift in a predetermined motion posture when practicing a series of motions.

以上のように、表示装置10は、人1の動作を撮像した撮像画像G10を通信部14を介して撮像装置20より逐次取り込む。表示装置10は、特徴点抽出部182により、取り込まれた撮像画像G10、及び人1の練習にかかる一連の動作を記憶装置15に予め記録した動画像の連続する複数の動作姿勢から所定の特徴点を抽出する。表示装置10は、相対位置検出部183により、撮像画像G10から抽出された特徴点の位置と、動画像の連続する複数の動作姿勢から抽出された特徴点の位置との間の差分を検出する。表示装置10は、動画像に含まれる連続する複数の動作姿勢の中で、検出された差分が所定の閾値内にあり、人1の動作姿勢に類似するフレーム画像を、撮像画像G10とともに表示部11に表示する。したがって、表示装置10を利用する人1は、一連の動作を練習する際の、所定の動作姿勢からのずれを、人1自身の動きに合わせて確認することができる。   As described above, the display device 10 sequentially captures the captured image G10 obtained by capturing the motion of the person 1 from the imaging device 20 via the communication unit 14. The display device 10 uses the feature point extraction unit 182 to obtain a predetermined feature from a plurality of continuous motion postures of a captured image G10 and a moving image in which a series of motions related to the practice of the person 1 is recorded in the storage device 15 in advance. Extract points. The display device 10 detects the difference between the position of the feature point extracted from the captured image G10 and the position of the feature point extracted from a plurality of continuous motion postures of the moving image by the relative position detection unit 183. . The display device 10 includes a display unit that displays a frame image similar to the motion posture of the person 1 together with the captured image G10, in which a detected difference is within a predetermined threshold among a plurality of continuous motion postures included in the moving image. 11 is displayed. Therefore, the person 1 who uses the display device 10 can check the deviation from the predetermined movement posture when practicing a series of movements according to the movement of the person 1 himself / herself.

次に、表示装置10の変形例を説明する。図16は、変形例にかかる表示装置10の使用例を示す斜視図である。図16に示すように、表示装置10は、ゴルフの練習場所などに設置されたテレビ型の表示装置であってもよい。具体的には、表示装置10は、ゴルフのスイングを練習する際にリアルタイムに確認できるよう、人1がゴルフのスイングを行う際に正面に位置するように設置されてよい。   Next, a modified example of the display device 10 will be described. FIG. 16 is a perspective view illustrating a usage example of the display device 10 according to the modification. As shown in FIG. 16, the display device 10 may be a television-type display device installed at a golf practice place or the like. Specifically, the display device 10 may be installed so as to be positioned in front when the person 1 performs a golf swing so that the display device 10 can confirm in real time when practicing the golf swing.

図17は、変形例にかかるシステム構成を例示するブロック図である。図17に例示したシステム構成のように、表示装置10、撮像装置20は、無線LANなどの通信ネットワークNを介し、PC(Personal Computer)やWS(Work Station)等の情報機器であるサーバ装置30と接続する構成であってよい。このようなシステム構成では、記憶装置15における動画像の記録や、画像処理部18が行う画像処理などはサーバ装置30が受け持って行い、表示装置10はサーバ装置30により出力された画像データの表示のみを行うものであってよい。   FIG. 17 is a block diagram illustrating a system configuration according to a modification. As in the system configuration illustrated in FIG. 17, the display device 10 and the imaging device 20 are server devices 30 that are information devices such as a PC (Personal Computer) and a WS (Work Station) via a communication network N such as a wireless LAN. It may be configured to connect with. In such a system configuration, recording of moving images in the storage device 15 and image processing performed by the image processing unit 18 are handled by the server device 30, and the display device 10 displays image data output by the server device 30. May only do.

1…人、2…頭部、3…ゴルフボール、4…ゴルフクラブ、10…表示装置、11…表示部、12…操作部、13…システムコントローラ、14…通信部、15…記憶装置、16…DRAM、17…入出力I/F部、18…画像処理部、20…撮像装置、21…撮像素子、22…A/D変換部、23…通信部、30…サーバ装置、181…CODEC部、182…特徴点抽出部、183…相対位置検出部、A1〜A7…動作姿勢、F…フレーム、G…表示画面、G1〜G3…再生画像、G10…撮像画像、P1〜P9…特徴点、N…通信ネットワーク   DESCRIPTION OF SYMBOLS 1 ... Person, 2 ... Head, 3 ... Golf ball, 4 ... Golf club, 10 ... Display apparatus, 11 ... Display part, 12 ... Operation part, 13 ... System controller, 14 ... Communication part, 15 ... Memory | storage device, 16 DESCRIPTION OF SYMBOLS DRAM ... 17 Input / output I / F part, 18 ... Image processing part, 20 ... Imaging device, 21 ... Imaging element, 22 ... A / D conversion part, 23 ... Communication part, 30 ... Server apparatus, 181 ... CODEC part 182 ... feature point extraction unit, 183 ... relative position detection unit, A1 to A7 ... operation posture, F ... frame, G ... display screen, G1-G3 ... reproduced image, G10 ... captured image, P1-P9 ... feature point, N ... Communication network

Claims (9)

利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込む画像取込部と、
連続する複数の動作姿勢で構成される基本動作画像を記録した記録部と、
前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出する特徴点抽出部と、
前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分をそれぞれ検出する検出部と、
前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示する表示部と、
を備える表示装置。
An image capturing section that sequentially captures captured images captured as a plurality of continuous motion postures of the user's motion;
A recording unit that records a basic motion image composed of a plurality of continuous motion postures;
A feature point extraction unit for extracting a predetermined feature point from the plurality of continuous motion postures of the captured image and the basic motion image;
A detection unit that detects a difference between the position of the feature point of the predetermined motion posture in the captured image and the position of the feature point extracted from the plurality of continuous motion postures of the basic motion image;
A display unit for displaying the motion posture of the basic motion image in which the detected difference is within a predetermined threshold together with a predetermined motion posture of the captured image;
A display device comprising:
前記検出部は、前記所定の動作姿勢を逐次変更して差分を検出し、
前記表示部は、変更した前記撮像画像の動作姿勢を前記基本動作画像の前記動作姿勢とともに逐次表示する、
請求項1に記載の表示装置。
The detection unit sequentially changes the predetermined motion posture to detect a difference;
The display unit sequentially displays the changed motion posture of the captured image together with the motion posture of the basic motion image;
The display device according to claim 1.
前記表示部は、前記検出された差分が所定の閾値内にある動作姿勢が複数ある場合は、前記複数ある動作姿勢の中から前記撮像画像の特徴点の動きと類似した特徴点の動きを示す動作姿勢を絞り込んで表示する、
請求項2に記載の表示装置。
When there are a plurality of motion postures in which the detected difference is within a predetermined threshold, the display unit shows a motion of a feature point similar to a motion of a feature point of the captured image from the plurality of motion postures. Narrow down and display the movement posture,
The display device according to claim 2.
前記特徴点抽出部は、前記動作姿勢から所定の特徴点を複数抽出し、
前記検出部は、複数抽出された特徴点ごとに、前記撮像画像から抽出された特徴点の位置と、前記基本動作画像から抽出された特徴点の位置との間の差分を検出し、
前記表示部は、検出されたいずれか一つの特徴点の差分が所定の閾値内にある動作姿勢が複数ある場合は、前記複数ある動作姿勢の中から、検出された他の特徴点の差分をもとに動作姿勢を絞り込んで表示する、
請求項1乃至3のいずれか一項に記載の表示装置。
The feature point extraction unit extracts a plurality of predetermined feature points from the motion posture,
The detection unit detects, for each of a plurality of extracted feature points, a difference between the position of the feature point extracted from the captured image and the position of the feature point extracted from the basic motion image,
When there are a plurality of motion postures in which the difference between any one of the detected feature points is within a predetermined threshold, the display unit displays the difference between the detected other feature points from the plurality of motion postures. Based on the movement posture,
The display apparatus as described in any one of Claims 1 thru | or 3.
前記表示部は、前記基本動作画像、及び前記撮像画像を並べて表示する、
請求項1乃至4のいずれか一項に記載の表示装置。
The display unit displays the basic operation image and the captured image side by side;
The display apparatus as described in any one of Claims 1 thru | or 4.
前記表示部は、前記基本動作画像、及び前記撮像画像のいずれか一方を、透過状態で他方に重畳して表示する、
請求項1乃至4のいずれか一項に記載の表示装置。
The display unit displays one of the basic operation image and the captured image in a transparent state and superimposed on the other;
The display apparatus as described in any one of Claims 1 thru | or 4.
前記表示部は、前記基本動作画像と前記撮像画像とを重ねた際に相違する領域を他の領域とは異なる表示態様で表示する、
請求項6に記載の表示装置。
The display unit displays a different area when the basic motion image and the captured image are overlapped with each other in a display mode different from other areas.
The display device according to claim 6.
前記連続する複数の動作姿勢は、クラブをスイングする動作における動作姿勢であり、
前記特徴点抽出部は、前記撮像画像、及び前記基本動作画像に含まれる前記クラブのヘッド部分を特徴点として抽出する、
請求項1乃至7のいずれか一項に記載の表示装置。
The plurality of continuous motion postures are motion postures in a motion of swinging a club,
The feature point extraction unit extracts the club head portion included in the captured image and the basic motion image as a feature point.
The display device according to claim 1.
表示装置で実行される表示方法であって、
利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込むステップと、
連続する複数の動作姿勢で構成される基本動作画像を記録する記録ステップと、
前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出するステップと、
前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分をそれぞれ検出するステップと、
前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示するステップと、
を含む表示方法。
A display method executed on a display device,
Sequentially capturing captured images captured as a plurality of continuous motion postures of the user's motion;
A recording step for recording a basic motion image composed of a plurality of continuous motion postures;
Extracting predetermined feature points from the plurality of continuous motion postures of the captured image and the basic motion image;
Detecting each difference between the position of the feature point of the predetermined motion posture in the captured image and the position of the feature point extracted from the plurality of continuous motion postures of the basic motion image;
Displaying the motion posture of the basic motion image in which the detected difference is within a predetermined threshold together with a predetermined motion posture of the captured image;
Display method including.
JP2011170184A 2011-08-03 2011-08-03 Display device and display method Active JP5776423B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011170184A JP5776423B2 (en) 2011-08-03 2011-08-03 Display device and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011170184A JP5776423B2 (en) 2011-08-03 2011-08-03 Display device and display method

Publications (2)

Publication Number Publication Date
JP2013034492A true JP2013034492A (en) 2013-02-21
JP5776423B2 JP5776423B2 (en) 2015-09-09

Family

ID=47884724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011170184A Active JP5776423B2 (en) 2011-08-03 2011-08-03 Display device and display method

Country Status (1)

Country Link
JP (1) JP5776423B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014217030A (en) * 2013-04-30 2014-11-17 日本電信電話株式会社 Video reproduction device and video reproduction program
JP2015229052A (en) * 2014-06-06 2015-12-21 セイコーエプソン株式会社 Head mounted display device, control method for the same, and computer program
CN105301771A (en) * 2014-06-06 2016-02-03 精工爱普生株式会社 Head mounted display, detection device, control method for head mounted display, and computer program
JP2016131782A (en) * 2015-01-21 2016-07-25 セイコーエプソン株式会社 Head wearable display device, detection device, control method for head wearable display device, and computer program

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094667A (en) * 2002-08-30 2004-03-25 Sony Corp Information processor
JP2004260765A (en) * 2003-02-27 2004-09-16 Nihon Knowledge Kk Practical skill analysis system and program
JP2005237494A (en) * 2004-02-24 2005-09-08 Nihon Knowledge Kk Actual action analysis system and program
JP2006302122A (en) * 2005-04-22 2006-11-02 Nippon Telegr & Teleph Corp <Ntt> Exercise support system, user terminal therefor and exercise support program
JP2007324663A (en) * 2006-05-30 2007-12-13 Sharp Corp Video camera
US20090298650A1 (en) * 2008-06-02 2009-12-03 Gershom Kutliroff Method and system for interactive fitness training program
WO2010085704A1 (en) * 2009-01-23 2010-07-29 Shiv Kumar Bhupathi Video overlay sports motion analysis
JP2011048096A (en) * 2009-08-26 2011-03-10 Canon Inc Motion training device, motion training system, control method of motion training device, and program
JP2011062352A (en) * 2009-09-17 2011-03-31 Koki Hashimoto Exercise motion teaching device and play facility

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094667A (en) * 2002-08-30 2004-03-25 Sony Corp Information processor
JP2004260765A (en) * 2003-02-27 2004-09-16 Nihon Knowledge Kk Practical skill analysis system and program
JP2005237494A (en) * 2004-02-24 2005-09-08 Nihon Knowledge Kk Actual action analysis system and program
JP2006302122A (en) * 2005-04-22 2006-11-02 Nippon Telegr & Teleph Corp <Ntt> Exercise support system, user terminal therefor and exercise support program
JP2007324663A (en) * 2006-05-30 2007-12-13 Sharp Corp Video camera
US20090298650A1 (en) * 2008-06-02 2009-12-03 Gershom Kutliroff Method and system for interactive fitness training program
WO2010085704A1 (en) * 2009-01-23 2010-07-29 Shiv Kumar Bhupathi Video overlay sports motion analysis
JP2011048096A (en) * 2009-08-26 2011-03-10 Canon Inc Motion training device, motion training system, control method of motion training device, and program
JP2011062352A (en) * 2009-09-17 2011-03-31 Koki Hashimoto Exercise motion teaching device and play facility

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014217030A (en) * 2013-04-30 2014-11-17 日本電信電話株式会社 Video reproduction device and video reproduction program
JP2015229052A (en) * 2014-06-06 2015-12-21 セイコーエプソン株式会社 Head mounted display device, control method for the same, and computer program
CN105301771A (en) * 2014-06-06 2016-02-03 精工爱普生株式会社 Head mounted display, detection device, control method for head mounted display, and computer program
US10162408B2 (en) 2014-06-06 2018-12-25 Seiko Epson Corporation Head mounted display, detection device, control method for head mounted display, and computer program
JP2016131782A (en) * 2015-01-21 2016-07-25 セイコーエプソン株式会社 Head wearable display device, detection device, control method for head wearable display device, and computer program

Also Published As

Publication number Publication date
JP5776423B2 (en) 2015-09-09

Similar Documents

Publication Publication Date Title
JP6770061B2 (en) Methods and devices for playing video content anytime, anywhere
JP5754439B2 (en) Information notification apparatus, information notification method, and program
JP6213146B2 (en) Information processing apparatus, recording medium, and information processing method
US9466110B2 (en) Image processing device that analyzes motion of object
JP4646209B2 (en) Practical skill analysis system and program
JP2004195243A5 (en)
US9017079B2 (en) Information notification apparatus that notifies information of data of motion
KR101703924B1 (en) 3d virtual reality system using 3d-spectacles for virtual image display
JP5776423B2 (en) Display device and display method
JP2015088095A (en) Information processor and information processing method
JP2010087569A (en) Full-length mirror apparatus
JP6165815B2 (en) Learning system, learning method, program, recording medium
JP5874626B2 (en) Display control apparatus, display control system, display control method, and program
JP2010069102A (en) Information processing method, information processing apparatus, program and computer-readable recording medium
JP5970890B2 (en) Exercise count measuring device, exercise count measuring method and program
JP2014127735A (en) Display control device, display control system, display control method, and program
JP2009119252A (en) Rocking type exercise apparatus
JP2008135923A (en) Production method of videos interacting in real time, video production device, and video production system
WO2015058388A1 (en) Method and device for displaying image
JP2006181014A (en) Image analysis device and movement correction system
JP7070675B2 (en) Display method, display program and information processing device
CN110996149A (en) Information processing method, device and system
Chen et al. Improving golf swing skills using intelligent glasses
JP6787072B2 (en) Image processing equipment, analysis system, image processing method and program
JP6075356B2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150622

R150 Certificate of patent or registration of utility model

Ref document number: 5776423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150