JP2010069102A - 情報処理方法、情報処理装置、プログラム、およびコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】情報処理方法、情報処理装置、プログラム、およびコンピュータ読み取り可能な記録媒体を提供すること。
【解決手段】記憶媒体に記憶されている第１の人物の映像、および撮像装置により撮像された第２の人物の映像を取得する取得ステップと、前記第１の人物の映像および前記第２の人物の映像を含む表示画面を生成する生成ステップと、前記第１の人物の映像および前記第２の人物の映像において、前記第１の人物および前記第２の人物のフォームを比較する比較ステップと、前記比較の結果を前記第２の人物に通知するための処理を行う通知ステップと、を含む情報処理方法。
【選択図】図２

Description

本発明は、情報処理方法、情報処理装置、プログラム、およびコンピュータ読み取り可能な記録媒体に関する。

従来、ユーザは、放送または再生されるインストラクターの映像に合わせて体を動かしてスポーツやダンスなどの運動のフォームを習得することができた。また、特許文献１には、指導者のフォームおよび受講者のフォームを撮像し、双方のフォームを同一画面上に並べて表示する方法が記載されている。また、特許文献１には、当該方法により、指導者が正しいフォームやタイミングを受講者に分かり易く指導できる旨記載されている。

特開平７−１４４０３８号公報

しかし、従来の方法は、フォームを習得しようとするユーザと、フォームの手本となり、かつ、ユーザのフォームに対する指導が可能な指導者が存在しなくては成り立たないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザが自身のフォームの課題を客観的に把握することが可能な、新規かつ改良された情報処理方法、情報処理装置、プログラム、およびコンピュータ読み取り可能な記録媒体を提供することにある。

上記課題を解決するために、本発明のある観点によれば、記憶媒体に記憶されている第１の人物の映像、および撮像装置により撮像された第２の人物の映像を取得する取得ステップと、前記第１の人物の映像および前記第２の人物の映像を含む表示画面を生成する生成ステップと、前記第１の人物の映像および前記第２の人物の映像において、前記第１の人物および前記第２の人物のフォームを比較する比較ステップと、前記比較の結果を前記第２の人物に通知するための処理を行う通知ステップと、を含む情報処理方法が提供される。

前記記憶媒体には、前記第１の人物の映像における前記第１の人物の所定部位の位置情報が記憶されており、前記比較ステップにおいては、前記第１の人物の所定部位の位置情報、および前記第２の人物の映像における前記第２の人物の所定部位の位置情報を比較してもよい。

前記第２の人物の静止画を生成し、前記第２の人物の所定部位の前記静止画における対応部分を設定する設定ステップと、前記設定ステップにおいて設定された対応部分に基づいて前記第２の人物の所定部位を前記第２の人物の映像から検出するステップと、をさらに含んでもよい。

前記通知するための処理は、前記表示画面において、前記第１の人物および前記第２の人物のフォームの異なる部位を示すための処理であってもよい。

前記情報処理方法は、前記表示画面に含まれる前記第１の人物の映像における前記第１の人物の体型を、前記第２の人物の体型に近似させるステップをさらに含んでもよい。

前記表示画面において、前記第１の人物の映像および前記第２の人物の映像は重ねて表示されてもよい。

前記情報処理方法は、前記表示画面および前記比較の結果を記憶媒体に記録するステップをさらに含んでもよい。

また、上記課題を解決するために、本発明の別の観点によれば、記憶媒体に記憶されている第１の人物の映像、および撮像装置により撮像された第２の人物の映像を含む表示画面を生成する生成部と、前記第１の人物の映像および前記第２の人物の映像において、前記第１の人物および前記第２の人物のフォームを比較する比較部と、前記比較の結果を前記第２の人物に通知するための処理を行う通知処理部と、備える情報処理装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、記憶媒体に記憶されている第１の人物の映像、および撮像装置により撮像された第２の人物の映像を含む表示画面を生成する生成部と、前記第１の人物の映像および前記第２の人物の映像において、前記第１の人物および前記第２の人物のフォームを比較する比較部と、前記比較の結果を前記第２の人物に通知するための処理を行う通知処理部と、として機能させるための、プログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、記憶装置に記憶されている第１の人物の映像、および撮像装置により撮像された第２の人物の映像を含む表示画面を生成する生成部と、前記第１の人物の映像および前記第２の人物の映像において、前記第１の人物および前記第２の人物のフォームを比較する比較部と、前記比較の結果を前記第２の人物に通知するための処理を行う通知処理部と、として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。

以上説明したように本発明にかかる情報処理方法、情報処理装置、プログラム、およびコンピュータ読み取り可能な記録媒体によれば、ユーザが自身のフォームの課題を客観的に把握することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す項目順序に従って当該「発明を実施するための最良の形態」を説明する。
１．情報処理システムの全体構成
２．映像処理装置の構成
３．映像の比較方法
４．映像処理装置の動作
５．まとめ

＜１．情報処理システムの全体構成＞
まず、図１を参照し、本実施形態にかかる情報処理システム１の全体構成について説明する。

図１は、本実施形態にかかる情報処理システム１の全体構成を示した説明図である。図１に示したように、情報処理システム１は、コンテンツサーバ１０と、通信網１２と、放送局１４と、映像処理装置２０と、アンテナ２２と、撮像装置３０と、表示装置４０と、を備える。

コンテンツサーバ１０は、各種のコンテンツデータを記憶しており、映像処理装置２０から要求されたコンテンツデータを通信網１２を介して映像処理装置２０へ送信する。例えば、コンテンツサーバ１０は、記憶しているコンテンツデータの一覧であるコンテンツリストを映像処理装置２０へ送信し、当該コンテンツリストにおいてユーザにより選択されたコンテンツデータを映像処理装置２０へ送信する。

ここで、コンテンツデータとしては、音楽、講演およびラジオ番組などの音楽データや、映画、テレビジョン番組、ビデオプログラム、写真、文書、絵画および図表などの映像データや、ゲームおよびソフトウェアなどの任意のデータがあげられる。特に、本実施形態においては、手本となるインストラクターの動きを示す映像データを利用することができる。なお、映像データは、ヨガ、ダンス、舞踊、バレー、体操、ゴルフ、テニス、野球、卓球、バスケットボール、またはサッカーなどにおけるインストラクターの動きであってもよい。

通信網１２は、通信網１２に接続されている装置から送信される情報の有線、または無線の伝送路である。本実施形態においては、通信網１２を介して映像処理装置２０とコンテンツサーバ１０との間での通信が行なわれる。例えば、通信網１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網１２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

放送局１４は、テレビジョン放送の番組コンテンツを放送電波又は専用通信網などを介して送信する。テレビジョン放送は、例えば、ＢＳ（Ｂｒｏａｄｃａｓｔ Ｓａｔｅｌｌｉｔｅ）放送、ＣＳ（ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｓａｔｅｌｌｉｔｅ）放送、地上波デジタル放送、地上波アナログ放送、ケーブル放送など任意の方式のテレビジョン放送であってよい。また、本実施形態においては、手本となるインストラクターの動きを示す映像データである番組コンテンツを特に利用することができる。放送局１４から放送された映像データはアンテナ２２により受信され、映像処理装置２０へ供給される。

映像処理装置２０は、取得した映像データから表示画面を生成し、生成した表示画面を表示装置４０へ出力する情報処理装置である。映像処理装置２０は、例えばインストラクターの映像データを、通信網１２を介して取得することも、放送局１４からアンテナ２２を介して取得することもできる。

さらに、映像処理装置２０は、インストラクターの映像データを、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体から映像データを取得することもできる。不揮発性メモリとしては、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。

上記のように、本実施形態にかかる映像処理装置２０は、任意の方法によりインストラクタ−の映像データを取得することができる。ここで、厳密には、コンテンツサーバ１０から取得される映像データ、および放送局１４から取得される映像データも、バッファなどの記憶媒体に一時記憶された後に再生される。したがって、コンテンツサーバ１０から取得された映像データや放送局１４から取得された映像データを、記憶媒体に記憶されている映像データと表現することも可能である。

また、詳細については「＜２．映像処理装置の構成＞」において説明するが、映像処理装置２０は、撮像装置３０において撮像された映像データも取得する。そして、映像処理装置２０は、記憶媒体から取得した映像データに基づく映像、および撮像装置３０から取得した映像データに基づく映像の双方を含む表示画面を生成する。

なお、映像処理装置２０は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また、映像処理装置２０は、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。

撮像装置３０は、撮像素子を備え、撮像素子により撮像した映像データを映像処理装置２０へ送信する。撮像素子は、各画素に対応するように２次元に配置されたフォトダイオード、およびＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）を備えてもよい。かかる構成においてフォトダイオードを露光させると、フォトダイオードが電荷を蓄積し、フォトダイオードに蓄積された電荷がＣＣＤにより順次に転送される。撮像素子は、このようなフォトダイオードの露光から電荷の転送までの撮像処理を、同期信号の立ち上がりに同期してフォトダイオードを露光させてもよい。なお、一回の露光によりＣＣＤから転送される電荷は、１フレーム分の画像に対応する。

そして、撮像装置３０は、フレーム画像の各々にフレーム番号を付与し、映像処理装置２０へ連続するフレーム画像を映像データとして有線または無線により送信する。なお、映像データの送信方式は、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）８０２．１１ａ、ｂ、ｇなどに規定される無線通信方式であってもよい。また、通信方式は、ＩＥＥＥ８０２．１１ｎに規定されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）通信方式であっても、ＩＥＥＥ８０２．３に規定される有線ＬＡＮに対応する通信方式であってもよい。また、本実施形態においては、任意のフォーム練習を行なうユーザの映像が撮像装置３０に撮像されることを想定している。

表示装置４０は、映像処理装置２０から入力される表示画面を表示する。この表示装置４０は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置であってもよい。また、表示装置４０と映像処理装置２０は、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）で接続されていても、コンポーネントで接続されていてもよい。

このような情報処理システム１においては、表示装置４０に、インストラクターの映像およびユーザの映像を含む表示画面を表示させ、かつ、インストラクターとユーザのフォームが異なる場合にその旨をユーザに通知することができる。以下、当該機能を実現する上で重要な映像処理装置２０の構成について説明する。

＜２．映像処理装置の構成＞
図２は、本実施形態にかかる映像処理装置２０の構成を示した機能ブロック図である。図２に示したように、映像処理装置２０は、通信部２１６と、データ読込部２２０と、表示生成部２２４と、体型調整部２２８と、を備える。さらに、映像処理装置２０は、操作検出部２３２と、ポイント設定部２３６と、ポイント検出部２４０と、比較部２４４と、音声制御部２４８と、記憶部２５２と、を備える。

なお、映像処理装置２０の表示生成部２２４、体型調整部２２８、ポイント設定部２３６、ポイント検出部２４０、比較部２４４、および音声制御部２４８などは、これら各構成の機能を実行するプログラムを映像処理装置２０にインストールすることで実現される。すなわち、映像処理装置２０に内蔵されるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などが協働して当該プログラムに従った演算や制御を行なうことにより、上記各構成を実現できる。

なお、当該プログラムは、映像処理装置２０に内蔵されるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤに記憶されていてもよい。または、当該プログラムは、インストラクターの映像データが記録されている光ディスクに記録されており、映像処理装置２０のデータ読込部２２０が当該光ディスクから当該プログラムと映像データを併せて読込んでもよい。

通信部２１６は、外部装置とのインターフェースであって、外部装置との間で各種データを入出力、または送受信する。例えば、通信部２１６は、撮像装置３０からユーザの映像データが入力され、表示画面を表示装置４０へ出力する。また、通信部２１６は、図１に示したコンテンツサーバ１０と通信網１２を介して通信することも可能である。

データ読込部２２０は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯディスクなどの記憶媒体から、インストラクターの映像データを読込む。したがって、データ読込部２２０は、例えば光ディスクからのデータの読出しおよび／または光ディスクへのデータの書き込みを行なう光ディスクドライブであってもよい。

表示生成部２２４（生成部）は、表示装置４０に表示させるための各種表示画面を生成する。例えば、表示生成部２２４は、まず図３に示す初期設定画面を生成した後、図４に示すポイント設定画面を生成し、さらに、図５に示すトレーニング画面を生成してもよい。

図３は、表示生成部２２４が生成する初期設定画面の具体例を示した説明図である。図３に示したように、初期設定画面は、基本枠４２および「体が点線の枠内に入るよう調整してください。」という文字を含む。また、図３には図示していないが、表示生成部２２４は、表示生成部２２４は撮像装置３０により撮像されたユーザの映像をこの初期設定画面に重畳する。ユーザは、当該初期設定画面において、基本枠４２内に自身の映像が納まるように撮像装置３０の位置や自身の位置を調整する。そして、基本枠４２内にユーザの映像が納まると、表示生成部２２４は、図４に示すポイント設定画面を生成する。

図４は、表示生成部２２４が生成するポイント設定画面の具体例を示した説明図である。図４に示したように、ポイント設定画面は、基本枠４２、およびユーザの静止画を含む。ここで、映像処理装置２０の体型調整部２２８は、ユーザの静止画からユーザの体型を解析し、データ読込部２２０から読込まれるインストラクターの映像におけるインストラクターの体型がユーザの体型に合うように調整する。

例えば、体型調整部２２８は、ユーザの静止画と基本枠４２の画面横方向にスペースがある場合、スペースの大きさに応じてインストラクターの体型をやせ型に調整する。一方、ユーザの静止画と基本枠４２の画面縦方向にスペースがある場合、スペースの大きさに応じてインストラクターの体型を太り型に調整する。また、体型調整部２２８は、インストラクターの足や手の長さなどの任意の要素についてもユーザの体型に合うように調整してもよい。

また、図４に示したポイント設定画面は、「手首、ひざの位置を指定して下さい。」という文字を含む。ユーザは、かかる指示に従い、例えばリモートコントローラを操作することにより、自身の静止画における手首、ひざなどの関節ポイント位置を指定する。図４においては、ユーザが右手首の関節ポイントＰ１を、左手首の関節ポイントＰ２を、右ひざの関節ポイントＰ３を、左ひざの関節ポイントＰ４を指定した例を示している。

なお、ユーザによるリモートコントローラにおける操作は、映像処理装置２０の操作検出部２３２が検出する。例えば、操作検出部２３２は、リモートコントローラから発せられる赤外線または無線信号などによりユーザ操作を検出してもよい。また、ユーザは映像処理装置２０に設けられているボタン、パッドまたはパネルなどを操作し、操作検出部２３２は、このようなボタン、パッドまたはパネルなどに対するユーザ操作を検出してもよい。

また、映像処理装置２０のポイント設定部２３６は、ユーザにより指定された関節ポイント周辺の画像をパターン画像として設定する。なお、図４においては関節ポイントの一例として手首およびひざを示したが、関節ポイントは人体における任意の部位であってもよい。例えば、関節ポイントは、頭、首、肩、肘、腰、腹、または足首などであってもよい。

ポイント設定部２３６によるポイント設定画面における設定が終了すると、表示生成部２２４は、図５に示すトレーニング画面を生成する。

図５は、表示生成部２２４が生成するトレーニング画面の具体例を示した説明図である。図５に示したように、トレーニング画面は、インストラクター（第１の人物）の映像が表示されるインストラクター映像領域５２、ユーザ（第２の人物）の映像が表示されるユーザ映像領域５４、およびアドバイス表示領域５６を含む。

なお、インストラクター映像領域５２に表示されるインストラクターの映像は、体型調整部２２８によりユーザの体型に体型が近似されたインストラクターの映像である。また、ユーザ映像領域５４に表示される映像は、撮像装置３０により撮像されたユーザの映像である。

また、図５にはヨガのトレーニング画面を示している。ユーザは、かかるトレーニング画面において、ユーザ映像領域５４に表示される自身のフォームを確認しながら、インストラクター映像領域５２に表示されるインストラクターの映像を手本にしてヨガのフォームを練習することができる。

さらに、図５に示した例では、インストラクターの両手が開いているのに対し、ユーザの手は腰の前で組まれている。このようにインストラクターのフォームとユーザのフォームが異なる場合、本実施形態によれば、ユーザにフォームが異なる旨を通知することができる。

例えば、図５に示したように、表示生成部２２４は、アドバイス表示領域５６に「手の位置が間違っています！」と表示したり、ユーザの映像においてフォームが異なる手の部分に他の部分と異なる色を付してもよい。すなわち、表示生成部２２４は、ユーザにフォームが異なる旨を通知するための処理を行う通知処理部としての機能を包含する。

また、表示生成部２２４は、インストラクターのフォームとユーザのフォームの一致度に応じて背景の色を変化させてもよい。また、表示生成部２２４は、インストラクターのフォームとユーザのフォームの一致度に応じた種類のアイコンをトレーニング画面に含ませてもよい。また、表示生成部２２４は、インストラクターのフォームとユーザのフォームの一致度を点数化した値をトレーニング画面に含ませてもよい。

また、インストラクターのフォームとユーザのフォームが異なる場合、音声制御部２４８が表示装置４０に出力させる音声を制御することによりユーザにフォームが異なる旨を通知してもよい。例えば、音声制御部２４８は、インストラクターのフォームとユーザのフォームが異なる場合、「手の位置が間違っています。」という音声を表示装置４０に出力させてもよい。また、音声制御部２４８は、インストラクターのフォームとユーザのフォームの一致度に応じたテンポや調で任意の音楽を出力させてもよい。

このように、本実施形態によれば、インストラクターのフォームとユーザのフォームが異なる場合にその旨をユーザに通知することができる。したがって、ユーザは、かかる通知により自身のフォームに関する課題を客観的に把握し、効率的にフォームを習得していくことが可能である。

なお、図５においては、インストラクター映像領域５２、およびユーザ映像領域５４が並べて配置される例を示しているが、トレーニング画面の構成はかかる例に限定されない。例えば、トレーニング画面において、インストラクターの映像とユーザの映像は重ねて表示されてもよい。かかる構成により、ユーザは、インストラクターの映像とユーザの映像の重なっていない部分のフォームが誤りであることを把握することができる。

また、表示生成部２２４により生成されたトレーニング画面は記憶部２５２に録画される。したがって、ユーザは、録画されたトレーニング画面を事後的に確認することによっても、自身のフォームの課題を客観的に把握することが可能である。なお、記憶部２５２は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯディスクなどの記憶媒体であってもよい。

＜３．映像の比較方法＞
次に、図６および図７を参照し、映像におけるインストラクターのフォームおよびユーザのフォームの比較方法について説明する。

ポイント検出部２４０は、撮像装置３０により撮像されたユーザの映像から、ポイント設定部２３６により設定されたパターン画像に基づいて、関節ポイントＰ１〜Ｐ４を検出する。例えば、ポイント検出部２４０は、ユーザの映像とパターン画像とのパターンマッチングを行い、ユーザの映像中でパターン画像に該当する部分を関節ポイントＰ１〜Ｐ４として検出する。

図６は、ポイント検出部２４０によるポイント検出結果の一例を示した説明図である。図６に示したように、ポイント検出部２４０により検出された関節ポイントＰ１〜Ｐ４は、ＸＹ座標系で表現される。具体的には、図６には、右手首に対応する関節ポイントＰ１が（−７，２８）、左手首に対応する関節ポイントＰ２が（７，２８）と表現される例を示している。同様に、図６には、右ひざに対応する関節ポイントＰ３が（−２７，１０）、左ひざに対応する関節ポイントＰ４が（２７，１０）と表現される例を示している。

ここで、Ｘ軸およびＹ軸のとり方は任意であるが、図６では、Ｘ軸が外形の最下部と接するように配され、Ｙ軸が外形の中心を通るように配される例を示している。また、ユーザの映像中での関節ポイントＰ１〜Ｐ４の１フレームあたりの移動量が限定的であると考えられる場合、ポイント検出部２４０は、直前のフレームで検出した関節ポイントＰ１〜Ｐ４の所定範囲内をパターンマッチングの対象としてもよい。また、ポイント検出部２４０は、関節ポイントＰ１〜Ｐ４の検出を毎フレームで行なわず、所定フレーム間隔で行なってもよい。

一方、データ読込部２２０は、光ディスクなどの記憶媒体から、インストラクターの映像データに加え、インストラクターの手首やひざなどの関節ポイントの位置を示すポイントデータを読込む。図７に、データ読込部２２０により読込まれるポイントデータの具体例を示す。

図７は、データ読込部２２０により読込まれるポイントデータの具体例を示した説明図である。図７に示したように、ポイントデータは、フレーム番号と、左手首、右手首、左ひざ、および右ひざなどの関節ポイントの位置を含む。具体的には、図７には、フレーム番号が「３０２８」であるフレームにおけるインストラクターの左手首位置が（２５，１５）で、右手首位置が（−２５，１５）で、左ひざ位置が（２８，１０）で、右ひざ位置が（−２８，１０）である例を示している。

比較部２４４は、ポイント検出部２４０により検出されたユーザの映像中での関節ポイントＰ１〜Ｐ４と、対応するフレームにおけるインストラクターのポイントデータを比較し、双方の一致度が基準を満たしているか否かを判断する。例えば、比較部２４４は、ユーザの映像中での右手首に対応する関節ポイントＰ１と、インストラクターの右手首位置の差分が所定量以上である場合、ユーザの右手首の位置が誤っていると判断する。そして、右手首の位置が誤っていると比較部２４４により判断された場合、表示生成部２２４または音声制御部２４８がその旨を通知するための処理を行う。

また、比較部２４４は、ユーザのある関節ポイントの位置と、インストラクターのある関節ポイントの位置との差分が所定量以上である状態が所定期間にわたって維持された場合、ユーザの当該関節ポイントの位置が誤っていると判断してもよい。

なお、表示生成部２２４は、ポイント設定画面において、ポイントデータに含まれる関節ポイントをユーザに指定させてもよい。また、ポイントデータには、インストラクターの映像の全てのフレームにおける関節ポイントの位置でなく、所定間隔のフレームにおける関節ポイントの位置が含まれていてもよい。

（変形例１）
なお、上記では、ユーザの手首やひざなどの関節ポイントを検出するために、画像のパターンマッチングを行なう例を説明したが、本発明はかかる例に限定されない。例えば、ユーザが手首やひざに加速度センサやジャイロセンサなどの動き検出センサを装着し、ポイント検出部２４０が当該動き検出センサにより検出された情報に基づいてユーザの手首やひざなどの関節ポイントの位置を検出してもよい。

（変形例２）
また、野球のバッティングやゴルフのスイングのような早い動作においては、ユーザがインストラクターと同一のフォームであったとしても、インストラクターの動作タイミングより遅れると、フォームが誤っていると判断されてしまう場合が想定される。そこで、比較部２４４は、トレーニング画面に表示されているフレーム以降の所定数のフレームのポイントデータとポイント検出部２４０により検出された関節ポイントＰ１〜Ｐ４を比較してもよい。そして、比較部２４４は、ポイント検出部２４０により検出された関節ポイントＰ１〜Ｐ４が、上記所定数のフレームのポイントデータのいずれとの基準も満たさない場合、ユーザのフォームが誤っていると判断してもよい。

（変形例３）
また、上記では、ユーザの手首やひざなどの関節ポイントを検出する例を説明したが、必ずしもこれら関節ポイントを検出しなくてもよい。例えば、比較部２４４は、撮像装置３０により撮像された映像におけるユーザの外形を検出し、当該外形の範囲とポイントデータの示すインストラクターの関節ポイント位置を比較してもよい。そして、比較部２４４は、ポイントデータの示すいずれかの関節ポイント位置の位置が当該ユーザの外形の範囲に含まれない場合、ユーザの当該関節ポイント位置の位置が誤っていると判断してもよい。

例えば、図５に示した例では、インストラクターの両手首の位置が、ユーザの外形の半に含まれない。比較部２４４は、このような場合にユーザの両手首の位置が誤っていると判断してもよい。

（変形例４）
また、上記では、ポイント検出部２４０により検出されたユーザの関節ポイントと、ポイントデータの示すインストラクターの関節ポイントとを直接比較する例を説明したが、本発明はかかる例に限定されない。例えば、体型調整部２２８がインストラクターの体型の調整内容に応じてポイントデータを補正し、比較部２４４が補正されたポイントデータの示すインストラクターの関節ポイントとユーザの関節ポイントとを比較してもよい。

より具体的には、体型調整部２２８は、インストラクターの外形を高さ方向にｈ％伸長した場合、ポイントデータに含まれる各間接ポイントのｙ座標値をｈ％増加させてもよい。逆に、体型調整部２２８は、インストラクターの外形を高さ方向にｈ％圧縮させた場合、ポイントデータに含まれる各間接ポイントのｙ座標値をｈ％減少させてもよい。

同様に、体型調整部２２８は、インストラクターの外形を横方向にｗ％伸長させた場合、ポイントデータに含まれる各間接ポイントのｘ座標値をｗ％増加させてもよい。逆に、体型調整部２２８は、インストラクターの外形を高さ方向にｗ％圧縮させた場合、ポイントデータに含まれる各間接ポイントのｘ座標値をｗ％減少させてもよい。

また、体型調整部２２８は、インストラクターの手の長さをｐ％増加させた場合、補正前のインストラクターの手首位置を（ｘ１、ｙ１）とし、インストラクターの肩位置を（ｘ２、ｙ２）とすると、手首の位置（ｘ３，ｙ３）を以下のように補正してもよい。

ｘ３＝ｘ２＋（１＋（ｐ／１００））・（ｘ２−ｘ１）
ｙ３＝ｙ２＋（１＋（ｐ／１００））・（ｙ２−ｙ１）

かかる構成によれば、比較部２４４が、ユーザの体型に合わせて補正されたポイントデータを利用して関節ポイントの比較を行なうことができる。その結果、フォームの一致、相違に関するユーザへの通知をより正確に行なうことが可能となる。

（変形例５）
また、ユーザの関節ポイントの位置が誤っているか否かの比較部２４４による判断基準は動的に変更されてもよい。例えば、ユーザの関節ポイントの所定期間における一致度が低い場合、比較部２４４による判断基準が下げられてもよい。すなわち、ユーザの関節ポイントとインストラクターの関節ポイントとの許容される差分を増加させてもよい。また、ユーザのレベルに合ったトレーニングへの変更を促す表示をしたり、ユーザのレベルに合った他のインストラクターの映像に切替えてもよい。

＜４．映像処理装置の動作＞
次に、図８を参照し、本実施形態にかかる映像処理装置２０において実行される情報処理方法の流れを説明する。

図８は、本実施形態にかかる映像処理装置２０において実行される情報処理方法の流れを示したフローチャートである。図８に示したように、映像処理装置２０の電源が投入され、本アプリケーションが起動されると（Ｓ３０４）、撮像装置３０からの映像入力が無い場合（Ｓ３０８）、表示生成部２２４は警告画面を生成して表示装置４０に表示させる（Ｓ３１２）。なお、上記アプリケーションは、表示生成部２２４、体型調整部２２８、ポイント設定部２３６、ポイント検出部２４０、比較部２４４、および音声制御部２４８などの機能に該当する。また、表示生成部２２４が生成する警告画面は、例えば、「カメラを接続してください。」という文字列を含んでもよい。

そして、撮像装置３０からの映像入力がある場合、データ読込部２２０が光ディスクなどの記憶媒体からインストラクターの映像を読込む（Ｓ３１６）。なお、映像処理装置２０は、インストラクターの映像およびポイントデータを、放送局１４から取得することも、コンテンツサーバ１０から取得することも可能である。

続いて、データ読込部２２０により読込まれた映像におけるインストラクターの体型を体型調整部２２８がユーザの体型に合うように調整、補正する（Ｓ３２０）。また、ポイント設定部２３６が、ユーザ操作に基づいて関節ポイントを設定する（Ｓ３２４）。

その後、表示生成部２２４が、撮像装置３０により撮像されたユーザの映像と、体型調整部２２８により体型が調整されたインストラクターの映像を合成し、トレーニング画面を生成する（Ｓ３２８）。表示生成部２２４により生成されたトレーニング画面は表示装置４０に表示される。

また、ポイント検出部２４０が、撮像装置３０により撮像されたユーザの映像からパターンマッチングにより関節ポイントを検出する（Ｓ３３２）。さらに、比較部２４４が、ポイント検出部２４０により検出されたユーザの関節ポイントと、データ読込部２２０により読込まれたポイントデータの示すインストラクターの関節ポイントとを比較する（Ｓ３３６）。

そして、ユーザの関節ポイントとインストラクターの関節ポイントの一致度が基準を達成していない場合（Ｓ３４０）、表示生成部２２４がトレーニング画面においてユーザの関節ポイントの位置が誤っている旨を通知するための表示を行なう（Ｓ３４４）。例えば、比較部２４４は、同一の関節ポイントの位置がユーザとインストラクターとで所定量以上異なっていた場合、当該関節ポイントが基準を達成していないと判断する。また、ユーザの関節ポイントとインストラクターの関節ポイントの一致度が基準を達成していない場合、音声制御部２４８が表示装置４０から出力させる音声を制御することによりユーザの関節ポイントの位置が誤っている旨を通知してもよい。

続いて、ユーザの関節ポイントとインストラクターの関節ポイントの一致度が基準を達成しているか否かにかかわらず、映像処理装置２０はトレーニング画面を記憶部２５２に録画する（Ｓ３４８）。

その後、ユーザにより終了を指示された場合、あるいはインストラクターの映像が最後まで表示された場合（Ｓ３５２）、映像処理装置２０は、記憶部２５２への録画およびオンアプリケーションを終了する（Ｓ３５６）。

＜５．まとめ＞
以上説明したように、本実施形態によれば、表示装置４０にインストラクターの映像およびユーザの映像の双方を表示することができる。かかる構成により、ユーザが表示装置４０で自身の映像を確認しつつ、インストラクターの映像を手本にしてフォームを練習することが可能となる。ここで、インストラクターの映像は、ユーザの体型に合わせて調整されているため、より適確な比較が可能となる。

さらに、本実施形態によれば、インストラクターのフォームとユーザのフォームが異なる場合、ユーザにフォームが異なる旨を音声または映像により通知することができる。したがって、ユーザは、かかる通知により自身のフォームに関する課題を客観的に把握し、効率的にフォームを習得していくことが可能である。

なお、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書の映像処理装置２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、映像処理装置２０の処理における各ステップは、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）を含んでもよい。

また、映像処理装置２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した映像処理装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。また、図２の機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

本実施形態にかかる情報処理システムの全体構成を示した説明図である。 本実施形態にかかる映像処理装置の構成を示した機能ブロック図である。 表示生成部が生成する初期設定画面の具体例を示した説明図である。 表示生成部が生成するポイント設定画面の具体例を示した説明図である。 表示生成部が生成するトレーニング画面の具体例を示した説明図である。 ポイント検出部によるポイント検出結果の一例を示した説明図である。 データ読込部により読込まれるポイントデータの具体例を示した説明図である。 本実施形態にかかる映像処理装置において実行される情報処理方法の流れを示したフローチャートである。

符号の説明

１０ コンテンツサーバ
１２ 通信網
１４ 放送局
２０ 映像処理装置
３０ 撮像装置
４０ 表示装置
２１６ 通信部
２２０ データ読込部
２２４ 表示生成部
２２８ 体型調整部
２３２ 操作検出部
２３６ ポイント設定部
２４０ ポイント検出部
２４４ 比較部
２４８ 音声制御部
２５２ 記憶部

Claims (10)

1. 記憶媒体に記憶されている第１の人物の映像、および撮像装置により撮像された第２の人物の映像を取得する取得ステップと；
   前記第１の人物の映像および前記第２の人物の映像を含む表示画面を生成する生成ステップと；
   前記第１の人物の映像および前記第２の人物の映像において、前記第１の人物および前記第２の人物のフォームを比較する比較ステップと；
   前記比較の結果を前記第２の人物に通知するための処理を行う通知ステップと；
   を含む、情報処理方法。
2. 前記記憶媒体には、前記第１の人物の映像における前記第１の人物の所定部位の位置情報が記憶されており、
   前記比較ステップにおいては、前記第１の人物の所定部位の位置情報、および前記第２の人物の映像における前記第２の人物の所定部位の位置情報を比較する、請求項１に記載の情報処理方法。
3. 前記第２の人物の静止画を生成し、前記第２の人物の所定部位の前記静止画における対応部分を設定する設定ステップと；
   前記設定ステップにおいて設定された対応部分に基づいて前記第２の人物の所定部位を前記第２の人物の映像から検出するステップと；
   をさらに含む、請求項２に記載の情報処理方法。
4. 前記通知するための処理は、前記表示画面において、前記第１の人物および前記第２の人物のフォームの異なる部位を示すための処理である、請求項３に記載の情報処理方法。
5. 前記第１の人物の映像における前記第１の人物の体型を、前記第２の人物の体型に近似させるステップをさらに含む、請求項４に記載の情報処理方法。
6. 前記表示画面において、前記第１の人物の映像および前記第２の人物の映像は重ねて表示される、請求項５に記載の情報処理方法。
7. 前記表示画面および前記比較の結果を記憶媒体に記録するステップをさらに含む、請求項１〜６に記載の情報処理方法。
8. 記憶媒体に記憶されている第１の人物の映像、および撮像装置により撮像された第２の人物の映像を含む表示画面を生成する生成部と；
   前記第１の人物の映像および前記第２の人物の映像において、前記第１の人物および前記第２の人物のフォームを比較する比較部と；
   前記比較の結果を前記第２の人物に通知するための処理を行う通知処理部と；
   を備える、情報処理装置。
9. コンピュータを、
   記憶媒体に記憶されている第１の人物の映像、および撮像装置により撮像された第２の人物の映像を含む表示画面を生成する生成部と；
   前記第１の人物の映像および前記第２の人物の映像において、前記第１の人物および前記第２の人物のフォームを比較する比較部と；
   前記比較の結果を前記第２の人物に通知するための処理を行う通知処理部と；
   として機能させるための、プログラム。
10. コンピュータを、
    記憶装置に記憶されている第１の人物の映像、および撮像装置により撮像された第２の人物の映像を含む表示画面を生成する生成部と；
    前記第１の人物の映像および前記第２の人物の映像において、前記第１の人物および前記第２の人物のフォームを比較する比較部と；
    前記比較の結果を前記第２の人物に通知するための処理を行う通知処理部と；
    として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
    
    
    
    

Images