JP2010258613A - 動画処理システム、動画処理方法、動画処理プログラム、および動画処理装置 - Google Patents

Abstract

【課題】利用者を撮像した撮像動画と共に利用者の手本となった手本動画を再生することができ、更に、リアルタイムに利用者の動作の評価を提示することができる動画処理システム、動画処理方法、動画処理プログラム、および動画処理装置を提供することである。
【解決手段】手本動作者の撮像動画を手本動画として格納する手本動画格納部１１０と、利用者を撮像する撮像部１２０と、撮像部１２０が撮像した利用者の撮像動画を取得する撮像動画取得部１３０と、撮像動画取得部１３０が取得した利用者の撮像動画と、手本動画格納部１１０から読み出した手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出部１４０と、人物領域抽出部１４０が抽出した手本動作者の人物領域から人物の輪郭線を求め、輪郭線と利用者の撮像動画とを、表示用動画として合成する動画合成部１５０と、動画合成部１５０が合成した表示用動画を表示する表示部１７０とを備える。
【選択図】図１

Description

本発明は、動画処理システム、動画処理方法、動画処理プログラム、および動画処理装置に関する。

カラオケ装置においては、曲の振付を覚えたい利用者のために、利用者を撮像して取得した撮像動画をディスプレイに表示したり、その振付の手本となる手本動作者の動作を撮像した手本動画をディスプレイに表示したりするものがある。手本動画においては、曲に同期して動くＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）のキャラクタを表示するものもある。

このような機能を持つカラオケ装置においては、利用者の振付を評価するものもある。利用者の振付の評価にあっては、例えば、利用者の振付を撮像した撮像動画と、利用者の振付の手本となった手本動画とを比較し、両者の人物の動作の差異の大きさによって利用者の振付の良否を評価する。

このような装置の一例として動作比較装置なるものが、特許文献１に記載されている。特許文献１に記載の動作比較装置は、基本となる動作に関する動作情報を取得して記憶する第１の情報記憶手段と、利用者の動作に関する動作情報を取得して記憶する第２の情報記憶手段と、これら第１の情報記憶手段及び第２の情報記憶手段に記憶されている第１の動作情報及び第２の動作情報を呼び出して、第１の動作情報及び第２の動作情報を相互に比較する比較手段と、比較手段の比較の結果を表示する表示手段とから構成されている。

このような構成を有する動作比較装置は、次のように動作する。すなわち、まず第１の情報記憶手段が、歌手等の規定振付動作情報である第１の動作情報を事前に記憶しておく。次に第２の情報記憶手段が、カラオケ装置等の演奏に合わせて利用者の振付動作情報である第２の動作情報を記憶するのと同時に、比較手段が第１の動作情報を利用者の体格に合わせて補正した第３の動作情報と、第２の動作情報とを規定コマの振付毎に比較し、その情報の差分値を蓄積していく。カラオケ装置等の演奏が終了したら、蓄積した差分値を総計し、採点点数として計算して、表示手段がその採点結果をディスプレイに表示する。

特開平１０−２０７３４７号公報

玉木徹、山村毅、大西昇著「画像系列からの人物領域の抽出」、１９９９年１月、電気学会論文誌Ｃ、Ｖｏｌ．１１９−Ｃ，Ｎｏ．１，ｐｐ．３７−４３

しかしながら、上記のような構成の装置では、利用者を撮像した撮像動画、または利用者の手本となった手本動画のうち、どちらか一方の動画だけしか再生することができない。また、上記のような構成の装置を応用したカラオケ装置等では、例えば、１曲の振付が全て終了してからでないと、その評価を得ることができない。

本発明は、上記事情を考慮してなされたもので、その目的とする所は、利用者を撮像した撮像動画と共に利用者の手本となった手本動画を再生することができ、更に、リアルタイムに利用者の動作の評価を提示することができる動画処理システム、動画処理方法、動画処理プログラム、および動画処理装置を提供することである。

上記課題を解決するために、本発明の動画処理システムによると、事前に撮像した手本動作者の撮像動画を手本動画として格納する手本動画格納部と、利用者を撮像する撮像部と、前記撮像部が撮像した利用者の撮像動画を取得する撮像動画取得部と、前記撮像動画取得部が取得した前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出部と、前記人物領域抽出部が抽出した前記手本動作者の人物領域から人物の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成部と、前記動画合成部が合成した前記表示用動画を表示する表示部とを備える。

本発明の動画処理方法によると、事前に撮像した手本動作者の撮像動画を手本動画として手本動画格納部に格納する手本動画格納ステップと、利用者を撮像する撮像ステップと、前記撮像ステップにおいて撮像された利用者の撮像動画を取得する撮像動画取得ステップと、前記撮像動画取得ステップにおいて取得された前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出ステップと、前記人物領域抽出ステップにおいて抽出された前記手本動作者の人物領域から人物の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成ステップと、前記動画合成ステップにおいて合成された前記表示用動画を表示する表示ステップとを備える。

本発明の動画処理プログラムによると、コンピュータに、事前に撮像した手本動作者の撮像動画を手本動画として手本動画格納部に格納する手本動画格納手順と、利用者を撮像する撮像手順と、撮像手順において撮像された利用者の撮像動画を取得する撮像動画取得手順、前記撮像動画取得手順において取得された前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出手順、前記人物領域抽出手順において抽出された前記手本動作者の人物領域から人物の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成手順、前記動画合成手順において合成された前記表示用動画を表示する表示手順を実行させる。

本発明の動画処理装置によると、事前に撮像した手本動作者の撮像動画を手本動画として格納する手本動画格納部と、利用者を撮像する撮像部と、前記撮像部が撮像した利用者の撮像動画を取得する撮像動画取得部と、前記撮像動画取得部が取得した前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出部と、前記人物領域抽出部が抽出した前記手本動作者の人物領域から人物の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成部と前記動画合成部が合成した前記表示用動画を表示する表示部とを備える。

本発明によれば、手本動画を視聴しながら動作する利用者を撮像した撮像動画の各フレームと、手本動画の各フレームとを合成して、撮像動画における利用者の動きと、手本動画における手本動作者の輪郭線とを比較できるように表示するため、利用者が自分の振付等の良否を確認しながら動作することができる。

本実施形態に係る動画処理システム１００の機能構成の一例を示す図である。 人物領域抽出部１４０の処理の一例を示す図である。 差分判定部１６０の処理の一例を示す図である。 動画撮像部１１の詳細な動作を示すフローチャートである。 人物領域抽出部１４０の詳細な動作を示すフローチャートである。 動画合成部１５０の詳細な動作を示すフローチャートである。 差分判定部１６０の詳細な動作を示すフローチャートである。 本発明をカラオケルームに応用した場合の応用例である。 本発明を踊りの自習教材に応用した場合の応用例である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る動画処理システム１００の機能構成の一例を示す図である。
動画処理システム１００は、手本動画格納部１１０、撮像部１２０、撮像動画取得部１３０、人物領域抽出部１４０、動画合成部１５０、差分判定部１６０、および表示部１７０を備える。手本動画格納部１１０は、事前に撮像した手本動作者の撮像動画を手本動画として格納する。

撮像動画取得部１３０は、撮像部１２０が撮像した利用者の撮像動画を取得する。人物領域抽出部１４０は、撮像動画取得部１３０が取得した利用者の撮像動画と、手本動画格納部１１０から読み出した手本動作者の撮像動画からそれぞれ人物領域を抽出する。動画合成部１５０は、人物領域抽出部１４０が抽出した手本動作者の人物領域から手本動作者の輪郭線を求め、輪郭線と利用者の撮像動画とを、表示用動画として合成する。

差分判定部１６０は、人物領域抽出部１４０が抽出した利用者と手本動作者の人物領域を比較し、差分の良否を判定する。また、差分判定部１６０は、判定結果を数値化して表示部１７０に出力する。また、差分判定部１６０は、差分が許容範囲を超えた場合、動画合成部１５０に警告信号を出力する。動画合成部１６０は、警告信号を入力した場合、手本動作者の輪郭線の色を、通常とは異なる色となるように合成する。表示部１７０は、動画合成部１５０が合成した表示用動画と、差分判定部１６０が判定した判定結果を表示する。

本実施形態に係る動画処理システム１００は、事前に撮像した手本動作者の撮像動画を手本動画として手本動画格納部１１０に格納する。そして、撮像した利用者の撮像動画を取得して、利用者の撮像動画と、手本動画格納部１１０から読み出した手本動作者の撮像動画からそれぞれ人物領域を抽出して、手本動作者の人物領域から手本動作者の輪郭線を求め、輪郭線と利用者の撮像動画とを、表示用動画として合成して、表示用動画を表示するので、利用者が自分の振付等の良否を確認しながら動作することができる。

また、本実施形態に係る動画処理システム１００は、利用者の人物領域と、手本動作者の人物領域を比較し、差分の良否を判定して、表示用動画と共に、判定結果を表示する。例えば、動画処理システム１００は、差分の良否判定を、利用者の人物領域と、手本動作者の人物領域とを重ね合わせたときのズレの大きさを算出して判定して、差分の良否判定結果に応じた点数を表示させる。また、動画処理システム１００は、差分が許容範囲を超えた場合、手本動作者の輪郭線の色を、差分が許容範囲内のときとは異なる色となるように合成するので、利用者が自分の動作が手本動作と極度にずれた場合に、瞬時に知ることができる。

図２は、人物領域抽出部１４０の処理の一例を示す図である。
フレーム１０は、利用者を撮像した撮像動画の１フレームである。本実施形態の利用者は、手本動画を視聴しながら、例えば振付の動作を行う。フレーム２０は、この手本動画の１フレームであって、フレーム１０が撮像されたタイミングと同じタイミングで再生された手本動画の１フレームである。

フレーム１０は利用者の１フレーム分の撮像動画を、フレーム２０は手本動作者の１フレーム分の手本動画を、人物領域１１はフレーム１０から抽出した利用者の人物領域を、人物領域２１はフレーム２０から抽出した手本動作者の人物領域を、人物領域２２は補正した手本動作者の人物領域を表わす。また、矩形領域１１ａ、２１ａ、２２ａは、それぞれ人物領域１１、２１、２２における人物の占有領域に外接する矩形領域を指す。なお、人物の占有領域とは、人物領域１１、２１、２２内の人型のシルエット領域を指すものとする。

人物領域抽出部１４０は、矩形領域１１ａの左上隅の座標と一致するように、矩形領域２１ａを人物領域２１内で移動させる。そして、人物領域抽出部１４０は、矩形領域２１ａの縦横の大きさが矩形領域１１ａの縦横の大きさと一致するように伸縮を行う。それに伴って、人物領域抽出部１４０は、矩形領域２１ａ内の人物の占有領域を、矩形領域２１ａが伸縮された縦横それぞれの伸縮率で伸縮する。

この例では、縦方向に０．８５倍、横方向に１．１５倍の伸縮を行っている。以上の補正により矩形領域２２ａが得られ、その位置と大きさは矩形領域１１ａと一致する。なお、この例では、人物の占有領域をシルエット領域として説明したが、人物のシルエットの輪郭線だけの情報を用いるようにしてもよい。

図３は、差分判定部１６０の処理の一例を示す図である。
領域１１ｂは、図２に示す利用者の撮像動画の１フレームの人物領域１１における利用者のシルエットが有する領域である。同様に、領域２２ｂは、図２に示す補正後の手本動画の１フレームの人物領域２２における人物のシルエットが有する領域である。例えば、差分判定部１６０は、それぞれの人物領域１１ｂ、２２ｂの面積を演算する。そして、差分判定部１６０は、例えば、これらの領域を重ね合わせたときの両者の共通領域３０の面積を演算する。

差分判定部１６０は、領域１１ｂの面積と共通領域３０の面積を基に、手本動画における人物の動作と、利用者の撮像動画における利用者の動作との差異の大きさを示す指標として、例えば、式（１）のような方法で差異率を演算する。差分判定部１６０は、式（１）によって、撮像動画の利用者の占有領域から手本動画の人物の占有領域と共通する領域を差し引いた領域が、利用者の占有領域全体に対し、どの程度の割合かを算出するものである。例えば、このようにして算出された値が、１０％以内であれば、利用者の動作と手本動作者の動作とのズレが許容範囲内であると判定するようにする。

図４は、撮像動画取得部１３０の詳細な動作を示すフローチャートである。
まず、撮像動画取得部１３０は、利用者から撮像開始の指示を受け付けると、撮像部１２０を起動して利用者の撮像を開始する（Ｓ１０１）。次に、撮像動画取得部１３０は、撮像部１２０から１フレーム分の撮像動画を取得する（Ｓ１０２）。次に、撮像動画取得部１３０は、人物領域抽出部１４０および動画合成部１５０に撮像動画を供給する（Ｓ１０３、Ｓ１０４）。

次に、撮像動画取得部１３０は、人物領域抽出部１４０から手本動画のフレームが最終フレームの場合に通知される撮像終了通知が来ているかどうかをチェックする（Ｓ１０５）。撮像動画取得部１３０は、人物領域抽出部１４０から撮像終了通知が来ていなければ（Ｓ１０５：Ｎｏ）、ステップＳ１０２からの動作を繰り返す。また、撮像動画取得部１３０は、人物領域抽出部１４０から撮像終了通知が来ている場合には（Ｓ１０５：Ｙｅｓ）、動作を終了する。

図５は、人物領域抽出部１４０の詳細な動作を示すフローチャートである。
まず、人物領域抽出部１４０は、撮像動画取得部１３０から利用者の１フレーム分の撮像動画を取得する（Ｓ２０１）。次に、人物領域抽出部１４０は、その撮像動画から利用者の人物領域を抽出する（Ｓ２０２）。ここで抽出方法は、例えば非特許文献１に記載の方法による。

次に、人物領域抽出部１４０は、抽出した利用者の人物領域を、差分判定部１６０に供給する（Ｓ２０３）。次に、人物領域抽出部１４０は、利用者の撮像動画に対応するものとして、手本動画格納部１１０から手本動作者の手本動画を１フレーム分取得する（Ｓ２０４）。次に、人物領域抽出部１４０は、ステップＳ２０２と同様に手本動作者の人物領域を抽出する（Ｓ２０５）。フレームの取得は、手本動画格納部１１０が格納する手本動画の先頭フレームの画像から順に行う。

次に、人物領域抽出部１４０は、利用者と手本動作者では一般に体格に相違があるため、抽出した手本動作者の人物領域を、利用者の人物領域に合うように補正する（Ｓ２０６）。補正方法としては、上述したように、例えば各々の人物の占有領域に外接する矩形領域を求め、両矩形領域の位置と大きさが一致するように伸縮したときの縦横それぞれの伸縮率を以て、手本動画のフレーム毎に、人物の占有領域の移動および伸縮を行う。

次に、人物領域抽出部１４０は、補正後の手本動作者の人物領域を、差分判定部１６０および動画合成部１５０に供給する（Ｓ２０７、Ｓ２０８）。次に、人物領域抽出部１４０は、ステップＳ２０４で取得した手本動画のフレームが手本動画格納部１１０の最終フレームかどうかをチェックし（Ｓ２０９）、最終フレームでなければ（Ｓ２０９：Ｎｏ）、ステップＳ２０１からの動作を繰り返す。また、人物領域抽出部１４０は、最終フレームの場合には（Ｓ２０９：Ｙｅｓ）、撮像動画取得部１３０、動画合成部１５０、差分判定部１６０の各部に撮像終了を通知する（Ｓ２１０）。

図６は、動画合成部１５０の詳細な動作を示すフローチャートである。
まず、動画合成部１５０は、撮像動画取得部１３０から利用者の１フレーム分の撮像動画を取得する（Ｓ３０１）。次に、動画合成部１５０は、人物領域抽出部１４０から手本動作者の人物領域を取得する（Ｓ３０２）。次に、動画合成部１５０は、その人物領域から手本動作者の輪郭線を抽出する（Ｓ３０３）。

次に、動画合成部１５０は、抽出した輪郭線の表示色を通常色に設定する（Ｓ３０４）。次に、動画合成部１５０は、差分判定部１６０から警告が通知されているかどうかをチェックする（Ｓ３０５）。動画合成部１５０は、差分判定部１６０から警告が通知されている場合は（Ｓ３０５：Ｙｅｓ）、表示色を警告色に変更する（Ｓ３０６）。なお、通常色は利用者と手本動作者の動作が同期していることを、警告色は利用者と手本動作者の動作に許容範囲を超える差異があることを示す。次に、動画合成部１５０は、表示色の設定が済んだら、ステップＳ３０１で取得した利用者の１フレーム分の撮像動画と、手本動作者の輪郭線情報を、輪郭線が前面に来るように、且つステップＳ３０４〜Ｓ３０６で設定した表示色になるように合成する（Ｓ３０７）。

次に、動画合成部１５０は、合成したフレームを表示部１７０に出力する（Ｓ３０８）。次に、動画合成部１５０は、人物領域抽出部１４０から撮像終了通知が来ているかどうかをチェックする（Ｓ３０９）。動画合成部１５０は、人物領域抽出部１４０から撮像終了通知が来ていなければ（Ｓ３０９：Ｎｏ）、ステップＳ３０１からの動作を繰り返す。また、人物領域抽出部１４０から撮像終了通知が来ている場合には（Ｓ３０９：Ｙｅｓ）、動作を終了する。

図７は、差分判定部１６０の詳細な動作を示すフローチャートである。
まず、差分判定部１６０は、人物領域抽出部１４０から利用者と手本動作者の人物領域を取得する（Ｓ４０１、Ｓ４０２）。次に、差分判定部１６０は、両人物領域の差異の大きさを算出する（Ｓ４０３）。次に、差分判定部１６０は、算出した差異の大きさを、表示部１７０に表示させるように出力する（Ｓ４０４）。例えば、差分判定部１６０は、差異の大きさを、所定のルールに従って点数化して出力する。また、差分判定部１６０は、差異の大きさを示唆する棒グラフ等の指標を使って表示するようにしてもよい。

一方、差分判定部１６０は、ステップＳ４０３で求めた差異の大きさが一定の許容範囲に収まるかどうかをチェックする（Ｓ４０５）。差分判定部１６０は、差異の大きさが一定の許容範囲を超えている場合には（Ｓ４０５：Ｎｏ）、表示中の点数を警告表示に変更する（Ｓ４０６）。次に、差分判定部１６０は、動画合成部１５０に警告通知を発行する（Ｓ４０７）。一方、差分判定部１６０は、差異の大きさが一定の許容範囲を超えていない場合には（Ｓ４０５：Ｙｅｓ）、動画合成部１５０に警告の解除通知を発行する（Ｓ４０８）。これらの通知は、動画合成部１５０において、手本動作者の輪郭線を通常色と警告色のどちらで表示するかを決めるのに用いる。

次に、差分判定部１６０は、人物領域抽出部１４０から撮像終了通知が来ているかどうかをチェックする（Ｓ４０９）。差分判定部１６０は、人物領域抽出部１４０から撮像終了通知が来ていなければ（Ｓ４０９：Ｎｏ）、ステップＳ４０１からの動作を繰り返す。また、差分判定部１６０は、人物領域抽出部１４０から撮像終了通知が撮像終了通知が来ている場合には（Ｓ４０９：Ｙｅｓ）、動作を終了する。

本実施形態に係る動画処理システム１００によれば、手本動画を視聴しながら動作する利用者を撮像した撮像動画の各フレームと、手本動画の各フレームとを合成して、撮像動画における利用者の動きと、手本動画における手本動作者の輪郭線とを比較できるように表示するため、利用者が自分の振付等の良否を確認しながら動作することができる。

図８は、本発明をカラオケルームに応用した場合の応用例である。
図８において、カメラ８１は撮像用のカメラを、カラオケ８２はカラオケ装置を、ディスプレイ８３は利用者の背面ディスプレイを、輪郭線８３ａは手本動作者の輪郭線を、数値８３ｂは点数化された差異の大きさを表わす。

ディスプレイ８３には動画合成部１５０によって合成された、利用者の撮像動画と手本動作者の輪郭線８３ａを表示する。またディスプレイ８３の隅には、利用者と手本動作者の差異を点数化した数値８３ｂを表示する。合成動画を背面ディスプレイに表示することにより、利用者だけでなく、その同席者も利用者の動作の是非を知ることが出来る。またカラオケ８２には、ディスプレイ８３の表示内容と同じものを表示する。ただし利用者が表示中の動作を直感的に把握し易いよう、撮像動画と輪郭線についてはディスプレイ８３のそれを左右反転させ、利用者に対して鏡像の状態で表示する。こちらは、利用者自身が自分の動作を確認する目的で使用する。

図９は、本発明を踊りの自習教材に応用した場合の応用例である。
図９において、カメラ９１は撮像用のカメラを、パソコン９２は自習教材のソフトウェアを実行するためのパソコンを、画面９３はパソコン画面の拡大図を、輪郭線９３ａは手本動作者の輪郭線を、数値９３ｂは点数化された差異の大きさを表わす。この応用例では、利用者が自身の動作を確認・修正するのが主な利用目的になる。このため、図８のカラオケ８２の場合と同様、撮像動画と輪郭線は左右反転した鏡像の状態でパソコン９２の画面上に表示する。

上述の動画処理システム１００を動画処理装置として実施する場合、動画処理装置は、内部にコンピュータシステムを有している。そして、上述した動画処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。

また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイルであってもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１００ 動画処理システム
１１０ 手本動画格納部
１２０ 撮像部
１３０ 撮像動画取得部
１４０ 人物領域抽出部
１５０ 動画合成部
１６０ 差分判定部
１７０ 表示部

Claims (8)

1. 事前に撮像した手本動作者の撮像動画を手本動画として格納する手本動画格納部と、
   利用者を撮像する撮像部と、
   前記撮像部が撮像した利用者の撮像動画を取得する撮像動画取得部と、
   前記撮像動画取得部が取得した前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出部と、
   前記人物領域抽出部が抽出した前記手本動作者の人物領域から当該手本動作者の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成部と、
   前記動画合成部が合成した前記表示用動画を表示する表示部と
   を備える動画処理システム。
2. 前記人物領域抽出部が抽出した前記利用者の人物領域と、前記手本動作者の人物領域を比較し、当該差分の良否を判定する差分判定部を更に備え、
   前記表示部は、
   前記動画合成部が合成した前記表示用動画と共に、前記差分判定部が判定した前記判定結果を表示する
   請求項１に記載の動画処理システム。
3. 前記差分判定部は、前記差分の良否判定を、前記利用者の人物領域と、前記手本動作者の人物領域とを重ね合わせたときのズレの大きさを算出して判定する
   請求項２に記載の動画処理システム。
4. 前記差分判定部は、前記差分の良否判定結果に応じた点数を前記表示部に表示させるように出力する
   請求項２又は３に記載の動画処理システム。
5. 前記差分判定部は、前記差分が許容範囲を超えた場合、前記動画合成部に警告信号を出力し、前記動画合成部は、前記警告信号を入力した場合、前記手本動作者の輪郭線の色を、前記差分が許容範囲内のときとは異なる色となるように合成する
   請求項２乃至４のいずれかに記載の動画処理システム。
6. 事前に撮像した手本動作者の撮像動画を手本動画として手本動画格納部に格納する手本動画格納ステップと、
   利用者を撮像する撮像ステップと、
   前記撮像ステップにおいて撮像された利用者の撮像動画を取得する撮像動画取得ステップと、
   前記撮像動画取得ステップにおいて取得された前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出ステップと、
   前記人物領域抽出ステップにおいて抽出された前記手本動作者の人物領域から人物の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成ステップと、
   前記動画合成ステップにおいて合成された前記表示用動画を表示する表示ステップと
   を備える動画処理方法。
7. コンピュータに、
   事前に撮像した手本動作者の撮像動画を手本動画として手本動画格納部に格納する手本動画格納手順と、
   利用者を撮像する撮像手順と、
   撮像手順において撮像された利用者の撮像動画を取得する撮像動画取得手順、
   前記撮像動画取得手順において取得された前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出手順、
   前記人物領域抽出手順において抽出された前記手本動作者の人物領域から人物の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成手順、
   前記動画合成手順において合成された前記表示用動画を表示する表示手順
   を実行させるための動画処理プログラム。
8. 事前に撮像した手本動作者の撮像動画を手本動画として格納する手本動画格納部と、
   利用者を撮像する撮像部と、
   前記撮像部が撮像した利用者の撮像動画を取得する撮像動画取得部と、
   前記撮像動画取得部が取得した前記利用者の撮像動画と、前記手本動画格納部から読み出した前記手本動作者の撮像動画からそれぞれ人物領域を抽出する人物領域抽出部と、
   前記人物領域抽出部が抽出した前記手本動作者の人物領域から人物の輪郭線を求め、当該輪郭線と前記利用者の撮像動画とを、表示用動画として合成する動画合成部と、
   前記動画合成部が合成した前記表示用動画を表示する表示部と
   を備える動画処理装置。

Images