JP2010166322A - 映像視聴装置及び映像再生制御方法及び記録再生用プログラム - Google Patents

Abstract

【課題】この発明の一実施例では例えば指導者の運動画像データと利用者の運動画像データとを比較し両者の動き差分情報を検出した場合、利用者に対してよりわかりやすい画像の提供を可能とする。
【解決手段】本発明の実施例では、撮像部でマスター映像を視聴する視聴者を撮像したパーソナル映像を得る。画像動き期間判定部は、前記マスター映像と前記パーソナル映像の一連の画像動き期間を判定する。動き特徴量取得部は、前記一連の画像動き期間の個々のフレームの画像動き部分から動き特徴量を取得する。動き特徴量比較部は、前記マスター映像とパーソナル映像の動き特徴量を比較する。記憶部が、前記動き特徴量の差異が大きかったフレームに対応する情報を記憶する。開示部は、再生時に前記記憶された情報に基づいて前記マスター映像と前記パーソナル映像のフレームを再生して表示部に出力する。
【選択図】図１

Description

本発明は、映像視聴装置及び映像再生制御方法及び記録再生用プログラムに関するもので、映像コンテンツの記録・再生機能を有するデジタルテレビ等に適用することができる。特に、強力な演算性能により画像処理を行う際のアプリケーションに適用するとより有効である。

利用者端末において、カメラにて撮像された利用者の運動動画像データと、指導者端末からの指導者の運動画像データとを、時間的な同期をとって1画面にし、ディスプレイに表示する装置がある（例えば特許文献１）。この特許文献１の技術では、上記の表示動作と平行して、利用者の運動画像データと、CG加工が施された指導者の運動画像データとを、監視対象部位別に比較して、動き差分を検出している。そして動き差分が判定閾値を越えている場合には、スピーカからアラーム音を出力する。

特開２００６−３０２１２２号公報

本発明の一実施例では、例えば指導者の運動画像データと利用者の運動画像データとを比較し、両者の動き差分情報を検出した場合、利用者に対してよりわかりやすい画像の提供を可能とした映像視聴装置及び映像再生制御方法及び記録再生用プログラムを提供することを目的とする。

上記の課題を達成するために本発明の実施例では、マスター映像を視聴する視聴者を撮像したパーソナル映像を得る撮像部と、前記マスター映像と前記パーソナル映像の一連の画像動き期間を判定する画像動き期間判定部と、前記一連の画像動き期間の個々のフレームの画像動き部分から動き特徴量を取得する動き特徴量取得部と、前記マスター映像とパーソナル映像の動き特徴量を比較する動き特徴量比較部と、前記比較により前記動き特徴量の差異が大きかったフレームに対応する情報を記憶する記憶部と、再生時に前記記憶された情報に基づいて前記マスター映像と前記パーソナル映像のフレームを再生して表示部に出力する開示部とを備える。

本発明による上記実施例によると、マスター映像とパーソナル映像との動きの差異が大きな部分を現実的な画像として対比して表示することが可能である。これにより視聴者にはマスター映像とサブコンテンツとの動きの差異の部分を精密に判断することができる。

本発明の一実施例に係る映像視聴装置の構成例を示す図である。 この発明に係る装置の動作例を示すフローチャートであり、パーソナル映像が記録されるときの動作を表している。 この発明に係る装置の動作例を示すフローチャートであり、マスター映像及びパーソナル映像が再生されるときの動作を表している。 この発明に係る装置の他の動作例を示すフローチャートであり、マスター映像及びパーソナル映像が再生されるときの動作を表している。 この発明に係る装置における表示部の表示例を示す図であり、パーソナル映像が取り込まれているときの様子を示している。 この発明に係る装置における表示部の他の表示例を示す図であり、再生コンテンツの表示例を示している。 この発明の装置の他の実施例における構成を示す図である。 図７の装置の動作例を説明するために示したフローチャートである。 図７の装置が動作するときの表示部の表示例を示す図である。

以下、本発明の実施の形態について、詳細に説明する。

図１にて本発明に関わる映像視聴装置全体の構成を説明する。図２、図３及び図４動作例を説明し、図５では、マスター映像を視聴者が視聴し、パーソナル映像が取り込まれている様子を示し、図６では、パーソナル映像を再生したときの表示例を説明する。

図１は、本発明に関わる映像視聴装置全体の構成例を示す図である。アンテナ１０１を介して受信部１０２でより受信されたテレビジョン放送信号は、いったん中間周波数（ＩＦ）信号に変換される。デジタル復調部１０３は、ＩＦ信号からデジタル信号（トランスポートストリーム（ＴＳ）信号)を抽出する。トランスポート（ＴＳ）信号は、ＭＰＥＧ処理部１０６に入力される。ＭＰＥＧ処理部１０６は、ＴＳ信号を映像、音声、およびEPG表示用のＳＩ(Service Information)に分離し、映像、音声のデコードを行う。

デコードされた映像および音声データは、出力部１０７よりディスプレイ１０９およびスピーカ１０８にそれぞれ出力される。

システム制御部１１０は、各処理部の動作を統括的に制御するための処理部である。またこのシステム制御部１１０はリモコン等外部の操作部１１１から発信される各種制御コマンドを受信する。制御コマンドとは、例えば、テレビ放送の録画や、録画済みコンテンツの再生等を指示するコマンドである。テレビ放送の録画指示コマンドが発行された場合、受信された放送コンテンツはMPEG処理部１０６にてエンコードされ、光ディスクドライブ１０４を介して光ディスクＤに、またはハードディスクドライブ１０５を介してハードディスクＨに記録される。

一方、光ディスクＤまたはハードディスクＨに記録済みのコンテンツに対する再生指示コマンドが発行された場合は、光ディスクＤまたはハードディスクＨからコンテンツが読み出される。読み出されたコンテンツはMPEG処理部１０６にてデコーダされた後、出力部１０７に出力される。

以上が、映像視聴装置の基本的な構成である。これに対し、本発明の装置では、視聴者撮像部１１２、モーションキャプチャ部１１３、画像動き期間判定部１１４、動き特徴量取得部１１５、動き特徴量比較部１１６、フレーム領域記憶部１１７及びフレーム領域開示部１１８を備える。

システム制御部１１０は、デジタル信号バスを介してデジタル復調部１０３、光ディスクドライブ１０４、ハードディスクドライブ１０５、ＭＰＲＧ処理部１０６、出力部１０７、視聴者撮像部１１２、モーションキャプチャ部１１３、画像動き期間判定部１１４、動き特徴量取得部１１５、動き特徴量比較部１１６、フレーム領域記憶部１１７及びフレーム領域開示部１１８と接続されている。

視聴者撮像部１１２は、視聴者がマスター映像を視聴する様子を撮像するための処理部であり、カメラを備える。視聴者撮像部１１２は、単純に撮像部と称してもよい。モーションキャプチャ部１１３では、視聴者撮像部１１２で撮像された視聴者を撮像したパーソナル映像および、視聴中のマスター映像であるマスター映像をそれぞれ解析する。そして、モーションキャプチャ部１１３は、フレーム単位で例えば人物画の姿勢を特定する。なお必ずしも人物画でなくてもよく、動き画像部分の所定の姿勢を特定すればよい。特定して欲しい被写体部分をカーソルなどで指定できるようにしても良い。

画像動き期間判定部１１４では、モーションキャプチャ部１１３で特定された姿勢情報をもとに、前後フレームを順に比較し、MB(Macro Block)単位で一定方向に画像が移動している連続フレーム期間を一連の動作の区切りとして判定する。

動き特徴量取得部１１５では、一連の動作期間内の動きベクトル値の総和量を正規化することにより、動き特徴量を算出する。動き特徴量比較部１１６では、マスター映像と視聴者を撮像したパーソナル映像の動き特徴量を比較する。マスター映像とパーソナル映像の動き特徴量の差異が予め規定されている基準値を超えている場合に、フレーム領域記憶部１１７に当該フレームおよび領域を特定するための情報を受け渡す。この情報は、例えばフレームの開始アドレスや、領域のピクセル座標を指す。

フレーム領域記憶部１１７では、受け取った情報を記憶する。フレーム領域開示部１１８は、フレーム領域記憶部１１７で記憶されたフレームの再生時に、その領域情報等を視聴者に開示する処理部である。具体的には、次に述べる項目（１）乃至（３）の選択的な実行若しくはこれらの組み合わせを実行する。

（１）当該領域を示すマークもしくはテロップ等の画像（たとえば”注意”などの文字、或いは矢印マークでもよい）を生成し、出力部１０７にて元画像と合成表示させる。または、動きのずれが大きい部分に特定の着色表示を施してもよい。これにより動きのずれの大きい部分を視覚的わかりやすくすることができる。（２）記憶された連続フレーム期間を自動的に反復再生するよう制御する、（３）上記のフレーム領域記憶部には、記憶された連続フレーム期間のみをカットするよう自動的に編集を行う機能を持たせてもよい。これによりマスター映像とパーソナル映像の正常な動きの部分を連続再生することが可能となる。前記カットする処理は、マスター映像とパーソナル映像を同時再生するときでもよいし、または、前記カット処理したマスター映像とパーソナル映像とをコンテンツとして記録媒体に記録して関連付けて管理してもよい。

以上の構成により、マスター映像とパーソナル映像を一連の動作単位で比較し、視聴者は、画像動きの差異の大きなシーンを認知し、反復練習や編集することを自動的に支援可能な映像視聴装置を提供できる。この場合、視聴者は現実の映像で画像動きの差異の大きなシーンを視聴するので、該差異が非常にわかりやすくなる。また画像の一連の動作単位で区切られた部分を画像処理しているので、効率的である。つまり冗長な画像処理を低減できる。

なおこの装置において、再生部としては3系統を含む。まず光ディスクDに記録されているコンテンツが光ディスクドライブ１０４で読み取られ、次にMPEG処理部１０６で復号され、復号されたコンテンツが出力部１０７を介して出力される系統がある。また、ハードディスクHに記録されているコンテンツがハードディスクドライブ１０５で読み取られ、次にMPEG処理部１０６で復号され、復号されたコンテンツが出力部１０７を介して出力される系統がある。さらに、受信部１０２で受信された放送コンテンツがデジタル復調部１０３で復調され、次にMPEG処理部１０６で復号され、復号されたコンテンツが出力部１０７を介して出力される系統がある。

また記録部としては、次の４系統及びその組み合わせが含まれる。受信された放送コンテンツがデジタル復調部１０３で復調され、次にMPEG処理部１０６で符号化され、符号化されたコンテンツが光ディスクドライブ１０４を介して光ディスクDに記録される系統及び又は符号化されたコンテンツがハードディスクドライブ１０５を介してハードディスクHに記録される系統がある。さらには、視聴者撮像部１１２で撮像されたコンテンツが、MPEG処理部１０６で符号化され、符号化されたコンテンツが光ディスクドライブ１０４を介して光ディスクDに記録される系統及び又は符号化されたコンテンツがハードディスクドライブ１０５を介してハードディスクHに記録される系統がある。

次に図２を用いて、本発明装置におけるマスター映像とパーソナル映像の比較処理動作の一例を説明する。ステップS２０５、S２０６は、モーションキャプチャ部１１３のコア処理(マーカレスモーションキャプチャによる姿勢解析)に相当する。

モーションキャプチャ技術は、コンピュータグラフィックス（CG）コンテンツ制作、コンピュータやゲームのインタフェース用途等、幅広い応用が考えられている。従来は、磁気式、機械式、光学式の各種マーカやセンサを身体の各部位に取り付ける必要があったが、近年は、ビデオカメラで撮像した２次元画像から人物の姿勢を推定する「マーカレスモーションキャプチャ技術」の研究が行われている。代表的な手法としては、トラッキング手法、テンプレートマッチング手法、姿勢解析手法等がある。2007年6月には、テンプレートマッチング手法とトラッキング手法とを組み合わせ、かつCellの高い演算性能を利用することにより、リアルタイムのマーカレスモーションキャプチャシステムを実現した事例が発表されている（論文「Cell Broadband Engine（登録商標）を用いたマーカレスモーションキャプチャ」株式会社 東芝発行 東芝レビューVol.62 (2007)）。

ステップS２０１では、MPEG処理部１０６にて、視聴対象のマスター映像のデコード及び再生を行う。ステップS２０２では、ステップS２０１の処理と同時に、視聴者撮像部１１２により、マスター映像を視聴中の視聴者の撮像を行う。この撮像により得られた視聴者の映像をパーソナル映像と称している。図５では、マスター映像を視聴者が視聴し、パーソナル映像が取り込まれている様子を示している。

ステップS２０３では、モーションキャプチャ部１１３における前処理として、パーソナル映像とマスター映像とを比較し易くするため、同等サイズに変換する。ステップS２０３では、その変換に必要となるパーソナル映像のサイズ情報を検出する。具体的には、例えばパーソナル映像を矩形領域で検出し、その開始・終了ピクセル座標を取得する。

ステップS２０４では、ステップS２０３で取得したパーソナル映像のサイズ情報をもとに、マスター映像の比較対象領域をパーソナル映像と同等サイズになるよう圧縮または伸張する。なおステップS２０３とステップS２０４は、必ずしも必要な処理ではなく、マスター映像とパーソナル映像のそれぞれの体型モデルを外部から入力する手段を追加すること等により、比較の容易化を図っても良い。

ステップS２０５では、モーションキャプチャ技術により、マスター映像のフレーム単位の姿勢認識を行い、その結果を保持する。ステップS２０６では、モーションキャプチャ技術により、パーソナル映像のフレーム単位の姿勢認識を行い、その結果を保持する。

ステップS２０７では、画像動き期間判定部１１４にて、ステップS２０５で特定されたマスター映像の姿勢情報をもとに、前後のフレーム間を順に比較し、MB単位で一定方向に画像が移動しているか否かを確認する。一定方向に画像が移動する連続フレーム期間を一連の動作の区切りとして判定し、その間はステップS２０５、S２０７の処理を繰り返す。

なお、ステップS２０５にて、姿勢推定のためにMB単位の動きベクトルを取得していた場合は、ステップS２０５でその情報を保持しておき、本ステップで利用する。また、MBの分割方法については、例えば胴体部分は大きく、四肢に相当する部分は関節単位等の細かい領域で切り出すことにより、処理の高速化と高精度化を図っても良い。

ステップS２０８では、ステップS２０６で特定されたパーソナル映像の姿勢情報をもとに、ステップS２０７と同様の判定を行い、一連の動作期間はステップS２０６、S２０８の処理を繰り返し行う。

ステップS２０９では、動き特徴量取得部１１５にて、ステップS２０５で保持された連続フレーム期間の姿勢情報をもとに、MB単位の動きベクトル総和量を正規化し、マスター映像の動き特徴量を算出する。

ステップS２１０では、動き特徴量取得部１１５にて、ステップS２０６で保持された連続フレーム期間の姿勢情報をもとに、MB単位の動きベクトル総和量を正規化し、パーソナル映像の動き特徴量を算出する。

ステップS２１１では、動き特徴量比較部１１６にて、ステップS２０９とS２１０にて算出された動き特徴量を比較する。次のステップS２１２では、ステップS２１１の処理の結果、その差異が予め規定されている基準値の範囲内であるかを判定する。

ステップS２１３では、ステップS２１２で両映像の差異が基準値を超えていると判定された場合、フレーム領域記憶部１１７にて当該フレームおよび領域を特定するための情報を記憶する。具体的には、例えば当該フレームの開始アドレスや、当該MB領域の開始・終了ピクセル座標等の情報である。

図３を用いて、本発明によるパーソナル映像の再生動作のフローの一例を説明する。本実施例は、フレーム領域開示部１１８において、マスター映像とパーソナル映像の動き特徴量の差異が大きいフレーム再生時に、当該領域を示す画像の生成処理を行う場合の一例であり、図６の右画面に示すような表示が可能となる。

ステップS３０１では、MPEG処理部１０６にて、パーソナル映像のデコードを行う。ステップS３０２では現フレームの開始アドレスが、図２のステップS２１３で記憶されたアドレスと一致するかどうかを判定する。一致した場合のみ、ステップS３０３、S３０４の処理を行う。

即ち、ステップS３０３では、図２のステップS２１３で記憶された領域情報に対し、その領域を示唆するためのマークやテロップ等の画像を生成する。ステップS３０４では、ステップS３０３で生成した画像を、元画像と合成する。ステップS３０５では、出力部１０７より、映像および音声を出力する。マスター映像との動きの差異が大きかったフレームについては、ステップS３０４で生成された合成画像が出力される。

図４を用いて、他の動作例を説明する。図４では本発明によるマスター映像の自動反復再生フローの一例を示している。本実施例は、フレーム領域開示部１１８において、マスター映像とパーソナル映像の動き特徴量の差異が大きいフレーム期間を自動的に反復再生処理する場合の一例である。

ステップS４０１において、MPEG処理部１０６にて、マスター映像のデコードを行う。ステップS４０２では、現フレームの開始アドレスが、図２のステップS２１３で記憶されたアドレスと一致するかどうかを判定する。一致した場合のみ、ステップS４０３−S４０７にて再生処理を行う。

即ち、ステップS４０３では、再生対象の連続フレーム期間の先頭であった場合、当該フレームのスタートアドレス値をエントリーポイントとして記憶する。ステップS４０４では、出力部１０７より、現フレームの映像および音声を出力する。

ステップS４０５−Ｓ４０７では、視聴者により次の連続フレーム期間反復再生へのスキップ指示が発行された場合は、ステップS４０３で記憶したエントリーポイントを削除する。また、視聴者から再生終了指示が発行されていない場合は、ステップS４０１に移行して次のフレームのデコードを開始する。再生終了指示が発行された場合は、処理を終了する。

ステップS４０８−Ｓ４１０では、ステップS４０２の判定結果がNOと判定され、かつエントリーポイントが削除されていない場合、ステップS４０９にてエントリーポイント、即ち再生対象の連続フレーム期間の先頭に戻り、ステップS４０１以降の処理により反復再生を行う。エントリーポイントが存在しない場合は、ステップS４１０にて次のフレームにスキップし、再生対象の連続フレーム期間が見つかるまでスキップを続ける。

この発明は上記の実施形態に限定されるものではない。マスター映像とパーソナル映像において、視聴者が最初に、比較対象としたい人物を選択する手段を追加しても良い。例えば、マスター映像に複数の人物が存在した場合、図５の点線枠で囲むように比較対象人物を画面上で選択できるようにしてもよい。

またパーソナル映像に撮像された人物が一人の場合、パーソナル映像と動き特徴量の近似しているマスター側の人物を自動的に検知する手段を追加しても良い。この場合マスター映像上に複数の人物が存在する場合でも、比較対象を自動判別可能になる。

さらに視聴者の習熟度レベルを判定する手段を追加し、レベルに応じてマスター映像の再生内容や再生速度を切替可能にしても良い。

さらにまたこの発明の装置では、マスター映像とパーソナル映像の一部を積極的にズームして比較し、その画像の動きの差異を検出するようにしてもよい。これにより、マスター映像とパーソナル映像の一部分の画像動作を正確に比較することができる。

図７には、この発明の装置の他の実施の形態の構成を示している。図１の構成に対して、同期記録制御部２０１、コンテンツ管理部２０２、合成表示制御部２０３が追加表示されている。同期記録制御部２０１は、独立してもよいが画像動き期間判定部１１４内に設けられている。またコンテンツ管理部２０２は、フレーム領域記憶部１１７内に設けられている。さらに合成表示制御部２０３は、フレーム領域開示部１１８に設けられている。

同期記録制御部２０１は、マスター映像の再生時刻情報ＰＴＳ(Presentation Time Stamp)等を保持し、パーソナル映像の記録時に同期信号として用いる。またこのとき、マスター映像とパーソナル映像との関連づけを行うために、コンテンツＩＤ等の情報をコンテンツ管理部２０２にて管理する。視聴者映像とマスター映像を同時再生する場合、コンテンツ管理部２０２にて関連コンテンツを検索後、合成表示制御部２０３にて再生対象の複数コンテンツの表示領域を決定し、出力部１０７にて合成表示させるための制御を行う。

図８は図７の装置の特徴的な動作を説明するためのフローチャートである。このフローチャートは例えばパーソナル映像編集モードで起動し、フレーム領域開示部１１８が中心となって動作する。ステップS７０１、S７０２で図２の処理手順により、記録媒体に記録されているマスター映像とパーソナル映像とが同時再生され、合成表示制御部２０３の動作に基づいてディスプレイ１０９に表示される（図９（A)）。ステップS７０３でスキップ指令があれば、次の画像動き期間部へジャンプして、そのマスター映像とパーソナル映像のフレーム比較状態が得られる。ステップS７０４で、例えば図９（A)の四角の枠で示すように、ズーム対象領域の指定があった場合、図９（B)のように当該領域が拡大表示される（ステップS７０５、ステップS７０６）。そして当該画像動き期間部のマスター映像及びパーソナル映像が拡大状態で連続再生される（ステップS７０７）。ここで記録（或いは保存）の指定がなされていれば、当該拡大状態で比較されたマスター映像及びパーソナル映像が、当該マスター映像に関連する映像として記録媒体に保存される。このときコンテンツ管理部２０２では、拡大処理したマスター映像及びパーソナル映像を第ｎ番目の管理映像として管理する。

本発明を特に、強力な演算性能により画像処理に適したセルTVなどの映像視聴装置に、応用アプリとして実現すると有効である。この映像視聴装置により効率的なホームトレーニングの実現や、従来一般ユーザには困難であったホームビデオ編集の自動化といった、エンターテインメントの一環としての大幅な利用拡大を図ることができる。

１０２・・・受信部、１０３・・・デジタル復調部、１０４・・・光ディスクドライブ、１０５・・・ハードディスクドライブ、１０６・・・MPEG処理部、１０７・・・出力部、１０８・・・スピーカ、１０９・・・ディスプレイ、１１１・・・操作部、１１２・・・視聴者撮像部、１１３・・・モーションキャプチャ部、１１４・・・画像動き期間判定部、１１５・・・動き特徴量取得部、１１６・・・動き特徴量比較部、１１７・・・フレーム領域記憶部、１１８・・・フレーム領域開示部。

Claims (10)

1. マスター映像を視聴する視聴者を撮像したパーソナル映像を得る撮像部と、
   前記マスター映像と前記パーソナル映像の一連の画像動き期間を判定する画像動き期間判定部と、
   前記一連の画像動き期間の個々のフレームの画像動き部分から動き特徴量を取得する動き特徴量取得部と、
   前記マスター映像とパーソナル映像の動き特徴量を比較する動き特徴量比較部と、
   前記比較により前記動き特徴量の差異が大きかったフレームに対応する情報を記憶する記憶部と、
   再生時に前記記憶された情報に基づいて前記マスター映像と前記パーソナル映像のフレームを再生して表示部に出力する開示部とを備えることを特徴とする映像視聴装置。
2. 前記開示部は、前記動き特徴量の差異が大きいフレームの再生時に、画像動き部分の領域を指示する画像を生成することを特徴とする請求項１記載の映像視聴装置。
3. 前記開示部は、前記動き特徴量の差異が大きいフレームを自動的に反復再生することを特徴とする請求項１記載の映像視聴装置。
4. 前記フレーム領域記憶部は、前記動き特徴量の差異が大きいシーンを自動的にカットするよう編集することを特徴とする請求項１記載の映像視聴装置。
5. 前記開示部は、前記動き特徴量の差異が大きいフレームの再生時に、前記マスター映像と前記パーソナル映像の一部をズーム拡大した映像を表示部に出力することを特徴とする請求項1記載の映像視聴装置。
6. 記録媒体に記録されたマスター映像と、前記マスター映像を視聴する視聴者を撮像部により撮像したパーソナル映像を制御部が制御する処理手順で再生する映像再生制御方法であって、
   前記マスター映像を再生するとともに前記マスター映像と前記パーソナル映像の一連の画像動き期間を判定し、
   前記一連の画像動き期間の個々のフレームの画像動き部分から動き特徴量を取得し、
   前記マスター映像とパーソナル映像の動き特徴量を比較し、
   前記比較により前記動き特徴量の差異が大きかったフレームに対応する情報を記憶し、
   再生時に前記記憶された情報に基づいて前記マスター映像と前記パーソナル映像のフレームを再生して表示部に出力することを特徴とする映像再生制御方法。
7. 前記動き特徴量の差異が大きいフレームの再生時に、画像動き部分の領域を指示する画像を生成し表示することを特徴とする請求項６記載の映像再生制御方法。
8. 前記動き特徴量の差異が大きいフレームを自動的に反復再生することを特徴とする請求項６記載の映像再生制御方法。
9. 前記動き特徴量の差異が大きいフレームの再生時に、前記マスター映像と前記パーソナル映像の一部をズーム拡大した映像を表示部に出力することを特徴とする請求項６記載の映像再生制御方法。
10. パーソナル映像を得る撮像部、画像動きの期間を判定する画像動き期間判定部、画像動きの動き特徴量取得部、画像動きの動き特徴量比較部、記録部及びコンテンツを再生する開示部を制御する制御部における記録再生用プログラムであって、
    マスター映像を視聴する視聴者を撮像してパーソナル映像とし、
    前記マスター映像と前記パーソナル映像の一連の画像動き期間を判定させ、
    前記一連の画像動き期間の個々のフレームの画像動き部分から動き特徴量を取得させ、
    前記マスター映像とパーソナル映像の動き特徴量を比較させ、
    前記比較により前記動き特徴量の差異が大きかったフレームに対応する情報を記憶させ、
    再生時に前記記憶された情報に基づいて前記マスター映像と前記パーソナル映像のフレームを再生して表示部に出力させるように制御する記録再生用プログラム。

Images