JP2015041945A - 映像内活動度可視化装置、方法及びプログラム - Google Patents

Abstract

【課題】従来の映像内容を要約する技術では、内容を把握するためには習熟が必要であったり、内容を理解するには不十分な表示であるというような課題があった。
【解決手段】本発明による映像内活動度可視化装置は、ディスプレイの表示画面を制御する表示画面制御部と、映像データを取得し、前記表示画面の一部に映像を表示する映像制御部と、前記映像内の注目する領域をパネルとして設定するパネル制御部と、前記パネル内の活動度を算出する活動度算出部と、映像の経過時間に対する前記パネル内の前記活動度をシークバーとして表示するシークバー制御部とを備えることを特徴とする。
【選択図】図1

Description

本発明は、映像内活動度可視化装置、方法及びプログラムに関するものである。

カメラは世界中の至る所に設置され、人間が処理しきれない量の映像が蓄積されてきている。画像処理による自動認識の精度には限界があり、人間が映像を理解する場面はまだ多い。伝統的なツールによって映像を解析する場合には、ショートカットキーに早送りや巻き戻しの機能を割り当て、あるいは倍速再生などの機能を利用して、映像を見ていくことになる。1人の人間が解析できる映像の量には限界があり、また、人間への負担も大きい。大事なイベントを見逃す恐れもある。

従来技術として、映像を人間の目に見える形に要訳するVideo Visualizationの技術がある。たとえば非特許文献１には、ドーナツ状に示されるボリュームデータによって、映像の中で重要な位置を色付けして表示することができ、ニュース映像の切れ目や監視映像中の人の流れなどの可視化が可能となる。この種のシステムを利用すれば、映像を見ることなく映像の中身を理解することも可能であるが、可視化された結果を解釈するのに慣れや経験が多分に必要とされる。

また非特許文献2には、天井からの映像に限定し、また、部屋全体を隙間なくブロックに分割し、それぞれのブロックの映像における活動を３次元ボリュームで表現する技術がある。この技術は、ボリュームのみから活動を表現することが目標であるが、これでは映像を見直すことで得られる情報が限定されてしまう。たとえば、顔を掻くような仕草や寝ているかどうかの判別は、生成された３次元ボリュームのみから判断することは難しい。

G. Daniel and M. Chen. Video visualization. In IEEE Visualization,409-416, 2003.

M. Romero, J. W. Summet, J. T. Stasko, and G. D. Abowd. Viz-a-Vis:Toward visualizing video through computer vision. IEEE Transactions onVisualization and Computer Graphics, 14(6):1261-1268, 2008.

上述の非特許文献1や2に開示された従来技術においては映像をボリュームデータとして扱い、内容を可視化して俯瞰させようとするものであるが、内容を把握するためには習熟が必要であったり、内容を理解するには不十分な表示であるというような課題があった。

本発明による映像内活動度可視化装置は、ディスプレイの表示画面を制御する表示画面制御部と、映像データを取得し、前記表示画面の一部に映像を表示する映像制御部と、前記映像内の注目する領域をパネルとして設定するパネル制御部と、前記パネル内の活動度を算出する活動度算出部と、映像の経過時間に対する前記パネル内の前記活動度をシークバーとして表示するシークバー制御部とを備えることを特徴とする。

また、本発明による映像内活動度可視化方法は、映像データを取得し、ディスプレイの一部に前記映像データにより映像を表示するステップと、表示された前記映像内で、外部からの信号により指定された領域をパネルとして設定するステップと、前記パネル内の映像の時間的変化を示す活動度を算出するステップと、前記映像の経過時間に対する前記パネル内の前記活動度をシークバーとして表示するステップとを備えることを特徴とする。

また、本発明による映像内活動度可視化プログラムは、コンピュータに、映像データを取得し、ディスプレイの一部に前記映像データにより映像を表示する手順と、表示された前記映像内で、外部からの信号により指定された領域をパネルとして設定する手順と、前記パネル内の映像の時間的変化を示す活動度を算出する手順と、前記映像の経過時間に対する前記パネル内の前記活動度をシークバーとして表示する手順とを実行させるためのプログラムである。

本発明によれば、映像中の特定の複数対象の活動度を可視化し、効率的に映像の内容を確かめることができる。あるいは映像内で起こったイベントの確認作業を効率化することができる。

は、本発明による映像内活動度可視化装置の構成図である。 は、本発明による映像内活動度可視化装置のディスプレイの画面の例である。 は、本発明の映像内活動度可視化方法の、処理全体のステップの流れを示す図である。 は、本発明の映像内活動度可視化方法の、シークバー生成に関する処理のステップの流れを示す図である。 は、本発明の映像内活動度可視化方法を用いた際の、映像閲覧に関する処理のステップの流れを示す図である。 は、本発明の実施例１を説明するための図であり、アーカイブ映像を利用した授業内容の検討を行う場合のディスプレイの表示画面の例を示す図である。 は、本発明の実施例１において、隣接フレーム間で輝度差がしきい値を超える画素の位置を示す図である。 は、本発明の実施例２を説明するための図であり、ゲージ内の実験動物の動作観察を行う場合のディスプレイの表示画面の例を示す図である。 は、本発明の実施例３を説明するための図であり、監視カメラ映像の観察を行う場合のディスプレイの表示画面の例を示す図である。

以下に、本発明の実施の形態について詳細に説明する。

本発明による映像内活動度可視化装置の構成図を図1に示す。また本発明による映像内活動度可視化装置により表示されるディスプレイの表示画面の例を図２に示す。以下、図１と図２を用いて詳細に説明する。

表示画面制御部は、入力デバイスを介して外部からの指示が入力され、ディスプレイの表示画面を制御する。入力デバイスは画像の位置を特定して所定の指示をすることができるデバイスであり、通常用いられるマウスや、タッチペンを備えたタブレット入力装置、スマートフォンなどに備えられたタッチパネルなどでよい。またディスプレイは通常のコンピュータに用いられる液晶モニターやプロジェクタなどでよい。

映像制御部は、保存された映像データを取得し、表示画面制御部を介してディスプレイの表示画面１の一部に映像を表示する。映像データはすでに録画されたものであってもよいし、設置された固定カメラなどからリアルタイムで取り込まれる映像データであってもよい。また映像データには、映像以外の信号であって、映像と同期した音声データなどを含むものであっても構わない。

パネル制御部は、入力デバイスを介して外部からの信号により指定された領域を、ディスプレイの表示画面1に表示された映像領域２内で注目すべき領域とし、パネル３として設定する。入力デバイスがマウスである場合には、対角に位置する2つの頂点の間をドラッグすることにより指定される矩形領域をパネルとして設定することができる。タッチパネルを用いる場合は、同時に触れる2点を対角する位置にある2頂点とする矩形領域をパネルとすることもできる。パネル3は画面上では、パネルの外周を示す枠として表示される。

パネル制御部は、必要に応じて設定したパネル3に対応するメタデータ5を、あらかじめ準備したデータがある場合には表示することもできる。メタデータ5はそのパネルに対応したデータであり、個別のパネルを示す名前や、その他の属性を示すものである。

またパネル制御部は、設定したパネル内に対応する映像データを活動度算出部に送る機能を有する。

活動度算出部は送られたパネル内映像データを解析し、映像の変化の度合いを示す活動度を算出し、シークバー制御部に転送する。また必要に応じてパワーゲージ制御部にも転送する。

活動度は、パネル内の映像データにおけるある映像フレームの全画素のうち、隣接する映像フレームの対応する画素と比較して、その特性値の差が、あらかじめ設けられたしきい値を超えた画素の割合として算出される。画素の特性値としては、輝度や明度であったり、特定の色との色空間における色相を表す角度の差であったり、種々のものとすることができる。また隣接する映像フレームとしては、直前や直後の映像フレームとすることができるが、連続する複数の映像フレームを一つの映像フレーム群とし、群の中の対応する画素の平均値を算出し、隣接する群の対応する画素の平均値との差異をもって、特性値の差とすることも可能である。

シークバー制御部は、転送された活動度を、該当するパネルの活動度として、ディスプレイの表示画面の一部にシークバー6として表示する。シークバー6は長さが映像の時間軸を表す棒状の表示であり、映像の経過時間に相当する位置の色で活動度を示す。例えば、サーモグラフのように赤い色を活動度が高い、青い色を活動度が低いというように表示することができる。

またシークバー6は再生する映像の時刻を指定する機能も有している。シークバー制御部は、入力デバイスにより選択されたシークバー6上の一点に対応した時点から映像を再生する。活動度が高い時点の付近を選択することで、活動度が高い部分の映像を効率よく再生させることが可能となる。また、パネル制御部を介して、選択したシークバー6に対応するパネル3を、枠の色や太さを変更する、あるいは点滅させることなどにより強調して表示することも可能である。

パワーゲージ制御部は、活動度算出部から転送された活性度をパワーゲージ4としてパネル3の近傍に表示する。パワーゲージ4は、表示中の映像の時刻に対応する活動度を、例えば縦方向の長さとする矩形によりリアルタイムで表示する。ゲージの昇降は、パネル内の差分を強調して表示してもよい。この場合にはパネル内の微小な動きを増幅して見せる効果がある。

画面が煩雑になるような場合には、パワーゲージの表示をしないことも可能であり、パワーゲージ制御部を設けなくてもよい。また、必要に応じてパワーゲージ表示の有無や、パワーゲージの長さ、増幅の程度を選択できるようにしてもよい。

シークバー制御部は、あらかじめ選択された複数のパネル3の群に対するシークバー7を表示させることも可能である。この場合の活動度は、選択された複数のパネルのいずれかに含まれる映像領域について算出される。シークバー7上の一点を選択した場合にはその時点から映像を再生するとともに、選択された群に属するパネルを強調表示することも可能である。

また、シークバー制御部は、すべてのパネルに対応するひとつのシークバー8を表示させることも可能である。シークバー8上の一点を選択した場合には、その時点から映像を再生するとともに、すべてのパネルを強調表示することも可能である。

さらに、シークバー制御部は、音声データなどの映像と同期した信号を用いて、活動度を同様な指標を設定し、シークバー9として表示することも可能である。信号がいずれかのパネル3に依存した信号である場合には、シークバー9上の一点を選択したとき、その時点から映像を再生するとともに、対応するパネルを強調表示することも可能である。

また映像を再生している際には、表示中の映像に対する時刻を画面上の時刻表示10に表示する。

以上、説明した各種制御部と活動度算出部は通常のコンピュータを用いて実現しても構わないし、専用の処理装置として実現しても構わない。

図3に本発明の映像内活動度可視化方法の処理全体のステップの流れを示す。

まず、最初のステップでは、対象となる映像データを取得し、ディスプレイの一部に映像を表示する。この際、映像の初期画面あるいは代表画面を静止画として表示するだけでも構わない。

次のステップでは、外部からの指定により、映像内の注目領域をパネルとして設定する。また映像が既知のもの、あるいは予想できるものである場合には、あらかじめ登録してあるパネルを設定することも可能である。続くステップで、パネルに属するメタデータがある場合には、そのデータを取り込み、画面に表示する。

次のステップでは、パネル内の映像データを解析し、映像フレーム間の対応する画素の特性値の差異から、映像の変化の度合いを示す活動度を算出する。

次のステップでは、映像の経過時間に対する活動度をシークバーとして表示する。シークバーの形状は棒状が好ましいが、場合によっては、円周状や、渦巻き状、多角形状など時間軸を示す形状であれば何でもよい。また、パネル群や全パネルを表すシークバーや、音声その他の信号に対するシークバーも必要に応じて表示する。

詳細なシークバーを生成するステップの例を図5に示す。まず注目すべきパネル内の映像フレームの解析により、連続する映像フレーム間の差分を計算し活動度を算出する。パネル群が指定されている場合にはそのパネル群に対する活動度や、パネル全体の活動度も算出する。得られた活動度により、個別パネルのシークバー、パネル群のシークバー、さらにパネル全体のシークバーを生成、表示する。

映像データに同期した音声データがある場合には、音圧を用いて活動度と同様なシークバーを生成、表示することができる。また複数の音源がある場合には、個別の音圧に対するシークバーとともに、音圧群のシークバー、音圧全体のシークバーを生成、表示することができる。

次のステップでは、必要に応じてパネルの近傍に、活動度を示すパワーゲージを表示する。以上により、映像解析と必要な画面表示の設定は完了する。

実際に画像を見る場合には、注目したいパネルに対応するシークバーに表示された色により活動度が高い時刻を把握し、活動度が高い時点よりも少し前の時点を選択することにより、映像を再生する。画像により活動度が高くなった原因であるイベントを把握できれば、他の活導度の高い時刻を把握し、同様に画像を閲覧する。

映像を閲覧する場合のステップの例について図6に示す。最初の映像フレームを再生した後、シークバー上の一点をクリックして選択されるまで、順次映像フレームを再生する。いずれかのシークバーの上の1点が選択されたとき、対応するフレームを再生するとともに、選択されたシークバーと対応するパネルを強調表示し、引き続いて以降のフレームを再生する。

以下に、本発明の実施例について説明する。

図6はアーカイブ映像を利用した授業内容の検討を行う場合のディスプレイの表示画面の例である。従来型の授業内容検討では、他教員が実際に講義を参観し、あとからその講義に対する議論が交わされる。講義内で撮影した映像を対象に授業評価を行うことで、実際に講義に参加しなかった教員が議論をすることができるようになる。

図6は授業風景を固定カメラで教室の前方から撮影した映像を用いた例であり、パネル3は、授業を受ける受講者の顔を注目すべき領域として選択している。このような場合、受講者の席が決まっているものとすると、映る位置がわかっているので、あらかじめパネルを設定しておくことができる。パネル3の右隣りにはパワーゲージ4が表示されている。5は選択したパネルにつけられたメタデータを示す表示であり、選択したパネルに対応する受講者の名前や成績などあらかじめ設定された情報を表示している。

映像の下部にはシークバーが並んでいる。6は個々のパネルに対応するシークバーであり、パネルの数に等しい本数のシークバーが表示されている。7はパネル群に対するシークバーであり、例えば男女別や、班別のパネル群を設定し、生成、表示される。8は全パネルに対するシークバーであり、クラス全体としての動きを示すものと言える。

9は音声に対するシークバーであり、この例では1つの音源のみの音圧によるものである。
また10は再生している映像のその時点を示している。

図7はパネル内の活動度算出例として、隣接フレーム間で輝度差がしきい値を超える画素の位置を示す図である。図7(a)は複数のパネルを含む映像であり、ここでは02というパネルに対応するシークバーの活動度が大きな時点を選択した場合である。図7(b)は隣接する映像フレームの対応する画素の輝度がある値以上である画素を白く表示したものである。このパネル02では、顔が動いたため、顔の輪郭に相当する位置の画素で輝度差が大きくなり、白く表されていることがわかる。

以下、活動度の算出例を示す。パネルiが示す領域をRi、tフレーム目の画像の位置(x,y)における画素値をI(x,y,t)とする。各位置で時間差分があったかどうかは、以下のf(x,y,t)の関数として書き表せる。ただし、Ithは差分の有無を判定する任意の閾値である。たとえば、画素値Iを輝度とし、Ith=0.1とすることができる。画素値Iには、目的に応じて輝度以外の成分や多次元のベクトルも利用することができる。

各位置で時間差分があったかどうかがわかれば、パネルiに対する活動度vi(t)を以下の式で定義することができる。

音圧や生体信号などの映像と同期した信号についても、ほぼ同じ定式化が可能である。音圧に関しては、ある方向dに対するtフレームでの音量A(d,t)が与えられると、ある対象jに対する方向の範囲Qjを定義することができる。たとえば、dは受講者の方向で、Qjは受講者jに向けられたマイク群であるような例が考えられる。ある方向に対する音量の時間変化があったかどうかを、以下のg(d,t)で書き表せる。ただし、Athは音量差分の有無を判定する任意の閾値である。Aには単純な音圧を採用するか、目的に応じで周波数ごとの音圧を示すベクトルなどで置き換えることもできる。

各位置で時間差分があったかどうかがわかれば、対象jに対する時間差分量aj(t)を以下の式で定義することができる。

Nフレームから成る映像全体に対して、パネル内の時間差分vi(t)と音圧の時間差分aj(t)が得られたとする。これから幅W、高さHのシークバーを生成することを考える。

シークバーの横幅は映像と同程度であるべきで、通常は数百画素のオーダーにとどまる。一方で、映像は1時間で数十万フレームから成り、NはWの1000倍以上となることがある。よって、単純にvi(t)をシークバー上に配置するだけでは、1秒以内に起こるような変化は表現できない。そこで、シークバー上の標本点x∈[0,W-1]に対応するフレームt∈[Nx/W,
N(x+1)/W) で生じた時間差分のうち最大の値を、その標本点に配置することとした。ただし，H/2はシークバー上の上下の中央であることを示す。

シークバー上の上下に対しては，差分量の連続性が可視化されるように、徐々に値を減ずることができる。

さらに、全時間で活性度が正規化されるように、全時間での活動度の最大値を、パネルごとに求める。

この値で全体を正規化して、最終的な画素値とする。

先験的な最大値がわかっている場合には、pmaxの代わりに任意の定数pcoeffを用いることもでき、オンラインでのシークバー生成も可能となる。また、すべてのパネルで統一した活動度評価を行うことができる。

群・全体に対するシークバーも同様に生成することができる。たとえば、群g1に対する領域Rg1は、群g1を形成する個が占める領域Rg1-1、Rg1-2、… の和として求める。

群・全体の活動度も、個の場合と同様に算出することができる。全体に対しても同様に領域Rallを、すべての群Rg1、Rg2、…
の和として求める。

音量に対しても全く同様にして、シークバーを生成することができる。

授業内容検討の目的で本発明を利用することには，次のような利点がある。

まず、個人だけでなく、群や全体の活動度が観測できる。活動度の高いところや、逆に活性度の低いところに着目して、効率的に映像分析を行える。

次に、厳格な撮影環境を必要としない。また、異なる映像間で設定を共有する必要もない。三脚で設置した家庭用カメラで講義映像を撮影するだけで、授業内容検討に有用な資料とすることができる。

次に、全方位カメラの映像のようにゆがみを持つ映像に対しても、受講者ごとに個別の活動を観察できる。映像にパネルを設定することで、映像提供者が意図した対象に注目させることができる。

最後に、パネルに対するメタデータが用意されていれば、あるパネルが選択されたときにそれに対応するメタデータを表示することもできる。たとえば、パネルに対応する学生名と過去のレポート課題の成績を表示することができる。オンラインで授業の様子を可視化するような場合には、目の前の学生とその成績を一覧できることは、効率的に講義を進めるうえで有用である。

以下に、本発明の他の実施例について説明する。

図８は、ゲージ内の実験動物の動作観察のために利用した例である。マウスを固定点で観測する映像に対して、水呑み器に対してパネルを設定している。マウスが水を飲んだ時刻がシークバー上に表現される。

同様にゲージ内での特定の箇所にパネルを設定することで、動物の移動を把握することもできる。また、別途生体センサーを埋め込んで常時生体信号を取得しているような場合には、生体信号に関連するシークバーを表示することで、行動と生体信号の相関を取得することも可能となる。

以下に、本発明のまた別な実施例について説明する。

図９は、監視カメラ映像の観察に適用した例である。人物検出器が有効に働かないような遠くから俯瞰するような固定点観測映像に対しても、パネルを設定することで、パネル内に人物が流入した時刻を可視化することができる。本実施例では、公園入口にパネルを設定することで、公園に出入りする人物の様子を効率的に観察することができる。

本発明による映像内活動度可視化方法、プログラム及び装置によれば、授業内容検討の際に利用することで、検討効率を上げることができるばかりでなく、実験動物の挙動観察が容易になったり、監視カメラのモニタリングが効率的に行える。さらにまた、長時間にわたる観察が必要な対象物の監視、定点観測映像の解析、製造工程における製造装置のモニタリング、製品の外観検査など、教育、研究、セキュリティ、製造産業などの用途に広く応用が可能である。

１ ディスプレイの表示画面
２ 映像領域
３ パネル
４ パワーゲージ
５ メタデータ
６ 個々のパネルに対応するシークバー
７ パネル群に対応するシークバー
８ 全パネルに対応するシークバー
９ 音圧に対応するシークバー
１０ 再生中の時刻

Claims (22)

1. ディスプレイの表示画面を制御する表示画面制御部と、
   映像データを取得し、前記表示画面の一部に映像を表示する映像制御部と、
   前記映像内の注目する領域をパネルとして設定するパネル制御部と、
   前記パネル内の活動度を算出する活動度算出部と、
   映像の経過時間に対する前記パネル内の前記活動度をシークバーとして表示するシークバー制御部と、
   を備えることを特徴とする映像内活動度可視化装置。
2. 前記活動度が、前記パネル内のひとつの映像フレームの全画素のうち、時間的に隣接した直前又は直後の映像フレームの対応する画素との特性値の差が、あらかじめ設けられたしきい値を超えた画素の割合とすることを特徴とする請求項1に記載の映像内活動度可視化装置。
3. 前記パネル内の、表示中の映像の映像フレームに対する前記活動度を、リアルタイムに表示するパワーゲージ制御部をさらに備えることを特徴とする請求項1又は2のいずれかに記載の映像内活動度可視化装置。
4. 前記シークバーは、前記パネル内のある時点における映像フレームの活動度を、その時点を示す位置に対する画素の色で、表示することを特徴とする請求項1から３のいずれかに記載の映像内活動度可視化装置。
5. 前記シークバーの時間方向に対する画素数が、映像の全映像フレーム数よりも少ない場合には、前記シークバーの時間方向の画素一つに複数の映像フレームが割り当てられ、前記画素の一つに割り当てられた複数の映像フレームの活動度のうち最大値を、画素の色で表示することを特徴とする請求項４に記載の映像内活動度可視化装置。
6. 前記シークバーの任意の位置を指定することで、対応する時点から、映像を再生し、指定したシークバーに対応するパネルをハイライト表示することを特徴とする請求項４又は５のいずれかに記載の映像内活動度可視化装置。
7. 前記シークバー制御部が、
   複数の前記パネル内の映像の時間的変化を示す活動度をシークバーとしてさらに表示することを特徴とする請求項１から６のいずれかに記載の映像内活動度可視化装置。
8. 前記シークバー制御部が、
   映像以外の、映像と同期した信号の時間的変化を示す活動度をシークバーとしてさらに表示することを特徴とする請求項１から７のいずれかに記載の映像内活動度可視化装置。
9. 前記映像以外の信号が音声又は生体信号であることを特徴とする請求項８に記載の映像内活動度可視化装置。
10. 前記映像が、授業内容を撮影した映像であり、前記パネルが受講者毎に設定され、前記受講者毎の動作を把握するために用いられることを特徴とする請求項1から9に記載の映像内活動度可視化装置。
11. 前記映像が、ゲージ内の実験動物の動作を撮影した映像であり、前記パネルがゲージ内の特定の箇所に対して設定され、前記特定の箇所毎の動物の行動を把握するために用いられることを特徴とする請求項1から9に記載の映像内活動度可視化装置。
12. 前記映像が、特定の場所における人の行動を撮影した映像であり、前記パネルが前記特定の場所におけるさらに限定された箇所に対して設定され、前記限定された箇所毎の人の流れ、行動を把握するために用いられることを特徴とする請求項1から9に記載の映像内活動度可視化装置。
13. 映像データを取得し、ディスプレイの一部に前記映像データにより映像を表示するステップと、
    表示された前記映像内で、外部からの信号により指定された領域をパネルとして設定するステップと、
    前記パネル内の映像の時間的変化を示す活動度を算出するステップと、
    前記映像の経過時間に対する前記パネル内の前記活動度をシークバーとして表示するステップと、
    を備えることを特徴とする映像内活動度可視化方法。
14. 前記活動度を算出するステップは、前記パネル内のひとつの映像フレームの全画素のうち、時間的に隣接した直前又は直後の映像フレームの対応する画素との輝度値の差が、あらかじめ設けられたしきい値を超えた画素の割合とするステップであることを特徴とする請求項13に記載の映像内活動度可視化方法。
15. 前記パネル内の、表示中の映像の映像フレームに対する前記活動度を、パワーゲージとしてリアルタイムに表示するステップをさらに備えることを特徴とする請求項13又は14のいずれかに記載の映像内活動度可視化方法。
16. 前記シークバーの任意の位置を外部信号により指定された際に、対応する時点から、映像を再生し、指定したシークバーに対応するパネルをハイライト表示するステップをさらに備えたことを特徴とする請求項13から15のいずれかに記載の映像内活動度可視化方法。
17. 前記映像の経過時間に対する前記パネル内の前記活動度をシークバーとして表示するステップにおいて、映像以外の、映像と同期した信号の時間的変化を示す活動度をシークバーとしてさらに表示することを特徴とする請求項13から16のいずれかに記載の映像内活動度可視化方法。
18. コンピュータに、
    映像データを取得し、ディスプレイの一部に前記映像データにより映像を表示する手順と、
    表示された前記映像内で、外部からの信号により指定された領域をパネルとして設定する手順と、
    前記パネル内の映像の時間的変化を示す活動度を算出する手順と、
    前記映像の経過時間に対する前記パネル内の前記活動度をシークバーとして表示する手順と、
    を実行させるための映像内活動度可視化プログラム。
19. 前記活動度を算出する手順は、前記パネル内のひとつの映像フレームの全画素のうち、時間的に隣接した直前又は直後の映像フレームの対応する画素との輝度値の差が、あらかじめ設けられたしきい値を超えた画素の割合とする手順であることを特徴とする請求項18に記載の映像内活動度可視化プログラム。
20. 前記パネル内の、表示中の映像の映像フレームに対する前記活動度を、パワーゲージとしてリアルタイムに表示する手順をさらに備えることを特徴とする請求項18又は19のいずれかに記載の映像内活動度可視化プログラム。
21. 前記シークバーの任意の位置を外部信号により指定された際に、対応する時点から、映像を再生し、指定したシークバーに対応するパネルをハイライト表示する手順をさらに備えたことを特徴とする請求項18から20のいずれかに記載の映像内活動度可視化プログラム。
22. 前記映像の経過時間に対する前記パネル内の前記活動度をシークバーとして表示する手順において、映像以外の、映像と同期した信号の時間的変化を示す活動度をシークバーとしてさらに表示することを特徴とする請求項18から21のいずれかに記載の映像内活動度可視化プログラム。