(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。図1は、実施の形態1にかかる再生装置の構成を示すブロック図である。図1において、再生装置100は、CPU101と、記録媒体102と、データ入出力部103と、タグデータ処理部104と、再生制御部105と、画像データ処理部106と、キー入力部107と、キー制御部108と、表示デバイス109と、表示制御部110とを備える。
CPU101は、中央処理ユニット(Central Processing Unit)であり、データ入出力部103と、タグデータ処理部104と、再生制御部105と、画像データ処理部106と、キー制御部108と、表示制御部110とデータバスで接続し、プログラムの命令を実行することで情報処理を行う。
記録媒体102は、動画データを記録する媒体である。例えば、記録媒体102は、フラッシュメモリ等の不揮発性メモリが好適である。また、記録媒体102は、再生装置100から取り外し可能としてもよい。
データ入出力部103は、記録媒体102にデータを記憶する、または記録媒体102からデータを読み出す。例えば、データ入出力部103は、記録媒体102とのインターフェース回路で構成されることが好適である。
タグデータ処理部104は、動画データに付属しているタグデータ及び重要度の情報を取り出して、再生制御部105に出力する。
再生制御部105は、動画データに付属するタグデータ及び重要度の情報に基づいて、動画データの再生速度を設定する。例えば、再生制御部105は、動画データに付属するタグデータ及び重要度の情報に基づいて、動画データの再生速度をシーン単位で設定する。
例えば、再生制御部105は、動画データのシーン単位の重要度に基づいて、重要度がより高いシーンをより遅い再生速度に設定し、重要度がより低いシーンをより速い再生速度に設定する。また、例えば、再生制御部105は、重要度がより高いシーンを1倍速の再生速度に設定し、重要度がより低いシーンを、1倍速より速い再生速度、かつ希望する再生時間内に動画データ全体を再生可能な再生速度に設定する。
また、例えば、再生制御部105は、少なくとも動画及びタグをシーン単位で組み合わせた動画データに対して、タグが付与されたシーンを重要度がより高いシーンとして、より遅い再生速度に設定し、タグが付与されていないシーンを重要度がより低いシーンをより速い再生速度に設定する。
また、例えば、再生制御部105は、少なくとも動画、タグ及び重要度をシーン単位で組み合わせた動画データに対して、タグが付与され、かつ優先度がより高いシーンを、より遅い再生速度に設定し、タグが付与され、かつ優先度がより低いシーンを、より速い再生速度に設定し、タグが付与されていないシーンを、タグが付与され、かつ優先度がより低いシーンより更に速い再生速度に設定する。
画像データ処理部106は、記録媒体102に記憶された動画データに画像処理を行う。具体的には、画像データ処理部106は、動画データをCPU101または再生制御部105が指示するフレームレート(再生速度)に変換する。
キー入力部107は、再生装置100の操作に必要な入力を受け付ける。例えば、キー入力部107は、ボタンの押下等の操作により電気回路を接続するスイッチ等が好適である。
キー制御部108は、キー入力部107の操作による信号に対して各種処理を行い、出力する。例えば、キー制御部108は、電気信号の増幅、チャタリングによるノイズの除去等の処理を行う。
表示デバイス109は、表示制御部110を介して画像データ処理部106で処理された動画データを表示するデバイスである。例えば、表示デバイス109は、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ、ビデオプロジェクタ、ブラウン管等が好適である。
表示制御部110は、画像データ処理部106で変換された動画データを再制御部105によって再生させて表示デバイス109で表示するために、電気信号の変換、増幅を行う。例えば、表示制御部110は、ディスプレイドライバ回路が好適である。
次に、再生装置100の動作について説明する。図2、3は、実施の形態1に係る再生装置の動作の例を示すフローチャートである。
まず、キー入力部107の操作による入力もしくは選択肢から選ぶなどして、あらかじめ動画データの目標再生時間を設定しておく。目標再生時間とは、ユーザが自由に設定できる時間のことであり、動画データが目標再生時間よりも長い時間のデータだった場合でも動画データの再生速度を変化させることで目標再生時間として設定した時間内で再生される。ここで、目標再生時間は、CPUに付属した記憶領域(図示しない)に保存される。
次にステップS201において、再生する動画データの再生速度を設定する必要があるか否かを判断する。具体的には、ステップS201において、再生制御部105が、再生する動画データの総記録時間が目標とする再生時間以上であるか否か判断する。再生する動画データの総記録時間が目標とする再生時間以上である場合、再生速度を変更する必要があるのでステップS202に進む。また、再生する動画データの総記録時間が目標とする再生時間未満である場合、再生速度を変更する必要がないので、処理を終了する。
次にステップS202において、再生制御部105が、重要度の情報が付与されているシーンを、重要なシーンとして各々S0〜Sn(nは整数)と設定し、ステップS203に進む。
ステップS203において、再生制御部105が、シーンS0〜Snの中で最も重要なシーンの記録時間が第1の設定時間以下であるか否か判断する。ここで第1の設定時間は、重要なシーンを再生するための時間であり、例えば1倍速の再生速度で再生するシーンのための再生時間である。シーンS0〜Snの中で最も重要なシーンの記録時間が第1の設定時間以下である場合、ステップS205に進む。シーンS0〜Snの中で最も重要なシーンの記録時間が第1の設定時間より大きい場合、ステップS204に進む。
ステップS204において、再生制御部105が、第1の設定時間を予め設定した値から最も重要なシーンの記録時間に変更し、少なくとも1つの最も重要なシーンを第1の設定時間に(1倍速で)再生できるようにして、ステップS205に進む。
ステップS205及びS206において、タグが付与されたシーンのうち、第1の設定時間以内に1倍速で再生可能なシーンを選択する。
具体的には、ステップS205において、再生制御部105が、シーンS0〜Snの総記録時間が第1の設定時間以内であるか否か判断する。シーンS0〜Snの総記録時間が第1の設定時間以内である場合、ステップS207に進み、シーンS0〜Snの総記録時間が第1の設定時間より大きい場合、ステップS206に進む。
そして、ステップS206において、再生制御部105が、シーンS0〜Snの中で最も重要度の低いシーンを除き、新たなシーンS0〜Snとし、除外されたシーンをJ0〜Jm(mは整数)として、ステップS205に戻る。すなわち、ステップS205及びステップS206のループ処理により、重要度が低い順に除外して、第1の設定時間以内に収まるシーンS0〜Snを選択している。なお、このnおよびmはこの対象シーン除外の処理により変動する。対象シーン除外の処理が行われると、nは減少し、mが増加する。
ステップS207において、再生制御部105が、第1の設定時間に収まらないため除外したシーンJ0〜Jmがあるか否か判断する。第1の設定時間に収まらないため除外したシーンJ0〜Jmがある場合、ステップS208に進み、第1の設定時間に収まらないため除外したシーンJ0〜Jmがない場合、ステップS212に進む。
ステップS208において、再生制御部105が、シーンS0〜Snの記録時間と第1の設定時間とが一致せずに余った時間である、第1の設定時間からシーンS0〜Snの記録時間を減算した値を、第2の設定時間に加え、ステップS209に進む。
ステップS209において、再生制御部105が、シーンJ0〜Jmの総記録時間が第2の設定時間以内であるか否か判断する。シーンJ0〜Jmの総記録時間が第1の設定時間以内である場合、ステップS211に進み、シーンJ0〜Jmの総記録時間が第2の設定時間より大きい場合、ステップS210に進む。
ステップS210において、再生制御部105が、シーンJ0〜Jmを第2の設定時間内で再生できる、J0〜Jmの再生速度(第2再生速度)を設定し、ステップS213に進む。具体的には、ステップS210では、シーンJ0〜Jmの総記録時間を第2の設定時間で除算することにより、J0〜Jmの再生速度(第2再生速度)を得る。
ステップS211において、再生制御部105が、シーンJ0〜Jmの再生速度(第2再生速度)を1倍速に設定し、第2設定時間からシーンJ0〜Jmの記録時間を減算した値を、第3の設定時間に加え、ステップS213に進む。
ステップS212において、再生制御部105が、第3の設定時間を設定し、ステップS213に進む。具体的には、ステップS212では、第1の設定時間に第2の設定時間を加え、シーンS0〜Snの総記録時間を減じて得られた値を、第3の設定時間に加える。
ステップS213において、再生制御部105が、重要度が付加されていないシーンの再生速度設定(第3再生速度)を設定し、ステップS214に進む。具体的には、ステップS213では、重要度が付加されていないシーンの総記録時間を第3の設定時間で除算して、重要度が付加されていないシーンの再生速度設定(第3再生速度)を得る。なお、重要度が付加されていないシーンが存在せず、第3再生速度がない場合、第3再生速度を0とする。
ステップS214では、重要度が下位であるシーンの再生速度(第2の再生速度)が、タグが付与されていない重要度が下位であるシーンの再生速度(第3の再生速度)より遅いか確認する。ステップS214において、再生制御部105が、第2再生速度が第3再生速度以下であるか否か判断する。第2再生速度が第3再生速度以下である場合、ステップS216に進み、第2再生速度が第3再生速度より大きい場合、ステップS215に進む。
ステップS215において、再生制御部105が、第2再生速度と第3再生速度と等しくし、ステップS216に進む。具体的には、ステップS215では、S0〜Snを除いたシーンの総再生時間を、第2と第3の設定時間の和で除算することにより、第2再生速度及び第3再生速度を得る。
ステップS216において、再生制御部105が、S0〜Snを1倍速(第1の再生速度)に、J0〜Jmを第2の再生速度に、その他のシーンを第3の再生速度に、各々設定し、ステップS217に進む。
ステップS217において、画像データ処理部106が、動画データの各シーンを設定された再生速度に対応するデータに変換し、表示制御部110を介して、表示デバイス109で表示する。
以上の動作により、再生装置100は、シーン単位で重要度を考慮した再生速度を決定することができる。
次に、再生装置100を用いて再生速度を決定する例について説明する。ここでは、一例として、120分の記録映像を重要度に応じて再生速度を変えて、再生時間を30分に収める例について説明する。具体的には、仮に120分の記録映像の内容が、120分の野球の試合があった場合について説明する。
120分の記録映像の中で、タグが打たれたシーンのうち重要度が高いシーンを15分、重要度が高くないシーンを10分、タグが打たれていないシーンを5分の計30分で再生する設定とした場合、以下の配分が考えられる。
ヒット、ファインプレーやクロスプレー、ピンチを三振や併殺などでしのいだシーン、その他ポイントとなるシーン等で合計60回、それぞれに一律30秒の範囲を持つタグが打ち込まれたと仮定する。この場合、タグが打たれた回数は60回、それぞれ30秒なので、タグが打たれた範囲を全て1倍速で再生すると1800秒=30分となる。
この中で、重要度の高い30個のタグを1倍速で再生すると、再生時間は、30個×30秒=900秒=15分となる。そして、残りの重要度の高くない30個のタグを1倍速で再生すると30個×30秒=900秒=15分となるが、この再生時間15分を10分に収めるために15/10=1.5倍速で再生する。
また、タグが打たれていない90分の記録映像を残りの5分の再生時間に収めるためには、18倍速で再生することになる。この結果、再生時間は合計して30分に収まる。
通常の動画は1秒間に60フレーム(60枚)の画像で構成されており、18倍速で再生するということは、1秒間の60枚の画像から3.33枚の画像を抜き出して再生するということである。言い換えれば3秒間の180枚の画像から10枚の画像を抜き出して再生するということである。18倍速程度であればピッチャーが投げた球の種類やバッターが打つ瞬間などを確認することはできないものの、投球回数や打者の交代や走塁、チェンジのシーンなど試合の流れ自体を把握するのには問題の無い速度である。
また、タグの数が上記の半分程度だった場合、タグが打たれたシーンの時間は15分程度で、タグの打たれたシーンすべてを1倍速で再生できる。タグが打たれていないシーンの115分を、残りの15分で再生すればよいので、タグが打たれていないシーンの再生速度は7.66倍となる。
逆に、タグの数が90個あった場合は重要度の高い30個は1倍速、重要度の低い60個は3倍速、タグの打たれていないシーンは15倍速となる。
さらにタグが1度も打たれなかった場合、再生速度は、記録時間120分を目標再生時間30分で割った4倍速となる。
このように通常のケースでは、タグが打たれた部分の重要度が高くないシーンでも1〜4倍速程度で再生され(ただし、記録時間全体に占めるタグのあるシーンの時間が多くなっていくと最大7倍になる)、タグが打たれていない部分は4〜20倍程度で再生されることになる(なお、計算上の最大値は19倍となる)。
なお、上記説明の具体的な数値は120分の記録画像を30分で再生する場合であり、120分の記録画像をもっと短い時間で再生する場合はここに記載した値よりも早い再生速度となり、逆の場合は遅い再生速度となる。
以上のようにして、再生制御部105は、動画データのシーン単位の再生速度を決定し、画像データ処理部106によって再生速度を変換された動画データは、再生制御部105によって再生される。
以下、タグ及び重要度の付与のパターン別にケースを示して再生速度の算出例について説明する。
通常、記録された映像の中にタグが打たれたシーンが離散的に存在し、その間の部分がタグの無いシーンとなるが、ここでは、特殊なケースを発生させることと説明を簡単にするために、120分中12のシーンがあり、タグの持つシーンを数分単位と想定して説明を行う。また、説明の簡略化のため、小数点第2位以下の省略した説明とするが、実際には小数点第2位以下について考慮してもよい。
図4、6、8、10、12、14、16は、各シーンの番号(No.)、記録時間、タグが打たれたシーンを表すマーク(*)、マークがあるシーンの重要度の順番、再生速度及び再生時間の関係を示す図である。また、図5、7、9、11、13、15、17は、記録時間と再生時間との関係を示す図である。これら図4−17について、図2、3のフローに沿って説明する。
<ケース1>
ケース1では、標準的な例について図4、5を用いて説明する。
最初に割り当て初期値について、重要度が上位であるシーンの総再生時間(第1の設定時間)が15分、重要度が下位であるシーンの総再生時間(第2の設定時間)が10分、タグ無し(第3の設定時間)が5分に設定される。
まず、総記録時間120分が目標再生時間30分より大きく、動画を全て1倍速で再生した場合、目標再生時間に収まらないので、図3のステップS201の判定がYesとなり、目標再生時間内に収めるために再生速度を設定する必要がある。
次に、最も重要なシーン1の記録時間は6分であり、第1の設定時間15分に収まるので、図3のステップS203の判定がYesとなり、第1の設定時間は変更されない。
次に、タグが付与されたシーン1,5,3,8の総記録時間が27分であり、第1の設定時間15分より大きく、図3のステップS205の判定がNoとなる。したがって、タグが付与されたシーンの総記録時間が第1の設定時間内に収まらないので、ステップS205〜S206のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン1,5の総記録時間9分が、第1の設定時間15分以内であるので、シーン1,5は、重要度が上位であるシーンS0〜S1に設定され、除外されたシーン3,8は重要度が下位であるシーンJ0〜J1に設定される。
次に、タグが付与されたシーンが第1の設定時間内に収まらないことにより、図3のステップS207の判定がYesとなるので、重要度が下位であるシーンの総再生時間(第2の設定時間)の設定を行う。具体的には、第2の設定時間10分に、第1の設定時間15分からS0〜S1の記録時間9分を減算した値6分を加えて16分とする。
次に、J0〜J1の記録時間18分が第2の設定時間16分より大きく、図3のステップS209の判定がNoであるので、第2の設定時間内でJ0〜J1のシーンを再生するための再生速度を決定する。具体的には、J0〜J1の再生時間18分を第2の設定時間16分で除算し、再生速度を18/16=1.125倍速とする。
また、タグが付与されていないシーンの総記録時間93分を、タグが付与されていないシーンの総再生時間(第3の設定時間)5分に収めるため再生速度を93/5=18.6倍速とする。
次に、重要度が下位であるシーンの再生速度(第2の再生速度)が、タグが付与されていないシーンの再生速度(第3の再生速度)より遅いか確認する。具体的には、第2の再生速度1.125倍速が第3の再生速度18.6倍速以下であり、図3のステップS214の判定がYesであるので、第2再生速度と第3再生速度は変更しない。そして、第2再生速度と第3再生速度は変更しない。そして、第1の再生速度が1倍速、第2の再生速度が1.125倍速、第3の再生速度が18.6倍速、にそれぞれ設定される。
以上により、第1の再生速度、第2の再生速度及び第3の再生速度が設定された場合の記録時間と再生時間とを図5に示す。
<ケース2>
ケース2では、最も重要なシーンの記録時間が第1の設定時間より大きく、図3のステップS203の判定がNoとなる例について、図6、7を用いて説明する。
最初に割り当て初期値について、重要度が上位であるシーンの総再生時間(第1の設定時間)が15分、重要度が下位であるシーンの総再生時間(第2の設定時間)が10分、タグ無し(第3の設定時間)が5分、にそれぞれ設定される。
まず、総記録時間120分が目標再生時間30分より大きく、動画を全て1倍速で再生した場合、目標再生時間に収まらないので、図3のステップS201の判定がYesとなり、目標再生時間内に収めるために再生速度を設定する必要がある。
次に、最も重要なシーン2の記録時間18分が、第1の設定時間の15分を超えており、図3のステップS203の判定がNoであるので、第1の設定時間を18分とする。
次に、タグが付与されたシーン2,1,6,4の総記録時間が45分であり、第1の設定時間18分より大きく、図3のステップS205の判定がNoとなる。したがって、タグが付与されたシーンの総記録時間が第1の設定時間内に収まらないので、ステップS205〜S206のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン2の総記録時間18分が、第1の設定時間18分以内であるので、シーン2をS0に設定し、シーン1,6,4をJ0〜J2に設定する。
次に、第1の設定時間18分からS0の記録時間18分を減算した値が0分であり、図3のステップS207の判定がNoであるので、第2の設定時間を変更しない。
次に、J0〜J2の記録時間27分が第2の設定時間10分より大きく、図3のステップS209の判定がNoであるので、J0〜J2の再生時間を10分に収めるため、再生速度を27/10=2.7倍速とする。
次に、タグが付与されていないシーンの総記録時間75分を、タグが付与されていないシーンの総再生時間(第3の設定時間)5分に収めるため、再生速度を75/5=15倍速とする。
次に、第2の再生速度2.7倍速が第3の再生速度15倍速以下であり、図3のステップS214の判定がYesであるので、第2再生速度と第3再生速度は変更しない。そして、第1の再生速度が1倍速、第2の再生速度が2.7倍速、第3の再生速度が15倍速、にそれぞれ設定される。
以上により、第1の再生速度、第2の再生速度及び第3の再生速度が設定された場合の記録時間と再生時間とを図7に示す。
なお、ケース2では、図3のステップS203の判定が最も重要なシーンが、第1の設定時間の初期値に対して3分だけ超えているので、第1の設定時間の初期値を15分のままとした場合、合計再生時間は33分になってしまう。
最も重要なシーンが第1の設定時間を超えた分、第2・第3の設定時間を減少させるという処理も考えられるが、通常の撮影においてはまず発生しない事案である事と最も重要なシーンが目標再生時間以上だった場合の処理も発生するため、このような処理は行わず、第1の設定時間を最も重要なシーンの記録時間とする。
また、原則として最も重要なシーンの再生速度は1倍速とするので、最も重要なシーンが第1の設定時間を超えた分だけ全体の再生時間は延びるが、後処理として最終的に算出された再生時間から全体の再生速度を30分に収まるよう(33/30=1.1倍速にして30分、)にしてもよい。
<ケース3>
ケース3では、第1の設定時間に収まらないために除外したシーンがなく、図3のステップS207の判定がNoである場合について、図8、9を用いて説明する。
最初に割り当て初期値について、重要度が上位であるシーンの総再生時間(第1の設定時間)が15分、重要度が下位であるシーンの総再生時間(第2の設定時間)が10分、タグ無し(第3の設定時間)が5分に設定される。
まず、総記録時間120分が目標再生時間30分より大きく、動画を全て1倍速で再生した場合、目標再生時間に収まらないので、図3のステップS201の判定がYesとなり、目標再生時間内に収めるために再生速度を設定する必要がある。
次に、最も重要なシーン5の記録時間は3分であり、第1の設定時間15分に収まるので、図3のステップS203の判定がYesとなり、第1の設定時間は変更されない。
次に、タグが付与されたシーン5,1,10の総記録時間が12分であり、第1の設定時間15分より小さく、タグが付与されたシーンの総記録時間が第1の設定時間内に収まるので、図3のステップS205の判定がYesとなり、シーン5,1,10を重要度が上位であるシーンS0〜S2に設定される。すなわち、また除外したシーンに対応するJ0〜Jmは設定されない。
次に、除外したシーンがなく、図3のステップS207の判定がNoであるので、(第1の設定時間15分に第2の設定時間10分を加えS0〜S2の記録時間12分を減算した値13分を第3の設定時間5分に加えて、第3の設定時間を18分とする。
次に、タグが付与されていないシーンの総記録時間108分について、タグが付与されていないシーンの総再生時間(第3の設定時間)18分に収めるため再生速度を108/18=6倍速とする。
次に、第2の再生速度が設定されていない場合は、図3のステップS214の判定を例外処理としてYesにする。この結果、(第2再生速度と)第3再生速度は変更されない。そして、第1の再生速度が1倍速、第2の再生速度が無し、第3の再生速度が6倍速、にそれぞれ設定される。
以上により、第1の再生速度、第2の再生速度及び第3の再生速度が設定された場合の記録時間と再生時間とを図9に示す。
<ケース4>
ケース4では、図3のステップS209の判定がYesになる場合について、図10、11を用いて説明する。
最初に割り当て初期値について、重要度が上位であるシーンの総再生時間(第1の設定時間)が15分、重要度が下位であるシーンの総再生時間(第2の設定時間)が10分、タグ無し(第3の設定時間)が5分、にそれぞれ設定される。
まず、総記録時間120分が目標再生時間30分より大きく、動画を全て1倍速で再生した場合、目標再生時間に収まらないので、図3のステップS201の判定がYesとなり、目標再生時間内に収めるために再生速度を設定する必要がある。
次に、最も重要なシーン5の記録時間は3分であり、第1の設定時間15分に収まるので、図3のステップS203の判定がYesとなり、第1の設定時間は変更されない。
次に、タグが付与されたシーン5,1,10,3の総記録時間が21分であり、第1の設定時間15分より大きく、図3のステップS205の判定がNoとなる。したがって、タグが付与されたシーンの総記録時間が第1の設定時間内に収まらないので、ステップS205〜S206のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン5,1,10の総記録時間が12分であり、第1の設定時間15分以内であるので、シーン5,1,10をS0〜S2に設定し、シーン3をJ0に設定する。
次に、タグが付与されたシーンが第1の設定時間内に収まらないことにより、図3のステップS207の判定がYesとなるので、第1の設定時間15分からS0の記録時間12分を減算した値3分を、第2の設定時間に加えて、第2の設定時間を13分とする。
次に、J0の記録時間9分が第2の設定時間13分より小さく、図3のステップS209の判定がYesであるので、J0の再生速度を1倍速とする。
そして、第3の設定時間に第2の設定時間13分からJ0の記録時間9分を減算した値4分を加えて9分とする。
タグが付与されていないシーンの総記録時間99分について、タグが付与されていないシーンの総再生時間(第3の設定時間)9分に収めるため再生速度を99/9=11倍速とする。
第2の再生速度1倍速が第3の再生速度11倍速以下であり、図3のステップS214の判定がYesであるので、第2再生速度と第3再生速度は変更しない。そして、第1の再生速度が1倍速、第2の再生速度が1倍速、第3の再生速度が11倍速、にそれぞれ設定される。
以上により、第1の再生速度、第2の再生速度及び第3の再生速度が設定された場合の記録時間と再生時間とを図11に示す。
<ケース5>
ケース5では、図3のステップS214の判定がNoである場合について、図12、13を用いて説明する。
最初に割り当て初期値について、重要度が上位であるシーンの総再生時間(第1の設定時間)が15分、重要度が下位であるシーンの総再生時間(第2の設定時間)が10分、タグ無し(第3の設定時間)が5分、にそれぞれ設定される。
まず、総記録時間120分が目標再生時間30分より大きく、動画を全て1倍速で再生した場合、目標再生時間に収まらないので、図3のステップS201の判定がYesとなり、目標再生時間内に収めるために再生速度を設定する必要がある。
次に、最も重要なシーン5の記録時間は3分であり、第1の設定時間15分に収まるので、図3のステップS203の判定がYesとなり、第1の設定時間は変更されない。
次に、タグが付与されたシーン5,1,10,3,9,12,7,2,6,4の総記録時間が99分であり、第1の設定時間15分より大きく、図3のステップS205の判定がNoとなる。したがって、タグが付与されたシーンの総記録時間が第1の設定時間内に収まらないので、ステップS205〜S206のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン5,1,10の総記録時間が12分であり、第1の設定時間15分以内であるので、シーン5,1,10を重要度が上位であるS0〜S2に設定し、除外されたシーン3,9,12,7,2,6,4を重要度が下位であるJ0〜J6に設定する。
次に、タグが付与されたシーンが第1の設定時間内に収まらないことにより、図3のステップS207の判定がYesとなるので、第2の設定時間に第1の設定時間15分からS0〜S2の記録時間12分を減算した値3分を加えて13分とする。
次に、J0〜J6の記録時間87分が第2の設定時間13分より大きく、図3のステップS209の判定がNoであるので、J0〜J6の再生時間を13分に収めるため再生速度を87/13=6.69倍速とする。
また、タグが付与されていないシーンの総記録時間21分について、タグが付与されていないシーンの総再生時間(第3の設定時間)5分に収めるため再生速度を21/5=4.2倍速とする。
第2の再生速度6.69倍速が第3の再生速度4.2倍速より大きく、図3のステップS214の判定がNoであるので、第2の再生速度と第3の再生速度とを再計算する。具体的には、J0〜J6の記録時間87分、とタグが打たれていないシーンの記録時間21分、の和の108分を、第2の設定時間と第3の設定時間の和である18分に収めるため、
第2の再生速度と第3の再生速度を108/18=6倍速とする。
そして、第1の再生速度が1倍速、第2の再生速度が6倍速、第3の再生速度が6倍速に設定される。
以上により、第1の再生速度、第2の再生速度及び第3の再生速度が設定された場合の記録時間と再生時間とを図13に示す。
<ケース6>
ケース6では、すべてのシーンにタグが有る場合について図14、15を用いて説明する。
最初に割り当て初期値について、重要度が上位であるシーンの総再生時間(第1の設定時間)が15分、重要度が下位であるシーンの総再生時間(第2の設定時間)が10分、タグ無し(第3の設定時間)が5分、にそれぞれ設定される。
まず、総記録時間120分が目標再生時間30分より大きく、動画を全て1倍速で再生した場合、目標再生時間に収まらないので、図3のステップS201の判定がYesとなり、目標再生時間内に収めるために再生速度を設定する必要がある。
次に、最も重要なシーン5の記録時間は3分であり、第1の設定時間15分に収まるので、図3のステップS203の判定がYesとなり、第1の設定時間は変更されない。
次に、タグが付与されたシーン5,1,10,3,9,12,7,2,6,4,8,11の総記録時間が120分であり、第1の設定時間15分より大きく、図3のステップS205の判定がNoとなる。したがって、タグが付与されたシーンの総記録時間が第1の設定時間内に収まらないので、ステップS205〜S206のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン5,1,10の総記録時間が12分であり、第1の設定時間15分以内であるので、重要度が上位であるシーン5,1,10をS0〜S2に設定し、除外されたシーン3,9,12,7,2,6,4,8,11を重要度が下位であるJ0〜J8に設定する。
次に、図3のステップS207の判定がYesとなるので、第2の設定時間に第1の設定時間15分からS0〜S2の記録時間12分を減算した値3分を加えて13分とする。
次に、J0〜J8の記録時間108分が第2の設定時間13分より大きく、図3のステップS209の判定がNoであるので、J0〜J8の再生時間を13分に収めるため再生速度を108/13=8.3倍速とする。また、タグ無し(第3の設定時間)シーンが無いため、第3の再生速度は設定されない。
次に、第3の再生速度が設定されない場合は、図3のステップS214の判定を例外処理としてNoにする。この結果、第2の設定時間(と第3の設定時間)を再計算する。具体的には、J0〜J8の記録時間108分を第2の設定時間と第3の設定時間の和である18分に収めるため、第2の再生速度を108/18=6倍速とする。
そして、第1の再生速度が1倍速、第2の再生速度が6倍速、第3の再生速度が無し、にぞれぞれ設定される。
以上により、第1の再生速度、第2の再生速度及び第3の再生速度が設定された場合の記録時間と再生時間とを図15に示す。
<ケース7>
ケース7では、タグがまったく無い場合について図16、17を用いて説明する。
最初に割り当て初期値について、重要度が上位であるシーンの総再生時間(第1の設定時間)が15分、重要度が下位であるシーンの総再生時間(第2の設定時間)が10分、タグ無し(第3の設定時間)が5分、にそれぞれ設定される。
まず、総記録時間120分が目標再生時間30分より大きく、動画を全て1倍速で再生した場合、目標再生時間に収まらないので、図3のステップS201の判定がYesとなり、目標再生時間内に収めるために再生速度を設定する必要がある。
最も重要なシーンの記録時間は、0分であり、タグが付与されたシーンが存在しないので第1の設定時間15分に収まるので、図3のステップS203の判定がYesとなり、第1の設定時間は変更されない。
重要度上位の映像は存在せず記録時間0分であり、図3のステップS205の判定がYesとなる。
次に、除外したシーンが無く、図3のステップS207の判定がNoであるので、第1の設定時間に第2の設定時間を加え、S0〜の記録時間0分を減算し、さらに第3の設定時間5分に加えた30分を、改めて第3の設定時間とする。
そして、第3の再生速度は(総記録時間120分/30分)=4倍速となる。
そして、第2の再生速度は無く、図3のステップS214の判定がYesであるので、第2再生速度と第3再生速度は変更しない。そして、第1の再生速度が1倍速(但し、該当シーン無し)、第2の再生速度が無し、第3の再生速度が4倍速、にそれぞれ設定される。
以上により、第1の再生速度、第2の再生速度及び第3の再生速度が設定された場合の記録時間と再生時間とを図17に示す。
<ケース8>
ケース8では、図3のステップS201の判定がNoである場合について説明する。
まず、総記録時間が目標再生時間より小さく、動画を全て1倍速で再生しても、目標再生時間に収まるので、図3のステップS201の判定がNoとなり、再生時間の設定について何もせず、全てのシーンを1倍速で再生する。
このように実施の形態1の再生装置によれば、撮影者が重要と考えたシーンが遅い再生速度で再生されることにより、内容を十分に視聴でき、また、撮影者が重要ではないと考えたシーンが速い再生速度で再生されることにより、時間を短縮することができるので、限られた時間内で再生を希望する録画データ全てを視聴することができる。
また、実施の形態1の再生装置によれば、タグが付与されたシーンが、遅い再生速度で再生されることにより、内容を十分に視聴でき、またタグが付与されていないシーンが速い再生速度で再生されることにより、再生時間を短縮することができるので、限られた時間内で重要度に応じた再生速度で録画データ全てを視聴することができる。
また、実施の形態1の再生装置によれば、タグが付与されたかつ重要であるシーンが、遅い再生速度で再生されることにより、内容を十分に視聴でき、またタグが付与されたかつ重要ではないシーンが速い再生速度で再生され、またタグが付与されていないシーンが更に速い再生速度で再生されることにより、再生時間を短縮することができるので、限られた時間内で再生を希望する録画データ全てを視聴することができる。
また、タグと関連づけるデータは、動画のデータに限らず、音声または動画、あるいは音声及び動画を含むデータであれば、いずれも適用できる。
次に、再生装置100が再生する動画データ、タグ、重要度の情報の作成の一例について説明する。
以下、実施の形態1に係るタギングシステムについて説明する。実施の形態1に係るタギングシステムは、ユーザがスポーツの試合などを撮影しているときに、当該ユーザのバイタルデータ(生体情報)と、当該ユーザが重要と考えたシーンに対してタギングすることで入力されたタグデータとを用いて、撮影データの重要な範囲、重要なフレームに精度良くタグを設定するものである。このタギングシステムによって付与されたタグに基づいてシーン単位の重要度を定義してもよい。
まず、本実施の形態に係るタギングシステムの構成について説明する。
図18は、本実施の形態に係るタギングシステム300の概略構成を示すブロック図である。
タギングシステム300は、センサ装置310、タグ入力装置320、撮像装置330などを備える。センサ装置310と撮像装置330との間、及び、タグ入力装置320と撮像装置330との間は、有線又は無線により通信を行うことができる。
センサ装置310は、ユーザ(図示せず)が撮像装置330で撮影しているときに、当該ユーザのバイタルデータである心拍数を測定するものである。センサ装置310は、センサ本体311、センサ制御部312、センサデータ処理部313、CPU314などの一般的なセンサ装置が備える構成に加えて、測定した心拍数をリアルタイムで撮像装置330に送信するデータ通信部315を備えている。
タグ入力装置320は、ユーザが撮像装置330で撮影していて、撮影データにタグを付けた方が良いと思う瞬間、例えば、サッカーの試合であればゴールの瞬間などに、ボタンなどを押してタグを入力するものである。タグ入力装置320は、ボタン、画面などのキー入力部321、キー制御部322、入力タグデータ処理部323、CPU324などの一般的なタグ入力装置が備える構成に加えて、ユーザが入力したタグのデータである入力タグデータをリアルタイムで撮像装置330に送信するデータ通信部325を備えている。
撮像装置330は、ビデオカメラ、デジタルカメラなどのような動画像を撮影できるものである。撮像装置330は、イメージセンサ331、撮像部332、画像データ処理部333、データ出力部334、記録媒体335、CPU336などの一般的な撮像装置が備える構成に加えて、データ通信部337、センサデータ記録部338、タグ制御部339、タグ範囲処理部340、タグ記録部341などを備えている。
データ通信部337は、センサ装置310のデータ通信部315が送信したセンサデータ、タグ入力装置320のデータ通信部325が送信した入力タグデータなどを受信する。また、データ通信部337は、センサ装置310、タグ入力装置320などに対して、動作開始のタイミングを制御する信号などを送信しても良い。つまり、センサ装置310のデータ通信部315、及びタグ入力装置320のデータ通信部325は、撮像装置330のデータ通信部337と一方向又は双方向で制御信号、ステータス通知信号などの通信を行っても良い。
センサデータ記録部338は、センサ装置310から受信したセンサデータを記録する。
タグ制御部339は、撮像装置330におけるタグ付与動作(タギング方法)の全体を制御する。
タグ範囲処理部340は、受信したセンサデータ及び入力タグデータを用いて、撮像装置330が撮影した動画データの適切な範囲、例えば、タグが記録されたタイミングで、バイタルデータが予め設定した閾値以上である場合、その閾値以上である期間をタグ範囲に設定する。タグ範囲処理部340は、このようなタグ範囲の設定を撮影中に行うことができる。さらに、動画再生時にタグ範囲の設定を行っても良い。
タグ記録部341は、受信したセンサデータ、入力タグデータ、設定したタグ範囲を動画データに関連付けて撮影中または動画再生中に記録する。また、タグ記録部341は設定したタグ範囲内にタグ付与してそのタイミングデータを記録する。
受信したセンサデータ、入力タグデータ、設定したタグ範囲のデータ、及び、これらと関連付けられた動画データなどは記録媒体335に記録されることもある。
入力タグデータには、例えば、ユーザがタグを入力した時刻や、撮像装置330がタグ入力を受信した時刻が含まれる。時刻でなくても、センサ装置310、タグ入力装置320及び撮像装置330が録画開始などの何らかの同期するタイミングを共有できれば、その時点からの経過時間の情報でも代用が可能である。
なお、センサ装置310、タグ入力装置320及び撮像装置330が時計を内蔵しているのであれば、センサ装置310、タグ入力装置320は測定した心拍数、入力タグデータをリアルタイムで撮像装置330に送信する必要はない。後で、それぞれの時計情報に基づいて、動画データ、バイタルデータ及び入力タグデータのタイミングを合わせることが可能である。
また、撮像装置330が実現する各構成要素は、CPU336の制御によって、プログラムを実行させることによって実現できる。より具体的には、撮像装置330は、記憶部(図示せず)に格納されたプログラムを主記憶装置(図示せず)にロードし、CPU336の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い
続いて、本実施の形態に係るタギングシステム300の動作、すなわち、タギング方法について説明する。ここでは、タグ範囲処理部340の動作について主に説明する。
まず、タグ範囲処理部340のタグ範囲設定動作の概要について説明する。タグ範囲処理部340は、上述したように、受信したセンサデータ及び入力タグデータを用いて、撮像装置330が撮影した動画データの適切な範囲にタグを設定するものである。
図19は本実施の形態に係る心拍数の時間変化と、タグ範囲との関係を示す図である。心拍数のグラフに入力タグデータを示したものを上に、入力タグデータから設定したタグ範囲を動画データに関連付けたものを下に示している。心拍数のグラフの横軸は時刻、縦軸は心拍数を示す。また、心拍数75付近の横線はタグ範囲を設定するための閾値を示す。また、心拍数40付近に記入している横方向の矢印及び「平常」「緊張」等の文字は、そのときのユーザの状態を説明するためのものである。
図19に示した心拍数の例では、ユーザの状態はゲーム開始からゲーム終了までの間に心拍数の変化から、平常状態、緊張状態もしくは興奮状態、そして平常(緩和)状態へと変化する。緊張状態又は興奮状態のときに、心拍数の4つのピーク(1〜4)が生じ、それぞれのピークにおいてユーザはタグF1〜F4を入力している。
タグ範囲処理部340は、心拍数が所定値(ここでは、閾値の75)以上のときの時間範囲であって、当該時間範囲内でユーザがタグFを入力している場合に、当該時間範囲をユーザが入力したタグFの範囲として設定する。当該時間範囲のフレームに対してタグFを付与しても良い。
例えば、第1のピークについては、時間範囲t1〜t2において、心拍数が所定値を超え、かつ、ユーザがタグF1を入力しているので、時間範囲t1〜t2をタグF1のタグ範囲に設定する。また、第2のピークについては、時間範囲t3〜t4において、心拍数が所定値を超え、かつ、ユーザがタグF2を入力しているので、時間範囲t3〜t4をタグF2のタグ範囲に設定する。第3、4のピークについても同様である。
なお、タグ範囲処理部340は、心拍数が所定値以上の時間範囲であっても、当該時間範囲内でユーザがタグFを入力していない場合には、タグ範囲を設定しない。
また、タグ範囲処理部340は、ユーザがタグFを入力していても、心拍数が所定値以上でない場合には、デフォルト、又はユーザが設定した時間やフレーム数でタグ範囲を設定する。
次に、タグ範囲処理部340の詳細な処理手順について説明する。
図20は本実施の形態に係る心拍数の時間変化と、タグ範囲との詳細な関係を示す図である。心拍数のグラフを上に、タグ範囲を下に示している。グラフ中の横点線は閾値を示し、横点線上の等間隔の点は心拍数のサンプリング点、すなわち、サンプリング時間を示している。なお、心拍数のサンプリングは例えば1秒間隔で行う。
図21は本実施の形態に係るタグ範囲処理部340の詳細な処理手順を示すフローチャートである。
図20及び図21を参照しながら、タグ範囲処理部340の詳細な処理手順について説明する。
まず、処理を開始すると、まずバイタルデータの状態を示すステータスを「閾値未満」に設定し(ステップS401)、「前バイタルデータ時間値」を記録開始時間t0に初期化する(ステップS402)。
サンプリング時間t0において、ステータスが「閾値以上」か判断する(ステップS403)。時間t0では、ステータスはステップS401で設定した「閾値未満」のままなので(ステップS403のNo)、時間t0の受信したバイタルデータがあるか判断する
(ステップS404)。
時間t0では受信したバイタルデータがあるので(ステップS404のYes)、時間t0のバイタルデータの値が閾値以上か判断する(ステップS405)。図20に示すように、時間t0のバイタルデータの値は閾値未満なので(ステップS405のNo)、現在のバイタルデータ時間t0を「前バイタルデータ時間値」として保存する(ステップS408)。そして、ステップS403に戻る。t11までは平常状態つまりバイタルデータが閾値未満のため、同様な処理を繰り返すことになる。
サンプリング時間t12になると、ステータスが「閾値未満」で、t12のバイタルデータがあるので(ステップS403のNo、ステップS404のYes)、時間t12のバイタルデータの値が閾値以上か判断する(ステップS405)。図20に示すように、時間t12のバイタルデータの値は閾値以上なので(ステップS405のYes)、「前バイタルデータ時間値」、ここでは、ステップS408で保存した時間t11を「タグ範囲開始時間値」として保存し(ステップS406)、ステータスを「閾値以上」に設定し(ステップS407)、現在のバイタルデータ時間t12を「前バイタルデータ時間値」として保存して(ステップS408)、ステップS403に戻る。
次に、サンプリング時間t13になると、ステップS407で設定したようにステータスが「閾値以上」であるので(ステップS403のYes)、時間t13のバイタルデータがあるか判断する(ステップS409)。
時間t13では受信したバイタルデータがあるので(ステップS409のYes)、時間t13のバイタルデータの値が閾値以上か判断する(ステップS410)。図20に示すように、時間t13のバイタルデータの値は閾値以上なので(ステップS410のYes)、現在のバイタルデータ時間t13を「前バイタルデータ時間値」として保存し(ステップS408)、ステップS403に戻る。
そして、サンプリング時間t21までは、時間t13のときの処理と同じ処理が継続する。
次に、サンプリング時間t22になると、ステータスが「閾値以上」で、時間t22の受信したバイタルデータがあるので(ステップS403のYes、ステップS409のYes)、時間t22のバイタルデータの値が閾値以上か判断する(ステップS410)。図20に示すように、時間t22のバイタルデータの値は閾値未満なので(ステップS410のNo)、現在のバイタルデータ時間t22を「タグ範囲終了時間値」として保存し(ステップS411)、タグ記録要求はあるか、すなわち、バイタルデータの値が閾値以上のときにタグを入力しているか判断する(ステップS412)。図20に示すように、時間t16と時間t17との間にユーザがタグFを入力しているので(ステップS412のYes)、ステップS406、S110で得られたタグ範囲の「タグ範囲開始時間値」t11〜「タグ範囲終了時間値」t22でタグFを記録し(ステップS413)、ステータスを「閾値未満」に設定し(ステップS414)、現在のバイタルデータ時間t22を「前バイタルデータ時間値」として保存し(ステップS408)、ステップS403に戻る。
次に、サンプリング時間t25になると、ステータスが「閾値未満」で、時間t25のバイタルデータもないので(ステップS403のNo、ステップS404のNo)、処理を終了する。
なお、現在のバイタルデータ時間tを「タグ範囲終了時間値」として保存し(ステップS411)、タグ記録要求がないとき、すなわち、ユーザがタグを入力していないときは(ステップS412のNo)、ステータスを「閾値未満」に設定する(ステップS414)。つまり、上述したように、心拍数が所定値以上の時間範囲があっても、当該時間範囲内でユーザがタグを入力していない場合には、当該時間範囲をタグ範囲に設定しない。
また、ステータスが「閾値以上」で、その時間tのバイタルデータがないときは(ステップS403のYes、ステップS409のNo)、記録終了時間を「タグ範囲終了時間値」として保存し(ステップS415)、ステップS412、S413と同様に、タグ記録要求があるときは、得られたタグ範囲でタグFを記録して処理を終了し、タグ記録要求がないときは、そのまま処理を終了する。
本実施の形態に係るタギングシステム300は、このような構成により、動画データを撮影中に、その重要範囲に精度良くタグを付与することができる。
なお、本実施の形態に係るタギングシステム300では、心拍数が閾値を超える時間範囲として時間t11〜時間t22を選択し、この時間範囲をタグ範囲として設定したが、時間範囲としてそれぞれ一つ内側のサンプリング時間に対応する時間t12〜時間t21を選択し、この時間範囲をタグ範囲として設定しても良い。もちろん、時間範囲として時間t11〜時間t21、時間t12〜時間t22を選択することも可能であり、さらに、心拍数が閾値を超える交点〜交点を選択することも可能である。その際は交点を算出しても良く、動画のサンプリング数とバイタルデータのサンプリング数を同じにしても良い。
また、本実施の形態に係るタギングシステム300では、タグ範囲を設定するための心拍数の閾値を固定にしていたが、ユーザ毎、シーン毎などのように状況に応じて設定できるようにしても良い。また、この閾値をいつでも変更できるようにして、動画データを記録した後でもタグ範囲を調整できるようにしても良い。
また、本実施の形態に係るタギングシステム300では、心拍数が所定値以上の時間範囲であって、当該時間範囲内にユーザがタグを入力している場合に、当該時間範囲をタグ範囲として設定したが、心拍数が所定値以上の時間範囲であって、当該時間範囲内にユーザがタグを入力している場合に、ユーザが入力したタグの前後の所定時間、例えば、当該タグの前後それぞれ3秒間をタグ範囲として設定して良い。もちろん、心拍数が所定値以上の時間範囲又はタグの前後の所定時間をユーザが選択できるようにしても良い。
また、本実施の形態に係るタギングシステム300では、バイタルデータとして心拍数を用いたが、バイタルデータとして心拍数以外のデータ、ユーザの興奮の度合いを示すようなデータを用いても良く、このときは、バイタルデータが所定値以下又は所定値未満などの時間範囲であって、当該時間範囲内にユーザがタグを入力している場合に、当該時間範囲をタグ範囲として設定しても良い。
また、本実施の形態に係るタギングシステム300は、センサ装置310、タグ入力装置320、撮像装置330などを備える構成としたが、撮像装置がセンサ装置及びタグ入力装置を兼ねる構成、又は、撮像装置がセンサ装置、タグ入力装置の一方を兼ねる構成としても良い。すなわち、タギングシステムをタギング装置として構成するようにしても良い。
また、本実施の形態に係るタギングシステム300は、ユーザが撮像装置330を用いて撮影しているときの、すなわち、ユーザが動画データを記録しているときの、ユーザのバイタルデータ及び入力タグデータに基づいてタグ範囲を設定していたが、ユーザが画像処理装置などを用いて動画を視聴又は編集しているときなどの、すなわち、ユーザが動画データを再生しているときの、ユーザのバイタルデータ及び入力タグデータに基づいてタグ範囲を設定しても良い。このため、本実施の形態に係るタギング装置も撮像装置に限るものではなく、画像処理装置などであっても良い。
上述したように、本実施の形態に係る撮像装置330は、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信部337と、データ通信部337で受け付けたバイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、当該時間範囲をタグ範囲に設定するタグ範囲処理部340とを備えるものである。
また、本実施の形態に係るタギングシステム300は、ユーザのバイタルデータを計測しデータ通信部337に出力するセンサ装置310と、タイミングデータをデータ通信部337に出力するタグ入力装置320と、撮像装置330とを備えるものである。
また、本実施の形態に係るタギング方法は、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信ステップと、データ通信ステップで受け付けたバイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、当該時間範囲をタグ範囲に設定するタグ範囲処理ステップS412、S413とを有するものである。
また、本実施の形態に係るプログラムは、コンピュータに、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグF入力のタイミングデータを受け付けるデータ通信手順と、当該データ通信手順で受け付けた当該バイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、動画データの当該時間範囲をタグFの範囲に設定する手順S412、S413とを実行させるためのものである。
上記のタギングシステムによって付与されたタグに基づいて動画データのシーン単位の重要度を定義してもよい。たとえば、タグの時間範囲や、バイタルデータのピーク値、タグの時間範囲でバイタルデータを積分した値、などによって重要度を定義してもよい。
また、上記実施の形態においては重要度を高い、低い、の2種類とし、重要度の高いシーンに対する再生速度、重要度の低いシーンに対する再生速度、タグの付与されていないシーンに対する再生速度、の3種類の再生速度としたが、重要度の分割数を3つ4つと増やして4種類、5種類の再生速度に分類するように展開してもよい。
また、上記実施の形態における、データ入出力部103、タグデータ処理部104、再生制御部105、画像データ処理部106、キー制御部108、表示制御部110については、ASIC(Application Specific Integrated Circuit)等のハードウェアまたはソフトウェアで実施できる。また、処理の一部をソフトウェアで実施し、それ以外をハードウェアで実施することとしてもよい。ソフトウェアで実施する際には、マイクロプロセッサ等の1つあるいは複数のCPU(Central Processing Unit)を有するコンピュータシステムに機能ブロックの処理に関するプログラムを実行させればよい。これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Compact Disc Read Only Memory)、CD−R、CD−R/W、DVD−ROM(Digital Versatile Disc Read Only Memory)、DVD−R(DVD Recordable)、DVD−R DL(DVD-R Dual Layer)、DVD−RW(DVD ReWritable)、DVD−RAM、DVD+R、DVR+R DL、DVD+RW、BD−R(Blu-ray(登録商標) Disc Recordable)、BD−RE(Blu-ray (登録商標)Disc Rewritable)、BD−ROM、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。