JP2005223416A - 画像処理システム、画像処理装置および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】 全方位画像を容易に編集できるようにする。
【解決手段】 画像処理装置は、全方位画像であるフレームからなる動画像の概要情報と、先頭のフレームの全方位画像、操作情報保持部に保持されている操作情報に基づいて編集画像１５０を生成し、表示する。編集画像１５０には、全方位画像１７１、切り出し画像１７２、水平方向グラフ１８１、垂直方向グラフ１８２、ズームグラフ１８３、およびフレームグラフ１８４からなるグラフ１８０が含まれており、ユーザは、これらのグラフ１８０をもとに切り出し画像１７２の範囲を指示することで、複数のフレームの全方位画像をまとめて編集することができる。全方位画像が編集された場合、操作情報として、入力フレーム番号、水平方向角度、垂直方向角度、ズーム倍率、および出力フレーム番号が保持される。本発明は、全方位画像を処理する画像処理装置に適用することができる。
【選択図】図１８

Description

本発明は、画像処理システム、画像処理装置および画像処理方法、並びにプログラムに関し、特に、全方位画像を容易に編集できるようにした画像処理システム、画像処理装置および画像処理方法、並びにプログラムに関する。

従来、一定の位置を中心として、その所定の位置からの全方位を複数の視点で撮像し、隣り合う視点の画像を順次張り合わせることで全方位画像を生成する技術が開発されている。

ユーザは、インタラクティブに３６０度中から角度を指定することで、ディスプレイに表示される、指定された角度が切り出された全方位画像を視聴することができる。

また、例えば、特許文献１には、全方位画像の一部を拡大（ズームアップ）して視聴する場合に、高解像度の画像を表示する技術が開示されている。

このような全方位画像では、角度やズーム比率を指定して切り出し、それを保存して、新たなコンテンツを作成することができる。ユーザは、とりあえず撮影だけ行っておき、その後、編集時に全方位画像から見せたい角度やズーム比率を指定することで、ＴＶ（Television）などの放送用のコンテンツを生成することができる。
特開２００３−３１９３５１号公報

しかしながら、通常、全方位画像からなる動画像を切り出す（編集する）場合、動画像を構成するフレームである全方位画像のそれぞれにおいて、全方位画像の画像ファイルを開き、所望の方向および画角を指定し、コピーおよびペーストして１枚の画像ファイルを作成し、保存する必要があるため、動画像の切り出しには、コンテンツの時間分、すなわちフレーム数分だけの画像ファイルを作成する必要が生じ、莫大な時間がかかるという課題があった。

すなわち、フレーム数分だけ全方位画像を編集するのは、切り出す角度がフレームごとで異なるからである。しかしながら、切り出す角度を一定にした場合、ユーザは、一定方向のみの画像を視聴することになるため、全方位画像の意味が無くなってしまう。

本発明はこのような状況に鑑みてなされたものであり、全方位画像を容易に編集できるようにするものである。

本発明の画像処理システムは、第１の動画像のフレーム数と第１の動画像が編集された第２の動画像のフレーム数との関係を示すフレームグラフ、第２の動画像のフレーム数と全方位画像から切り出す切り出し画像の位置との関係を示す位置グラフ、および、第２の動画像のフレーム数と切り出し画像の倍率との関係を示す倍率グラフのうちの少なくともいずれか１つのグラフの画像データを生成する生成手段と、生成手段により生成されたグラフの画像データに基づいてグラフの画像を表示するよう表示を制御する表示制御手段と、ユーザからの、グラフの画像に対する操作を受け付けるとともに、操作に対応する操作情報を生成する受付手段と、受付手段により受け付けられて生成された操作情報を保持する保持手段と、保持手段により保持された操作情報の出力を許可する許可手段と、許可手段により操作情報の出力が許可された場合、操作情報を出力する出力手段とを備えることを特徴とする。

許可手段は、受付手段により受け付けられたグラフの画像に対する操作に基づいて課金量を決定し、操作情報の出力を許可するものとすることができる。

本発明の画像処理装置は、第１の動画像のフレーム数と第１の動画像が編集された第２の動画像のフレーム数との関係を示すフレームグラフ、第２の動画像のフレーム数と全方位画像から切り出す切り出し画像の位置との関係を示す位置グラフ、および、第２の動画像のフレーム数と切り出し画像の倍率との関係を示す倍率グラフのうちの少なくともいずれか１つのグラフの画像データを生成する生成手段と、生成手段により生成されたグラフの画像データに基づいてグラフの画像を表示するよう表示を制御する表示制御手段と、ユーザからの、グラフの画像に対する操作を受け付けるとともに、操作に対応する操作情報を生成する受付手段と、受付手段により受け付けられて生成された操作情報を出力する出力手段とを備えることを特徴とする。

生成手段は、受付手段により受け付けられて生成された操作情報に基づいて、グラフの画像データを生成して反映させるものとすることができる。

生成手段は、位置グラフの画像データとして、第２の動画像のフレーム数と切り出し画像の水平方向位置との関係を示す水平方向グラフ、および第２の動画像のフレーム数と切り出し画像の垂直方向位置との関係を示す垂直方向グラフのうちの少なくともいずれか１つのグラフの画像データを生成するものとすることができる。

表示制御手段は、グラフの画像とともに、全方位画像と切り出し画像をさらに表示するよう表示を制御するものとすることができる。

本発明の画像処理方法は、第１の動画像のフレーム数と第１の動画像が編集された第２の動画像のフレーム数との関係を示すフレームグラフ、第２の動画像のフレーム数と全方位画像から切り出す切り出し画像の位置との関係を示す位置グラフ、および、第２の動画像のフレーム数と切り出し画像の倍率との関係を示す倍率グラフのうちの少なくともいずれか１つのグラフの画像データを生成する生成ステップと、生成ステップの処理により生成されたグラフの画像データに基づいてグラフの画像を表示するよう表示を制御する表示制御ステップと、ユーザからの、グラフの画像に対する操作を受け付けるとともに、操作に対応する操作情報を生成する受付ステップと、受付ステップの処理により受け付けられて生成された操作情報を出力する出力ステップとを含むことを特徴とする。

本発明のプログラムは、第１の動画像のフレーム数と第１の動画像が編集された第２の動画像のフレーム数との関係を示すフレームグラフ、第２の動画像のフレーム数と全方位画像から切り出す切り出し画像の位置との関係を示す位置グラフ、および、第２の動画像のフレーム数と切り出し画像の倍率との関係を示す倍率グラフのうちの少なくともいずれか１つのグラフの画像データを生成する生成ステップと、生成ステップの処理により生成されたグラフの画像データに基づいてグラフの画像を表示するよう表示を制御する表示制御ステップと、ユーザからの、グラフの画像に対する操作を受け付けるとともに、操作に対応する操作情報を生成する受付ステップと、受付ステップの処理により受け付けられて生成された操作情報を出力する出力ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明の画像処理システムにおいては、第１の動画像のフレーム数と第１の動画像が編集された第２の動画像のフレーム数との関係を示すフレームグラフ、第２の動画像のフレーム数と全方位画像から切り出す切り出し画像の位置との関係を示す位置グラフ、および、第２の動画像のフレーム数と切り出し画像の倍率との関係を示す倍率グラフのうちの少なくともいずれか１つのグラフの画像データが生成され、グラフの画像の表示が制御される。そして、ユーザからの、グラフの画像に対する操作が受け付けられ、操作情報が生成され、操作情報の出力が許可されて出力される。

本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、第１の動画像のフレーム数と第１の動画像が編集された第２の動画像のフレーム数との関係を示すフレームグラフ、第２の動画像のフレーム数と全方位画像から切り出す切り出し画像の位置との関係を示す位置グラフ、および、第２の動画像のフレーム数と切り出し画像の倍率との関係を示す倍率グラフのうちの少なくともいずれか１つのグラフの画像データが生成され、グラフの画像の表示が制御される。そして、ユーザからの、グラフの画像に対する操作が受け付けられ、操作情報が生成され、出力される。

第１の本発明によれば、全方位画像を容易に編集することができる。特に、本発明によれば、全方位画像からなる動画像の編集を効率よく行うことができる。また、操作情報の出力の許可に基づいて、操作情報を出力することができる。

第２の本発明によれば、全方位画像を容易に編集することができる。特に、本発明によれば、全方位画像からなる動画像の編集を効率よく行うことができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

請求項１に記載の画像処理システム（例えば、図１の画像処理システム１）は、第１の動画像のフレーム数（例えば、図１８の例の場合、フレームグラフ１８４の縦軸の入力フレーム）と第１の動画像が編集された第２の動画像のフレーム数（例えば、図１８の例の場合、フレームグラフ１８４の横軸の出力フレーム）との関係を示すフレームグラフ（例えば、図１８のフレームグラフ１８４）、第２の動画像のフレーム数と全方位画像から切り出す切り出し画像の位置との関係を示す位置グラフ（例えば、図１８の水平方向グラフ１８１または垂直方向グラフ１８２）、および、第２の動画像のフレーム数と切り出し画像の倍率との関係を示す倍率グラフ（例えば、図１８のズームグラフ１８３）のうちの少なくともいずれか１つのグラフの画像データを生成する生成手段（例えば、図７の表示画像生成部９２）と、生成手段により生成されたグラフの画像データに基づいてグラフの画像を表示するよう表示を制御する表示制御手段（例えば、図７の表示制御部７４）と、ユーザからの、グラフの画像に対する操作を受け付けるとともに、操作に対応する操作情報を生成する受付手段（例えば、図７の操作入力部７１）と、受付手段により受け付けられて生成された操作情報を保持する保持手段（例えば、図７の操作情報保持部７２）と、保持手段により保持された操作情報の出力を許可する許可手段（例えば、図１１のサーバ１４のCPU１０１）と、許可手段により操作情報の出力が許可された場合、操作情報を出力する出力手段（例えば、図７の出力制御部７７）とを備えることを特徴とする。

請求項２に記載の画像処理システムの許可手段は、受付手段により受け付けられたグラフの画像に対する操作に基づいて課金量を決定し（例えば、図２３のステップＳ５３）、操作情報の出力を許可する（例えば、図２３のステップＳ５４）ことを特徴とする。

請求項３に記載の画像処理装置は、第１の動画像のフレーム数（例えば、図１８の例の場合、フレームグラフ１８４の縦軸の入力フレーム）と第１の動画像が編集された第２の動画像のフレーム数（例えば、図１８の例の場合、フレームグラフ１８４の横軸の出力フレーム）との関係を示すフレームグラフ（例えば、図１８のフレームグラフ１８４）、第２の動画像のフレーム数と全方位画像から切り出す切り出し画像の位置との関係を示す位置グラフ（例えば、図１８の水平方向グラフ１８１または垂直方向グラフ１８２）、および、第２の動画像のフレーム数と切り出し画像の倍率との関係を示す倍率グラフ（例えば、図１８のズームグラフ１８３）のうちの少なくともいずれか１つのグラフの画像データを生成する生成手段（例えば、図７の表示画像生成部９２）と、生成手段により生成されたグラフの画像データに基づいてグラフの画像を表示するよう表示を制御する表示制御手段（例えば、図７の表示制御部７４）と、ユーザからの、グラフの画像に対する操作を受け付けるとともに、操作に対応する操作情報を生成する受付手段（例えば、図７の操作入力部７１）と、受付手段により受け付けられて生成された操作情報を出力する出力手段（例えば、図７の出力制御部７７）とを備えることを特徴とする。

請求項４に記載の画像処理装置の生成手段は、受付手段により受け付けられて生成された操作情報に基づいて、グラフの画像データを生成して反映させる（例えば、図１３のステップＳ２２）ことを特徴とする。

請求項５に記載の画像処理装置の生成手段は、位置グラフの画像データとして、第２の動画像のフレーム数と切り出し画像の水平方向位置との関係を示す水平方向グラフ（例えば、図１８の水平方向グラフ１８１）、および第２の動画像のフレーム数と切り出し画像の垂直方向位置との関係を示す垂直方向グラフ（例えば、図１８の垂直方向グラフ１８２）のうちの少なくともいずれか１つのグラフの画像データを生成することを特徴とする。

請求項６に記載の画像処理装置の表示制御手段は、グラフの画像とともに、全方位画像（例えば、図１８の前記全方位画像１７１）と切り出し画像（例えば、図１８の切り出し画像１７２）をさらに表示するよう表示を制御することを特徴とする。

請求項７に記載の画像処理方法は、第１の動画像のフレーム数（例えば、図１８の例の場合、フレームグラフ１８４の縦軸の入力フレーム）と第１の動画像が編集された第２の動画像のフレーム数（例えば、図１８の例の場合、フレームグラフ１８４の横軸の出力フレーム）との関係を示すフレームグラフ（例えば、図１８のフレームグラフ１８４）、第２の動画像のフレーム数と全方位画像から切り出す切り出し画像の位置との関係を示す位置グラフ（例えば、図１８の水平方向グラフ１８１または垂直方向グラフ１８２）、および、第２の動画像のフレーム数と切り出し画像の倍率との関係を示す倍率グラフ（例えば、図１８のズームグラフ１８３）のうちの少なくともいずれか１つのグラフの画像データを生成する生成ステップ（例えば、図１２のステップＳ１６）と、生成ステップの処理により生成されたグラフの画像データに基づいてグラフの画像を表示するよう表示を制御する表示制御ステップ（例えば、図１２のステップＳ１８）と、ユーザからの、グラフの画像に対する操作を受け付けるとともに、操作に対応する操作情報を生成する受付ステップ（例えば、図１２のステップＳ２０）と、受付ステップの処理により受け付けられて生成された操作情報を出力する出力ステップ（例えば、図１３のステップＳ３１）とを含むことを特徴とする。

請求項８に記載のプログラムは、第１の動画像のフレーム数（例えば、図１８の例の場合、フレームグラフ１８４の縦軸の入力フレーム）と第１の動画像が編集された第２の動画像のフレーム数（例えば、図１８の例の場合、フレームグラフ１８４の横軸の出力フレーム）との関係を示すフレームグラフ（例えば、図１８のフレームグラフ１８４）、第２の動画像のフレーム数と全方位画像から切り出す切り出し画像の位置との関係を示す位置グラフ（例えば、図１８の水平方向グラフ１８１または垂直方向グラフ１８２）、および、第２の動画像のフレーム数と切り出し画像の倍率との関係を示す倍率グラフ（例えば、図１８のズームグラフ１８３）のうちの少なくともいずれか１つのグラフの画像データを生成する生成ステップ（例えば、図１２のステップＳ１６）と、生成ステップの処理により生成されたグラフの画像データに基づいてグラフの画像を表示するよう表示を制御する表示制御ステップ（例えば、図１２のステップＳ１８）と、ユーザからの、グラフの画像に対する操作を受け付けるとともに、操作に対応する操作情報を生成する受付ステップ（例えば、図１２のステップＳ２０）と、受付ステップの処理により受け付けられて生成された操作情報を出力する出力ステップ（例えば、図１３のステップＳ３１）とを含む処理をコンピュータに実行させることを特徴とする。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した画像処理システムの全体の構成例を示す図である。

この画像処理システム１においては、全方位カメラ１１が画像処理装置１２に接続されている。また、画像処理装置１２は、インターネット１３を介してサーバ１４に接続されている。

画像処理装置１２は、ユーザの指令に基づいて、全方位カメラ１１により撮影され、生成された全方位画像（からなる動画像）を取得し、編集を施す。画像処理装置１２はまた、サーバ１４からの出力の許可に基づいて、編集した全方位画像を出力（または表示）する。ここでは、編集前の全方位画像からなる動画像を第１の動画像と称し、編集後の全方位画像からなる動画像を第２の動画像と称する。すなわち、第１の動画像は、全方位画像をフレームとし、複数のフレームからなる動画像であり、第２の動画像は、全方位画像から切り出された画像（全方位画像の一部である切り出し画像）をフレームとし、複数のフレームからなる動画像である。

図２は、図１の全方位カメラ１１の構成例を示すブロック図である。

ビデオカメラ３１−１乃至３１−８は、例えば、図３で示すように円周上に略４５度の略等間隔に配設され、８個の視点から、それぞれに対応する位置に配設されている平面鏡からなる反射部４１−１乃至４１−８を介しての全方向を撮像し、それぞれの出力を切替部３２に出力する。より詳細には、各ビデオカメラ３１−１乃至３１−８は、その視線方向について台４２の図中垂直方向の略中央部一致するように配設され、さらに、各ビデオカメラ３１−１乃至３１−８の視線方向が水平面上で所定の角度（略４５度）の間隔を成すように配置されている。

なお、以下において、ビデオカメラ３１−１乃至３１−８を特に区別する必要がない場合、単にビデオカメラ３１と称するものとし、その他の部位についても同様に称する。

各ビデオカメラ３１−１乃至３１−８は、それぞれに対応する反射部４１−１乃至４１−８で反射された周囲の背景を撮像することにより、水平方向３６０度の画像を鏡像撮像し、切替部３２に出力する。また、各ビデオカメラ３１−１乃至３１−８は、図示せぬビデオキャプチャボードを介して合計８本のビットマップ形式のファイルからなるストリーム（画像および音声）を切替部３２に出力する。

切替部３２は、ビデオカメラ３１−１乃至３１−８のそれぞれから入力されてくるストリームを適宜記憶し、各ビデオカメラ３１に対応するレンズの歪補正を行った後、時分割して全方位画像データ生成部３３に出力する。

全方位画像データ生成部３３は、切替部３２から順次切り替えて入力されてくるストリームデータを３次元座標系において円筒側面状に貼り付ける、円筒変換を行うことで、全方位画像データを生成し、エンコーダ３４に出力する。なお、円筒変換の詳細は後述する。

図２，図３で示す全方位カメラの構成では、各ビデオカメラ３１に撮像される画像は、９０度回転した形式で収録される。ビデオカメラ３１の画角（所定の基準となる視点からみた任意の視点方向の角度）の関係と８台のビデオカメラ３１の各視点を一致させる都合上、８本のストリームを貼り合わせる前に、図４で示すように、９０度回転やミラー反転などの加工処理を施す。

エンコーダ３４は、入力された全方向画像データを、例えば、JPEG（joint photographic expert group）方式で圧縮し、記録制御部３５に出力する。記録制御部３５は、エンコーダ３４より入力された圧縮されている全方向画像データを記録媒体３６に記録するよう制御する。これにより、全方位画像であるフレームからなる動画像（編集前の第１の動画像）が記録媒体３６に記録される。すなわち、動画像は複数のフレームにより構成され、１つのフレームは１枚の全方位画像である。

次に、全方位カメラ１１の動作について説明する。

各ビデオカメラ３１−１乃至３１−８は、それぞれの視点の画像をキャプチャリングして、１フレーム分のビットマップ画像にして切替部３２に出力する。切替部３２は、入力された１フレーム分のビットマップ画像を各ビデオカメラ３１毎にレンズ歪補正すると共に全方位画像データ生成部３３に出力する。なお、本明細書中では、１秒間に６０フレーム（６０fps）のフレーム画像が表示されることで動画像が表示されるものとする。

全方位画像データ生成部３３は、入力された８本のストリームに基づいて、円筒変換することで全方位画像データ（動画像データ）を生成し、エンコーダ３４に出力する。

具体的には、各ビデオカメラ３１−１乃至３１−８により撮像される画像は、図５の画像Ｑ１乃至Ｑ８にそれぞれ示される。図５においては、所定の軸Ｐ０を中心として、ビデオカメラ３１−１乃至３１−８により撮像された各画像Ｑ１乃至Ｑ８の一部分（それぞれの端部）が重なり合うようになっている。図５において、画像Ｐ１乃至Ｐ８は、それぞれビデオカメラ３１−１乃至３１−８により撮像された基本的に同じタイムコードの画像を示している。全方位画像データ生成部３３は、ビデオカメラ３１−１により撮像された画像Ｑ１とビデオカメラ３１−２により撮像された画像Ｑ２の繋がりを滑らかにするために、また、これらのビデオカメラ３１により撮像された画像Ｑ１乃至Ｑ８を円筒状の画像にするために、軸Ｐ０を中心とする平面（円５０）に投影する（貼り付ける）ことで、画像Ｐ１乃至Ｐ８に示されるような全方位画像データを生成する。画像Ｐ１乃至Ｐ８は、画像Ｑ１乃至Ｑ８にそれぞれ対応している。

これにより、図６に示されるような円筒状の画像（全方位画像データ）が生成される。図６の画像Ｐ１は、水平方向に端部Ｅ１−１乃至Ｅ１−２の範囲であり、画像Ｐ２は、水平方向に端部Ｅ２−１乃至Ｅ２−２の範囲であり、画像Ｐ３は、水平方向に端部Ｅ３−１乃至Ｅ３−２の範囲であり、画像Ｐ４は、水平方向に端部Ｅ４−１乃至Ｅ４−２の範囲であり、画像Ｐ５乃至Ｐ８についても同様である。

円筒変換では、画像Ｐ１の端部Ｅ２−１乃至端部Ｅ１−２の範囲の画像が、画像Ｐ２の端部Ｅ２−１乃至Ｅ１−２の範囲の画像と同様の画像となるように、画像Ｐ２の端部Ｅ３−１乃至Ｅ２−２の範囲の画像が、画像Ｐ３の端部Ｅ３−１乃至Ｅ２−２の範囲の画像と同様の画像となるように、変換している（画像Ｐ４乃至Ｐ８のいずれにおいても同様）。このため、切れ目のない全方位画像を構成することができる。なお、この重ね合わせ部分（以下、オーバーラップ部分とも称する）の幅は、相互の端部の画像が一致するように適宜調整される。このように、複数の撮像画像を、軸Ｐ０を中心とした３６０度の全方位画像に変換する方法を円筒変換と称する。

全方位画像データ生成部３３は、このように全方位画像を構成することが可能な画像Ｑ１乃至Ｑ８を、図４で示したように９０度回転およびミラー反転させた後、円筒変換を行うことで、図６に示されるような円筒状の全方位画像データを生成し、全方位画像データをエンコーダ３４に出力する。

エンコーダ３４は、全方位画像データ生成部３３により生成された全方位画像データを、順次、例えば、JPEG方式で圧縮し、記録制御部３５に出力する。記録制御部３５は、エンコーダ３４より入力された、圧縮された全方位画像データを順次記録媒体３６に記録させる。これにより、記録媒体３６には、複数の全方位画像のフレーム（すなわち、第１の動画像）が記録されることになる。

以上のように、図２の全方位カメラ１１を使用することで、複数の視点で撮像された画像に基づいた全方位画像を記録することが可能となる。なお、本実施の形態では、全方位カメラ１１が全方位画像を記録媒体３６に記録するようにし、記録媒体３６を画像処理装置１２に提供するようにしたが、全方位画像を記録媒体３６に記録せずに、画像処理装置１２に図示せぬケーブルを介して供給するようにしてもよい。

次に、図７を参照して、図１の画像処理装置１２の詳細な構成例について説明する。画像処理装置１２は、図２の全方位カメラ１１により記録媒体３６に記録された（または全方位カメラ１１により供給された）全方位画像を編集する。

図７の画像処理装置１２には、記録媒体３６、操作入力部７１、操作情報保持部７２、再生制御部７３、表示制御部７４、表示部７５、出力要求部７６、および出力制御部７７が設けられている。

記録媒体３６には、上述した図２の全方位カメラ１１により全方位画像が記録されている。すなわち、全方位カメラ１１により記録媒体３６に全方位画像が記録された後、その記録媒体３６が画像処理装置１２に提供（例えば、図示せぬドライブに装着）されることで、画像処理装置１２に全方位画像が提供される。

操作入力部７１は、制御情報生成部８１と操作情報生成部８２を内部に備えており、操作入力部７１の内部では情報の授受が可能である。操作入力部７１は、ユーザから入力される操作（例えば、再生を指示する操作、または全方位画像から切り出す画像の範囲を指示する操作）を受け付ける。制御情報生成部８１は、操作入力部７１に入力された各部を制御するための指令に基づいて、再生制御部７３や出力要求部７６を制御する制御情報を生成し、各部に供給する。操作情報生成部８２は、操作入力部７１に入力された、全方位画像から切り出す画像の範囲を指示するような指令に基づいて、操作情報を生成し、これを操作情報保持部７２に供給する。

再生制御部７３は、内部にデコーダ９１および表示画像生成部９２を備えており、再生制御部７３の内部では情報の授受が可能である。再生制御部７３は、記録媒体３６に記録されている、圧縮された全方位画像データ（例えば、JPEG方式で圧縮された全方位画像データ）を読み出し、デコーダ９１はこれをデコードする。また再生制御部７３は、適宜、操作情報保持部７２に保持されている操作情報を取得する。なお、再生制御部７３が操作情報保持部７２から操作情報を適宜取得するようにしてもよいし、操作情報生成部８２が操作情報を生成した場合に、再生制御部７３に操作情報を適宜供給するようにしてもよい。

表示画像生成部９２は、デコードされた全方位画像データと操作情報に基づいて、全方位画像データの中から指定された画角の画像を切出し、逆円筒変換することで切り出し画像のデータを生成する。逆円筒変換は、上述した図２の全方位画像データ生成部３３による円筒変換と逆の処理であり、図６に示されるような、投影された画像Ｐ１乃至Ｐ８の中から、ユーザにより指定された画角の表示画像を、投影前の画像のように変換するものである。また、表示画像生成部９２は、操作情報に基づくグラフの画像などよりなるサブ画像データを生成し、切り出し画像と合成し、表示画像データとして表示制御部７４に供給する。

ここで円筒変換と円筒逆変換について説明する。

記録媒体３６に記録されている、円筒変換された全方位画像データに基づく画像を、円筒側面を切断して長方形平面に変換し、表示した場合の画像を図８に示す。図８の画像は、例えば、図６の円筒状の画像を画像Ｐ１の端部Ｅ１−１で切断し、長方形平面で表示させたものであり、この場合、図中左端部の線Ａ１と図中右端部の線Ａ２は、同一である。すなわち、線Ａ１および線Ａ２は、端部Ｅ１−１と同一である。この画像は、上述した全方位カメラ１１により円筒変換が行われているため、実際撮影される画像とは異なり、曲がっている。すなわち、図８において、線Ａ３と線Ａ４で囲まれる画像がそのまま切り出された場合、図９に示されるような曲がった画像が表示されるが、線Ａ３と線Ａ４で囲まれる画像を切り出した後、切り出した画像に対して逆円筒変換が行われた場合、図１０に示されるような実際カメラで撮影されるような画像が表示される。このとき、切り出された画像の中心を中心とした平面で逆円筒変換が行われている。このように、逆円筒変換は、円筒状に撮影画像を投影する前の画像のように画像を変換するものである。

表示制御部７４は、表示画像生成部９２により合成された画像データを、表示部７５に表示させるよう制御する。出力要求部７６は、操作入力部７１の制御情報生成部８１からの制御情報に基づいて、操作情報保持部７２から操作情報を取得し、操作情報を含む情報（例えば、後述するプロジェクトファイル）を、インターネット１３を介してサーバ１４に送信する。

これに対し、サーバ１４は、課金量を決定するとともに出力を許可する応答を、インターネット１３を介して画像処理装置１２に供給してくる。そこで、出力要求部７６は、サーバ１４からの出力を許可する応答を、インターネット１３を介して受け付け、出力制御部７７に出力を許可する情報を送信する。出力制御部７７は、再生制御部７３から編集された全方位画像データを取得し、これに基づく画像データや操作情報などを出力する。

この画像処理装置１２によれば、全方位画像データが記録された記録媒体３６より、ユーザの任意の画角（視点の角度）の画像（第２の動画像）を表示することが可能となる。

なお、以上においては、全方位カメラ１１に、ビデオカメラ３１を８台設けた場合について説明してきたが、それ以上のビデオカメラを設けるようにしてもよい。また、フレーム単位の画像の圧縮方法としては、JPEGに限るものではなく、その他の圧縮方法でもよい。

図１１は、図１のサーバ１４の詳細な構成例を示すブロック図である。

CPU（Central Processing Unit）１０１、ROM（Read Only Memory）１０２、およびRAM（Random Access Memory）１０３は、内部バス１０４を介して相互に接続されている。この内部バス１０４にはまた、入出力インターフェース１０５も接続されている。

CPU１０１は、ROM１０２に記憶されているプログラム、または、記憶部１１０からRAM１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

入出力インターフェース１０５には、キーボード、マウスなどよりなる入力部１０６、CRT，LCD（Liquid Crystal Display）などよりなるディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、並びに、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。図１１の例では、通信部１０９は、インターネット１３を介して画像処理装置１２との間で通信を行う。

入出力インターフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア１２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。

CPU１０１は、通信部１０９およびインターネット１３を介して画像処理装置１２からプロジェクトファイルなどの操作情報を含む情報が送信されてきた場合、操作情報に基づいて課金量を決定するとともに、出力を許可する応答を、インターネット１３を介して画像処理装置１２に送信する。

次に、図１２および図１３のフローチャートを参照して、図７の画像処理装置１２における画像編集処理を説明する。なお、この処理は、ユーザにより画像の編集を開始する指令が操作入力部７１に入力され、制御情報生成部８１が再生制御部７３を制御する制御情報を再生制御部７３に供給したとき開始される。

ステップＳ１１において、再生制御部７３は、操作入力部７１（制御情報生成部８１）からの制御情報に基づいて、記録媒体３６から全方位画像データの概要情報を取得する。具体的には、再生制御部７３は、記録媒体３５に記録されている全方位画像データ（第１の動画像）の長さ（フレーム長）などの概要情報を取得する。

ステップＳ１２において、再生制御部７３は先頭画像（後述する図１４のフレーム＃０）を再生する。具体的には、再生制御部７３は、記録媒体３５に記録されている全方位画像データ（フレームである全方位画像データからなる動画像のデータ）の中から先頭のフレームの全方位画像データを再生する。

ステップＳ１３において、再生制御部７３のデコーダ９１は、ステップＳ１２の処理で再生された先頭の（フレームの）全方位画像データをデコードする。

ステップＳ１４において、再生制御部７３の表示画像生成部９２は、操作情報保持部７２に保持されている操作情報に基づいて全方位画像を切り出す。１回目のステップＳ１４の処理では、操作情報保持部７２にまだ操作情報が保持されていないため、例えば図９に示されるような、デフォルトで設定された画像が切り出される。以下において、切り出された全方位画像を切り出し画像と称する。

ステップＳ１５において、表示画像生成部９２は、切り出し画像を逆円筒変換する。具体的には、表示画像生成部９２は、切り出し画像の中心を中心とする平面で逆円筒変換を行う。これにより切り出し画像は、例えば図１０に示されるような、通常のカメラで撮像されたような、曲がっていない画像となる。

ステップＳ１６において、表示画像生成部９２は、操作情報保持部７２に保持されている操作情報（１回目のステップＳ１６の処理では、操作情報が保持されていないので、デフォルトの情報）に基づくサブ画像を生成する。サブ画像とは、後述する図１４において、全方位画像と切り出し画像以外の画像を示す。

ステップＳ１７において、表示画像生成部９２は、逆円筒変換された切り出し画像とサブ画像を合成し、編集画像とする。

ステップＳ１８において、表示制御部７４は、編集画像を表示するよう制御し、ステップＳ１９において、表示部７５は、表示制御部７４からの制御に基づいて編集画像を表示する。例えば、表示部７５は、図１４に示されるような編集画像１５０を表示する。

図１４には、全方位画像１７１、全方位画像１７１において切り出す範囲１７１’が切り出された切り出し画像１７２、水平方向の角度を示す水平方向グラフ１８１、垂直方向の角度を示す垂直方向グラフ１８２、倍率を示すズームグラフ１８３、および出力するフレームに対する入力フレーム番号を示すフレームグラフ１８４が表示されている。切り出し画像１７２は、上述したステップＳ１５の処理で逆円筒変換が施されているので、曲がっていない画像となっている。入力フレームは、例えば、記録媒体３６に記録されている動画像（第１の動画像）のフレーム番号と同じである。また、出力フレームは、編集後の動画像（第２の動画像）のフレーム番号と同じである。すなわち、出力フレーム＃０乃至フレーム＃８９９に対して、それぞれ入力フレームが＃８９９乃至０と対応付けられた場合、巻き戻しが行われることを示す。また、出力フレーム＃０乃至フレーム＃８９９に対して、それぞれ入力フレームが＃０乃至フレーム＃８９９と対応付けられた場合、通常の再生が行われることを示す。

また、編集中の切り出し画像１７２の水平角度を表示するツール１９１、編集中の切出し画像１７２の垂直角度を表示するツール１９２、編集中の切出し画像１７２のズーム倍率を表示するツール１９３、編集中の切出し画像１７２のフレーム番号を表示するツール１９４、編集履歴を選択するためのツール１９５、および画像の再生などを指令することができる再生パネル１９６が表示されている。さらに、各グラフ１８１乃至１８４を貫くように、現在表示されている全方位画像１７１に対応するフレームを表わす線２００が表示されており、これらのグラフの横軸は全て出力されるフレーム番号に対応している。図１４において、サブ画像には、全方位画像１７１および切り出し画像１７２以外の、水平方向グラフ１８１、垂直方向グラフ１８２、ズームグラフ１８３、フレームグラフ１８４、ツール１９１乃至１９５、および再生パネル１９６などが含まれている。

水平方向グラフは、動画像（第２の動画像、すなわち編集後の動画像）を構成する複数のフレームのフレーム数（図１４の例の場合、出力フレームであり、全部で９００フレーム）と全方位画像１７１から切り出す切り出し画像１７２の範囲１７１'の全方位画像１７１に対する水平方向の角度（位置）との関係を示すものであり、図１４の例の場合、縦軸が水平方向角度、横軸がフレーム数（このフレーム数は出力フレーム数）となっている。垂直方向グラフは、動画像を構成する複数のフレームのフレーム数（図１４の例の場合、出力フレームであり、全部で９００フレーム）と全方位画像１７１から切り出す切り出し画像１７２の範囲１７１'の全方位画像１７１に対する垂直方向の角度（位置）との関係を示すものであり、図１４の例の場合、縦軸が垂直方向角度、横軸がフレーム数（このフレーム数は出力フレーム数）となっている。ズームグラフ（倍率グラフ）は、動画像を構成する複数のフレームのフレーム数（図１４の例の場合、出力フレームであり、全部で９００フレーム）と全方位画像１７１から切り出す切り出し画像１７２の範囲１７１'の全方位画像１７１に対する倍率（大きさ）との関係を示すものであり、図１４の例の場合、縦軸がズーム倍率、横軸がフレーム数となっている。なお、切り出し画像１７２の倍率は、所定の大きさに基づいて定められたものであり、所定の大きさは、ユーザの設定により変更可能である。また、水平方向グラフと垂直方向グラフをまとめて位置グラフとして表わすことも可能である。

ここで、水平方向角度、垂直方向角度、およびズームの倍率について説明する。

例えば、図１５に示されるような全方位画像２３０の中から、画像２３１を切り出す場合を考える。この画像２３１の中心は、中心点２３２とされる。なお、実際には、全方位画像２３０として、図８に示されるような背景（画像）が表示されているが、ここでは、説明の便宜上、背景を表示しないようにしている。

全方位画像２３０（図１４の全方位画像１７１に対応する全方位画像）には、水平方向の角度が−１８０度から１８０度まで設定され、垂直方向の角度が−６０度から６０度まで設定されている。具体的には、水平方向の角度は、図１６に示されるように、所定の軸を０度とし、この軸に対する、ユーザにより選択された画像２３１（図１４の切り出し画像１７２に対応する画像）の中心点２３２の水平方向の角度θに対応しており、垂直方向の角度は、図１７に示されるように、所定の軸を０度とし、この軸に対する、ユーザにより選択された画像２３１の中心点２３２の垂直方向の角度Φに対応している。すなわち、水平方向の角度θと垂直方向の角度Φにより、ユーザにより選択された画像２３１の中心２３２（位置）を表わすことができる。また、ズーム倍率は、所定の大きさに対応する倍率であり、図１５の例の場合、画像２３１の倍率は１．５倍とされる。このように、水平方向角度、垂直方向角度、およびズームの倍率をパラメータとして、全方位画像２３０の中から切り出される画像２３１の位置を表わすことができる。なお、この例では、所定のフレームにおける水平方向の角度と垂直方向の角度は、位置を示す情報であれば他のものでもよいし、ズーム倍率も大きさを示す情報であれば他のものでもよい。

図１４の例の場合、線２００により表わされる現在のフレームは、０番目のフレーム（以下、ｎ番目のフレームをフレーム＃ｎと記述する（ｎは任意の自然数））である。すなわち、全方位画像１７１、および切り出し画像１７２は、フレーム＃０に対応する画像である。具体的には、図１４のフレーム＃０の水平方向角度は０度であり、垂直方向角度は０度であり、倍率は１．００倍である。また、フレームグラフ１８４の縦軸は入力フレームの番号、横軸は出力フレーム番号を表わし、図１４のフレーム＃０（出力フレームの番号）のフレーム番号は０である。図１４のフレームグラフ１８４の場合、入力フレームに対応する出力フレームは比例している。すなわち、入力されたフレームの順にフレームが出力される。なお、以下において、水平方向グラフ１８１、垂直方向グラフ１８２、ズームグラフ１８３、およびフレームグラフ１８４をまとめてグラフ１８０と称する。

ユーザは、操作入力部７１に所定の操作を入力することで、グラフ１８０をもとに、切り出し画像１７２の範囲１７１'を指示する（グラフ１８０を変形させるように変化点を入力する、すなわち、グラフ１８０の形状を変化させる）ことができる。例えば、ユーザは、図１４の水平方向グラフ１８１に表示されている値に基づく線を、ドラッグアンドドロップするよう操作入力部７１に対して操作したり、図示せぬポインタを移動させるよう操作入力部７１に対して操作することで、この値に基づく線を上下に変化させ、切り出し画像１７２の範囲１７１'を指示して編集を行う。なお、編集の履歴は、ツール１９５に表示されるので、ユーザは、この履歴を選択し、削除することもできる。また、ツール１９１乃至ツール１９４に直接値を入力して編集を行うようにしてもよい。

図１２に戻って、ステップＳ２０において、操作入力部７１は、ユーザからの編集の操作入力を受け付ける。すなわち、表示部７５に表示される図１４の編集画像１５０（グラフ１８０の画像）に対して、ユーザからの編集の操作入力（切り出し画像の範囲１７１'の指示）が操作入力部７１に入力されるので、操作入力部７１は、この操作入力を受け付ける。そして、操作情報生成部８１は、受け付けた操作入力に基づく操作情報を生成する。

具体的には、図１４の編集画像１５０において、フレーム＃４３の切り出し画像１７２の水平方向角度を１２０度に指定するような操作が操作入力部７１に入力された場合、操作情報生成部８２は、フレーム＃１乃至フレーム＃４２、フレーム＃４４乃至フレーム＃８９８の水平方向角度を、フレーム＃０，フレーム＃４３、およびフレーム＃８９９の水平方向角度の情報に基づいて求め、これを操作情報として操作情報保持部７２に出力する。例えば、フレーム＃０の水平方向角度が０度、フレーム＃４３の水平方向角度が１２０度となる直線を求めることで、各フレームにおける水平方向角度を算出し、これを操作情報として操作情報保持部７２に供給する。操作情報生成部８１は、同様にして垂直方向角度、ズーム倍率、入力フレームに対する出力フレームの操作情報を生成し、操作情報保持部７２に供給する。すなわち、操作情報生成部８１は、各フレームにおける水平方向角度、垂直方向角度、およびズーム倍率を操作情報として操作情報保持部７２に供給する。

ステップＳ２１において、操作情報保持部７２は、操作入力部７１の操作情報生成部８１から供給された操作情報を保持するとともに、再生制御部７３に供給する。この操作情報には、各フレームに対応する水平角度、垂直角度、およびズーム倍率が含まれる。

ステップＳ２２において、表示画像生成部９２は、操作情報（操作情報保持部７２に保持された操作情報と同じ操作情報）を反映させる。表示制御部７４は、表示画像生成部９２からの情報に基づく、図１８に示されるような編集画像１５０を表示部７５に表示させる。

図１８は、ステップＳ２０の処理で受け付けられた操作入力が反映された編集画像の例である。図１８の例の場合、線２００により表わされる現在のフレームは、３１番目のフレーム＃３１である。すなわち、全方位画像１７１、および切り出し画像１７２は、フレーム＃３１に対応する画像である。フレーム＃３１の水平方向角度は８６．５１度であり、垂直方向角度は−０．０５度であり、倍率は１．０４倍である。図１８のフレームグラフ１８４の場合、入力フレームに対応する出力フレームは比例しており、入力されたフレームの順にフレームが出力される。

図１８においては、フレーム＃０乃至フレーム＃８９９までの各フレーム（出力フレーム）に対応する水平角度、垂直角度、ズーム倍率、および入力フレーム番号が操作情報として操作情報保持部７２に保持される。ユーザは、図１８においてグラフ１８０上に点が付されている箇所において操作を入力（切り出し画像１７２の範囲を指定）しているが、操作入力部７１の操作情報生成部８２がその点に基づいて、他のフレームのパラメータを算出しているので、他のフレーム（点が付されていないフレーム）の切り出し画像１７２（編集）を直接指定する必要がない。

ステップＳ２３において、再生制御部７３は、ユーザにより操作入力部７１の制御情報生成部８１を介して再生が指令されたか否かを判定し、再生が指示されたと判定された場合、ステップＳ２４において、再生を行う。具体的には、ユーザにより操作入力部７１を介して再生パネル１９６の再生ボタンが選択された場合、制御情報生成部８１は再生を指示する制御情報を再生制御部７３に供給するので、再生制御部７３は、これに基づいて再生が指令されたか否かを判定する。再生が指令されたと判定された場合、再生制御部７３は、記録媒体３６に記録されている全方位画像データを順次読み出し、デコーダ９１に順次デコードさせるとともに、操作情報保持部７２に保持された操作情報を取得する。表示画像生成部９２は、デコードされた全方位画像データと、操作情報に基づいて、再生画像データを生成し、表示制御部７４に供給する。表示制御部７４は、再生画像データに基づく画像を表示させるよう表示部７５を制御する。これにより、表示部７５に複数のフレーム分（図１８の例の場合、９００フレーム分）の切り出し画像１７２が順次表示される。すなわち、切り出し画像からなる動画像（編集後の第２の動画像）が表示される。この再生は、切り出し画像１７２のみをアップで表示部７５に表示させるようにしてもよいし、全方位画像１７１と切り出し画像１７２をアップで表示部７５に表示させるようにしてもよいし、図１８に示されるような全方位画像１７１と切り出し画像１７２を含む編集画像１５０を表示部７５に表示させるようにしてもよい。

ステップＳ２３において、再生が指示されないと判定された場合、またはステップＳ２４の処理の後、ステップＳ２５において、出力要求部７６は、ユーザにより編集された動画像に対応する情報（例えば、操作情報、第２の動画像の情報、またはメタ情報などの情報）の出力の要求が指令されたか否かを判定する。具体的には、出力要求部７６は、操作入力部７１にユーザにより情報（例えば、操作情報、第２の動画像の情報、またはメタ情報などの情報）の出力を要求する操作が入力されたか否かを、制御情報生成部８１からの制御情報に基づいて判定する。ユーザは、編集された画像データ（切り出し画像データ）そのものを出力するような指令をすることや、操作情報を出力するような指令、また、第２の動画像に対するメタ情報の出力を指令することもできる。

ステップＳ２５において、出力の要求が指令されていないと判定された場合、ステップＳ２６において、再生制御部７３は、ユーザにより編集の終了が指令されたか否かを判定する。具体的には、再生制御部７３は、操作入力部７１にユーザにより編集の終了を指令する操作が入力されたか否かを、制御情報生成部８１からの制御情報に基づいて判定する。編集の終了が指令されていないと判定された場合、処理はステップＳ２０に戻り、それ以降の処理が繰り返される。すなわち、ユーザからの操作入力が受け付けられ、全方位画像の中から切り出し画像が適宜指示されることで、編集が行われる。この処理の繰り返しにより、図１８に示されるように、複数の変化点（所定のフレームにおける切り出し画像１７２の範囲１７１'）が設定され、操作情報生成部８２が全フレームの操作情報を算出することで、各グラフ１８０が変形される。ステップＳ２６において、編集の終了が指令されたと判定された場合、処理は終了される。

ステップＳ２５において、出力の要求が指令されたと判定された場合、ステップＳ２７において、出力要求部７６は、操作情報保持部７２から操作情報を取得する。

ステップＳ２８において、出力要求部７６は、取得した操作情報に基づくプロジェクトファイルを、インターネット１３を介してサーバ１４に送信する。具体的には、出力要求部７６は、操作情報に基づいてプロジェクトファイルを生成する。このプロジェクトファイルには、フレームの先頭から終了までの出力フレーム番号（フレーム＃０乃至フレーム＃８９９）、各フレームに対応する水平方向角度、垂直方向角度、ズーム倍率、および入力フレーム番号を示す情報が含まれる。また、本実施の形態では、プロジェクトファイルに、画像処理装置１２のそれぞれにあらかじめ設定されている固有のＩＤが含まれる。このＩＤは、後述するサーバ１４による課金に利用されるＩＤである。前のフレームとパラメータの値が同じである場合、そのフレームのパラメータ（水平方向角度、垂直方向角度、およびズーム倍率）をプロジェクトファイルに含めないようにしてもよい。すなわち、フレーム＃０乃至フレーム＃１０において、水平方向角度、垂直方向角度、およびズーム倍率が同じであった場合、フレーム＃０とフレーム＃１０の２つのフレームの水平方向角度、垂直方向角度、およびズーム倍率をプロジェクトファイルに含めるようにすればよい。また、サーバ１４に送信される情報は、プロジェクトファイルではなく、メタデータ（メタ情報）であってもよい。

さらに、フレーム番号に対応した複数のパラメータを包括した形式をプロジェクトファイルやメタデータの形式としてもよい。例えば、出力フレームがフレーム＃１、入力フレーム番号がフレーム＃１、表示された領域の中心点の水平方向角度が４０度、垂直方向角度が５０度、ズーム倍率を１．０倍である場合、実際には、図１４の水平グラフ１８１に（１，４０）（（フレーム数，角度）に対応する数値）、垂直グラフ１８２に（１，５０）（（フレーム数，角度）に対応する数値）、ズームグラフ１８３に（１，１）（（フレーム数，倍率）に対応する数値）、およびフレームグラフ１８４に（１，１）のデータが表示されることになるが、プロジェクトファイルとしては、例えば、（１，１，４０，５０，１）（（出力フレーム数、入力フレーム数、水平方向角度、垂直方向角度、ズーム倍率）に対応する数値）の形式としてもよい。このように、編集のパラメータを含む情報がプロジェクトファイルとして生成され、サーバ１４に送信される。

これに対して、サーバ１４は、プロジェクトファイルに含まれる画像処理装置１２を特定するＩＤと、編集のパラメータ（操作情報）に基づいて課金量を決定し、出力の許可を示す情報を応答（送信）してくる（後述する図２２のステップＳ５３およびステップＳ５４の処理）。

そこで、ステップＳ２９において、出力要求部７６は、インターネット１３を介してサーバ１４から出力の許可を示す情報を受信し、出力の許可を示す情報を出力制御部７７に供給する。

ステップＳ３０において、出力制御部７７は、再生制御部２６から表示画像データを取得する。具体的には、再生制御部７３は、出力制御部７７からの制御に基づいて、操作情報保持部７２から操作情報を取得し、これと、記録媒体３６から再生した全方位画像データに基づいて、編集された後の表示画像データを生成する。そして、再生制御部７３は、表示画像データを出力制御部７７に供給する。出力制御部７７は、再生制御部７３から表示画像データを取得する。

ステップＳ３１において、出力制御部７７は、表示画像データに基づく情報を、ユーザにより指定された形式で出力するよう制御する。例えば、ステップＳ２５において、ユーザにより編集された表示画像データをそのまま出力するような指令が入力されていた場合、出力制御部７７は、表示画像データを出力するよう制御し、ステップＳ２５において、ユーザにより編集された表示画像データの操作情報そのものを出力するような指令が入力されていた場合、XML（extensible markup language）形式やテキスト形式で出力するよう制御する。その後、処理は終了される。

図１２と図１３の処理により、図１４に示されるような編集画像１５０に基づいて全方位画像の編集が行われる。このとき、フレームに対応するグラフ１８０を全方位画像とともに表示するようにしたので、ユーザは直感的な操作ができるとともに、フレームである全方位画像からなる動画像（第１の動画像）の編集を１フレームずつ行わなくてすむ。すなわち、容易に複数の全方位画像を編集することができる。また、ユーザは、グラフ１８０に表示された値を示す線をドラッグアンドドロップするだけで（操作情報生成部８２が、切り出し画像１７２が指示されていないフレームの切り出し画像のパラメータを演算して設定するため）、複数のフレームの全方位画像をまとめて編集することができる。

なお、本例では、ステップＳ１１の処理で読み込まれる概要情報に含まれるフレーム長を出力フレームの横軸としたが、実際には、早送り再生やスロー再生などにより、出力フレーム長は可変することも可能である。

図１２および図１３における画像編集処理を、図１９乃至図２２を用いてさらに説明する。

例えば、全フレーム数が５（フレーム＃０乃至フレーム＃４）である場合、ステップＳ１１では、フレーム長が５であるという概要情報が取得され、ステップＳ１２乃至ステップＳ１９の処理で、図１９に示されるように、先頭のフレーム（フレーム＃０）の全方位画像とサブ画像からなる編集画像１５０が表示部７５に表示される。図１９は、このとき表示されるデフォルトの編集画像１５０であり、出力フレームのフレーム番号であるフレーム＃０乃至フレーム＃４は、入力フレームのフレーム番号であるフレーム＃０乃至フレーム＃４と同じである。また、水平角度はおよび垂直角度は、全てのフレームで０度であり、ズーム倍率は、全てのフレームで１．００倍である。ユーザは、図１９に示されるようなデフォルトの編集画像１５０のグラフ１８０をもとに、切り出し画像の範囲１７１'を指令する（変化点を入力する）。

そして、ステップＳ２０の処理で、ユーザによる編集の操作入力により、図１９の水平方向グラフ１８１のフレーム＃４に対応する水平方向の角度が１６０度に変化され、ズームグラフ１８３のフレーム＃４に対応する倍率が２倍に変化された場合、操作情報生成部８２は、フレーム＃１乃至フレーム＃３のパラメータを求め、これらの５フレーム分のパラメータをあわせて操作情報とする。そして、ステップＳ２２において、図２０に示されるように、操作情報が反映される。図２０においては、出力フレームのフレーム番号であるフレーム＃０乃至フレーム＃４は入力フレームのフレーム番号であるフレーム＃０乃至フレーム＃４と同じである。また、水平角度は、フレーム＃０のとき０度であり、フレーム＃１のとき４０度であり、フレーム＃２のとき８０度であり、フレーム＃３のとき１２０度であり、フレーム＃４のとき１６０度である。垂直角度は、フレーム＃０乃至フレーム＃４の全てにおいて０度であり、ズーム倍率は、フレーム＃０のとき１倍であり、フレーム＃１のとき１．２５倍であり、フレーム＃２のとき１．５倍であり、フレーム＃３のとき１．７５倍であり、フレーム＃４のとき２倍である。

このとき、ステップＳ２２で操作情報が反映される前のステップＳ２１で保持される操作情報を、図２１に示す。図２１においては、出力するフレーム番号に対して、水平角度、垂直角度、倍率、入力フレームがそれぞれ記述されている。すなわち、図２０に示されるグラフ１８０は、図２１と対応しており、図２１の操作情報を用いれば、図２０の編集画像１５０を生成することができる。換言すると、ユーザは、フレーム＃０とフレーム＃４の切り出し画像１７２の範囲１７１'を指定するだけで、操作情報生成部８２がフレーム＃０とフレーム＃４のパラメータに基づいて、他のフレーム（すなわち、フレーム＃１乃至フレーム＃３）のパラメータを求め、操作情報とするため、容易に編集することができる。

ステップＳ２４において再生処理を行う場合、図２１に示されるように、フレーム＃０としては、全方位画像２３０−０の中の切り出し画像２３１−０が表示部７５に表示され、フレーム＃１としては、全方位画像２３０−１の中の切り出し画像２３１−１が表示部７５に表示され、フレーム＃２としては、全方位画像２３０−２の中の切り出し画像２３１−２が表示部７５に表示され、フレーム＃３としては、全方位画像２３０−３の中の切り出し画像２３１−３が表示部７５に表示され、フレーム＃４としては、全方位画像２３０−４の中の切り出し画像２３１−４が表示部７５に表示される。すなわち、切り出し画像２３１−０乃至２３２−４が順次表示部７５に表示されることで、動画像（第２の動画像）が表示される。このように、図２０に示されるように、変化する点（図２０の例の場合、フレーム＃４）の切り出し画像１７２を指定するように、グラフ１８０を操作することで、ユーザは、フレーム＃０乃至フレーム＃４をまとめて編集することができる。なお、操作情報としては、図２１のうち、フレーム＃０とフレーム＃４の各パラメータのみが保持されるようにしてもよい。これは、フレーム＃０乃至フレーム＃４では、パラメータの値が比例しているため、フレーム＃１乃至フレーム＃３において、特にパラメータの値を保持せずとも操作情報生成部８２が操作情報を生成できるからである。

また例えば、上述した図１８において、水平方向の角度は、フレーム＃４３、フレーム＃７６、フレーム＃１２８、フレーム＃１６８、フレーム＃２２１、フレーム＃２７３、フレーム＃４６３、およびフレーム＃８９９が変化点として、ユーザにより選択されている。ユーザは、これらの８点を切り出し画像の指定（変化点）として編集するだけで（操作情報生成部８２がこの８点以外の全てのフレームの水平方向角度の値を算出するため）、９００フレーム分の水平方向の角度を設定することができる。また、例えば、ズーム倍率についても、ユーザは、フレーム＃１、フレーム＃６０３、およびフレーム＃８９９を変化点として選択するだけで、９００フレーム分のズーム倍率を設定することができる。

また、その他の例として、図２０において、出力フレーム番号であるフレーム＃０、フレーム＃１、フレーム＃２、フレーム＃３、およびフレーム＃４に、それぞれ、入力フレーム番号としてフレーム＃４、フレーム＃３、フレーム＃２、フレーム＃１、およびフレーム＃０を割り当てるようにユーザが編集した場合（具体的には、出力フレーム＃０の入力フレームをフレーム＃４とし、出力フレーム＃４の入力フレームをフレーム＃０とするように変化点を入力した（切り出し画像の範囲を指令した）場合）には、再生処理において、フレーム＃４、フレーム＃３、フレーム＃２、フレーム＃１、およびフレーム＃０の順番で再生されるため、巻き戻し再生を行うことになる。

このように、全方位画像であるフレームからなる動画像において、フレーム数に対応する複数のフレーム分の水平方向角度、垂直方向の角度、ズーム倍率、および入出力フレームを表わすグラフを表示するようにし、ユーザにより指定されたフレームの切り出し画像（グラフへの操作入力）に基づいて、指定されたフレーム以外のフレームのパラメータを算出し、グラフを生成して表示するようにしたので、ユーザは、指定したフレーム以外のフレームの切り出し画像をあわせて指定することができ、もって、容易に編集することができる。

すなわち、ユーザからのグラフに対する操作を受け付けるとともに、操作に対応する操作情報を生成し、操作情報に基づいてグラフのデータを生成して反映させ、表示するようにしたので、編集を容易に行うことができる。

具体的な例としては、フレーム＃５からフレーム＃５０の傾きを大きくするようにフレーム＃５とフレーム＃５０を変化させることで、短時間にフレーム＃６からフレーム＃４９の全方位画像から切り出し画像を指定（編集）することができる。

なお、図１２および図１３のステップＳ２０乃至ステップＳ２２では、ユーザは、グラフ１８０に対して編集の操作入力として、変化点を入力することで編集を行っているが、全方位画像であるフレームからなる動画像を再生させ、図１４の全方位画像１７１から切り出し画像の範囲を選択することで編集を行うようにしてもよい。

具体的には、ユーザが編集モードで動画像（全方位画像であるフレームからなる第１の動画像）を再生させた場合、図１４の全方位画像１７１は、所定のフレームレート（例えば、５fps（Frame Per Second））で切り替わる。すなわち、編集のためにスロー再生が行われる。ユーザは、表示されている全方位画像１７１から切り出す範囲１７１’を選択することで編集を行う。ステップＳ２０で、動画像が再生され、全方位画像１７１から切り出す範囲１７１’が選択される操作がユーザにより行われている間、ユーザは、グラフ１８０に対して操作を入力することはできない。そして、編集モードでの再生が停止された場合、ユーザは、グラフ１８０に操作を入力したり、停止された時刻に表示されているフレームの全方位画像１７１から切り出す範囲１７１’を選択することができる。その後、操作情報生成部８２により切り出し画像１７２の範囲が指定されたフレーム以外の切り出し画像１７２の範囲が求められ（操作情報が生成され）、ステップＳ２１において、これが操作情報として保持され、ステップＳ２２において、操作情報が反映される。すなわち、切り出し画像１７２の情報がグラフ１８０に反映される。なお、本実施の形態では、操作情報保持部７２が操作情報を保持（記憶する）ようにしたが、外部の記憶装置に記憶させるようにしてもよい。

次に、図１２および図１３の画像処理装置１２の処理に対応する図１１のサーバ１４の処理を、図２３のフローチャートを参照して説明する。なお、この処理は、図１３のステップＳ２８において、画像処理装置１２がインターネット１３を介してサーバ１４にプロジェクトファイルを送信したとき開始される。

ステップＳ５１において、サーバ１４の通信部１０９は、インターネット１３を介して画像処理装置１２から送信されてきたプロジェクトファイルを受信する。上述したように、このプロジェクトファイルには、操作情報と、画像処理装置１２を特定するＩＤが含まれている。通信部１０９は、受信したプロジェクトファイルを入出力インターフェース１０５および内部バス１０４を介してCPU１０１に出力する。

ステップＳ５２において、サーバ１４のCPU１０１は、プロジェクトファイルに基づいてドット情報をカウントする。例えば、図１８に示されるように、水平方向の角度としては、フレーム＃４３、フレーム＃７６、フレーム＃１２８、フレーム＃１６８、フレーム＃２２１、フレーム＃２７３、フレーム＃４６３、およびフレーム＃８９９の値に基づいてドット情報がカウントされる。すなわち、例えば隣接するフレームの変化（傾き）が大きく変化した変化点（ドット、すなわち、切り出し画像の範囲として編集された点）の情報に基づいて、カウントが行われる。換言すると、操作情報生成部８２により生成された、指定（編集）されたフレーム以外のフレームのパラメータに関しては、ドット情報としてカウントされない。

ステップＳ５３において、CPU１０１は、課金量を決定する。例えば、記憶部１１０には、ドット情報に対応する課金量があらかじめ記憶されており、CPU１０１は、このドット情報に対応する課金量に基づいて、課金量を決定する。図１８の例の場合、水平方向の角度の変化、垂直角度の変化（０度から１５度まで変化し、再び０度に戻る変化）、ズーム倍率の変化（１．００倍から１．９０倍まで変化し、再び１．００倍に戻る変化）、およびフレーム番号の変化（フレーム＃０からフレーム＃８９９までの変化）に基づいて課金量が決定される。CPU１０１は、決定した課金量を、画像処理装置１２のＩＤに対応付け、記憶部１１０に記憶させる。この課金量に基づいて、例えば、月末などに料金の精算が行われる（料金の精算方法についての詳細な記載は省略する）。このように、変化点の入力（所定のフレームにおける切り出し画像１７１の範囲の設定）により編集が行われるので、サーバ１４は、変化点の数やその情報により、どれだけの情報を付加したか否かを（付加価値を）判定することができ、もって編集の度合いにより課金量を決定することができる。すなわち、編集した量に基づいて適切に課金を行うことができる。また、ユーザに料金の請求額を満足させることができる。

ここで、ステップＳ５３の処理で決定される課金量について説明する。

編集するフレーム数（例えば、図１８の例の場合、フレーム数は９００フレーム）が多いほど、課金量は多く設定され、ズームの倍率は、変化した倍率に対して課金量が設定される。また、特定の範囲内（重要な範囲の画像）の課金量を、他の範囲内の課金量より高く設定するようにしてもよい。

また、変化点を入力した機能（水平方向、垂直方向、ズーム倍率、またはフレーム数）に応じて課金量に変化をつけるようにしてもよい。さらに、変化点の重要度によって課金したり、割引するようにしてもよい。また、変化点が密集した箇所では、課金量を割引する（低くする）ようにしてもよいし、逆に、変化点が密集していない箇所で、課金量を割引するようにしてもよい。

なお、この変化点（グラフ１８０への操作の回数）に応じた課金量の決定方法は、上述した編集方法に限らず、変化点を入力するようなソフトウエア全般で、付加価値に応じた課金量とするよう適用することができる。

また、変化点（グラフ１８０への操作の回数）が増えるということは、付加価値が増すことに繋がるので、変化点に対応する課金量とすることで、付加価値に応じた課金方法を実現することができる。さらに、付加価値が高いことは、収益を上げる可能性が高いため、収益に応じた課金をすることができる。

さらに、時間軸方向（出力フレーム方向）に変化点を入力することは、コンテンツの長さに対して、より多くの手がかかることになり、ユーザに提供するコンテンツの付加価値が増すことになる。コンテンツによっては水平方向の角度のみを編集すればよい場合や、水平方向の角度、垂直方向の角度、ズーム倍率、およびフレーム番号の全てを編集しなければならない場合もあるが、編集される項目の増加に対し、ユーザに提供するコンテンツの付加価値が増す。すなわち、この変化点を入力した数や重要度で課金をすることで、付加価値の量に応じて課金することになり、もって、出力されるアウトプットに応じた料金設定が可能となる。

また、重要度としては、水平方向の角度、垂直方向の角度を低くし、ズームの編集を高くし、フレームの編集をさらに高くするようにしてもよい。さらに、一方の角度では重要度が低いが、他方の角度では高くなるよう設定してもよい。例えば、−３０度から＋３０度は１個の変化点に対し１００円課金されるが、３０度から１８０度では１個の変化点に対し２００円課金されるようにしてもよい。また、−３０度から＋３０度で変化点が所定の個数を超えた場合（多い場合）、その分割引を行うようにしてもよい。

なお、サーバ１４のCPU１０１は、受信したプロジェクトファイルに基づいて、対応する情報が新規のプロジェクトの情報であるか、既存のプロジェクトの情報であるかを判定し、新規である場合には全ての変化点の情報をカウントして保存し、既存の情報の修正である場合には既存の情報との差分をカウントして保存するようにしてもよい。

図２３に戻って、ステップＳ５４において、CPU１０１は、出力の許可を示すデータを生成し、生成した出力の許可を示すデータを、通信部１０９を介して画像処理装置１２に送信し、処理を終了する。

図２３の処理により、サーバ１４は、画像処理装置１２からプロジェクトファイルを受け取り、プロジェクトファイルに基づいて課金量を決定し、出力の許可を示すデータを画像処理装置１２に送信する。サーバ１４は、プロジェクトファイルに含まれる操作情報に基づいて、ドット情報をカウントすることで、付加価値に応じた課金量を決定することができる。

以上によれば、全方位画像であるフレームからなる動画像を編集する場合に、水平方向の角度、垂直方向の角度、ズーム倍率、および入力フレームのグラフを、出力フレームに対して設定し、表示するようにしたので、ユーザは容易に編集を行うことができる。

また、複数のフレームをまとめて編集できるので、フレームごとに編集する必要がなく、ユーザは簡単に編集を行うことができる。

さらに、各グラフ１８０とともに全方位画像１７１と切り出し画像１７２を表示するようにしたので、ユーザはより直感的な編集を行うことができる。

なお、以上の例では、水平方向角度、垂直方向角度、ズーム倍率、並びに、入力フレームおよび出力フレームの関係を操作情報のパラメータとして操作情報保持部７２に保持させるようにしたが、画像回転角度を加えるようにしてもよい。画像回転角度は、ここでは、切り出し画像の中心を軸に３０度時計まわりに回転させるなどの指定をするパラメータである。また、操作情報は、水平方向角度、垂直方向角度、ズーム倍率、入力フレームおよび出力フレームの関係、並びに、画像回転角度の少なくともいずれか１つを含むようにしてもよい。

また、以上の例では、図１５に示されるように、選択した切り出し画像の中心と全方位画像を撮影したカメラにより規定されるものとしたが、これに限定されず、適宜設定すればよい。

さらに、フレームレートは６０fps（フレーム／秒）として説明したが、３０fps（フレーム／秒）としてもよい。また、それ以外のフレームレートでも適宜設定するようにすればよい。

なお、図１２および図１３に示されるような画像編集処理に限らず、メタデータを編集することもできる。例えば、コンテンツに関連するキーワード、カテゴリ、撮影時のしぼり値などを図１４の編集画像１５０とともに表示させ、ユーザに選択させることで、選択された語句（メタデータ）を、切り出し画像に付加させるなどの編集を行うことができる。また、メタデータに限らず、コンテンツに関するものであれば何でもよい。

また、以上の例では、プロジェクトファイルに画像処理装置１２のＩＤを含めるようにしたが、ユーザによりあらかじめ登録されたユーザＩＤとパスワードをプロジェクトファイルに含めるようにし、これに基づいて精算が行われるようにしてもよい。また、クレジットカード番号などに基づいて精算が行われるようにしてもよい。

なお、図１の例では、全方位カメラ１１により記録された全方位画像であるフレームからなる動画像を画像処理装置１２で編集するようにしたが、画像処理装置１２に全方位カメラ１１を内蔵するようにしてもよいし、課金量も画像処理装置１２の内部で決定してもよい。

また、変化点の形状は特に限定されない。

さらに、以上の例では、水平方向グラフ、垂直方向グラフ、およびズーム倍率グラフを編集画像１５０に含めるようにしたが、水平方向グラフ、垂直方向グラフ、およびズーム倍率グラフのうちの少なくともいずれか１つを含むようにしてもよい。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、上述した処理は、図２４に示されるようなパーソナルコンピュータ３００により実行される。

図２４において、CPU３０１は、ROM３０２に記憶されているプログラム、または、記憶部３０８からRAM３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

CPU３０１、ROM３０２、およびRAM３０３は、内部バス３０４を介して相互に接続されている。この内部バス３０４にはまた、入出力インターフェース３０５も接続されている。

入出力インターフェース３０５には、キーボード、マウスなどよりなる入力部３０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクなどより構成される記憶部３０８、並びに、モデム、ターミナルアダプタなどより構成される通信部３０９が接続されている。通信部３０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。

入出力インターフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア３２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、図２４に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア３２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３０２や記憶部３０８が含まれるハードディスクなどで構成される。

なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。

本発明を適用した画像処理システムの全体の構成例を示す図である。 図１の全方位カメラの構成例を示すブロック図である。 図１の全方位カメラの斜視図である。 ９０度回転やミラー反転を説明する図である。 円筒変換を説明する図である。 全方位画像を説明する図である。 図１の画像処理装置の機能的構成例を説明するブロック図である。 全方位画像の表示例である。 切り出し画像の表示例である。 切り出し画像を円筒変換した場合の表示例である。 図１のサーバの機能的構成例を説明するブロック図である。 画像編集処理を説明するフローチャートである。 画像編集処理を説明するフローチャートである。 編集画像の表示例である。 全方位画像から切り出す切り出し画像を説明する図である。 切り出し画像の水平方向の角度を説明する図である。 切り出し画像の垂直方向の角度を説明する図である。 編集画像の表示例である。 編集画像の表示例である。 編集画像の表示例である。 操作情報保持部に保持される操作情報を説明する図である。 複数のフレームにおける切り出し画像の遷移を説明する図である。 出力許可処理を説明するフローチャートである。 パーソナルコンピュータを説明する図である。

符号の説明

１１ 全方位カメラ， １２ 画像処理装置， １４ サーバ， ３６ 記録媒体， ７１ 操作入力部， ７２ 操作情報保持部， ７３ 再生制御部， ７４ 表示制御部， ７５ 表示部， ７６ 出力要求部， ７７ 出力制御部， ９２ 表示画像生成部， １０１ CPU， １１０ 記憶部， １１１ 通信部， １７１ 全方位画像， １７１' 範囲， １７２ 切り出し画像， １８１ 水平方向グラフ， １８２ 垂直方向グラフ， １８３ ズームグラフ， １８４ フレームグラフ， １９１乃至１９５ ツール

Claims (8)

1. 全方位画像をフレームとし、複数の前記フレームからなる第１の動画像を編集する画像処理システムにおいて、
   前記第１の動画像のフレーム数と第１の動画像が編集された第２の動画像のフレーム数との関係を示すフレームグラフ、前記第２の動画像のフレーム数と前記全方位画像から切り出す切り出し画像の位置との関係を示す位置グラフ、および、前記第２の動画像のフレーム数と前記切り出し画像の倍率との関係を示す倍率グラフのうちの少なくともいずれか１つのグラフの画像データを生成する生成手段と、
   前記生成手段により生成された前記グラフの画像データに基づいて前記グラフの画像を表示するよう表示を制御する表示制御手段と、
   ユーザからの、前記グラフの画像に対する操作を受け付けるとともに、前記操作に対応する操作情報を生成する受付手段と、
   前記受付手段により受け付けられて生成された前記操作情報を保持する保持手段と、
   前記保持手段により保持された前記操作情報の出力を許可する許可手段と、
   前記許可手段により前記操作情報の出力が許可された場合、前記操作情報を出力する出力手段と
   を備えることを特徴とする画像処理システム。
2. 前記許可手段は、前記受付手段により受け付けられた前記グラフの画像に対する操作に基づいて課金量を決定し、前記操作情報の出力を許可する
   ことを特徴とする請求項１に記載の画像処理システム。
3. 全方位画像をフレームとし、複数の前記フレームからなる第１の動画像を編集する画像処理装置において、
   前記第１の動画像のフレーム数と第１の動画像が編集された第２の動画像のフレーム数との関係を示すフレームグラフ、前記第２の動画像のフレーム数と前記全方位画像から切り出す切り出し画像の位置との関係を示す位置グラフ、および、前記第２の動画像のフレーム数と前記切り出し画像の倍率との関係を示す倍率グラフのうちの少なくともいずれか１つのグラフの画像データを生成する生成手段と、
   前記生成手段により生成された前記グラフの画像データに基づいて前記グラフの画像を表示するよう表示を制御する表示制御手段と、
   ユーザからの、前記グラフの画像に対する操作を受け付けるとともに、前記操作に対応する操作情報を生成する受付手段と、
   前記受付手段により受け付けられて生成された操作情報を出力する出力手段と
   を備えることを特徴とする画像処理装置。
4. 前記生成手段は、前記受付手段により受け付けられて生成された前記操作情報に基づいて、前記グラフの画像データを生成して反映させる
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、前記位置グラフの画像データとして、前記第２の動画像のフレーム数と前記切り出し画像の水平方向位置との関係を示す水平方向グラフ、および前記第２の動画像のフレーム数と前記切り出し画像の垂直方向位置との関係を示す垂直方向グラフのうちの少なくともいずれか１つのグラフの画像データを生成する
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記表示制御手段は、前記グラフの画像とともに、前記全方位画像と前記切り出し画像をさらに表示するよう表示を制御する
   ことを特徴とする請求項３に記載の画像処理装置。
7. 全方位画像をフレームとし、複数の前記フレームからなる第１の動画像を編集する画像処理装置の画像処理方法において、
   前記第１の動画像のフレーム数と第１の動画像が編集された第２の動画像のフレーム数との関係を示すフレームグラフ、前記第２の動画像のフレーム数と前記全方位画像から切り出す切り出し画像の位置との関係を示す位置グラフ、および、前記第２の動画像のフレーム数と前記切り出し画像の倍率との関係を示す倍率グラフのうちの少なくともいずれか１つのグラフの画像データを生成する生成ステップと、
   前記生成ステップの処理により生成された前記グラフの画像データに基づいて前記グラフの画像を表示するよう表示を制御する表示制御ステップと、
   ユーザからの、前記グラフの画像に対する操作を受け付けるとともに、前記操作に対応する操作情報を生成する受付ステップと、
   前記受付ステップの処理により受け付けられて生成された操作情報を出力する出力ステップと
   を含むことを特徴とする画像処理方法。
8. 全方位画像をフレームとし、複数の前記フレームからなる第１の動画像を編集するプログラムであって、
   前記第１の動画像のフレーム数と第１の動画像が編集された第２の動画像のフレーム数との関係を示すフレームグラフ、前記第２の動画像のフレーム数と前記全方位画像から切り出す切り出し画像の位置との関係を示す位置グラフ、および、前記第２の動画像のフレーム数と前記切り出し画像の倍率との関係を示す倍率グラフのうちの少なくともいずれか１つのグラフの画像データを生成する生成ステップと、
   前記生成ステップの処理により生成された前記グラフの画像データに基づいて前記グラフの画像を表示するよう表示を制御する表示制御ステップと、
   ユーザからの、前記グラフの画像に対する操作を受け付けるとともに、前記操作に対応する操作情報を生成する受付ステップと、
   前記受付ステップの処理により受け付けられて生成された操作情報を出力する出力ステップと
   を含む処理をコンピュータに実行させることを特徴とするプログラム。

Images