JP2015185963A - 撮像システム、撮像方法、画像再生装置及びプログラム - Google Patents

Abstract

【課題】撮像された角度の変更及びフレーム位置を直感的にかつ一体的に操作することが可能なインターフェースを用いた撮像システムなどを提供すること。【解決手段】画像データ生成装置２０は、カメラ１０によって撮像された画像又は当該カメラ１０の再生画像を表示し、当該表示した表示領域における入力位置を検出するとともに、検出した入力位置に基づいて、表示するフレーム及びカメラ１０によって撮像された画像の少なくともいずれか一方を制御する構成を有している。【選択図】図１

Description

本発明は、被写体を撮像し、所定の画像を生成する撮像システム等に関する。

従来、コンサート等のイベントやテレビ番組においては、複数のカメラを用いて、被写体となる歌手等を、それぞれ、異なる方向から撮像し、各カメラにて撮像された画像を編集しつつ、一の画像データを生成することが行われている。

また、最近では、被写体の周囲に、それぞれ、異なるアングルから被写体を撮像するためのカメラを複数台設置して、アングルの変更方向に、撮像するカメラを、順次、連続的に切り替えていくことにより、被写体の動きを停止、又は、スローモーション状態にしつつ、視点が高速で移動しているように見える画像を生成する方法が利用されるようになっている（例えば、特許文献１）。

特開２０１１−２４３２０５号公報

しかしながら、特許文献１をはじめとして、このような画像生成を行うシステムにあっては、フレームの再生とアングルの変更とを直感的にかつ一体的に操作することができない。

本発明は、上記課題を解決するためになされたものであり、被写体の周囲に、それぞれ、異なる角度（アングル）から被写体を撮像するために設置された複数台のカメラを用いたシステムにおいて、撮像された角度の変更及びフレーム位置を直感的にかつ一体的に操作することが可能なインターフェースを用いた撮像システムなどを提供することにある。

上述した課題を解決するため、本発明の撮像システム等は、被写体を中心とする同心円の円周上に、所定の間隔を持って設置されるとともに、それぞれ、前記被写体を撮像する撮像手段を有する複数の同期した撮像装置と、前記撮像装置を制御する制御装置と、を備え、前記制御装置が、前記前記撮像手段によって撮像された画像を表示する表示手段と、前記表示手段における入力位置を検出する入力検出手段と、前記入力検出手段によって検出された入力位置に基づいて、前記表示手段に表示するフレーム及び前記撮像装置によって撮像された画像の少なくともいずれか一方を制御する制御手段と、を備える構成を有している。

この構成により、本発明の再生制御システム等は、表示手段への操作者の操作入力に基づいて、再生する際の撮像装置における画像の切り替え及び当該切り替えを実行する際のフレーム位置を制御することができるので、画像の切り替え及びフレーム位置を直感的にかつ一体的に操作することができる。

上述した課題を解決するため、本発明の画像再生装置等は、同期した撮像装置により撮像された画像を表示する表示手段と、前記表示手段における入力位置を検出する入力検出手段と、前記入力検出手段によって検出された入力位置に基づいて、前記表示手段に表示するフレーム及び前記撮像装置の画像の少なくともいずれか一方を制御する制御手段と、を備える構成を有している。

この構成により、本発明の再生装置等は、表示手段への操作者の操作入力に基づいて、再生する際の撮像装置における画像の切り替え及び当該切り替えを実行する際のフレーム位置を制御することができるので、画像の切り替え及びフレーム位置を直感的にかつ一体的に操作することができる。

本発明の再生制御システム等は、表示手段への操作者の操作入力に基づいて、再生する際の撮像装置における画像の切り替え及び当該切り替えを実行する際のフレーム位置を制御することができるので、画像の切り替え及びフレーム位置を直感的にかつ一体的に操作することができる。

本発明に係る画像データ生成システムの一実施形態における構成を示すシステム構成図である。 一実施形態の画像データ生成装置の構成を示すブロック図である。 一実施形態の画像データ生成装置に記録されるカメラ管理テーブルに格納されるデータの一例を示す図である。 一実施形態の画像データ生成装置において実行される画像切り替え制御の原理を説明するための図（その１）である。 一実施形態の画像データ生成装置において実行される画像切り替え制御の原理を説明するための図（その２）である。 一実施形態の画像データ生成装置において実行される画像切り替え制御を伴う表示処理の動作を示すフローチャートである。

以下、図面を参照しつつ、本発明の実施形態について説明する。なお、以下の実施形態は、被写体を撮像するカメラと、当該カメラから画像データを取得して画像データを生成する画像データ生成装置と、を有する画像データ生成システムに対し、本発明に係る、撮像システム、撮像方法、画像再生装置及びプログラムを適用した場合の実施形態である。

［１］画像データ生成システム
まず、図１を用いて、本実施形態における画像データ生成システム１の構成及び概要について説明する。なお、図１は、本実施形態における画像データ生成システム１の構成を示すシステム構成図である。

本実施形態の画像データ生成システム１は、被写体の周囲に設置されたカメラ１０を切り替えつつ、被写体の画像を連続的に撮像し、各カメラ１０にて撮像された画像の記録、再生及び編集を行うことにより、被写体を、３６０度全方向から撮像した画像（以下、「全方位画像」という。）に対応する画像データを生成するためのシステムである。

そして、本実施形態の画像データ生成システム１は、このようなシステムにおいて、各カメラ１０の画像の切り替え及びそのフレーム位置を直感的にかつ一体的に操作するインターフェースを有するシステムである。

具体的には、本実施形態の画像データ生成システム１は、図１に示すように、被写体Ｏを中心点とし、半径をＲ（撮像距離）とする同心円Ｃ上に、等間隔又は予め定められた間隔（非等間隔）にて設置され、それぞれ、異なるアングルから被写体Ｏの画像を撮像する複数のカメラ１０と、各カメラ１０に接続され、各カメラ１０によって撮像された画像の記録、再生制御及び編集を行う画像データ生成装置２０と、を有し、上記のシステムを実現するようになっている。

なお、画像データ生成システム１において、被写体Ｏの周囲に設置するカメラの台数は、任意であるが、本実施形態においては、説明を明確化するため、図１に例示するように、被写体Ｏを６台のカメラ１０−１〜１０−６にて撮像するものとして説明を行う。

各カメラ１０は、デジタルビデオカメラ、Ｗｅｂカメラ又はスマートフォン付属のビデオカメラ等の動画像撮像用のカメラであり、例えば、本発明の撮像手段として機能する。また、各カメラ１０は、オートフォーカス機能及び手ぶれ補正機能を有し、被写体Ｏを撮像することにより、複数のフレームからなる画像データを生成する。

特に、本実施形態の各カメラ１０は、画像データ生成装置２０による制御の下、被写体Ｏの画像を撮像するようになっており、生成した画像データを画像データ生成装置２０に供給する構成を有している。

各カメラ１０は、撮像手段である撮像素子（ＣＣＤイメージセンサ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）を有し、デジタルビデオカメラ、Ｗｅｂカメラ又はスマートフォン付属のビデオカメラ等の動画像撮像用のカメラであり、例えば、本発明の撮像装置として機能する。また、各カメラ１０は、オートフォーカス機能及び手ぶれ補正機能などの公知の種々の機能を有し、被写体Ｏを撮像することにより、複数のフレームからなる画像データを生成する。

画像データ生成装置２０は、各カメラ１０の同期を取りつつ、各カメラ１０を制御する。また、画像データ生成装置２０は、記録、再生及び編集を行うとともに、各カメラ１０の画像の表示又はその再生を行う場合に、各カメラ１０の画像の切り替え及びフレーム位置を直感的にかつ一体的に操作することが可能な構成を有している。

具体的には、画像データ生成装置２０は、カメラ１０によって撮像された画像又は当該カメラ１０の再生画像を表示し、当該表示した領域（以下、「表示領域」ともいう。）における入力位置を検出するとともに、検出した入力位置に基づいて、表示するフレーム及びカメラ１０によって撮像された画像の少なくともいずれか一方を制御する構成を有している。

特に、画像データ生成装置２０は、
（１）画像を表示した表示領域における入力位置を検出し、検出した入力位置に応じて表示するフレーム及び各カメラ１０によって撮像された画像の切り替え（すなわち、カメラ１０の切り替え）の少なくともいずれか一方を制御し、
（２）画像を表示した表示領域における２点の座標位置（例えば、第１のポイント及び第２のポイント）を検出し、当該検出した座標位置に基づいて、各カメラ１０の切り替え及びフレーム位置の少なくともいずれか一方を制御し、
（３）検出した第１のポイントから第２のポイント又はその他のポイント（第１ポイントと第２ポイントの中間点など）まで速度を検出し、検出した速度に基づいて、各カメラ１０を切り替える際の切り替え速度及びフレームを表示する際の表示速度の少なくともいずれか一方を制御し、
（４）検出した操作者の第１ポイントから第２ポイントまでの加速度を検出し、検出した加速度に基づいて、各カメラ１０を切り替える際の切り替え加速度及びフレームを表示する際の加速度の少なくともいずれか一方を制御する、
構成を有している。

例えば、画像データ生成装置２０は、各カメラ１０の各画像を切り替えつつ同期させて表示する処理（以下、「表示処理」という。）を実行する際に、
（１）被写体Ｏを撮像する角度（以下、「撮像角度」という。）に対応するＸ軸と当該Ｘ軸と非平行であって表示されるフレーム（以下、「表示フレーム」という。）に対応するＹ軸とを有する表示領域上に形成された入力領域への操作者の入力を検出し、
（２）、被写体Ｏを撮像する撮像角度を切り替える速度（以下、「切り替え速度」という。）に対応するＸ軸と当該Ｘ軸と非平行であって表示フレームの再生速度に対応するＹ軸とを有する表示領域上に形成された入力領域への操作者の入力を検出し、又は、
（３）被写体Ｏを撮像する撮像角度を切り替える加速度（以下、「切り替え加速度」という。）に対応するＸ軸と当該Ｘ軸と非平行であって表示フレームの再生加速度に対応するＹ軸とを有する表示領域上に形成された入力領域への操作者の入力を検出し、
検出した撮像角度、表示フレーム、切り替え速度、表示フレームの再生速度、切り替え加速度及び表示フレームの再生加速度に応じて各カメラ１０の画像の切り替え及び当該切り替えに伴う表示フレームの再生制御（以下、「画像切り替え制御」という。）を実行する
ことが可能な構成を有している。

このような構成により、本実施形態の画像データ生成システム１は、表示領域への操作者の操作入力に基づいて、再生する際のカメラ１０における画像の切り替え（すなわち、視聴する角度の切り替え）及び当該切り替えを実行する際のフレーム位置を制御することができるので、再生する際の各カメラ１０の画像の切り替え及びフレーム位置を直感的にかつ一体的に操作することができるようになっている。

なお、本実施形態においては、入力領域におけるＸ軸とＹ軸は直角によって形成されているものとして説明する。

［２］画像データ生成装置
次に、図２及び図３を用いて本実施形態の画像データ生成装置２０の構成について説明する。なお、図２は、本実施形態の画像データ生成装置２０の構成を示すブロック図であり、図３は、本実施形態の画像データ生成装置２０に記録されるカメラ管理テーブルＴＢＬのデータ格納例を示す図である。

本実施形態の画像データ生成装置２０は、図２に示すように、各種の情報に対応するデータが記録される記録部２００と、カメラ１０及び他の外部機器との間の入出力（Ｉ／Ｏ）インターフェース２１０と、液晶素子、又は、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルにより構成される表示部２４０と、表示部２４０に対する画像の表示を制御する表示制御部２５０と、各カメラ１０の画像における表示処理を実行するデータ処理部２６０と、キーボードやタッチセンサ等により構成される操作部２７０と、装置管理制御部２８０と、現在日時を特定するタイマ２９０と、を有し、上記の各部は、バスＢによって相互に接続されている。

記録部２００は、例えば、ＨＤＤ（ハードディスクドライブ）又はＳＳＤ（ソリッドステートドライブ）により構成され、その記録領域内に、少なくとも、各カメラ１０を管理するための情報が記録されるカメラ管理テーブル記録部２０１と、各カメラ１０から出力された同期が取られた各画像データをグループ毎に記録するための画像データ記録部２０３と、ワークエリア及び画像バッファとして機能するＲＡＭ２０４と、が設けられている。

カメラ管理テーブル記録部２０１には、各カメラ１０を管理するためのカメラ管理テーブルＴＢＬが記録される。また、カメラ管理テーブルＴＢＬには、図３に示すように、各カメラ１０を識別するためのカメラＩＤと、カメラ情報が対応付けて格納される。

本実施形態のカメラ情報には、
（１）各カメラ１０の設置位置を示す設置位置情報と、
（２）各カメラ１０の撮像時におけるフレームレートを示すフレームレート情報と、
が含まれている。

図３には、図１に示すように６台のカメラ１０を設置した場合のカメラ管理テーブルＴＢＬの例が示されている。すなわち、図３には、カメラＩＤ「Ｃａｍｅｒａ１」の設置位置を「０度」として、「Ｃａｍｅｒａ２〜６」が、それぞれ、「６０度」毎に設置された設置情報が格納されていることが示されている。

また、図３においては、全てのカメラ１０のフレームレートが「６０ｆｐｓ」とされているが、各カメラ１０のフレームレートが異なる場合には、それぞれ、異なるフレームレート情報が格納される。

画像データ記録部２０３には、各カメラ１０から出力された同期が取られた各画像がグループ毎に画像ＩＤなどの所定の情報に対応付けて記録されている。

ＲＡＭ２０４は、表示処理を実行する際に、ワークエリアとして用いられるとともに、画像バッファとしても機能する。特に、ＲＡＭ２０４には、表示処理を実行する際に、各カメラ１０によって撮像された画像のデータ（すなわち、合成前の画像データ）がフレーム毎に順次記録される。なお、ＲＡＭ２０４に記録された各フレームの画像は、一定期間（例えば、３０秒から１分程度）保持されるようになっている。

Ｉ／Ｏインターフェース２１０は、例えば、ＵＳＢ（Ｕｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ ｂｕｓ）、無線ＬＡＮ（ＩＥＥＥ８０２．１１ａ、ｂ、ｎ、ａｃ）、ＨＤＭＩ（登録商標（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ））等の入出力用インターフェースであり、各カメラ１０と有線又は無線にて通信接続され、各カメラ１０とバスＢとの間におけるデータの授受を中継する。

なお、Ｉ／Ｏインターフェース２１０には、ＢＤ（ブルーレイディスク）などの光ディスクレコーダを接続することも可能となっており、生成した合成画像データを記録媒体に記録させることが可能になっている。また、Ｉ／Ｏインターフェース２１０には、写真プリント用のプリンタを接続することが可能となっており、合成画像データに基づいて、画像をプリントアウトさせることも可能となっている。

表示部２４０は、所定のサイズ（Ｗ１９２０×Ｈ１０８０ピクセル）の画像表示領域を有する液晶素子又はＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成され、表示制御部２５０において生成された表示データに基づいて所定の画像を表示する。

表示制御部２５０は、装置管理制御部２８０及びデータ処理部２６０の制御の下、表示部２４０に所定の画像を描画させるために必要な描画データを生成し、生成した描画データを当該表示部２４０に出力する。

データ処理部２６０は、独立した中央演算処理装置（ＣＰＵ）によって構成され、又は、装置管理制御部２８０の中央演算処理装置（ＣＰＵ）を用いて構成されるとともに、装置管理制御部２８０による制御の下、プログラムを実行することにより、各カメラ１０から出力された各画像を切り替えつつ同期させて表示する表示処理、及び、当該表示処理時の画像切り替え制御を実行する。

具体的には、データ処理部２６０は、各カメラ１０から出力された各画像を切り替えつつ同期させて再生するとともに、操作部２７０と連動し、操作者の入力に基づいて、各カメラ１０の画像を用いた表示処理、及び、画像切り替え制御を実行する。

特に、データ処理部２６０は、所定のアプリケーションを実行することによって、各カメラ１０を制御するカメラ制御部２６１と、画像データ記録部２０３に記録された各カメラ１０から出力された各画像を読み出しつつ、同期させて表示処理を実行する表示処理部２６２と、表示処理を実行する際に画像切り替え制御を実行するための管理者の操作を検出する操作検出部２６３と、画像切り替え制御の実行時に必要な画像を補間するための画像データを生成する補間データ生成部２６４と、を実現する。

なお、例えば、本実施形態の表示処理部２６２は、本発明の制御手段を構成し、操作検出部２６３は、操作部２７０（具体的にはタッチセンサ２７１）とともに、本発明の入力検出手段を構成する。また、例えば、本実施形態の補間データ生成部２６４は、本発明の生成手段を構成する。

カメラ制御部２６１は、操作部２７０を介して入力された管理者の指示に基づいて、Ｉ／Ｏインターフェース２１０を介して各カメラ１０に制御コマンドを出力し、該当するカメラ１０を制御する。具体的には、カメラ制御部２６１は、電源のＯＮ及びＯＦＦ、ピント、並びに、フレーム同期設定その他の合成画像データ生成処理を実行する上で必要な各種の設定を行うことができる構成を有している。

また、カメラ制御部２６１は、各カメラ１０において撮像されて生成された画像データをＩ／Ｏインターフェース２１０を介してそれぞれ取得し、当該取得した各画像データをカメラ１０に対応付けてフレーム毎にＲＡＭ２０４に順次記録する。

表示処理部２６２と、表示制御部２５０と連動し、ＲＡＭ２０４に記録された各画像データを読み出しつつ、操作検出部２６３によって検出された操作者の指示に基づいて、再生開始時刻から選択された各カメラ１０から出力された画像を切り替えて表示部２４０に画像を出力する。

操作検出部２６３は、操作部２７０に入力された操作者操作に基づいて、表示処理部２６２を制御する。特に、操作検出部２６３は、操作部２７０に入力された操作者操作に基づいて、撮像角度、フレーム位置、切り替え速度、表示フレームの再生速度、切り替え加速度及び表示フレームの再生加速を検出し、画像切り替え制御を実行する。なお、本実施形態における各画像切り替え制御の詳細について後述する。

補間データ生成部２６４は、画像切り替え制御を行う際に、各カメラ１０から出力された画像を用いて、当該各カメラ１０が設置されていない角度の画像を補間データとして生成し、一のカメラ１０から隣接する他のカメラ１０に画像を切り替える際に、生成した補間データを表示処理部２６２に提供する。

操作部２７０は、キーボード、ポインティングデバイス等により構成され、画像データ生成装置２０の管理者が、カメラ１０を用いて、被写体Ｏを撮像する際に、管理者の指示入力を受け付けるために用いられる。

また、操作部２７０は、表示部２４０上に形成され、所定のサイズから構成される入力領域を有するタッチセンサ２７１を有する。タッチセンサ２７１は、データ処理部２６０と連動し、再生出力画像の切り替え及び切り替えフレーム位置とともに、切り替え速度、再生速度、切り替え加速度及び再生加速度を制御する際に用いられる。なお、タッチセンサ２７１（すなわち、入力領域）は、表示部２４０の前面に渡って形成されていてもよいし、その一部に形成されていてもよい。

装置管理制御部２８０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、画像データ生成装置２０の全般的な機能及び再生時の画像切り替え制御のための全般的な処理を総括的に制御する。

［３］操作入力に基づく表示処理時の画像切り替え制御の原理
［３．１］撮像角度及びフレーム位置に基づく画像切り替え制御の原理
次に、図４を用いて本実施形態における撮像角度及びフレーム位置に基づく画像切り替え制御の原理を説明する。なお、図４は、本実施形態における撮像角度及びフレーム位置に基づく画像切り替え制御の原理を説明するための図である。

本実施形態においては、操作検出部２６３は、被写体Ｏを撮像する角度を示す撮像角度に対応するＸ軸と当該第Ｘ軸と直行し、フレーム位置に対応するＹ軸とを有する表示部２４０の表示面に形成された入力領域（タッチセンサ２７１）と連動し、当該入力領域上において入力された入力位置を検出する。そして、表示処理部２６２は、検出された入力位置に基づいて、カメラ１０の角度（表示するカメラ１０の選択）及び表示するフレームを対応させて制御する。

例えば、操作検出部２６３は、図４に示すように、第１のポイントにおいて入力位置を検出すると、表示処理部２６２は、当該第１のポイント対応する座標（ｘ１、ｙ１）に基づいて、対応する撮像角度を有するカメラ１０における対応するフレーム位置の画像を表示する。そして、操作者が第１のポイントからスワイプして（マウスをドラッグさせて）第２のポイントに動かし、操作検出部２６３は、当該入力を検出すると、表示処理部２６２は、スワイプに連動してスワイプによって特定される入力位置に対応する座標に基づいて対応する撮像角度を有するカメラ１０に切り替えるとともに、対応するフレーム位置の画像を表示部２４０に表示させつつ、最終的に、第２のポイントの座標（ｘ２、ｙ２）に対応する撮像角度を有するカメラ１０に切り替え、かつ、対応するフレームの画像を表示する。

このように、本実施形態においては、検出された入力位置に連動させてフレームの表示及びカメラ１０の画像の切り替えをリアルタイムで行うことができるようになっている。

また、本実施形態においては、検出された入力位置にリアルタイムで連動せずに、入力領域に入力された操作者が第１のポイントから第２のポイントまでスワイプした（マウスをドラッグして）場合には、操作検出部２６３は、第１のポイントと第２のポイントとの２点の座標位置を検出し、表示処理部２６２は、当該検出した座標位置に基づいて、各カメラ１０の切り替え及びフレーム位置の制御を行ってもよい。

具体的には、操作検出部２６３は、被写体Ｏを撮像する角度を示す撮像角度に対応するＸ軸と当該第Ｘ軸と直行し、フレーム位置に対応するＹ軸とを有する表示部２４０の表示面に形成された入力領域（タッチセンサ２７１）と連動し、当該入力領域上の第１のポイントへの操作入力と第２のポイントへの操作入力とを検出する。そして、表示処理部２６２は、操作検出部２６３によって検出された入力領域上の第１のポイントへの操作入力と第２のポイントへの操作入力に基づいて、表示処理、すなわち、各カメラ１０の画像を用いた画像切り替え制御を実行する。

特に、本実施形態においては、操作検出部２６３は、入力領域上において操作者の指又はタッチペンなどの図示しない指示部材によってスワイプ（マウスに基づくドラッグ）が実行されると、第１のポイントから第２のポイントまでの移動軌跡を検出することによって、第１のポイント及び第２のポイントを検出する。すなわち、操作検出部２６３は、指や指示部材によってタッチダウンされたポイントを第１のポイントと検出し、当該第１ポイントからタッチダウンを維持したまま移動し、かつ、タッチアップされたポイントを第２のポイントと検出する。

そして、操作検出部２６３は、図４に示すように、検出した第１ポイントに対応する座標（ｘ１、ｙ１）に基づいて、各カメラ１０の画像の切り替えを開始する開始角度と、当該切り替えを実行する際の開始フレーム位置を設定する。すなわち、操作検出部２６３は、座標のｘ軸に対応する「ｘ１」に基づいて各カメラ１０の画像の切り替えを開始する開始角度を設定し、座標のｙ軸に対応する「ｙ１」に基づいて各カメラ１０の開始フレーム位置を設定する。

また、操作検出部２６３は、同様に、図４に例示するように、検出した第２ポイントに対応する座標（ｘ２、ｙ２）に基づいて、各カメラ１０の画像の切り替えを終了する終了角度と、当該切り替えを実行する際のフレームの位置を設定する。すなわち、操作検出部２６３は、座標のｘ軸に対応する「ｘ２」に基づいて各カメラ１０の画像の切り替えを終了する終了角度を設定し、座標のｙ軸に対応する「ｙ２」に基づいて各カメラ１０の最終フレームの位置を設定する。

さらに、操作検出部２６３は、設定された開始角度、終了角度、開始フレーム位置及び最終フレーム位置と、管理テーブル記録部２０１に記録されたカメラ情報に基づいて、開始角度から終了角度までの２以上のカメラ１０を選択するとともに、全体のフレーム位置を算出しつつ、当該フレーム位置に基づいて選択された各カメラ１０から出力される画像のフレーム位置（以下、「カメラ個別フレーム位置」という。）を決定する。

そして、表示処理部２６２は、通常の再生によって、すなわち、通常の再生速度（１倍速）によって、決定された各カメラ１０のカメラ個別フレーム位置に基づいて、開始フレーム位置から終了フレーム位置まで選択された各カメラ１０から出力された画像を切り替えつつ、表示部２４０に画像を出力する。
と設定する。

例えば、操作検出部２６３は、図４に示すように、第１のポイントの座標（６０度，開始から３秒後のフレーム）から第２のポイントの座標（１８０度，開始から６秒後のフレーム）までの移動軌跡を検出すると、開始角度「６０度」、開始フレーム「３秒」から終了角度「１８０度」及び終了フレーム「６秒」まで、移動経路に沿って随時撮像角度及びフレーム位置を対応させて、撮像角度を切り替えるとともに対応するフレームの画像を表示する。

なお、操作検出部２６３は、第１のポイント及び第２のポイントにおける撮像角度に対応するカメラ１０が存在しない場合には、すなわち、当該撮像角度に一致する設置角度を有するカメラ１０が存在しない場合に、当該撮像角度から一番近接するカメラ１０であって当該カメラ１０の画像を用いる。

また、表示処理部２６２は、画像切り替え制御の終了後においては、例えば、最後に画像を表示する際に用いたカメラ１０から終了時点に出力されている画像を表示部２４０に出力するようになっている。

さらに、上記の説明では、Ｘ軸が撮像角度でＹ軸がフレームの位置を用いて説明したが、Ｘ軸がカメラ１０の切り替え速度、又は、切り替え加速度、及び、Ｙ軸がフレームの表示速度（再生速度）、又は、表示加速度（再生加速度）であってもよく、この場合には、入力領域への操作入力に基づいて、Ｘ軸がカメラ１０の切り替え速度、又は、切り替え加速度、及び、Ｙ軸がフレームの表示速度（再生速度）、又は、表示加速度（再生加速度）を制御することができるようになっている。

上記の説明では、Ｘ軸とＹ軸の２軸について説明したが、一方の軸のみ設定されていてもよい。すなわち、撮像角度又はフレーム位置のいずれかを制御するのみでもよい。

［３．２］切り替え速度及び再生速度に基づく画像切り替え制御の原理
次に、本実施形態における切り替え速度及び再生速度に基づく画像切り替え制御の原理を説明する。

本実施形態の操作検出部２６３は、第１のポイントから第２のポイントまでの移動軌跡を検出すると、上記に代えて、当該第１ポイントから当該第２ポイントまで操作者の指又は指示部材の移動速度を検出し、当該検出した移動速度に基づいて、画像の切り替え速度及び再生速度を制御し、かつ、各カメラ１０から出力された画像を切り替えつつ、表示部２４０に画像を出力する。

特に、操作検出部２６３は、
（Ａ）第１ポイントから第２ポイントへのＸ軸上の距離及びＹ軸情報の距離を算出し、
（Ｂ）第１ポイントを検出してから第２ポイントを検出するまでの検出時間を検出し、
（Ｃ）算出されたそれぞれの軸の距離と検出した検出時間とに基づいて、Ｘ軸上の速度及びＹ軸上の速度を算出し、
（Ｄ）当該算出したそれぞれの速度がしきい値以上の場合には、カメラ１０の切り替え速度及びフレームの表示速度を一定の値に決定する。

例えば、操作検出部２６３は、上述と同様に、図４に示すように、第１のポイントの座標（６０度，開始から３秒後のフレーム）から第２のポイントの座標（１８０度，開始から６秒後のフレーム）までの移動軌跡を検出すると、開始角度「６０度」、フレームの開始位置「開始から３秒後」、終了角度「１８０度」、及び、フレームの終了位置「開始から６秒後」を設定する。

また、操作検出部２６３は、
（ａ）第１ポイントから第２ポイントへのＸ軸上の距離がｘの最大値分のｘの移動距離として「１／６」及びＹ軸上の距離がｙの最大値分のｙの移動距離として「１／１２」を算出し、
（ｂ）算出した「１／６」及び「１／１２」が予め定められたしきい値より大きいか否かを判定し、
（ｃ）算出した「１／６」及び「１／１２」が予め定められたしきい値より大きいと判定した場合には、予め定められた切り替え速度（例えば１秒毎）又はフレームの表示速度（２倍速、又は、３倍速など）に設定する。

一方、表示処理部２６２は、上記の指示に基づいて、設定された切り替え速度又はフレームの表示速度に応じて開始角度「６０度」及びフレームの開始位置「開始から３秒後」から設定された切り替え速度又はフレームの表示速度で各カメラ１０及びフレームを制御する。

［３．３］切り替え加速度及び再生加速度に基づく画像切り替え制御の原理
次に、図５を用いて本実施形態における切り替え加速度及び再生加速度に基づく画像切り替え制御の原理を説明する。なお、図５は、本実施形態における撮像角度及びフレーム位置に基づく画像切り替え制御の原理を説明するための図である。

本実施形態の操作検出部２６３は、第１のポイントから第２のポイントまでの移動軌跡を検出すると、上記に代えて、当該第１ポイントから当該第２ポイントまでの区間中、予め定められたタイミング毎に移動速度の変化を検出し、当該検出した移動速度の変化に基づいて、画像の切り替え加速度及び再生加速度を制御し、かつ、各カメラ１０から出力された画像を切り替えつつ、表示部２４０に画像を出力する。

特に、操作検出部２６３は、
（Ａ）上述の［３．２］の切り替え速度及び再生速度に基づく画像切り替え制御の手法を用いて第１ポイントを検出してから第２ポイントを検出するまで予め定められたタイミング毎に入力領域上のポイントを特定しつつＸ軸上及びＹ軸上の各移動速度を検出し、
（Ｂ）当該検出したＸ軸上及びＹ軸上の移動速度の変化、すなわち、Ｘ軸上の加速度及びＹ軸上の加速度を算出し、
（Ｃ）算出したそれぞれの加速度がしきい値以上の場合には、カメラ１０の切り替え加速度及びフレームの表示加速度を一定の値に決定する。

例えば、操作検出部２６３は、図５に示すように、第１のポイントの座標（６０度，開始から３秒後のフレーム）から第２のポイントの座標（３００度，開始から８秒後のフレーム）までの移動軌跡を検出すると、開始角度「６０度」、フレーム開始位置「開始から３秒後」、終了角度「３００度」及びフレーム終了位置「開始から８秒後」を設定する。

また、操作検出部２６３は、
（ａ）予め定められたタイミングとして「１秒」毎に、入力領域上のポイントとして、第１ポイントと第２ポイントのＸ軸上及びＹ軸上の中点及び第２ポイントを特定しつつ、Ｘ軸における中点（１８０度）までの移動速度「２．０」（加速度プラス）を検出しつつ、Ｙ軸上における中点までの移動速度「１．５」を検出し、
（ｂ）第１ポイント及び第２ポイントでの移動速度は「０」となることから、Ｘ軸上の移動速度の変化「０」、「２．０」及び「０」から、Ｘ軸上の中点（１８０度）までの加速度「２．０」及び中点（１８０度）から第２ポイントまでの加速度「−２．０」（加速度マイナス）を算出するとともに、Ｙ軸上の移動速度の変化「０」、「１．５」及び「０」から、Ｙ軸上の中点までの加速度「１．５」及び中点から第２ポイントまでの加速度「−１．５」を算出し、
（ｃ）１秒後まで切り替え加速度「２．０」及び当該１秒後から再生制御終了まで「−２．０」に決定し、フレーム表示開始位置から１秒後まで表示加速度「１．５」及び当該１秒後から再生制御終了まで表示加速度「−１．５」に決定し。
（ｄ）切り替え加速度及び表示加速度が予め定められた第１のしきい値以上、例えば、プラスの場合には、所定の切り替え加速度及び表示加速度に決定し、切り替え加速度及び表示加速度が予め定められた第２のしきい値以下の場合には、例えば、マイナスの場合には、所定の切り替え加速度及び表示加速度に決定し、第１のしきい値より小さく、かつ、第２のしきい値より大きい値の場合には、加速度「０」と設定する。

そして、表示処理部２６２は、上記の設定された切り替え加速度及び表示加速度に基づいて、カメラ１０の切り替え、及び、フレームの表示加速度を制御する。

［３．４］その他
本実施形態においては、補間データ生成部２６４は、上述のように、撮像角度及びフレーム位置に基づく画像切り替え制御、切り替え速度及び再生速度に基づく画像切り替え制御、並びに、切り替え加速度及び再生加速に基づく画像切り替え制御が実行される際に、操作検出部２６３の指示に基づいて、各カメラ１０が設置されていない角度の画像を補間データとして生成し、表示処理部２６２に提供する。

例えば、補間データ生成部２６４は、一のカメラ１０から隣接する他のカメラ１０に画像を切り替える際の補間データとしては、一のカメラ１０から出力された画像に隣接する他のカメラ１０から出力された画像に対してαブレンドを行って生成する。なお、補間データ生成部２６４は、一のカメラ１０から隣接する他のカメラ１０に画像を切り替える際に、複数の補間データを生成してもよく、その場合には、αブレンドを行う際のα係数を変化させた複数の補間データを生成する。

［４］画像切り替え制御を伴う表示処理
次に、図６を用いて本実施形態の画像データ生成装置２０において実行される合成画像データ生成処理について説明する。なお、図６は、本実施形態の画像データ生成装置２０において実行される画像切り替え制御を伴う表示処理の動作を示すフローチャートである。

本動作においては、カメラ管理テーブル記録部２０１には、図３に例示するカメラ管理テーブルが記録済みの状態であり、ＲＡＭ２０４には、各カメラ１０から取得されたフレーム毎の同期が取れた画像データがそれぞれ順次記憶されているものとする。

また、本動作に先立って、装置管理制御部２８０は、表示部２４０に所定のホーム画面を表示させつつ、管理者による表示処理の開始指示を待機する状態になっているものとする。

まず、表示処理部２６２は、操作部２７０を介して、再生すべき画像の選択とともに表示処理を示す入力指示を検出すると（ステップＳ１００）、表示制御部２５０と連動し、表示部２４０上に形成されたタッチセンサ２７１部分に入力領域を表示させる（ステップＳ１０１）。

次いで、表示処理部２６２は、現在時刻又は所定の再生位置を、再生を開始する基準位置にセットし、入力領域部分への操作者の入力操作、すなわち、タッチセンサ２７１への操作者の操作入力を待機する（ステップＳ１０２）。例えば、表示処理部２６２は、現在時刻の再生位置を基準位置として設定して画像を一時停止状態とし、各カメラ１０からリアルタイムで出力された画像をＲＡＭ２０４にフレーム毎にそれぞれ記録する。

次いで、操作検出部２６３は、操作部２７０を介して入力領域へのタッチダウンを検出すると（ステップＳ１０３）、当該タッチダウンされた位置を第１ポイントとして検出し（ステップＳ１０４）、入力領域からのタッチアップを所定の間隔（例えば、１０ミリ秒）毎に検出する（ステップＳ１０５）。

次いで、操作検出部２６３は、操作部２７０を介して入力領域へのタッチアップを検出すると、当該タッチアップされたポイントを第２ポイントとし、当該第２ポイントのＸ軸及びＹ軸の値を特定する（ステップＳ１０６）。

次いで、操作検出部２６３は、特定した第１ポイントをフレームの開始位置及び画像切り替え制御を実行する際の開始角度に設定するとともに、特定した第２ポイントをフレームの終了位置及び画像切り替え制御を実行する際の終了角度に設定する（ステップＳ１１１）。

次いで、表示処理部２６２は、設定された画像切り替え制御を行う開始角度、終了角度、フレーム開始位置及びフレーム終了位置に基づいて、画像データ記録部２０３に記憶されている特定された各カメラ１０から出力された画像を読み出しつつ、画像の切り替え及びフレーム位置を制御する（ステップＳ１１２）。

なお、この場合に、補間データ生成部２６４は、一のカメラ１０から隣接する他のカメラ１０に画像を切り替える際の補間データとしては、一のカメラ１０から出力された画像に隣接する他のカメラ１０から出力された画像に対してαブレンドを行って生成する。なお、補間データ生成部２６４は、一のカメラ１０から隣接する他のカメラ１０に画像を切り替える際に、複数の補間データを生成してもよく、この場合には、αブレンドを行う際のα係数を変化させた複数の補間データを生成する。

次いで、表示処理部２６２は、操作者の入力操作に基づく再生の終了を検出すると（ステップＳ１１４）、操作者による本動作の表示処理の終了指示が検出されているか否かを判定する（ステップＳ１１５）。このとき、表示処理部２６２は、終了指示が検出されていないと判定した場合には、ステップＳ１０２の処理に移行し、終了指示が検出されたと判定した場合には、本動作を終了させる。

以上、本実施形態の画像データ生成システム１は、入力領域への操作者の操作入力に基づいて、再生する際の各撮像手段から出力された画像の切り替え及び当該切り替えを実行する際のフレーム位置を制御することができるので、再生する際の各撮像手段から出力された画像の切り替え及びフレーム位置を直感的にかつ一体的に操作することができる。

［５］変形例
［５．１］変形例１
上記実施形態においては、ＲＡＭ２０４を利用しつつ、各カメラ１０から出力された画像を用いて当該表示処理を行っているが、既に録画され、かつ、同期が取られており、同様のカメラシステムによって撮像された画像を用いて画像切り替え制御を伴う表示処理を実行してもよい。

［５．２］変形例２
上記実施形態においては、表示部２４０条に形成された入力領域上への操作者の入力において、当該入力領域上の絶対位置を基準に、画像切り替え制御を伴う表示処理を行っているが、すなわち、第１のポイント及び第２のポイントが、入力領域における第１の軸及び第２の軸の基準点「０」からの距離に基づいて画像切り替え制御を伴う表示処理を行っているが、当該形成された入力領域上における相対的な位置を基準に、画像切り替え制御を伴う表示処理を行ってもよい。

具体的には、この場合には、操作検出部２６３は、第１のポイントを、入力領域の第１の軸及び第２の軸における基準点「０」として用いて画像切り替え制御を伴う表示処理を行う。すなわち、操作検出部２６３は、最初の入力点基準として画像切り替え制御を伴う表示処理を行う。

［５．３］変形例３
上記実施形態においては、フレーム位置を進ませ、かつ、角度を一方向（時計回り）に切り替わる場合を例に説明したが、
（１）フレーム位置を戻しつつ、撮像角度を時計回りに切り替えること、
（２）フレーム位置を戻しつつ、撮像角度を反時計回りに切り替えること、及び、
（３）フレーム位置を進ませつつ、撮像角度を反時計回りに切り替えること、
を制御することもできるようになっている。

［５．４］変形例４
上記実施形態においては、入力領域が、タッチセンサ２７１として、表示部２４０上に形成されているが、表示部２４０以外の面、例えば、キーボード上、又は、所定のパッド上などの面上に形成されていてもよい。

また、入力領域は、タッチセンサ２７１によって形成されている必要はなく、当該入力領域において操作入力の移動軌跡が形成させることができるシステム、例えば、マウスや電子ペンなどの所定のペンによるドラッグ操作であっよい。

さらに、操作検出部２６３は、タッチダウンからタッチアップまでを検出することによって第１のポイント及び第２のポイントを検出しているが、タッチダウンを２度検出することによって第１のポイント及び第２のポイントを検出してもよい。すなわち、操作検出部２６３は、１度目の操作者の指又は指示部材に基づく「タップ操作」（同一の場所又は近接場所でタッチダウンとタッチアップを行う操作）によって第１のポイントを検出し、２度目の操作者の指又は指示部材に基づく「タップ操作」によって第２のポイントを検出してもよい。

この場合であって、切り替え速度及び再生速度に基づく画像切り替え制御を行う場合には、操作検出部２６３は、第１のタップ操作から第２のタップ操作までの速さを移動速度として検出する。

１ … 画像編集システム
１０ … カメラ
２０ … 画像データ生成装置
２００ … 記録部
２０１ … カメラ管理テーブル記録部
２０３ … 画像データ記録部
２０４ … ＲＡＭ
２１０ …Ｉ／Ｏインターフェース
２４０ … 表示部
２５０ … 表示制御部
２６０ … データ処理部
２６１ … カメラ制御部
２６２ … 表示処理部
２６３ … 操作検出部
２６４ … 補間データ生成部
２７０ … 操作部
２７１ … タッチセンサ
２８０ … 装置管理制御部
２９０ … タイマ

Claims (11)

1. 被写体を中心とする同心円の円周上に、所定の間隔を持って設置されるとともに、それぞれ、前記被写体を撮像する撮像手段を有する複数の同期した撮像装置と、
   前記撮像装置を制御する制御装置と、
   を備え、
   前記制御装置が、
   前記前記撮像手段によって撮像された画像を表示する表示手段と、
   前記表示手段における入力位置を検出する入力検出手段と、
   前記入力検出手段によって検出された入力位置に基づいて、前記表示手段に表示するフレーム及び前記撮像装置によって撮像された画像の少なくともいずれか一方を制御する制御手段と、
   を備えることを特徴とする撮像システム。
2. 請求項１に記載の撮像システムであって、
   前記入力検出手段が、２点の座標位置を検出し、
   前記制御手段が、前記検出された２点の座標位置に基づいて、前記各撮像手段の切り替え及び前記フレームの位置の少なくともいずれか一方を制御する、撮像システム。
3. 請求項１に記載の撮像システムであって、
   前記入力検出手段が、前記入力検出手段によって検出された第１ポイントから第２ポイントまでの速度を検出し、
   前記制御手段が、前記検出された速度に基づいて、前記各撮像手段の切り替え速度及び前記フレームの表示速度の少なくともいずれか一方を制御する、撮像システム。
4. 請求項１又は２に記載の撮像システムであって、
   前記入力検出手段が、前記入力検出手段によって検出された操作者の第１ポイントから第２ポイントまでの加速度を検出し、
   前記制御手段が、前記検出された加速度に基づいて、前記各撮像手段の切り替え加速度及び前記フレームの表示する際の加速度の少なくともいずれか一方を制御する、撮像システム。
5. 請求項１〜４のいずれか１項に記載の撮像システムであって、
   前記制御手段が、最初の入力点を基準として前記撮像装置を制御する、撮像システム。
6. 請求項１〜５のいずれか１項に記載の撮像システムであって、
   前記入力領域が、前記表示手段上の一部領域に形成されている、撮像システム。
7. 請求項１〜６のいずれか１項に記載の撮像システムであって、
   前記制御手段が一の前記撮像手段の画像から当該一の撮像手段に隣接する撮像手段の画像に切り替える際に、一の撮像手段における前記被写体を基準とする第１の角度と前記隣接する撮像手段における前記被写体を基準とする第２の角度との間を補間する補間画像を生成する生成手段を更に備え、
   前記制御手段が、前記生成された補間画像を用いつつ、前記各撮像手段によって撮像された各画像のデータを画像データとして生成する、撮像システム。
8. コンピュータを、
   被写体を中心とする同心円の円周上に、所定の間隔を持って設置されるとともに、それぞれ、前記被写体を撮像する撮像手段を有する複数の同期した撮像装置を制御する制御手段、及び、
   前記前記撮像手段によって撮像された画像を表示する表示手段における入力位置を検出する入力検出手段、
   として機能させ、
   前記制御手段として、前記入力検出手段によって検出された入力位置に基づいて、前記表示手段に表示するフレーム及び画像を撮像する撮像装置の少なくともいずれか一方を制御するように機能させることを特徴とするプログラム。
9. 被写体を中心とする同心円の円周上に、所定の間隔を持って設置されるとともに、それぞれ、前記被写体を撮像する撮像手段を有する複数の同期した撮像装置を制御する制御工程と、
   前記前記撮像手段によって撮像された画像を表示する表示手段における入力位置を検出する入力検出工程と、
   を含み、
   前記入力検出手段によって検出された入力位置に基づいて、前記表示手段に表示するフレーム及び画像を撮像する撮像装置の少なくともいずれか一方を制御することを特徴とする撮像方法。
10. 同期した撮像装置により撮像された画像を表示する表示手段と、
    前記表示手段における入力位置を検出する入力検出手段と、
    前記入力検出手段によって検出された入力位置に基づいて、前記表示手段に表示するフレーム及び前記撮像装置の画像の少なくともいずれか一方を制御する制御手段と、
    を備えることを特徴とする画像再生装置。
11. コンピュータを、
    同期した撮像装置により撮像された画像を表示する表示手段における入力位置を検出する入力検出手段、及び、
    前記入力検出手段によって検出された入力位置に基づいて、前記表示手段に表示するフレーム及び前記撮像装置の画像の少なくともいずれか一方を制御する制御手段、
    として機能させることを特徴とするプログラム。

Images