JP2013009064A - 撮影システム、撮影装置、及び撮影システムによる撮影方法 - Google Patents

Abstract

【課題】立体視可能な画像の合成に必要な画像を簡便に取得することができる撮影システム、撮影装置、及び撮影システムによる撮影方法を提供する。
【解決手段】被写体を撮影し、画像として取得する撮影装置１ａは、動き情報取得部３ａと、通信部４ａとを備える。動き情報取得部３ａは、撮影装置１ａの動きを動き情報として取得する。通信部４ａは、一又は複数の他の撮影装置１ｂとの間で、撮影装置１ａ及び他の撮影装置１ｂで取得された画像の情報及び動き情報を含む各種情報の送受信を行う。
【選択図】図１

Description

本発明は、立体視可能な画像の合成に必要な画像を取得する撮影システム、撮影装置、及び撮影システムによる撮影方法に関する。

立体視可能な画像の合成に必要な画像を取得することを目的として、カメラ（又は撮影装置）で被写体を撮影し、画像を取得する手法が各種提案されている。

特許文献１には、２本のレンズを有する２眼式のカメラを用いて右目観察用の画像と左目観察用の画像とを取得し、立体視可能な画像を作成する手法が開示されている。

特許文献２には、同一の被写体を異なる撮影位置で撮影可能な一又は複数の他のカメラとの間で、同期して撮影を行うための同期用信号と同期撮影によって取得された画像データとを送受信する通信手段を備えたカメラが開示されている。このカメラは筐体側面に信号光出射器と受光器とを備え、且つ、信号光を出射した時刻、受光した時刻、筐体の左右どちらの方向から信号光を受光したか等の情報から、そのカメラと他のカメラとの相対位置を算出する位置算出部を備える。カメラの制御部は、位置算出部の算出結果に基づいて、対象となるカメラが、立体画像の取得が可能な所定の視差範囲にあるか否かを判定し、所定の範囲内に位置していると判定すると、撮影準備が完了したことを示すメッセージをユーザに向けて表示させる。この後、ユーザは同期撮影を開始する。

また、特許文献３には、被写体を撮影し、画像を得る撮像部と、外部機器との間で画像の送受信が可能な通信部と、複数の前記画像を比較し、立体画像の生成が可能である画像の組み合わせを判定する判定部と、判定部において立体画像の生成が可能であると判定された組み合わせの画像を関連づけて記録する記録部とを具備するカメラが開示されている。立体画像の生成可否の判定は、撮影準備段階での複数のカメラからの画像を比較することにより行う。

特開平１１−００８８６３号公報 特開２００５−１０９９８４号公報 特開２０１０−１５７８５１号公報

しかし、特許文献１に記載のカメラは通常の一眼式カメラに比べてカメラ自体が非常に大きく、機動性に乏しいとともに、操作方法も複雑なものが多いという問題点がある。

特許文献２及び３に記載のカメラは、特許文献１の問題点を解決することを目的としており、通常の一眼式のカメラを複数台使って、立体視可能な画像を合成するための画像を取得する。

しかし、特許文献２に記載のカメラは、信号光の送受信の時刻とカメラ筐体の左右どちらから受光したかという情報から相互の相対位置を算出するため、得られる相対位置の情報量（相互の高さの違い、横方向の距離、被写体に対する前後方向の位置の違いなど）は十分なものではない。そのため、立体画像の取得が可能な所定の視差範囲内にないと判定された場合、カメラ配置を立体画像の取得が可能な所定の視差範囲内に精度良く調整することは容易ではない。また、双方のカメラの姿勢の差異に関する情報は得られないため、得られた画像から立体視可能な画像を合成する処理は複雑なものとなる。

特許文献３に記載のカメラは、撮影準備段階での複数のカメラからの画像を比較し、その結果から立体画像の生成が可能であるか否かを判定するため、その処理は複雑で時間がかかる。更に立体画像の生成が可能ではないと判定されたときに、これを可能にするための方法が不明であるため、その利用は容易ではない。

本発明は、上記の事情に鑑みてなされたものであり、立体視可能な画像の合成に必要な画像を簡便に取得する撮影システム、撮影装置、及び撮影システムによる撮影方法を提供することを目的とする。

前記の目標を達成するために、本願発明の第１の観点に係る撮影システムは、
被写体を撮影し、画像として取得する撮影装置と、該撮影装置と異なる位置で前記被写体を前記撮影装置と同期して撮影し、他の画像として取得する他の撮影装置とを備える撮影システムであって、
前記撮影装置は、
前記撮影装置の動きを動き情報として取得する動き情報取得部と、
前記他の撮影装置との間で、前記撮影装置及び前記他の撮影装置で取得された前記画像の情報及び前記動き情報を含む各種情報の送受信が可能な通信部と、
各種情報を表示する表示部と、を備え、
前記他の撮影装置は、
前記他の撮影装置の動きを他の動き情報として取得する他の動き情報取得部と、
前記撮影装置との間で、前記撮影装置及び前記他の撮影装置で取得された前記画像の情報及び前記動き情報を含む各種情報の送受信が可能な他の通信部と、
各種情報を表示する他の表示部と、を備える、
ことを特徴とする。

本願発明の第２の観点に係る撮影装置は、
被写体を撮影し、画像として取得する撮影装置において、
前記撮影装置の動きを動き情報として取得する動き情報取得部と、
一又は複数の他の撮影装置との間で、前記撮影装置及び前記他の撮影装置で取得された前記画像の情報及び前記動き情報を含む各種情報の送受信が可能な通信部と、を備える、
ことを特徴とする。

本願発明の第３の観点に係る撮影システムによる撮影方法は、
被写体を撮影し、画像として取得する撮影装置、及び該撮影装置と異なる位置で前記被写体を前記撮影装置と同期して撮影し、他の画像として取得する他の撮影装置を備える撮影システムによる撮影方法であって、
前記撮影装置及び前記他の撮影装置において、前記撮影装置及び前記他の撮影装置の動きを、それぞれ動き情報及び他の動き情報として取得する動き情報取得ステップと、
前記他の動き情報を、前記他の撮影装置から送信し、前記撮影装置で受信する動き情報送受信ステップと、
前記動き情報及び前記他の動き情報から、成分毎の差分を算定し、差分情報として取得する差分情報取得ステップと、
前記成分毎の差分の絶対値が、前記各成分に対応する閾値より小さいかどうかを判定する差分判定ステップと、
該差分判定ステップで前記成分毎の差分の絶対値が、いずれも前記対応する閾値より小さいと判定されたとき、前記撮影装置の表示部に同期撮影可能である旨を表示し、前記成分毎の差分の絶対値の少なくとも１つが、前記対応する閾値以上であると判定されたとき、前記撮影装置及び前記他の撮影装置の少なくとも一方の表示部に、前記差分情報を表示する表示ステップと、
該表示ステップで同期撮影可能である旨の表示がなされた後、前記撮影装置及び前記他の撮影装置で前記被写体の同期撮影を行い、それぞれ画像及び他の画像として取得する撮影ステップと、を備える、
ことを特徴とする。

本発明によれば、立体視可能な画像の合成に必要な画像を簡便に取得することができる撮影システム、撮影装置、及び撮影システムによる撮影方法を提供することができる。

本発明の実施形態１に係る撮影システムの構成例を示すブロック図である。 実施形態１に係る撮影システムによる被写体撮影時の撮影装置の配置例を示す斜視図である。 実施形態１に係る撮影システムで取得された撮影装置の動き情報の例を示す図である。 実施形態１に係る撮影システムで取得された撮影装置の動き情報から算定された差分情報の例を示す図である。 実施形態１に係る撮影システムによる画像取得処理の例を示すフローチャートである。 実施形態１に係る撮影システムの撮影時差分表示に係る処理の例を示すフローチャートである。 実施形態１の変形例に係る撮影システムの構成例を示すブロック図である。 本発明の実施形態２に係る撮影システムの構成例を示すブロック図である。 実施形態２に係る撮影システムで、横方向の差分が生じた場合の、画像データの補正を説明するための図である。 実施形態２に係る撮影システムで、上下方向の差分が生じた場合の、画像データの補正を説明するための図である。 実施形態２に係る撮影システムで、撮像レンズ光軸周りの回転の差分が生じた場合の、画像データの補正を説明するための図である。 実施形態２に係る撮影システムの画像補正と画像合成処理の例を示すフローチャートである。 本発明の実施形態３に係る撮影システムの構成例を示すブロック図である。 実施形態３に係る撮影システムによる画像取得処理のフローチャートのうち、実施形態３に係る部分の例を示すフローチャートである。 本発明の実施形態４に係る撮影システムの被写体撮影時の配置例を示す図である。

（実施形態１）
立体視可能な画像を生成するためにはある被写体を異なる位置から同期して撮影して取得される少なくとも２つの画像が必要となる。以下ではこの目的に使用される画像を２台の撮影装置で構成される撮影システムにより取得する場合について説明する。撮影装置２台の構成を基本にすることにより、撮影システムが３台以上の撮影装置で構成されている場合についても容易に拡張できる。

実施形態１に係る撮影システムの構成例を図１に示す。撮影システムは、２台の撮影装置１ａと１ｂとで構成される。撮影装置１ａ、１ｂは、通常のカメラや携帯電話等に組み込まれたカメラである。更に静止画、動画のいずれを撮影できるものであってもよい。

撮影装置１ａは、撮像部２ａ、動き情報取得部３ａ、通信部４ａ、操作部５ａ、タイマ６ａ、記憶部７ａ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８ａ、及び表示部９ａを備える。

撮像部２ａは、撮像素子、撮像レンズ、及びレンズ駆動部を具備し、被写体を撮像レンズ及びレンズ駆動部で撮像素子上に結像させて撮影することにより被写体の画像Ａを取得する。撮像部２ａは静止画及び動画の少なくともいずれか一方を取得することができる。なお、撮像素子は撮像面を構成する。

動き情報取得部３ａは、撮影装置１ａの動きに関する情報である動き情報Ａを取得する。動き情報取得部３ａは、位置の動き情報を取得する位置変化情報取得部３０ａを備え、更に姿勢の動き情報を取得する姿勢変化情報取得部３１ａを備えてもよい。動き情報とは、位置及び姿勢の動き情報を総称したものである。

位置変化情報取得部３０ａは、例えば加速度センサで構成され、その出力から撮影装置１ａの左右方向（横方向）、上下方向、前後方向（被写体方向）の基準位置からの位置移動量を算出し、それぞれの方向の位置移動量をその成分とする位置の動き情報Ａとして取得する。

姿勢変化情報取得部３１ａは、例えば角速度センサで構成され、その出力から撮影装置１ａの所定の横方向軸の周りの角度、所定の上下方向軸の周りの角度、所定の前後方向（被写体方向）軸の周りの角度の基準姿勢からの角度変化量を算出し、それぞれの角度変化量をその成分とする姿勢の動き情報Ａとして取得する。

通信部４ａは、撮影装置１ｂとの間で、各種情報、例えば同期動作させるための同期用信号、画像Ａ、Ｂの画像情報、撮影前及び撮影時の撮影装置１ａ、１ｂの動き情報Ａ、Ｂを送信又は受信する。同期動作とは、画像Ａ、Ｂの同期撮影及び動き情報Ａ、Ｂの同期取得を言う。図１に示す例では通信部４ａは、撮影装置１ｂに同期用信号を送信し、撮影装置１ｂから、同期用信号に基づき取得された撮影装置１ｂの動き情報Ｂと、撮影装置１ｂで同期撮影された画像Ｂの画像情報と、を受信する。通信部４ａは、例えば、赤外線通信デバイス、ブルーツース（Ｂｌｕｅｔｏｏｔｈ（登録商標）；近距離無線通信規格の一種）による微弱電波通信、無線ＬＡＮ等を利用して通信を行う。

操作部５ａは、撮影装置１ａをユーザが操作する際の機能選択、各種指示、データ等を入力する入力部である。例えばキーボード、選択キー、タッチパネルなどで構成される。

タイマ６ａは、時間又は時刻を計測する。撮影装置１ｂとの同期動作に使用される。

記憶部７ａは、ＲＯＭ、ＲＡＭ等の内部メモリ、ディスク装置等の外部メモリで構成される。ディスク装置等の外部メモリにはＣＰＵ８ａで実行されるプログラムが格納され、内部メモリは、ＣＰＵ８ａがプログラムを外部メモリから読み出して実行する場合の実行時のメモリとなる。記憶部７ａは、また、撮影により取得された画像Ａや、撮影前及び撮影時に取得された撮影装置１ａ及び１ｂの動き情報Ａ、Ｂを格納する。

ＣＰＵ８ａは、記憶部７ａのＲＡＭ、ＲＯＭ等の内部メモリを利用して所定のプログラムを実行することにより各種機能を実現する。機能を実現するための機能構成要素として、制御部８０ａ、差分取得部８１ａ、差分判定部８２ａ、及び画像合成部８３ａを備える。

制御部８０ａは、撮像部２ａ、動き情報取得部３ａ、通信部４ａ、操作部５ａ、タイマ６ａ、記憶部７ａ、差分取得部８１ａ、差分判定部８２ａ、及び画像合成部８３ａ、及び表示部９ａの動作を制御する。

差分取得部８１ａ、差分判定部８２ａ、及び画像合成部８３ａについては、後述する。

表示部９ａは、液晶ディスプレイ装置、ＬＥＤディスプレイ装置等で構成され、各種情報を表示してユーザに提示する。表示する各種情報の内容については後述する。

撮影装置１ｂは、撮像部２ｂ、動き情報取得部３ｂ、通信部４ｂ、操作部５ｂ、タイマ６ｂ、記憶部７ｂ、ＣＰＵ８ｂ、及び表示部９ｂを備える。

撮像部２ｂ、動き情報取得部３ｂ、通信部４ｂ、操作部５ｂ、タイマ６ｂ、記憶部７ｂ、及び表示部９ｂは、それぞれ、撮影装置１ａの撮像部２ａ、動き情報取得部３ａ、通信部４ａ、操作部５ａ、タイマ６ａ、記憶部７ａ、及び表示部９ａと同様の構成と機能とを有する。

なお、通信部４ｂは、通信部４ａと同様な構成で、撮影装置１ａとの間で、各種情報、例えば同期動作させるための同期用信号、画像Ａ、Ｂのデータ、撮影前及び撮影時の撮影装置１ａ、１ｂの動き情報Ａ、Ｂを送信又は受信する。図１に示す例では、通信部４ｂは、同期動作させるための同期用信号を受信し、また撮影装置１ａと同期して取得した撮影前及び撮影時の撮影装置１ｂの動き情報Ｂ、撮影装置１ｂで同期撮影して取得された画像Ｂのデータを、撮影装置１ａに送信する。

ＣＰＵ８ｂは、記憶部７ｂのＲＡＭ、ＲＯＭ等の内部メモリを利用して所定のプログラムを実行することにより各種機能を実現する。機能を実現するための機能構成要素として、制御部８０ｂを備える。なお、ＣＰＵ８ｂの機能構成要素をＣＰＵ８ａと同じにしても良い。

制御部８０ｂは、撮像部２ｂ、動き情報取得部３ｂ、通信部４ｂ、操作部５ｂ、タイマ６ｂ、記憶部７ｂ、及び表示部９ｂの動作を制御する。ＣＰＵ８ｂの機能構成要素をＣＰＵ８ａと同じにした場合は制御部８０ｂは、制御部８０ａと同様の機能を有する。

差分取得部８１ａは、動き情報Ａと、これと同期して取得され通信部４ｂ、４ａを介して撮影装置１ａで受信された動き情報Ｂとの各成分毎の差分を算定し、差分情報として取得する。各成分とは、独立３軸方向の移動距離、及びその周りの回転角のことを言う。詳細は後述する。

差分判定部８２ａは、差分取得部８１ａで算定された各成分毎の差分の絶対値のそれぞれについて、あらかじめ設定された各成分に対応する閾値より小さいかどうかを判定する。

判定の結果、閾値以上の差分の絶対値を有する成分が存在する場合は、制御部８０ａは、差分情報を表示部９ａに表示させ、位置又は／及び姿勢を修正するよう撮影装置１ａのユーザの注意を喚起する。撮影装置１ａのユーザは、表示された差分情報に基づき、成分毎の差分全てについて、各々の絶対値が、それぞれの成分に対応する閾値よりも小さくなるように撮影装置１ａの位置、姿勢を修正する。

画像合成部８３ａは撮影装置１ａ、１ｂで取得された画像Ａ、Ｂのそれぞれから所定の領域の画像を切り出すフレーム切り出し処理を行い、切り出した画像から立体視可能な画像を合成する。フレーム切り出し処理は例えば立体視動画フレームの合成時に使用されるサイドバイサイド方式や、トップアンドボトム方式など、立体視可能な画像の合成方法と合わせて種々の方式を選択することができる。

次に、本実施形態に係る撮影装置１ａ、１ｂの動作を、動き情報が位置、姿勢の双方の動き情報を含む場合について説明する。動き情報は、所定の位置、姿勢を基準位置、基準姿勢としたときの、それぞれの基準からの変化量である。以下では撮影装置１ａ、１ｂの基準位置、基準姿勢を共通にする場合について説明する。この場合は、撮影装置１ａ、１ｂを撮影前に同じ位置に、同じ姿勢で設置し、例えば位置変化情報取得部３０ａ、３０ｂ及び姿勢変化情報取得部３１ａ、３１ｂをリセットする。これにより、撮影装置１ａ、１ｂの基準位置及び基準姿勢が初期設定される。同じ位置とは、撮影装置１ａ、１ｂの撮像レンズの光軸中央面の位置が同じという意味であり、同じ姿勢とは、撮影装置１ａ、１ｂを同じ平面上にその上下方向を同じにして通常の使用状態で設置したときに、それぞれの撮像レンズの光軸が互いに平行である場合を言う。基準位置、基準姿勢にある時の、撮像レンズの光軸を前後方向軸とし、撮像レンズの光軸中央面を通る垂直方向の軸を上下方向軸、水平方向の軸を横方向軸とする。初期設定後は、加速度センサ等の位置変化情報取得部３０ａ及び３０ｂによる加速度出力を横方向、上下方向、前後方向について、それぞれ時間で二重積分することにより横方向、上下方向、前後方向それぞれについて基準位置からの位置変化情報Ａ、Ｂを取得することができる。角速度センサ等の姿勢変化情報取得部３１ａ、３１ｂの場合も同様に、角速度出力を時間で二重積分することにより、横方向軸、上下方向軸、前後方向軸の周りの上記基準姿勢に対して回転した角度を姿勢変化情報Ａ、Ｂとして取得することができる。時間積分に必要な時間の情報はタイマ６ａ、６ｂから得られる。

なお、撮影装置１ａ、１ｂをそれぞれ同じ位置に設置して同一の被写体を撮影したときの画像Ａ及びＢは、被写体の大きさが撮影素子の画素数で比べたときに同じ大きさとなるようにあらかじめ調整されているものとする。撮影装置１ａ、１ｂの型式が異なったり、ズーム等により相互に異なる大きさの画像となる場合は、一方の画像を拡大、若しくは縮小することにより被写体が同じ大きさとなる画像の拡大率、若しくは縮小率をあらかじめ定め、撮影により取得された画像の一方にこの拡大率、若しくは縮小率を乗じて得られた画像を以下の議論の対象とする。このときは２つの画像の中心を合わせたときの狭い方の画像の範囲を２つの画像の共通の画像範囲とする。以下ではこのようにして同一条件で撮影された場合の被写体の大きさが同じになるように処理された画像を対象とする。

図２は、実施形態１に係る撮影システムによる被写体撮影時の撮影装置の配置例を示す斜視図である。図２において被写体には、対象物４０が含まれている。撮影装置１ａ、１ｂは仮想的な同一水平面上に設置されていると考えてよい。図２に示す例では撮影装置１ａは紙面上右側に、撮影装置１ｂは紙面上左側に配置されている。

図２において、撮影装置１ａ、１ｂの前後方向軸は互いに平行で、上下方向の位置の差分の絶対値は所定の閾値以下（理想的には差分は０）である。また、撮影装置１ａ、１ｂの撮像部２ａ、２ｂの撮影開口面は互いに平行で、互いの面間の距離は所定の閾値以下（厳密には撮像レンズの光軸中央面間の距離が０）である。実用的には、撮影装置１ａ、１ｂの撮像レンズ装着面が互いに略同一面上にあればよい。両光軸間の横方向の距離（図２に示すＨ_０）は任意に設定できるが、基本的には撮影中一定に保持されるようにする。なお、Ｈ_０をあまり大きくとると、撮影装置１ａ、１ｂの撮影で得られた画像に共通に含まれる被写体の領域（共通の領域）が狭くなり、最悪の場合は共通の領域がなくなってしまい、立体視可能な画像を生成できなくなるので留意する必要がある。この共通の領域の大きさは、被写体と撮影装置１ａ、１ｂとの間の距離に依存する。以下では共通の領域が存在することを前提とする。

以下では、撮影装置１ａ、１ｂの動き情報Ａ、Ｂの各成分として、それぞれ、基準位置に対する前後方向の位置の変化をＤａ、Ｄｂ、横方向の位置の変化をＨａ、Ｈｂ、上下方向の位置の変化をＶａ、Ｖｂとし、基準姿勢に対する前後方向軸の周りの角度の変化をθａ、θｂ、横方向軸の周りの角度の変化をφａ、φｂ、上下方向軸の周りの角度の変化をψａ、ψｂとする。

図３に、このように定義したときの、それぞれ記憶部７ａ、７ｂに記憶された撮影装置１ａ、１ｂの動き情報Ａ、Ｂの例を示す。図中、経過時間とは撮影装置１ａ、１ｂの同期動作開始時からの経過時間である。動き情報Ａ、Ｂの各成分には経過時間に付した番号を添え字として付した。同期動作開始時とは、通信部４ａ、４ｂを介して送受信される同期用信号により設定される、撮影装置１ａ、１ｂで同期動作が開始される例えば時刻のことである。図３では簡便のために各経過時間毎の動き情報Ａ、Ｂは撮影装置１ａ、１ｂともに同じ成分がひとつだけ変化したと仮定して示した。なお、経過時間は、同期して取得した順序を示す指標としてもよい。

図２において、対象物４０に対する撮影装置１ａ、１ｂの視差角は例えばαである。撮影装置１ａ、１ｂで同期撮影により取得された画像Ａ、Ｂから、画像合成部８３ａが対象物４０毎にこのαを算定し、算定されたαに基づき、立体視可能な画像が合成される。視差角αは撮影装置１ａ、１ｂの間の距離Ｈ_０に対応して決まる画像中の対象物４０の位置から算定される。この視差角は画像に含まれる対象物４０毎に異なるため立体視可能な画像を合成することができる。この合成法については公知の技術なのでここでは説明を省略する。

立体視可能な画像の合成においては、合成に必要な画像を得るために撮影装置１ａ、１ｂの相互の位置及び姿勢を、所定の配置関係にし、その配置関係を保持して撮影する必要がある。

実施形態１では、撮影装置１ａ、１ｂのそれぞれの動き情報Ａ、Ｂの成分毎の差分を差分情報とし、この差分情報の各成分が所定の対応する閾値以上の場合に、差分情報を表示して、撮像装置１ａ又は１ｂの位置又は／及び姿勢を修正するようにユーザの注意を喚起する。具体的には以下の通りである。

撮影装置１ａの動き情報取得部３ａ、及び撮影装置１ｂの動き情報取得部３ｂで同期してそれぞれ取得された動き情報Ａ、Ｂから、差分取得部８１ａが各成分毎の差分を求めこれを差分情報とする。

図４に差分情報の例を示す。図４に例示する差分情報の各差分成分ΔＨ、ΔＶ、ΔＤ、Δθ、Δφ、及びΔψは、例えば撮影装置１ａの動き情報Ａの各成分から、撮影装置１ｂの動き情報Ｂの対応する各成分を差し引いて求めた値とする。なお、横方向の差分ΔＨについては撮影装置１ａ、１ｂ間の設定された距離をＨ_０とし、ΔＨからＨ_０を差し引いて求めた差分ΔＨ’も併せて算定される。なお、Ｈ_０については、撮像装置１ａ、１ｂが左右いずれの配置を想定して定義するかにより適切に正負の符号を付したものとする。ΔＨの正数、負数の別から撮影装置１ａ、１ｂの左右配置が識別できる。以下では横方向の差分とは、特に断らない限り差分ΔＨ’のことを意味するものとする。

差分判定部８２ａは、この差分情報の各差分成分ΔＨ’、ΔＶ、ΔＤ、Δθ、Δφ、及びΔψの絶対値のそれぞれが、あらかじめ定められた対応する閾値ε_Ｈ、ε_Ｖ、ε_Ｄ、ε_θ、ε_φ、及びε_ψよりも小さいかどうかを判定する。いずれの差分成分の絶対値も、対応する閾値より小さい場合に撮影装置１ａ、１ｂの配置関係は初期設定時と実質的に同じと判断し、表示部９ａを介して同期撮影が可能である旨の表示を行う。この場合の表示は例えばグリーンのＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｅｖｉｃｅ）を点灯させる、液晶ディスプレイ装置、ＬＥＤディスプレイ装置等にその旨表示する等各種の表示が考えられるが、いずれでも良い。各閾値はあらかじめ記憶部７ａに格納されており、差分判定部８２ａは、これらを読み出して利用する。

各差分成分の絶対値のいずれかが、対応する閾値以上の場合には、制御部８０ａは、差分情報を表示部９ａに表示し、ユーザに対して撮影装置１ａの位置、姿勢を修正するように注意を喚起する。ユーザはこの表示から、修正が必要な成分を認識することができ、撮影装置１ａの位置、姿勢を修正する。修正の後、再度取得された撮影装置１ａ、１ｂのそれぞれの動き情報Ａ、Ｂから、上記同様に差分情報が求められ、差分判定部８２ａにより、各差分成分の絶対値が、対応する閾値よりも小さいと判定されるまで、位置、姿勢の修正とその後の動き情報Ａ、Ｂの取得、差分情報の取得、及び差分情報に関する判定が繰り返される。

表示部９ａに同期撮影可能である旨の表示がなされた場合、ユーザはこの表示の後、撮影装置１ａ、１ｂの同期撮影を開始し、画像Ａ、Ｂを取得する。同期撮影の詳細は後述する。

動き情報取得部３ａ、３ｂは、同期撮影が開始された後も、それぞれ、撮影時の撮影装置１ａ、１ｂの動き情報Ａ、Ｂを撮影時動き情報Ａ、Ｂとして取得する。

なお、動画撮影の場合、撮影時動き情報Ａ、Ｂの取得は画像Ａ、Ｂの１フレームの画像撮影毎に実施してもよいし、１フレームの画像撮影の時間間隔とは異なる所定の時間間隔で実施するようにしてもよい。

撮影時動き情報Ｂは、制御部８０ｂにより、通信部４ｂを介して撮影装置１ａに送信される。なお、動画撮影の場合で、１フレームの画像撮影のたびに撮影時動き情報Ａ、Ｂが取得される場合は、所定の時間間隔で、その時点で最新の撮影時動き情報Ｂが撮影装置１ａに送信される。動画撮影の場合で、１フレームの画像撮影の時間間隔とは異なる、通常は、それよりも長い所定の時間間隔で撮影時動き情報Ａ、Ｂが取得される場合は、取得の都度、最新の撮影時動き情報Ｂが送信される。

撮影装置１ａは、通信部４ａを介して、撮影時動き情報Ｂを受信する。差分取得部８１ａは、受信された撮影時動き情報Ｂと、これに対応する時間に取得された撮影時動き情報Ａとから、その成分毎に差分を算定し、撮影時差分情報として取得する。差分判定部８２ａは、差分情報の判定の場合と同様に、撮影時差分情報の各差分成分毎に判定を行い、いずれかの差分成分の絶対値が、これに対応してあらかじめ設定された閾値以上であると判定された場合、撮影時差分情報を表示部９ａに表示する。ユーザはこの表示に基づいて撮影装置１ａの位置、姿勢を撮影中に修正することができる。

画像合成部８３ａは、以上のようにして撮影装置１ａ、１ｂで撮影し取得された画像Ａ、Ｂから立体視可能な画像を合成する。制御部８０ａは、例えば、合成された画像を表示部９ａに表示する。他の表示装置で表示させるために合成された画像の情報を通信部を介して、他の装置に送信してもよい。

次に、動画撮影の場合を例に、図５に基づき、画像取得処理について説明する。図５は、実施形態１に係る撮影システムによる画像取得処理の例を示すフローチャートである。図５の左側には撮影装置１ａでの画像取得処理Ａの例を示すフロチャートが、図５の右側には撮影装置１ｂでの画像取得処理Ｂの例を示すフローチャートが示されている。撮影装置１ａと撮影装置１ｂとの間の情報の受け渡しは白抜き矢印で示されている。

撮影装置１ａのユーザは立体視可能な画像の合成に必要な画像Ａ、Ｂの取得準備を開始する旨の指示を操作部５ａを介して入力する。制御部８０ａは、この入力を受けて、通信部４ａを介して準備開始信号を撮影装置１ｂに送信する（ステップＳ１）。準備開始信号は、撮影装置１ａ、１ｂの動き情報Ａ、Ｂの同期取得を図るための同期用信号である。撮影装置１ａ、１ｂはそれぞれにタイマ６ａ、６ｂを有している。このタイマ６ａ、６ｂを使い、例えば、準備開始信号を同期して取得する時刻、又は取得開始の時間（例えばＸ分後）を指定する。

撮影装置１ｂは、制御部８０ｂの制御により、通信部４ｂを介して準備開始信号を受信し（ステップＳ２０）、準備開始信号で指定された時刻又は時間になったときに、所定の時間間隔で撮影装置１ａと同期して撮影装置１ｂの動き情報Ｂを取得する（ステップＳ２１）。制御部８０ｂは、取得された動き情報Ｂを通信部４ｂを介して撮影装置１ａに送信する（ステップＳ２２）。

撮影装置１ａは、制御部８０ａの制御により、準備開始信号を撮影装置１ｂに送信したのち、準備開始信号で指定された時刻又は時間になったときに、所定の時間間隔で撮影装置１ｂと同期して撮影装置１ａの動き情報Ａを取得するとともに、撮影装置１ｂから送信された撮影装置１ｂの動き情報Ｂを通信部４ａを介して受信し取得する（ステップＳ２）。

動き情報Ａ、Ｂが取得された後、撮影装置１ａの差分取得部８１ａは、動き情報Ａ、Ｂから各成分毎に差分を算定する（ステップＳ３）。差分判定部８２ａは差分成分毎にその絶対値が対応する閾値より小さいかどうかを判定する（ステップＳ４）。

各差分成分の絶対値の少なくとも１つが対応する閾値以上であると判定された場合は（ステップＳ４；ＮＯ）、制御部８０ａは、表示部９ａに差分情報を表示し撮影装置１ａの位置・姿勢を修正する必要があることを撮影装置１ａのユーザに示す（ステップＳ５）。その後、ステップＳ２に戻り、ステップＳ２からＳ４までの処理が、ステップＳ４の判定がＹＥＳとなるまで繰り返される。

この間、撮影装置１ａのユーザは、表示部９ａに表示された各差分成分の絶対値のいずれもが対応する閾値より小さくなるように、撮影装置１ａの位置、姿勢を修正する。

各差分成分の絶対値全てが、対応する閾値よりも小さいと判定された場合は（ステップＳ４；ＹＥＳ）、制御部８０ａは、表示部９ａに同期撮影が可能であることを知らせる表示を行い、操作部５ａを介してユーザから同期撮影の指示が入力されたかどうかを判定する（ステップＳ６）。入力されていない場合は（ステップＳ６；ＮＯ）入力されるまで待つ。

ユーザから同期撮影の指示が入力されれば（ステップＳ６；ＹＥＳ）、制御部８０ａは、通信部４ａを介して撮影装置１ｂに同期撮影開始信号を送信する（ステップＳ７）。同期撮影開始信号は、被写体を撮影装置１ａ、１ｂで同期撮影するための同期用信号である。撮影開始信号は、例えば撮影開始時刻を指定するものであってもよいし、撮影を開始する時間（例えばＸ分後）を指定するものであってもよい。

撮影装置１ｂの制御部８０ｂは、通信部４ｂを介して同期撮影開始信号を受信すると（ステップＳ２３）、同期撮影開始信号により指定された条件で同期撮影を開始するかどうかを判定（ステップＳ２４）する。具体的には、タイマ６ｂにより同期撮影開始信号で指定された時刻又は時間になったかどうかを判定し、その時刻、又は時間になるまで待つ（ステップＳ２４；ＮＯ）。同期撮影開始と判定された場合（ステップＳ２４；ＹＥＳ）、撮像部２ｂで撮影を行い画像Ｂを取得すると共に、動き情報取得部３ｂで撮影時の撮影装置１ｂの動き情報Ｂを撮影時動き情報Ｂとして取得する（ステップＳ２５）。これらは記憶部７ｂに保存される。

撮影装置１ａの制御部８０ａは、撮影装置１ｂと同様に、同期撮影開始信号により指定された条件で撮影を開始するかどうかを判定（ステップＳ８）する。具体的には、タイマ６ａにより同期撮影開始信号で指定された時刻又は時間になったかどうかを判定し、その時刻、又は時間になるまで待つ（ステップＳ８；ＮＯ）。撮影開始と判定された場合（ステップＳ８；ＹＥＳ）。撮影装置１ａの撮像部２ａで撮影を行い画像Ａを取得すると共に、動き情報取得部３ａで撮影時の撮影装置１ａの動き情報Ａを撮影時動き情報Ａとして取得する（ステップＳ９）。

なお、撮影時動き情報Ａ、Ｂはそれぞれ画像Ａ、画像Ｂの１フレーム毎の取得と同期して取得してもよいし、撮像装置１ａ、１ｂに共通の所定時間を別に設定し、この所定時間毎に、同期して取得してもよい。いずれの場合も、撮影時動き情報ＡとＢとは、同期して取得された動き情報である。

制御部８０ａは、撮影装置１ａの操作部５ａから撮影終了の入力の有無を判定し（ステップＳ１０）、入力がない場合（ステップＳ１０；ＮＯ）、画像Ａと撮影時動き情報Ａの取得（ステップＳ９）を継続する。また、画像Ａと撮影時動き情報Ａを記憶部７ａに保存する。

撮影終了の入力があれば（ステップＳ１０；ＹＥＳ）、制御部８０ａは、通信部４ａを介して撮影装置１ｂに撮影終了信号を送信する（ステップＳ１１）。

撮影装置１ｂの制御部８０ｂは、撮影装置１ａから送信された撮影終了信号を通信部４ｂを介して受信したかどうかを判定する（ステップＳ２６）。受信していなければ（ステップＳ２６；ＮＯ）、画像Ｂと撮影時動き情報Ｂの取得（ステップＳ２５）が継続される。受信すれば（ステップＳ２６；ＹＥＳ）、制御部８０ｂは、撮像部２ｂによる撮影、及び動き情報取得部３ｂによる撮影時動き情報Ｂの取得を終了する（ステップＳ２７）。その後、制御部８０ｂは、撮影により取得された画像Ｂを通信部４ｂを介して撮影装置１ａに送信し（ステップＳ２８）、画像取得処理Ｂを終了する。

撮影装置１ａの制御部８０ａは、撮影装置１ｂから送信された画像Ｂを通信部４ａを介して受信して（ステップＳ１２）画像取得処理Ａを終了する。なお、受信された画像Ｂは記憶部７ａに保存される。

なお、図５のステップＳ２５で取得した撮影時動き情報Ｂは、次の図６に示す処理で撮影装置１ａに送信され使用されるが、これとは独立に、後述する用途のために、図５のステップＳ２８で画像Ｂと共に撮影装置１ａに送信してもよい。

次に、画像取得処理ＡのステップＳ９、画像取得処理ＢのステップＳ２５でそれぞれ実行される撮影時動き情報Ａ、Ｂの取得の際に、画像取得処理Ａ、Ｂと並行して実行される撮影時動き情報から算定された差分である撮影時差分の表示に係る処理の例について説明する。図６は、実施形態１に係る撮影システムの撮影時差分表示に係る処理の例を示すフローチャートである。図６の左側は撮影装置１ａで実行される撮影時差分表示に係る処理Ａの例を示すフローチャート、図６の右側は撮影装置１ｂで実行される撮影時差分表示に係る処理Ｂの例を示すフローチャートである。撮影装置１ａと撮影装置１ｂとの間の情報の受け渡しは白抜き矢印で示されている。撮影時差分表示に係る処理Ａ、Ｂはそれぞれ撮影装置１ａ、１ｂの電源投入後に実施を開始してもよいし、図５のステップＳ１でユーザから画像の取得準備を開始する旨の指示が操作部５ａを介して入力されたときに撮影時差分表示に係る処理Ａの実施を開始し、通信部４ｂを介して準備開始信号を受信したときに撮影時差分表示に係る処理Ｂの実施を開始してもよい。図６において、図５に示す処理と同じ内容の処理は同じ番号を付す。

なお、図６に示す処理は、図５のステップＳ９、Ｓ２５における撮影時動き情報Ａ、Ｂの取得を画像Ａ、Ｂのフレーム毎の撮影と同期して行う場合の例である。

まず、撮影装置１ａ、１ｂの制御部８０ａ、８０ｂは、それぞれ同期撮影開始時刻又は時間かどうかを判定する（ステップＳ８、ステップＳ２４）。これは図５のステップＳ８、ステップＳ２４の判定を共用する。同期撮影開始時刻又は時間でなければ（ステップＳ８；ＮＯ、ステップＳ２４；ＮＯ）、同期撮影開始時刻又は時間まで待つ。同期撮影開始後（ステップＳ８；ＹＥＳ、ステップＳ２４；ＹＥＳ）、図５の画像取得処理Ａ、ＢのステップＳ９、Ｓ２５において、撮影時動き情報Ａ、Ｂが撮影装置１ａ、１ｂのそれぞれで取得されている。

図６右側に示す撮影時差分表示に係る処理Ｂでは、撮影装置１ｂの制御部８０ｂは、取得された最新の撮影時動き情報Ｂを、取得時刻（又は取得順を示す番号等の識別子）と共に通信部４ｂを介して撮影装置１ａに送信する（ステップＳ２９）。

その後、所定の時間経過したかどうかを判定し（ステップＳ３０）、経過していれば（ステップＳ３０；ＹＥＳ）ステップＳ２９に戻る。経過していなければ（ステップＳ３０；ＮＯ）、撮影装置１ａから送信された撮影終了信号（後述する図６左側に示すステップＳ１１で送信）の受信の有無を判定し（ステップＳ２６。図５のステップＳ２６と共用）、受信していれば（ステップＳ２６；ＹＥＳ）撮影時差分表示に係る処理Ｂを終了する。受信していなければ（ステップＳ３０；ＮＯ）、ステップＳ３０に戻る。

撮影装置１ａの制御部８０ａは、同期撮影開始と判定された（ステップＳ８；ＹＥＳ）後、ステップＳ２９で撮影装置１ｂから送信された撮影時動き情報Ｂが通信部４ａを介して受信されたかどうかを判定する（ステップＳ１３）。受信されていなければ（ステップＳ１３；ＮＯ）受信まで待機する。受信された場合（ステップＳ１３；ＹＥＳ）、差分取得部８１ａは、受信した撮影時動き情報Ｂ及びその取得時刻と同時刻に（又は同じ順番で）取得された撮影時動き情報Ａとから差分を算定し、撮影時差分情報として取得する（ステップＳ１４）。

次に、差分判定部８２ａは、各撮影時差分成分の絶対値が、対応する閾値より小さいかどうかを判定する（ステップＳ１５）。対応する閾値以上の絶対値を有する撮影時差分成分があれば（ステップＳ１５；ＮＯ）、制御部８０ａは撮影時差分情報を表示部９ａに表示して（ステップＳ１６）撮影装置１ａの位置、姿勢を修正するよう撮影装置１ａのユーザに注意を喚起する。

ステップＳ１６の後、又は全ての撮影時差分成分の絶対値が、対応する閾値より小さいと判定された場合（ステップＳ１５；ＹＥＳ）、制御部８０ａは、撮影終了の入力がなされていないかどうかを判定する（ステップＳ１０。図５のステップＳ１０と共用）。撮影終了の入力がある場合（ステップＳ１０；ＹＥＳ）、制御部８０ａは、通信部４ａを介して撮影終了信号を撮影装置１ｂに送信し（ステップＳ１１。図５のステップ１１と共用）、撮影時差分表示に係る処理Ａを終了する。撮影終了の入力がない場合（ステップＳ１０；ＮＯ）、ステップＳ１３に戻り、次の撮影時動き情報Ｂの受信を待ち、同様の処理で撮影時差分の算定とその判定処理を継続する。

図６では、動画撮影の場合で、図５のステップＳ９、Ｓ２５では、撮影による画像のフレーム毎の撮影と対応して撮影時動き情報Ａ、Ｂが取得されるとしたときの撮影時差分表示に係る処理を示しているため、全ての撮影時動き情報Ａ、Ｂについて差分を求め表示の候補にすると、通信部４ｂ、４ａの負荷が大きくなり、また、ユーザがその表示内容を確認する前に表示内容が切り替わってしまうという不都合が生じる。これを避けるためにステップＳ３０で所定時間の経過を判定し、所定時間が経過したときの最新に取得された撮影時動き情報Ｂを送信対象とした。これにより、ステップＳ１６での撮影時差分情報の表示は所定の時間間隔毎に行われることになる。この所定時間は変更可能にしてもよい。

なお、図５のステップＳ９、Ｓ２５での撮影時動き情報Ａ、Ｂの取得を、別途設定された所定時間間隔で行うようにした場合は、図６のステップＳ２９での撮影時動き情報Ｂの送信は、撮影時動き情報Ｂの取得の都度行えばよい。従って、図６のステップＳ３０は省略することができる。

図５、図６では動画撮影を例に説明したが、静止画撮影の場合は、図５のステップＳ１０、Ｓ１１、Ｓ２６、Ｓ２７、及び図６のＳ１０、Ｓ２６が不要となる。連写の場合も同様で、連写はステップＳ９、Ｓ２５に含まれる。

これまで、差分判定の結果に応じて、撮影装置１ａの表示部９ａに差分情報を表示し、撮影装置１ａの位置・姿勢の修正をするよう撮影装置１ａのユーザの注意を喚起するとしたが、撮影装置１ｂの表示部９ｂに差分情報を表示し、撮影装置１ｂの位置・姿勢を修正するように撮影装置１ｂのユーザの注意を喚起するようにしてもよい。

この場合、撮影装置１ａの制御部８０ａは、撮影装置１ａで取得した差分情報を通信部４ａを介して撮影装置１ｂに送信する。撮影装置１ｂは、この差分情報を通信部４ｂを介して受信し、制御部８０ｂは、表示部９ｂに差分情報を表示して撮影装置１ｂの位置・姿勢の修正をするよう撮影装置１ｂのユーザの注意を喚起する。なお、表示部９ａ、９ｂのいずれにも差分情報を表示し、撮影装置１ａ、撮影装置１ｂのどちらで位置・姿勢を修正するかについては通信部４ａ、４ｂを介して交信により定めるようにしてもよいし、両方で修正しても良い。

他の例として、撮影装置１ｂもＣＰＵ８ｂに差分取得部８１ｂ及び差分判定部８２ｂを備える。撮影装置１ａは撮影装置１ｂに動き情報Ａを送信する。撮影装置１ｂは、動き情報Ａを受信し、撮影装置１ａで説明した手順と同様の手順で、対応する閾値以上の差分成分の絶対値があると判定されれば、差分情報を表示部９ｂに表示する。すなわち、表示部９ａ、９ｂ共に差分情報が表示される。撮影装置１ａ、撮影装置１ｂのどちらで位置・姿勢を修正するかについては通信部４ａ、４ｂを介してユーザの交信により定める。

表示部９ａ及び／又は表示部９ｂへの差分情報の表示により、ユーザが撮影装置１ａ及び／又は１ｂの位置、姿勢を修正した後、撮影装置１ａ、１ｂのそれぞれの動き情報Ａ、Ｂが再度取得され、上記同様に差分情報が求められる。この処理は同期撮影中継続される。

なお、これまで、横方向の差分ΔＨ’の判定については、撮影装置１ａ、１ｂ間の横方向の距離があらかじめ設定されたＨ_０であることを基準としていたが、これに限る必要はない。Ｈ_０を設定可能にし、新たに設定されたＨ_０を基準として横方向の差分ΔＨ’の判定を行ってもよい。ただし動画撮影の場合は、一括して立体視可能な画像を構成する一連の撮影期間中はＨ_０を一定に保つ。

また、撮影開始前に、操作部５ａを介して横方向の距離Ｈ_０を新たに設定する旨の入力がなされたとき以後、最初に取得された横方向の差分ΔＨを新たなＨ_０として設定してもよい。この場合の「最初に」とは、動画撮影の場合に、一括して立体視可能な画像を構成する一連の撮影期間中の最初という意味である。この方法によれば、Ｈ_０の設定のための入力が不要となる。また、撮影開始前に、横方向の差分ΔＨが表示されたとき、所定の指示により、表示された差分ΔＨを新たなＨ_０として設定してもよい。

位置変化情報取得部３０ａ、３０ｂは、加速度センサに限らない。例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や方位センサ、高度センサを使用したものであってもよい。

以上の説明では、動き情報取得部３ａ、３ｂはそれぞれ、位置変化情報取得部３０ａ、３０ｂ、姿勢変化情報取得部３１ａ、３１ｂを備えているとしたが、姿勢変化情報取得部３１ａ、３１ｂを省略してもよい。

実施形態１の撮影システムによれば、撮影装置１ａ、１ｂに動き情報取得部３ａ、３ｂを備え、撮影装置１ａ、１ｂの位置、姿勢の差分情報を、その判定結果に応じて表示部９ａ又は／及び表示部９ｂに表示するようにしたので、両者の配置関係が明確になるとともに、初期設定時と同じ配置関係（ただし横方向のみ距離Ｈ_０離れた位置）にするために撮影装置１ａ又は１ｂの配置をどの様に、またどの程度修正すればよいかが明確になる。従って、撮影装置１ａ、１ｂの配置関係を容易に初期設定時の配置関係にすることができるため、立体視可能な画像の合成に必要な画像を簡便に取得することができる。また、同時に、撮影装置１ａ、１ｂを高精度に配置して撮影した画像を取得できるので、この画像に基づくことにより、高精度の立体視可能な画像を得ることができる。

また、実施形態１によれば、撮影装置１ａ、１ｂ間の横方向の距離Ｈ_０を適宜設定することができるため、撮影時の撮影装置１ａ、１ｂの配置の自由度が大きくなり撮影システムとしての利便性が向上する。更に、横方向の距離Ｈ_０を適宜設定することができるため視差を調整することができる。従って、異なる視差の画像を容易に取得でき、その画像による立体視可能な画像の合成が容易となる。

変形例として、撮影装置１ａ、１ｂは動画撮影装置であるとし、それぞれ図７に示すように、図１の構成に音声収集部１０ａ、１０ｂを備え、撮影装置１ａは音声再生部１１ａを備える。音声収集部１０ａ、１０ｂは、例えばマイクであり、撮影装置１ａ、撮影装置１ｂで画像を撮影する際に、撮影と同期して音声を、それぞれ音声情報Ａ、Ｂとして収集し、それぞれ、記憶部７ａ、７ｂに記録する。音声再生部１１ａは、２チャンネルの増幅器やスピーカで構成され、音声情報を音声として再生する。

撮影装置１ｂは、音声収集部１０ｂで得られた音声情報Ｂを通信部４ｂを介して撮影装置１ａに送信する。

撮影装置１ａの画像合成部８３ａは、立体視可能な画像を合成する際に、撮影装置１ａ、１ｂ間の左右の配置に基づき、前記音声情報Ａ及び受信した音声情報Ｂから画像と同期させてステレオ音を構成するステレオ音声情報を生成する。撮影装置１ａ、１ｂ間の左右の配置は、横方向の差分の符号から容易に判断することができる。ステレオ音声情報は、撮影装置１ａの例えば音声再生部１１ａでステレオ音として再生される。特に音声再生部１１ａの音声出力端子を左右２チャンネル分設け、例えばヘッドフォンの端子をこれに接続すればより効果的にステレオ音として再生させることができる。なお、合成された立体視可能な画像の情報を通信部を介して他の装置に送信する場合、生成されたステレオ音声情報を併せて当該他の装置に送信する。

これにより、立体視可能な画像に、音声のステレオ効果を加えることができるので、当該画像の視聴者は、より臨場感のある画像を楽しむことができる。

（実施形態２）
本発明の実施形態２に係る撮影システムの構成例を図８に示す。図８の構成中、図１と同じものは同一の番号を付している。図１の構成と異なる部分は次の点である。撮影装置１ａは新たに測距部１０ａを備え、撮影装置１ａのＣＰＵ８ａは機能構成要素として画像補正部８４ａを備える。撮影装置１ｂも新たに測距部１０ｂを備える。

画像補正部８４ａは、制御部８０ａにより制御され、撮影装置１ａ、１ｂ間に対応する閾値以上の絶対値を有する撮影時差分が残った状態で被写体を撮影し画像Ａ、Ｂとして取得した場合に、立体視可能な画像の生成に対する差分の悪影響を低減するために撮影時差分に基づき画像Ａ又はＢを補正する。

測距部１０ａ、１０ｂは、それぞれ、撮影する被写体のうち、ピントを合わせる対象物４０までの距離Ｄ_０ａ、Ｄ_０ｂを取得する。このような機能は、自動焦点カメラ等でよく利用されており、例えばピントを合わせるときの撮像レンズの移動量を示す信号等から算定される。この距離Ｄ_０ａ、Ｄ_０ｂは、画像補正部８４ａでの画像Ａ又はＢの補正を行うときに使用される。なお、通信部４ａ、４ｂはこの距離Ｄ_０ａ、Ｄ_０ｂの情報も送受信できる。

画像補正部８４ａは、横方向の撮影時差分ΔＨ’、上下方向の撮影時差分ΔＶ、及び前後方向軸の周りの回転角度θの撮影時差分Δθを対象として、これらの撮影時差分による立体視可能な画像の合成に与える悪影響を低減するために画像Ａ又は／及びＢを補正する。

図９は、撮影システムで横方向の撮影時差分が生じた場合の、画像の補正を説明するための図である。図９の上方に図２の配置の撮影装置１ａ、１ｂで撮影され取得された画像Ａ、Ｂを示している。撮影装置１ａは撮影装置１ｂの例えば右側に配置されている。図９の下方には撮影時差分ΔＨ’に関する補正を行ったときの画像を示す。いずれも、向かって左側の画像は撮影装置１ａで撮影し取得された画像２０Ａと補正後の画像２１Ａ、向かって右側の画像は撮影装置１ｂで撮影し取得された画像２０Ｂと補正後の画像２１Ｂに対応している。いずれも、各撮影装置１ａ、１ｂの撮像面上の画像を被写体側から見て表示しているので、左右が反転している。対象物４０は画像２０Ａ中では画像中の対象物４０Ａ、画像２０Ｂ中では画像中の対象物４０Ｂとして示されている。

今、撮影装置１ａの撮影時動き情報Ａの横方向成分がＨａであり、撮影装置１ｂの撮影時動き情報Ｂの横方向成分Ｈｂが０とすると、撮影時差分ΔＨはＨａとなり、撮影時差分ΔＨ’はＨａ−Ｈ_０となる。

差分判定部８２ａによる判定で、撮影時差分ΔＨ’の絶対値が閾値ε_Ｈ以上であった場合、画像補正部８４ａは、撮影時差分ΔＨ’に関して、画像２０Ａ又は／及び２０Ｂの補正を行う。以下では画像２０Ａを補正する場合について説明する。

この場合、画像補正部８４ａは、撮影時差分ΔＨ’の絶対値を閾値ε_Ｈよりも小さくする（説明の便宜上ε_Ｈ＝０とする）ために、撮影装置１ａを−ΔＨ’移動させたときに得られるであろう画像Ａに近似した画像を補正後の画像２１Ａとして画像２０Ａに基づき生成する。なお、撮影装置１ａの移動は−ΔＨ’が正値の時は右側へ、負値の時は左側へ移動させる必要がある。図９に示す例ではΔＨ’は正値とし、これを修正するためには、例えば撮影装置１ａを左側にΔＨ’移動させたときの画像に近似する補正後の画像２１Ａが必要である。この画像２１Ａは、画像２０Ａから、図９に示す画像の「右側」端部を所定幅Δｈ削除し、「左側」端部に所定幅Δｈの画像を追加することにより生成される。追加する領域の画像は実際には得られていないので、この領域には例えばＲＧＢの上限値を付与し、形式的に左右の画像のサイズを合わせる。ΔＨ’の符号が異なる場合は削除と追加の領域が左右逆転する。このような画像の補正処理は、画像の平行移動処理と考えてもよい。

所定幅ΔｈはΔＨ’の絶対値に係数ｋを乗じて求める。この係数ｋは測距部１０ａで取得した焦点を合わせの対象となる被写体中の対象物４０までの距離Ｄ_０と、焦点あわせの際の撮像部２ａの撮像レンズの移動量ΔＦと、例えば無限遠に焦点を合わせたときの撮像レンズ中央面から撮像面までの距離Ｆにより決まる量であり、ｋ（Ｄ_０、Ｆ、ΔＦ）と表現することができる。Ｄ_０は、測距部１０ａで測定されたＤ_０ａとする。関数ｋは、記憶部７ａに例えば表形式で保存されたものを読み出して、補間等によりその値を算定する。

図１０は、撮影システムで上下方向の撮影時差分が生じた場合の、画像の補正を説明するための図である。図１０の上方は撮影装置１ａ及び１ｂで撮影して取得された画像Ａ、Ｂを示している。撮影装置１ａは撮影装置１ｂの右側に配置されている。図１０の下方は撮影時差分ΔＶに関する補正を行ったときの画像を示す。いずれも、向かって左側の画像は撮影装置１ａで撮影・取得された画像２０Ａと補正後の画像２１Ａ、向かって右側の画像は撮影装置１ｂで撮影・取得された画像２０Ｂと補正後の画像２１Ｂに対応している。いずれも、各撮影装置１ａ、１ｂの撮像面上の画像を被写体側から見て表示しているので、左右が反転している。対象物４０は画像２０Ａ中では画像中の対象物４０Ａ、画像２０Ｂ中では画像中の対象物４０Ｂとして示されている。

今、撮影装置１ａの撮影時動き情報Ａの上下方向成分がＶａであり、撮影装置１ｂの撮影時動き情報Ｂの上下方向成分Ｖｂは０とすると、撮影時差分ΔＶはＶａとなる。

差分判定部８２ａによる判定で、撮影時差分ΔＶの絶対値が閾値ε_Ｖ以上であった場合、画像補正部９４ａは、撮影時差分ΔＶに関して、画像２０Ａ又は２０Ｂの補正を行う。以下では画像２０Ａを補正する場合について説明する。

補正のやり方はＨ_０＝０である場合の横方向の撮影時差分ΔＨ’があった場合と同様で、方向が９０度異なり上下方向になるだけである。すなわち、図１０の下方に示す例では、画像２０Ａの上端部に上下方向の幅Δｖの領域を付加し、下端部では同じ幅の領域を削除して補正後の画像２１Ａを生成する。このような画像の補正処理は、画像の平行移動処理と考えてもよい。

なお、Δｖは撮影時差分ΔＶの絶対値に係数ｆを乗したものである。係数ｆは、測距部１０ａで取得した焦点合わせの対象となる対象物４０までの距離Ｄ_０と、焦点あわせの際の撮像部２ａの撮像レンズの移動量ΔＦと、例えば無限遠に焦点を合わせたときの撮像レンズ中央面から撮像面までの距離Ｆにより決まる量であり、ｆ（Ｄ_０、Ｆ、ΔＦ）と表現することができる。Ｄ_０は、測距部１０ａで測定されたＤ_０ａを利用する。関数ｆは、記憶部７ａに例えば表形式で保存されたものを読み出して、補間等によりその値を算定する。撮影時差分ΔＶの符号により上記付加、削除する領域は上下逆転する。

横方向、上下方向の対応する閾値以上の絶対値を有する撮影時差分成分の影響を画像Ａで補正する場合、いずれも画像の平行移動処理と端部領域で画像の追加・削除の処理を行うので、一括処理して補正された画像２１Ａを生成することができる。

図１１は、撮影システムで撮像レンズ光軸周りの回転の撮影時差分が生じた場合の、画像の補正を説明するための図である。図１１の上方は撮影装置１ａ及び１ｂで撮影して取得された画像Ａ、Ｂを示す。図１１の下方は撮影時差分Δθに関する補正を行ったときの画像を示す。いずれも、向かって左側の画像は撮影装置１ａで撮影・取得された画像２０Ａと補正後の画像２１Ａ、向かって右側の画像は撮影装置１ｂで撮影・取得された画像２０Ｂと補正後の画像２１Ｂに対応している。いずれも、各撮影装置１ａ、１ｂの撮影面上の画像を被写体側から見て表示しているので、左右が反転している。回転方向は例えば時計回りの回転を正方向、反時計回りの回転を負方向とする。対象物４０は画像２０Ａ中では画像中の対象物４０Ａ、画像２０Ｂ中では画像中の対象物４０Ｂとして示されている。

今、撮影装置１ａの撮影時動き情報Ａの角度θ成分がθａであり、撮影装置１ｂの撮影時動き情報Ｂの角度θ成分θｂが０度であるとする。このときの撮影時差分Δθはθａとなる。従って、画像中の対象物４０Ａは光軸中心すなわち画像中心の周りで反時計回りにΔθ（＝θａ）回転している。一方、画像中の対象物４０Ｂは画像中心の周りで回転していない。

差分判定部８２ａによる判定で、撮影時差分Δθの絶対値が閾値ε_θ以上であった場合は、画像補正部８４ａは、撮影時差分Δθに関して、画像２０Ａ又は２０Ｂの補正を行う。以下では画像２０Ａを補正する場合について説明する。

この撮影時差分Δθを画像２０Ａで補正する場合、画像補正部８４ａは、画像２０Ａを光軸、すなわち画像２０Ａの中心を回転軸として、撮影時差分Δθとは反対方向に、図１１の下方に示す例では時計周りにΔθ回転させる。回転させて得られる画像を補正処理途中の画像２１０Ａとして示す。画像２０Ｂはこの例では補正しないので補正後の画像２１Ｂは補正前の画像２０Ｂと同じである。画像２１０Ａの画像領域を画像２１Ｂの画像領域にそろえるために、斜線を付した部分を補正により追加する画像部位２１１Ａとして画像２１０Ａに追加し、ドットを付した部分を補正により削除する画像部位２１２Ａとして画像２１０Ａから削除する。このとき、画像補正部８４ａは、補正により追加する画像部位２１１Ａは、立体視可能な画像の合成には利用されないので、データの付与は特に制限されないが、例えばＲＧＢの上限値を付与する。画像２１０Ａをこのようにして補正することにより補正後の画像２１Ａが生成される。

以上の各補正は画像２０Ａに代えて画像２０Ｂに対して実施してもよい。その場合、Ｄ_０は測距部１０ｂで測定されたＤ_０ｂ、係数ｋ、係数ｆ、ΔＦ、Ｆは撮像部２ｂに対する値となり、補正による追加又は削除する領域が左右、上下で逆転し、またθに関する回転処理方向が逆転し、補正による追加又は削除する領域も逆回転方向に沿って配置される。Ｄ_０ｂは撮影装置１ｂの撮影時動き情報Ｂとともに通信部４ｂを介して撮影装置１ａに送信される。係数ｋ、係数ｆ、ΔＦ、Ｆはあらかじめ撮影装置１ａの記憶部７ａに格納されているか、最初に通信部４ｂを介して撮影装置１ａに送信され、撮影装置１ａの記憶部７ａに格納され、その後の利用に供されるようにしてもよい。

また、以上の各補正は画像２０Ａと画像２０Ｂの双方に対して実施してもよい。その場合は、画像の平行移動に係る補正のそれぞれで追加、削除される領域の幅の合計が、上記追加、削除される領域の幅と等しくなるようにする。また、回転に係る補正の場合は、画像２０Ａと画像２０Ｂのそれぞれでの回転の角度が上記回転差分と等しくなるようにする。

上記で説明した撮影時動き情報Ａ、Ｂは、理想的には画像Ａ、Ｂの各フレームの撮影時にそれぞれ取得されたものであることが望ましい。図５のステップＳ９、Ｓ２５で取得される撮影時動き情報Ａ、Ｂがそのようにして取得されていれば、図５のステップＳ２８で撮影装置１ｂから画像Ｂを送信するときに、画像Ｂの各フレームと対応させて撮影時動き情報Ｂをも送信することにより、撮影時動き情報Ａ、Ｂをフレーム毎の画像の補正に使用することができる。一方、図５のステップＳ９、Ｓ２５で取得される撮影時動き情報Ａ、Ｂが画像Ａ、Ｂの各フレームの撮影とは別の時間間隔で取得されている場合は、例えば図６のステップＳ２９で撮影装置１ｂから撮影装置１ａに送信された撮影時動き情報Ｂとこれに対応する撮影時動き情報Ａを利用してその取得時刻に近い時刻に撮影された画像Ａ、Ｂを補正する。図５のステップＳ２８で撮影装置１ｂから画像Ｂを送信するときに、画像Ｂの各フレームと対応させて撮影時動き情報Ｂを再度送信するようにしてもよい。

画像合成部８３ａは、対応する閾値以上の絶対値を有する撮影時差分成分が残った状態で撮影し取得された画像Ａ、Ｂのうち少なくとも一方の画像を画像補正部８４ａで補正された画像とし、これらの画像に基づき立体視可能な画像を合成する。

図１２は、画像補正と画像合成処理を示すフローチャートである。この処理は図５のステップＳ１２の処理が完了した後に実行される。

差分取得部８１ａは取得された撮影時動き情報Ａ、Ｂから差分情報を算定し取得する（ステップＳ４０）。このとき横方向の撮影時差分についてはΔＨと合わせてΔＨ’も算定する。

次に、差分判定部８２ａは、撮影時差分Δθの絶対値が閾値ε_θよりも小さいかどうかを判定する（ステップＳ４１）。閾値ε_θ以上であれば（ステップＳ４１；ＮＯ）、画像補正部８４ａは、撮影時差分Δθに基づき、画像Ａ又はＢの少なくともいずれか一方を回転させて画像の方向をそろえる補正を行い（ステップＳ４２）、次のステップＳ４３に移行する。一方、撮影時差分Δθの絶対値が閾値ε_θよりも小さければ（ステップＳ４１；ＹＥＳ）、何の処理も行わず次のステップＳ４３に移行する。

次に、差分判定部８２ａは、撮影時差分ΔＨ’、ΔＶがそれぞれ対応する閾値よりも小さいかどうかを判定する（ステップＳ４３）。少なくともいずれか一方が対応する閾値以上であれば（ステップＳ４３；ＮＯ）、画像補正部８４ａは、該当する撮影時差分に基づき、画像Ａ又はＢの少なくともいずれか一方を平行移動処理により補正を行い（ステップＳ４４）、次のステップＳ４５に移行する。一方、いずれの撮影時差分の絶対値も対応する閾値より小さければ（ステップＳ４３；ＹＥＳ）、何の処理も行わず次のステップＳ４５に移行する。画像補正部８４ａは、この補正の際、測距部１０ａ、又は１０ｂで取得した対象物４０までの距離情報を利用する。

次に、画像合成部８３ａは、画像Ａ、Ｂ、又は補正された場合は補正後の画像Ａ、Ｂのそれぞれから所定領域の画像を切り出すフレーム切り出し処理を実行し（ステップＳ４５）、切り出した画像から立体視可能な画像を合成する（ステップＳ４６）。

なお、図１２に示す処理において、ステップＳ４１とＳ４２、及びステップＳ４３とＳ４４とは、それぞれを一組として、その実行順序を入れ替えてもよい。また、一部のみを実行してもよい。

実施形態２によれば、撮影装置１ａ、１ｂ間で、対応する閾値以上の絶対値を有する撮影時差分成分が残った状態で撮影を行った場合であっても、画像の補正により撮影時差分の影響を低減した立体視可能な画像を合成することができるため、より高精度の立体視可能な画像を提供することができる。

（実施形態３）
本発明の実施形態３は、撮影装置１ａ、１ｂの前後方向の位置をより高精度に調整するための指標を提供することを目的とする。実施形態３に係る撮影システムの構成例を図１３に示す。図１３の構成中、図１と同じものは同一の番号を付している。図１の構成と異なる点は撮影装置１ａがＣＰＵ８ａに機能構成要素として対象認識・解析部８５ａを備えていることである。

対象認識・解析部８５ａは、画像から対象部位（例えば顔）を認識し、画像内でのこの対象部位を解析し、その座標範囲を取得するとともに、取得した座標範囲から、画像上での対象部位の所定方向の長さを算定する。このような機能は既存の顔認識プログラムやオブジェクト認識プログラムを利用することにより実現することができる。

次に動作について説明する。撮影装置１ａは、撮影装置１ａ、１ｂで予備的に同期撮影して得られる画像をそれぞれ予備画像Ａ、Ｂとして取得する。予備画像Ｂについては撮影装置１ｂから通信部４ｂを介して撮像装置１ａに送信され、通信部４ａを介して受信されることにより撮影装置１ａで取得される。

対象認識・解析部８５ａは、取得された予備画像Ａ、Ｂから同じ対象部位を認識し、それぞれの座標範囲を求め、所定方向の長さを算定する。所定方向の長さとは例えば上下方向の長さである。

差分取得部８１ａは、予備画像Ａ、Ｂにおける対象部位の所定方向の長さから、その差分を算定する。

対象部位の撮影装置１ａ、１ｂからの距離が同じ場合は画像Ａ、Ｂそれぞれでの対象部位の所定方向の長さ、例えば上下方向の長さが同じとなり、異なる場合は近い方の撮影装置で取得された画像での上下方向の長さの方が大きくなる。本実施形態３ではこれを利用して両者の差分の大きさを距離の違いを示す指標とする。

差分判定部８２ａは、この差分の絶対値が所定の閾値より小さいかどうかを判定する。所定の閾値以上の差分の絶対値があれば制御部８０ａは表示部９ａにこの差分を表示し、撮影装置１ａの前後方向の位置を修正するように撮影装置１ａのユーザの注意を喚起する。

図１４に撮影システムによる画像取得処理のフローチャートのうち、実施形態３に係る部分の例を示す。図１４の左側は撮影装置１ａの画像取得処理Ａのフローチャートのうち実施形態３に係る部分、図１４の右側は撮影装置１ｂの画像取得処理Ｂのフローチャートのうち実施形態３に係る部分の例を示す。これらは図５に示す画像取得処理のフローチャートを基本とし、これに付加する部分のみを示したものである。

撮影装置１ａの画像取得処理Ａでは図５に示すステップＳ４でＹＥＳの判定が得られた場合、制御部８０ａは予備画像の取得指示の有無を判定する（ステップＳ５０）。予備画像取得指示がなければ（ステップＳ５０；ＮＯ）、その指示を待つ。予備画像取得指示は、例えば、操作部５ａに撮影装置１ａのユーザがその旨入力することにより得られる。

予備画像の取得指示があれば、制御部８０ａは通信部４ａを介して撮影装置１ｂに同期撮影開始信号を送信し（ステップＳ５１）、撮影装置１ｂは通信部４ｂを介して同期撮影開始信号を受信する（ステップＳ６０）。これらの処理はそれぞれ図５のステップＳ７、Ｓ２３と同様の処理である。

撮影装置１ａ、１ｂの制御部８０ａ、８０ｂは、それぞれ同期撮影開始信号で指定された時刻又は時間になったかどうかを判定し（ステップＳ５２、ステップＳ６１）、当該時刻又は時間になれば（ステップＳ５２；ＹＥＳ、ステップＳ６１；ＹＥＳ）撮像部２ａ、２ｂで同期撮影を実施し、それぞれ予備画像Ａ、Ｂを取得する（ステップＳ５３、ステップＳ６２）。

次に、撮影装置１ｂの制御部８０ｂは取得した予備画像Ｂを通信部４ｂを介して撮影装置１ａに送信し（ステップＳ６３）、図５に示すステップＳ２３の処理に移行する。

撮影装置１ａは通信部４ａを介して予備画像Ｂを受信する（ステップＳ５４）。次に、対象認識・解析部８５ａは、予備画像Ａ、Ｂそれぞれについて同一対象部位と判断される対象部位を認識し、認識した対象部位を解析して、座標範囲を取得すると共に、取得した座標範囲から、認識した対象部位の所定方向の長さ（例えば上下方向の長さ）を併せて算定する（ステップＳ５５）。

差分取得部８１ａは、このようにして予備画像Ａ、Ｂから求めた所定方向の長さから、その差分を算定し取得する（ステップＳ５６）。

差分判定部８２ａは、この差分の絶対値が所定のあらかじめ設定されている閾値よりも小さいかどうかを判定する（ステップＳ５７）。差分の絶対値がこの閾値よりも小さければ（ステップＳ５７；ＹＥＳ）図５のステップＳ６に移行する。差分の絶対値が対応する閾値以上であれば（ステップＳ５７；ＮＯ）、制御部８０ａはこの差分を表示部９ａに表示し（ステップＳ５８）、撮影装置１ａを前後方向の位置を修正するよう撮影装置１ａのユーザの注意を喚起し、ステップＳ５１の処理に戻る。

なお、制御部８０ａは、この差分を通信部４ａを介して撮影装置１ｂに送信し、撮影装置１ｂは、表示部９ｂにこの差分を表示して、撮影装置１ｂの前後方向の位置を修正するよう、撮影装置１ｂのユーザの注意を喚起してもよい。

実施形態３によれば被写体の中の特定の対象と撮影装置１ａ及び１ｂとの間の距離が異なっていた場合でも、この距離を修正するための指標となる情報を得ることができる。そのため立体視可能な画像を合成するために必要な画像を簡便に取得することができる。また、同時に、撮影装置１ａ、１ｂを高精度に配置して被写体を撮影し、画像を取得できるので、この画像に基づき高精度の立体視可能な画像をを合成することができる。

（実施形態４）
実施形態４に係る撮影システムの構成は図１に示すものと同じである。異なる点は撮影システムの配置と画像合成部８４ａの処理内容である。

実施形態４における撮影システムの配置例を図１５に示す。図１５は図２の平面図に相当するものである。被写体中の対象物４０は簡略化のため矢印で示した。図２と異なる点は、同期撮影時の撮影装置１ａ、１ｂの撮像レンズ光軸が、互いに平行とはなっていない点である。すなわち、同期撮影可能とする配置条件から、上下方向軸の周りの回転角ψについての差分Δψが対応する閾値よりも小さいという条件を外している。

図１５に示すように撮影装置１ａ、１ｂの画像Ａ、画像Ｂ上の対象物４０の画像である対象物４０Ａ、４０Ｂのそれぞれの画像中心からの横方向の距離Ｋａ、Ｋｂと撮像部２ａ、２ｂの撮像レンズ中央面と撮像面間のそれぞれの距離Ｆａ、Ｆｂから、図示する角度αａ、αｂを算定することができる。また、撮影装置１ａ、１ｂの初期設定時からの回転角ψの変化をそれぞれψａ、ψｂとすると差分Δψ＝ψａ−ψｂである。回転の方向に対する正負の符号を適切に定義することにより対象物４０に対する撮影装置１ａ、１ｂ間の視差角αはα＝αａ−αｂ＋Δψとして求めることができる。従って、Δψを対応する閾値より小さくしなくても画像Ａ、Ｂから上記のようにして視差角αを求めることにより、立体視可能な画像合成することができる。

実施形態４に係る画像取得処理では図５のステップＳ４において差分Δψの絶対値に関する判定を削除する。画像合成処理では視差角に関する上記内容の処理を含める。

実施形態４によれば、対応する閾値以上の絶対値を有する差分Δψが残った状態でも、立体視可能な画像の合成に必要な画像データを取得することができるため、被写体撮影の自由度が増え、ユーザの利便性が向上する。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
被写体を撮影し、画像として取得する撮影装置と、該撮影装置と異なる位置で前記被写体を前記撮影装置と同期して撮影し、他の画像として取得する他の撮影装置とを備える撮影システムであって、
前記撮影装置は、
前記撮影装置の動きを動き情報として取得する動き情報取得部と、
前記他の撮影装置との間で、前記撮影装置及び前記他の撮影装置で取得された前記画像の情報及び前記動き情報を含む各種情報の送受信が可能な通信部と、
各種情報を表示する表示部と、を備え、
前記他の撮影装置は、
前記他の撮影装置の動きを他の動き情報として取得する他の動き情報取得部と、
前記撮影装置との間で、前記撮影装置及び前記他の撮影装置で取得された前記画像の情報及び前記動き情報を含む各種情報の送受信が可能な他の通信部と、
各種情報を表示する他の表示部と、を備える、
ことを特徴とする撮影システム。

（付記２）
前記撮影装置は、
前記動き情報、及び該動き情報取得時に前記他の撮影装置で取得され、前記他の通信部を介して送信され、前記通信部を介して受信された前記他の動き情報に基づき、前記動き情報及び前記他の動き情報から、対応する成分毎に差分を算定し差分情報として取得する差分取得部と、
前記差分情報の前記成分毎の差分の絶対値が、前記各成分に対応する閾値よりも小さいかどうかを判定する差分判定部と、を備える、
ことを特徴とする付記１に記載の撮影システム。

（付記３）
前記表示部は、前記差分判定部により、前記成分毎の差分の絶対値がいずれも前記対応する閾値よりも小さいと判定されたとき、前記被写体の同期撮影が可能である旨の表示をし、前記成分毎の差分の絶対値の少なくとも１つが前記対応する閾値以上であると判定されたとき、前記差分情報を表示する、
ことを特徴とする付記２に記載の撮影システム。

（付記４）
前記表示部は、前記差分判定部により、前記成分毎の差分の絶対値がいずれも前記対応する閾値よりも小さいと判定されたとき、前記被写体の同期撮影が可能である旨の表示をし、
前記通信部は、前記差分判定部により、前記成分毎の差分の絶対値の少なくとも１つが前記対応する閾値以上であると判定されたとき、前記他の撮影装置に前記差分情報を送信し、
前記他の表示部は、前記他の通信部を介して受信された前記差分情報を表示する、
ことを特徴とする付記２に記載の撮影システム。

（付記５）
前記撮影装置は、所定の画像に基づき、特定の対象部位を認識し、認識された前記特定の対象部位を解析して所定方向の長さを取得する対象認識・解析部を備え、
該対象認識・解析部は、前記撮像部が前記被写体を予備撮影して取得した予備画像と、前記他の撮像部が前記被写体を予備撮影して取得し、前記他の通信部を介して送信され、前記通信部を介して受信された他の予備画像とから、それぞれで認識された前記特定の対象部位の前記所定方向の長さを取得し、
前記差分取得部は、前記予備画像と前記他の予備画像とから取得された前記特定の対象部位の前記所定方向の長さの差分を算定、取得し、
前記差分判定部は、前記所定方向の長さの差分の絶対値が、対応する閾値より小さいかどうかを判定する、
ことを特徴とする付記２乃至４のいずれか１項に記載の撮影システム。

（付記６）
前記表示部は、前記差分判定部により、前記所定方向の長さの差分の絶対値が、前記対応する閾値以上であるという判定がなされたとき、前記所定方向の長さの差分の情報を表示する、
ことを特徴とする付記５に記載の撮影システム。

（付記７）
前記通信部は、前記差分判定部により、前記所定方向の長さの差分の絶対値が、前記対応する閾値以上であるという判定がなされたとき、前記他の撮影装置に前記所定方向の長さの差分の情報を送信し、
前記他の表示部は、前記他の通信部を介して受信された前記所定方向の長さの差分の情報を表示する、
ことを特徴とする付記５に記載の撮影システム。

（付記８）
前記動き情報取得部は、前記他の撮影装置と同期して前記被写体を撮影する時の前記撮影装置の前記動き情報を撮影時動き情報として取得し、
前記他の動き情報取得部は、前記撮影装置と同期して前記被写体を撮影する時の前記他の撮影装置の前記他の動き情報を他の撮影時動き情報として取得し、
前記差分取得部は、前記撮影時動き情報と、前記他の通信部により送信され、前記通信部により受信された前記他の撮影時動き情報とから、対応する成分毎に差分を算定し、撮影時差分情報として取得し、
前記差分判定部は、前記撮影時差分情報の成分毎に、その絶対値が、前記対応する閾値より小さいかどうかを判定する、
ことを特徴とする付記２乃至７のいずれか１項に記載の撮影システム。

（付記９）
前記表示部は、前記差分判定部により、前記撮影時差分情報の成分毎の差分の絶対値の少なくとも１つが、前記対応する閾値以上であるという判定がなされたとき、前記撮影時差分情報を表示する、
ことを特徴とする付記８に記載の撮影システム。

（付記１０）
前記通信部は、前記差分判定部により、前記撮影時差分情報の成分毎の差分の絶対値の少なくとも１つが、前記対応する閾値以上であるという判定がなされたとき、前記他の撮影装置に前記撮影時差分情報を送信し、
前記他の表示部は、前記他の通信部を介して受信された前記撮影時差分情報を表示する、
ことを特徴とする付記８に記載の撮影システム。

（付記１１）
前記撮影装置は、被写体を異なる位置で同期して撮影した複数の画像から立体視可能な画像を合成する画像合成部を備え、
前記画像合成部は、前記表示部に同期撮影が可能である旨の表示がなされた後に、被写体を前記撮影装置で撮影し取得された画像と、前記被写体を前記他の撮影装置で前記撮影装置と同期して撮影し取得され、前記他の通信部を介して送信され、前記通信部を介して受信された他の画像とから立体視可能な画像を合成する、
ことを特徴とする付記３、４、６乃至１０のいずれか１項に記載の撮影システム。

（付記１２）
前記撮影装置は、前記差分判定部により、前記撮影時差分の各成分の絶対値のいずれかが前記対応する閾値以上であると判定されたとき、前記撮影時差分情報に基づき、前記画像及び前記他の画像の少なくとも一方について補正する画像補正部を備え、
前記画像合成部は、少なくとも一方が補正された、前記画像と前記他の画像とに基づき立体視可能な画像を合成する、
ことを特徴とする付記１１に記載の撮影システム。

（付記１３）
前記撮影装置及び前記他の撮影装置は、それぞれ、
前記被写体を動画として撮影して画像を取得する動画用撮影装置であり、
動画撮影中の前記被写体からの音声を収集し、それぞれ、音声情報及び他の音声情報として取得する音声収集部を備え、
前記他の通信部は、前記他の音声情報を送信し、
前記通信部は、前記他の通信部から送信された前記他の音声情報を受信し、
前記画像合成部は、立体視可能な画像の合成とともに、前記音声情報と、前記他の音声情報とから、ステレオ音声情報を生成する、
ことを特徴とする付記１１又は１２に記載の撮影システム。

（付記１４）
被写体を撮影し、画像として取得する撮影装置において、
前記撮影装置の動きを動き情報として取得する動き情報取得部と、
一又は複数の他の撮影装置との間で、前記撮影装置及び前記他の撮影装置で取得された前記画像の情報及び前記動き情報を含む各種情報の送受信が可能な通信部と、を備える、
ことを特徴とする撮影装置。

（付記１５）
被写体を撮影し、画像として取得する撮影装置、及び該撮影装置と異なる位置で前記被写体を前記撮影装置と同期して撮影し、他の画像として取得する他の撮影装置を備える撮影システムによる撮影方法であって、
前記撮影装置及び前記他の撮影装置において、前記撮影装置及び前記他の撮影装置の動きを、それぞれ動き情報及び他の動き情報として取得する動き情報取得ステップと、
前記他の動き情報を、前記他の撮影装置から送信し、前記撮影装置で受信する動き情報送受信ステップと、
前記動き情報及び前記他の動き情報から、成分毎の差分を算定し、差分情報として取得する差分情報取得ステップと、
前記成分毎の差分の絶対値が、前記各成分に対応する閾値より小さいかどうかを判定する差分判定ステップと、
該差分判定ステップで前記成分毎の差分の絶対値が、いずれも前記対応する閾値より小さいと判定されたとき、前記撮影装置の表示部に同期撮影可能である旨を表示し、前記成分毎の差分の絶対値の少なくとも１つが、前記対応する閾値以上であると判定されたとき、前記撮影装置及び前記他の撮影装置の少なくとも一方の表示部に、前記差分情報を表示する表示ステップと、
該表示ステップで同期撮影可能である旨の表示がなされた後、前記撮影装置及び前記他の撮影装置で前記被写体の同期撮影を行い、それぞれ画像及び他の画像として取得する撮影ステップと、を備える、
ことを特徴とする撮影システムによる撮影方法。

１ａ、１ｂ 撮影装置
２ａ、２ｂ 撮像部
３ａ、３ｂ 動き情報取得部
４ａ、４ｂ 通信部
５ａ、５ｂ 操作部
６ａ、６ｂ タイマ
７ａ、７ｂ 記憶部
８ａ、８ｂ ＣＰＵ
９ａ、９ｂ 表示部
１０ａ、１０ｂ 音声収集部
１１ａ 音声再生部
２０Ａ、２０Ｂ 画像
２１Ａ、２１Ｂ 補正後の画像
３０ａ、３０ｂ 位置変化情報取得部
３１ａ、３１ｂ 姿勢変化情報取得部
４０ 対象物
４０Ａ、４０Ｂ 画像中の対象物
８０ａ、８０ｂ 制御部
８１ａ 差分取得部
８２ａ 差分判定部
８３ａ 画像補正部
８４ａ 画像合成部
８５ａ、８５ｂ 対象認識・解析部
２１０Ａ 補正処理途中の画像
２１１Ａ 補正により追加する画像部位
２１２Ａ 補正により削除する画像部位

Claims (10)

1. 被写体を撮影し、画像として取得する撮影装置と、該撮影装置と異なる位置で前記被写体を前記撮影装置と同期して撮影し、他の画像として取得する他の撮影装置とを備える撮影システムであって、
   前記撮影装置は、
   前記撮影装置の動きを動き情報として取得する動き情報取得部と、
   前記他の撮影装置との間で、前記撮影装置及び前記他の撮影装置で取得された前記画像の情報及び前記動き情報を含む各種情報の送受信が可能な通信部と、
   各種情報を表示する表示部と、を備え、
   前記他の撮影装置は、
   前記他の撮影装置の動きを他の動き情報として取得する他の動き情報取得部と、
   前記撮影装置との間で、前記撮影装置及び前記他の撮影装置で取得された前記画像の情報及び前記動き情報を含む各種情報の送受信が可能な他の通信部と、
   各種情報を表示する他の表示部と、を備える、
   ことを特徴とする撮影システム。
2. 前記撮影装置は、
   前記動き情報、及び該動き情報取得時に前記他の撮影装置で取得され、前記他の通信部を介して送信され、前記通信部を介して受信された前記他の動き情報に基づき、前記動き情報及び前記他の動き情報から、対応する成分毎に差分を算定し差分情報として取得する差分取得部と、
   前記差分情報の前記成分毎の差分の絶対値が、前記各成分に対応する閾値よりも小さいかどうかを判定する差分判定部と、を備える、
   ことを特徴とする請求項１に記載の撮影システム。
3. 前記表示部は、前記差分判定部により、前記成分毎の差分の絶対値がいずれも前記対応する閾値よりも小さいと判定されたとき、前記被写体の同期撮影が可能である旨の表示をし、前記成分毎の差分の絶対値の少なくとも１つが前記対応する閾値以上であると判定されたとき、前記差分情報を表示する、
   ことを特徴とする請求項２に記載の撮影システム。
4. 前記表示部は、前記差分判定部により、前記成分毎の差分の絶対値がいずれも前記対応する閾値よりも小さいと判定されたとき、前記被写体の同期撮影が可能である旨の表示をし、
   前記通信部は、前記差分判定部により、前記成分毎の差分の絶対値の少なくとも１つが前記対応する閾値以上であると判定されたとき、前記他の撮影装置に前記差分情報を送信し、
   前記他の表示部は、前記他の通信部を介して受信された前記差分情報を表示する、
   ことを特徴とする請求項２に記載の撮影システム。
5. 前記動き情報取得部は、前記他の撮影装置と同期して前記被写体を撮影する時の前記撮影装置の前記動き情報を撮影時動き情報として取得し、
   前記他の動き情報取得部は、前記撮影装置と同期して前記被写体を撮影する時の前記他の撮影装置の前記他の動き情報を他の撮影時動き情報として取得し、
   前記差分取得部は、前記撮影時動き情報と、前記他の通信部により送信され、前記通信部により受信された前記他の撮影時動き情報とから、対応する成分毎に差分を算定し、撮影時差分情報として取得し、
   前記差分判定部は、前記撮影時差分情報の成分毎に、その絶対値が、前記対応する閾値より小さいかどうかを判定する、
   ことを特徴とする請求項２乃至４のいずれか１項に記載の撮影システム。
6. 前記表示部は、前記差分判定部により、前記撮影時差分情報の成分毎の差分の絶対値の少なくとも１つが、前記対応する閾値以上であるという判定がなされたとき、前記撮影時差分情報を表示する、
   ことを特徴とする請求項５に記載の撮影システム。
7. 前記通信部は、前記差分判定部により、前記撮影時差分情報の成分毎の差分の絶対値の少なくとも１つが、前記対応する閾値以上であるという判定がなされたとき、前記他の撮影装置に前記撮影時差分情報を送信し、
   前記他の表示部は、前記他の通信部を介して受信された前記撮影時差分情報を表示する、
   ことを特徴とする請求項５に記載の撮影システム。
8. 前記撮影装置は、被写体を異なる位置で同期して撮影した複数の画像から立体視可能な画像を合成する画像合成部を備え、
   前記画像合成部は、前記表示部に同期撮影が可能である旨の表示がなされた後に、被写体を前記撮影装置で撮影し取得された画像と、前記被写体を前記他の撮影装置で前記撮影装置と同期して撮影し取得され、前記他の通信部を介して送信され、前記通信部を介して受信された他の画像とから立体視可能な画像を合成する、
   ことを特徴とする請求項３乃至７のいずれか１項に記載の撮影システム。
9. 被写体を撮影し、画像として取得する撮影装置において、
   前記撮影装置の動きを動き情報として取得する動き情報取得部と、
   一又は複数の他の撮影装置との間で、前記撮影装置及び前記他の撮影装置で取得された前記画像の情報及び前記動き情報を含む各種情報の送受信が可能な通信部と、を備える、
   ことを特徴とする撮影装置。
10. 被写体を撮影し、画像として取得する撮影装置、及び該撮影装置と異なる位置で前記被写体を前記撮影装置と同期して撮影し、他の画像として取得する他の撮影装置を備える撮影システムによる撮影方法であって、
    前記撮影装置及び前記他の撮影装置において、前記撮影装置及び前記他の撮影装置の動きを、それぞれ動き情報及び他の動き情報として取得する動き情報取得ステップと、
    前記他の動き情報を、前記他の撮影装置から送信し、前記撮影装置で受信する動き情報送受信ステップと、
    前記動き情報及び前記他の動き情報から、成分毎の差分を算定し、差分情報として取得する差分情報取得ステップと、
    前記成分毎の差分の絶対値が、前記各成分に対応する閾値より小さいかどうかを判定する差分判定ステップと、
    該差分判定ステップで前記成分毎の差分の絶対値が、いずれも前記対応する閾値より小さいと判定されたとき、前記撮影装置の表示部に同期撮影可能である旨を表示し、前記成分毎の差分の絶対値の少なくとも１つが、前記対応する閾値以上であると判定されたとき、前記撮影装置及び前記他の撮影装置の少なくとも一方の表示部に、前記差分情報を表示する表示ステップと、
    該表示ステップで同期撮影可能である旨の表示がなされた後、前記撮影装置及び前記他の撮影装置で前記被写体の同期撮影を行い、それぞれ画像及び他の画像として取得する撮影ステップと、を備える、
    ことを特徴とする撮影システムによる撮影方法。

Images