JP2011172093A

JP2011172093A - 撮像装置

Info

Publication number: JP2011172093A
Application number: JP2010035015A
Authority: JP
Inventors: Nobuhiro Fujinawa; 展宏藤縄; Setsu Mihashi; 説三橋; Masaichi Sekiguchi; 政一関口; Koji Kuriyama; 孝司栗山; Hiroto Nagamine; 洋人長嶺; Masao Takemoto; 正生竹本; Miki Sotoyama; 幹外山
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-02-19
Filing date: 2010-02-19
Publication date: 2011-09-01
Anticipated expiration: 2030-02-19
Also published as: JP5499754B2

Abstract

【課題】複数台のカメラで協調して撮影を行う。
【解決手段】被写体の像を撮像する撮像手段と、撮像手段により撮像された画像を表示する表示手段１７と、外部撮像装置との間で通信を行う通信手段と、通信手段を介して外部撮像装置により撮像されたスルー画像を入力し、該スルー画と撮像手段により撮像されたスルー画像とを表示手段１７に同時に表示する制御手段とを備える。
【選択図】図１１

Description

本発明は撮像装置に関する。

複数のカメラで協調撮影を行うようにしたカメラシステムが知られている（例えば、特許文献１参照）。

特開２００１−００８０８９号公報

しかしながら、上述したカメラシステムでは、複数台のカメラで協調してパノラマ撮影等を行うことについての記載はない。

(１) 請求項１の発明は、被写体の像を撮像する撮像手段と、撮像手段により撮像された画像を表示する表示手段と、外部撮像装置との間で通信を行う通信手段と、通信手段を介して外部撮像装置により撮像されたスルー画像を入力し、該スルー画と撮像手段により撮像されたスルー画像とを表示手段に同時に表示する制御手段とを備える撮像装置である。
(２) 請求項２の発明は、請求項１に記載の撮像装置において、複数の画像について同一の像部分を抽出して複数の画像の重なり具合を検出する検出手段を備え、制御手段は、検出手段により外部撮像装置により撮像されたスルー画像と撮像手段により撮像されたスルー画像との重なり具合を検出し、該重なり具合に基づいて撮像手段の撮像範囲と外部撮像装置の撮像範囲との重なり具合を所定の重なり具合とさせるための操作ガイドを表示手段に表示する。
(３) 請求項３の発明は、請求項２に記載の撮像装置において、制御手段は、外部撮像装置により撮像されたスルー画像と撮像手段により撮像されたスルー画像との重なり具合が所定の重なり具合となったことを表示手段に表示する。
(４) 請求項４の発明は、請求項３に記載の撮像装置において、制御手段は、レリーズ操作が行われた場合は、撮像手段により撮像を行うとともに、通信手段を介して外部撮像装置へレリーズ信号を送信する。
(５) 請求項５の発明は、請求項３に記載の撮像装置において、制御手段は、通信手段を介して外部撮像装置からレリーズ信号を受信した場合は、撮像手段により撮像を行う。
(６) 請求項６の発明は、請求項４または請求項５に記載の撮像装置において、制御手段は、通信手段を介して外部撮像装置により撮像された画像を入力し、検出手段により外部撮像装置により撮像された画像と撮像手段により撮像された画像との重なり具合を検出し、該重なり具合に応じて撮像手段により撮像された画像の用途を決定する。
(７) 請求項７の発明は、請求項６に記載の撮像装置において、制御手段は、撮像手段により撮像された画像と外部撮像装置により撮像された画像との重なり具合が所定の重なり具合の場合は、撮像手段により撮像された画像と外部撮像装置により撮像された画像とをパノラマ画像を生成するための画像とする。
(８) 請求項８の発明は、請求項６に記載の撮像装置において、制御手段は、撮像手段により撮像された画像と外部撮像装置により撮像された画像との重なり具合が所定の重なり具合を越える場合は、撮像手段により撮像された画像と外部撮像装置により撮像された画像とを３Ｄ用画像とする。
(９) 請求項９の発明は、請求項６に記載の撮像装置において、制御手段は、撮像手段により撮像された画像と外部撮像装置により撮像された画像との重なり具合が所定の重なり具合より少ない場合は、撮像手段により撮像された画像と外部撮像装置により撮像された画像とを外部撮像装置との連携撮影画像とする。

本発明によれば、自分の撮像装置のスルー画像とペアリング相手の撮像装置のスルー画像とを見ながら互いの撮像範囲を確認でき、複数台の撮像装置でパノラマ撮影等を簡便に行うことができる。

一実施の形態の電子カメラの構成を示すブロック図一実施の形態の電子カメラの背面図一実施の形態の電子カメラの操作メニュー画面例を示す図一実施の形態の電子カメラのペアリング成立条件設定画面例を示す図一実施の形態の電子カメラのペアリング人物設定画面例を示す図一実施の形態の電子カメラのフォルダ表示画面例を示す図他の電子カメラのフォルダ表示画面例を示す図一実施の形態の電子カメラのサムネイル一覧表示例を示す図親機と子機の電子カメラのＣＰＵで実行される連携パノラマ撮影プログラムを示すフローチャート連携パノラマ撮影を行う２台の電子カメラの撮影画像の重なりを示す図連携パノラマ撮影時のモニタ画像例を示す図連携パノラマ撮影時のモニタ画像例を示す図連携パノラマ撮影時のモニタ画像例を示す図連携パノラマ撮影時のモニタ画像例を示す図

本発明をデジタルスチルカメラ（以下、ＤＳＣまたは電子カメラと呼ぶ）の画像再生に適用した一実施の形態を説明する。この一実施の形態ではコンパクトタイプの電子カメラを例に挙げて説明するが、一眼レフレックスタイプや他の電子カメラであってもよい。図１は一実施の形態の電子カメラの構成を示すブロック図である。なお、電子カメラの画像再生に直接、関係のないカメラの機器および回路の図示と説明を省略する。

図１において、電子カメラ１は撮影光学系１１、撮像素子１２、ＡＦＥ(Analog Front End)回路１３、画像処理回路１４、スピーカ駆動回路１５、スピーカ１６、ＬＣＤモニタ１７、ＲＡＭ１８、フラッシュメモリ１９、ＣＰＵ（マイクロコンピュータ）２０、メモリカードインターフェース（Ｉ／Ｆ）２１、通信制御回路２２、操作部材２３、姿勢センサ２４、音声処理回路２５、マイク２６などを備えており、これらの機器および回路がバス２７を介して接続されている。なお、メモリカードインターフェース２１にはコネクタ（不図示）を介してメモリカード５１が装着される。

撮影光学系１１は単レンズとして図示しているが、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の撮像面上に結像させる。撮像素子１２は受光面に複数の受光素子が二次元状に配列されたＣＭＯＳイメージセンサなどから構成され、撮影光学系１１により結像された被写体像を光電変換してアナログ画像信号を出力する。

ＡＦＥ回路１３はアナログ画像信号に対して相関二重サンプリングやゲイン調整などのアナログ処理を行うとともに、アナログ処理後の画像信号をデジタル画像データに変換する。画像処理回路１４はデジタル画像データに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理、画像圧縮処理、画像伸張処理など）を施す。

スピーカ駆動回路１５はＣＰＵ２０から送出された音声データから操作音、注意音、音声メッセージなどの音声再生信号を生成し、スピーカ１６を駆動して音声再生を行う。ＬＣＤモニタ１７は液晶パネルにより構成され、ＣＰＵ２０からの指示に応じて画像や操作メニュー画面などを表示する。ＲＡＭ１８はＣＰＵ２０のワークメモリとして使用されるとともに、画像処理回路１４による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する。フラッシュメモリ１９はＣＰＵ２０に実行させるプログラム（後述する連携パノラマ撮影プログラムを含む）を記憶する他に、後述する参照用データを記憶する。

ＣＰＵ２０は撮像、露出、焦点調節（ＡＦ）、画像表示などの電子カメラ１の各種動作を制御するとともに、後述する画像再生プログラムを実行して画像再生を制御する。この一実施の形態では、スルー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求めるコントラスト検出方式の焦点調節制御を行う。なお、スルー画像はライブビュー画像ともいい、撮影指示前に撮像素子１２によって所定の時間間隔（たとえば３０コマ／毎秒）で繰り返し取得されるモニタ用画像である。

メモリカードインターフェース２１はメモリカード５１に対する画像や各種情報データの書き込みや、メモリカード５１からの画像や各種情報データの読み込みを行う。この一実施の形態では半導体メモリを内蔵したメモリカード５１を例に挙げて説明するが、画像と各種情報データを記録するあらゆる種類の記録媒体を用いることができる。

通信制御回路２２は、アンテナ２２ａを介して他の電子カメラを含む外部機器との間で無線通信を行う。通信制御回路２２は、好適には、受信する信号の強度を測定したり、信号の送信範囲の制御を行うための回路、例えば、ＲＳＳＩ(Received Signal Strength Indicator)回路を備えている。通信制御回路２２はまた、人体を介して通信を行う人体通信機能を備える。具体的には、電子カメラ１の背面図２に示すように、電子カメラ１の筐体の上下左右の面においてそれぞれ送受信用電極２２ｂ〜２２ｅが露出するように配設されている。電子カメラ１の使用者と、他の電子カメラの使用者とがそれぞれ少なくとも１つの送受信用電極に触れるように電子カメラ１を片手で把持し、両使用者が電子カメラ１を把持していない他方の手で互いに握手をすることによって人体および人体間の容量結合により閉回路が形成され、両人体をアンテナとして電子カメラ間の通信を行う（再表２００６／０５４７０６号公報）。なお、通信制御回路２２は、ＣＰＵ２０からの指示に応じてケーブルを介して通信を行う有線通信機能を備えてもよい。この場合、不図示の有線ＬＡＮポート等を有する。

操作部材２３には、電子カメラの背面図２に示すように、レリーズボタン２３ａ、ズームスイッチＴ２３ｂ、Ｗ２３ｃ、モードスイッチ２３ｄ、メニュースイッチ２３ｅ、削除スイッチ２３ｆ、十字スイッチ２３ｇ、ＯＫスイッチ２３ｈなどの各種スイッチ類が含まれる。操作部材２３は使用者のモード切替え操作やメニュー選択操作など、操作部材２３の操作に応じた信号をＣＰＵ２０へ送出する。

なお、ＯＫスイッチ２３ｈは、ペアリング関係にある他の電子カメラのレリーズボタンとしても用いられる。ペアリング関係にある他の電子カメラにリモコン撮影モードが設定されている場合にＯＫスイッチ２３ｈが押下操作されると、通信制御回路２２を介してレリーズ信号が当該電子カメラに送られ、当該電子カメラで撮影動作が実行される。

姿勢センサ２４は重力の方向を検出し、ＣＰＵ２０は姿勢センサ２４により検出された重力方向により電子カメラ１の撮影姿勢を判定する。具体的には、電子カメラ１の縦位置および横位置の撮影姿勢のみならず、電子カメラ１の天地の向きも判定する。音声処理回路２５はマイク２６により集音した音声信号を増幅し、増幅後の信号をＡ／Ｄ変換回路（不図示）によってデジタル音声データに変換する。照明装置２８は夜間等の撮影時に被写体を照明するための装置である。電源回路２９は、電池５２の電源電圧を所定電圧に変換して電子カメラ１のＣＰＵ２０などの機器および回路へ供給する。レンズ駆動回路３０は、撮影レンズ１１のズームレンズを駆動して焦点距離を調節するとともに、撮影レンズ１１のフォーカシングレンズを駆動して焦点調節を行う。

電子カメラ１のＣＰＵ２０は電子カメラ１と略同様の構成を有する他の電子カメラとの間で通信を行い、複数のカメラで協調撮影可能な状態（以下、ペアリング状態と呼ぶ）を確立する。具体的には、電子カメラ１および他の電子カメラの内の一方から他方へコマンドおよびデータを送信し、これを受信した電子カメラがコマンド送信元の電子カメラへ返信して通信を確立後、後述する所定の条件を満たすことによってペアリング状態を成立させる。

このようなペアリングを行うペアリング撮影モードと、ペアリングを行わない通常撮影モードとは切り替え可能に構成される。このモード切り替えは、例えばモードスイッチ２３ｄの押下操作に応じて切り替えてもよいし、メニュースイッチ２３ｅの押下操作に応じて表示する「操作メニュー」画面の中で切り替えを行うようにしてもよい。

この一実施の形態では、「通常」、「顔識別」、「握手」、「カメラタッチ」の４種類のペアリング成立条件の中から、使用者がいずれかを選択することができる。ペアリング成立条件を選択する処理は、他の電子カメラとの間で通信を行う前に、ＣＰＵ２０によって以下の手順で行われる。メニュースイッチ２３ｅが押下操作されると、図３に示す「操作メニュー」画面をＬＣＤモニタ１７に表示する。「操作メニュー」には、複数の選択項目、例えば、「登録撮影」項目１７１、「ペアリング成立条件設定」項目１７２、「ペアリングオフタイマー」項目１７３および「ペアリング人物設定」項目１７４が含まれる。「操作メニュー」画面を表示中に十字スイッチ２３ｇが上下方向に押下操作されると、操作信号に応じて選択項目を上下に変更する。「ペアリング成立条件設定」項目１７２を選択した状態で十字スイッチ２３ｇが決定方向（右決定）に押下操作されると、図４に示す「ペアリング成立条件設定」画面をＬＣＤモニタ１７に表示する。

図４において、４種類の「ペアリング成立条件」、すなわち「通常」項目１７６、「顔識別」項目１７７、「握手」項目１７８および「カメラタッチ」項目１７９が表示される。図４に示す画面を表示中に十字スイッチ２３ｇが上下方向に押下操作されると、操作信号に応じて選択項目を上下に変更する。そして、十字スイッチ２３ｇが決定方向（右決定）に押下操作されると、その時点において選択している項目をペアリング成立条件として設定する。

ペアリング成立条件が「通常」に設定された場合は、他の電子カメラとの間の通信確立を条件にペアリングを成立させる。通信制御回路２２は、所定範囲（たとえば、１０ｍ）で通信を行うようにあらかじめ送信電力が設定されている。なお、この送信電力はメニュー操作によって例えば３ｍ、５０cmへ段階的に通信範囲を制限できるように構成されている。「通常」の条件でペアリングが成立した場合には、最初にコマンドおよびデータを送信した側の電子カメラを親機とし、それを受信した側の電子カメラを子機とする。

また、ペアリング成立条件が「顔識別」に設定された場合には、他の電子カメラとの間の通信確立後、スルー画像に含まれる人物の顔を検出して所定人物の顔か否かを識別し、所定人物の顔が識別されたことを条件にペアリングを成立させる。「顔識別」の条件でペアリングが成立した場合には、顔識別を行った側の電子カメラを親機とし、顔識別された側の電子カメラを子機とする。

ペアリングを成立させる所定人物の設定は、他の電子カメラとの間で通信を行う前に、あらかじめＣＰＵ２０によって以下のように行われる。図３に示す「操作メニュー」画面を表示中に、「ペアリング人物設定」項目１７４を選択した状態で十字スイッチ２３ｇが決定方向（右決定）に押下操作されると、図５に示す「ペアリング人物設定」画面をＬＣＤモニタ１７に表示する。そして、フラッシュメモリ１９内に記録（登録）されているすべての参照用データの中から「顔」のサムネイル画像データを読み出し、当該サムネイル画像を表示する。参照用データは、「顔」のサムネイル画像データと、当該画像データに基づいて生成された特徴量データとを含む。特徴量データは、上記「顔識別」に用いられる。「顔識別」に用いる参照用データは、あらかじめフラッシュメモリ１９内に記録（登録）されている。

図５において、人物Ａ、人物Ｂ、および人物Ｃについての「顔」のサムネイル画像がそれぞれ表示されている。各サムネイル画像の左側には、それぞれチェックボックスが表示される。たとえば、サムネイル画像１７１の左側にはチェックボックス１７２が表示される。

「ペアリング人物設定」画面を表示中に十字スイッチ２３ｇが選択方向（上下方向）に押下操作されると、操作信号に応じてカーソル１７３の表示位置を上下に移動する。ＯＫスイッチ２３ｈが押下操作された場合、カーソル１７３で囲まれているチェックボックス内にチェックマークを表示する。次に、チェックボックスにチェックマークを表示した状態でＯＫスイッチ２３ｈが押下操作されると、当該チェックボックスのチェックマークを消す。そして、「ペアリング人物設定」画面の中でチェックマークで示されるサムネイル画像の「顔」を識別対象として設定する。

また、ペアリング成立条件が「握手」に設定された場合、他の電子カメラとの間の通信確立後、上記人体通信によるデータ受信を条件にペアリングを成立させる。上述したように、通信確立した電子カメラ１および他の電子カメラの双方の使用者どうしの握手により閉回路が形成され、電子カメラどうしが所定のデータを送受してペアリングを成立させる。「握手」の条件でペアリングが成立した場合には、握手による閉回路で最初にコマンドおよびデータを送信した側の電子カメラを親機とし、それを受信した側の電子カメラを子機とする。

さらに、ペアリング成立条件が「カメラタッチ」に設定された場合、他の電子カメラとの間の通信確立後、電子カメラ間の直接接触を条件にペアリングを成立させる。上述したように、電子カメラ１の筐体の上下左右の面にはそれぞれ送受信用電極２２ｂ〜２２ｅが露出して配設されている（図２参照）。電子カメラどうしがこれら送受信用電極２２ｂ〜２２ｅのいずれかで直接接触する場合、人体を介する人体通信時に比べて閉回路のインピーダンスが低いため、大きな電流が流れる。通信制御回路２２を通してこの信号電流の発生を検知することによって、電子カメラ相互の接触を判定する。なお、通信制御回路２２は送受信用電極２２ｂ〜２２ｅの内のどの電極で接触したかを特定してＣＰＵ２０へ報知する。電子カメラどうしの接触した電極の位置関係に基づいて接触時にどちらの電子カメラが上側になっていたかを判定し、上側になっていた電子カメラを親機とし、下側になっていた電子カメラを子機とする。

いずれかの条件でペアリングが成立した場合には、ペアリングにおける親機および子機はいずれも電子カメラのＩＤなどの識別情報によりペアリング相手を管理するとともに、親機の時刻に子機の時刻を合わせる時刻合わせを行う。そして、時刻合わせのなされた親機と子機とは、ペアリング成立後、計時をそれぞれ開始する。

ペアリング成立中は、あらかじめ共有設定をしたファイルフォルダについて、その内容を相手側の電子カメラから無線通信を介して閲覧可能とする。図６は、「親機」であるＸさんの電子カメラ１のＬＣＤモニタ１７に表示された「フォルダ表示」画面の例である。図６には自分（Ｘさん）のカメラ内のフォルダが表示されている。「自分のカメラ」側の「ペアフォルダ」は、ペアリング成立中にペアリング相手（本例では子機であるＢさんの電子カメラ）に閲覧を許可するフォルダである。「自分のカメラ」側の「ペアフォルダ」内に記録されている画像ファイルは、無線通信を介して子機であるＢさんの電子カメラから閲覧できる。

図６にはまた、子機であるＢさんの電子カメラ内のフォルダも表示されている。「Ｂさんのカメラ」側の「ペアフォルダ」は、ペアリング成立中にペアリング相手（本例では親機であるＸさんの電子カメラ）に閲覧を許可するフォルダである。

図７は、子機であるＢさんの電子カメラのＬＣＤモニタに表示された「フォルダ表示」画面の例である。図７には自分（Ｂさん）のカメラ内のフォルダが表示されている。「自分のカメラ」側の「ペアフォルダ」は、ペアリング成立中にペアリング相手（本例では親機であるＸさんの電子カメラ）に閲覧を許可するフォルダである。「自分のカメラ」側の「ペアフォルダ」内に記録されている画像ファイルは、無線通信を介して親機であるＸさんの電子カメラから閲覧できる。

図７にはまた、親機であるＸさんの電子カメラ１内のフォルダも表示されている。「Ｘさんのカメラ」側の「ペアフォルダ」は、ペアリング成立中にペアリング相手（本例では子機であるＢさんの電子カメラ）に閲覧を許可するフォルダである。

なお、ペアホルダは、他の電子カメラとの間でペアリング関係が成立し、該電子カメラとペアリング撮影を行うごとに生成される。そのため、ペアホルダが複数組存在する場合も当然あり得る。複数のペアホルダにおいて、ペアリング相手が共通の場合もあるし異なる場合もあり、また同じペアリング相手であっても異なる撮影時刻（撮影年月日を含む）の場合もある。ペアホルダのプロパティには、ペアリング相手の識別情報、撮影時刻情報、フォルダ共有設定情報などが記録されている。

ペアリング成立中の電子カメラは、「自分のカメラ」側のすべてのフォルダと、ペアリング相手である「○○さんのカメラ」側の「ペアフォルダ」とを閲覧できる。フォルダ選択操作（十字スイッチ２３ｇの押下操作で選択し、ＯＫスイッチ２３ｈの押下操作で決定）が行われた場合には、選択決定したフォルダ内の画像ファイルによるサムネイル画像をＬＣＤモニタ１７に表示する。

図８はサムネイル一覧表示例を示す図である。複数のサムネイルの内の１つにカーソル１３１が表示されている。カーソル位置はサムネイル選択操作（十字スイッチ２３ｇの押下操作）で上下左右に移動自在である。ＯＫスイッチ２３ｈが押下操作された場合に、その時点でカーソルが位置するサムネイル画像に対応する再生画像をＬＣＤモニタ１７にフルスクリーン表示する。

次に、ペアリング時の撮影動作について説明する。ペアリング成立中にレリーズボタン２３ａ（図２参照）の操作があると、ＣＰＵ２０は撮影動作を実行する。ペアリング撮影時には、ペアリング関係にある複数の電子カメラで同じ被写体を撮影するが、似たような画像にならないように互いに通信を行って撮影条件を少しずつ異ならせる。例えば、一方の電子カメラが広角に設定された場合には、他方の電子カメラを自動的に望遠に設定し、ズーム比がある程度異なるようにする。この場合、電子カメラどうしの通信によりズーム比の高いレンズを備えた電子カメラを望遠に設定し、より広角側の撮影が可能なレンズを備えた電子カメラを広角に設定する。そして、広角側の方が色情報が多いことから、ホワイトバランス制御は広角側の電子カメラの画像に基づいて行うとともに、その情報を望遠側の電子カメラにフィードバックし、共通のホワイトバランス制御を実行する。

また、ペアリング関係にある複数の電子カメラ間で感度とシャッター速度を制御し、一方の電子カメラに高速のシャッター速度を設定するとともに、他方の電子カメラに低速のシャッター速度を設定し、動きのある被写体などを異なる趣で同時に撮影する。ポートレート撮影では、ある程度異なるアングルから撮影できるように撮影のガイドを行う。すなわち、スルー画像において顔認識を行い、右斜め前と左斜め前、あるいは正面と横など、それぞれ異なるアングルとなるように音声およびモニタ画像によるガイダンスを行う。

さらに、ペアリング撮影時にはペアリング関係にある複数の電子カメラ間で通信を行って相互に撮影を行う。つまり、互いに撮影時刻をずらして撮影を行うことで長時間の撮影を可能にする。動画撮影の場合には、一方の電子カメラで動画撮影を行った後、引き続いて他方の電子カメラで動画撮影を行うことによって、互いにキャッチボールしながら動画撮影を行い、撮影アングルの異なる動画を連続的に撮影することができる。同様に静止画撮影においても、一方の電子カメラで一枚または複数枚の静止画撮影を行った後、引き続いて他方の電子カメラで一枚または複数枚の静止画撮影を行うことによって、互いにキャッチボールをしながら複数枚の静止画撮影を行い、再生時に複数の電子カメラで撮影した一連の画像のスライドショーを提供することができる。

次に、ＣＰＵ２０はペアリング成立中に撮影した画像の記録動作を実行する。撮影処理前の情報および撮影処理で取得した画像データに基づいて、画像データおよび撮影情報を含むＥｘｉｆ形式の画像ファイルを生成する。Ｅｘｉｆ形式の画像ファイルは、ＪＰＥＧ画像フォーマットの画像データ内にサムネイル画像や撮影情報などのデータを埋め込むようにしたものであり、この画像ファイルをメモリカード５１へ記録する。

Ｅｘｉｆ型式の画像ファイルの構造は、画像の付属情報を記録するヘッダ領域と撮影画像データを記録する画像データ領域とを有する。ＣＰＵ２０は、画像ファイル内のヘッダ領域（タグ領域）に、ペアリング成立中に撮影した画像であることを示す情報を記録する。ペアリング成立中に撮影した画像であることを示す情報は、ペアリングの相手の識別情報（カメラＩＤなど）および時刻合わせ後の計時に基づく撮影時刻情報を含む。なお、ペアリング成立中に撮影した画像であることを示す情報は、画像ファイルのヘッダ領域に記録する代わりに、画像ファイルに関連付けた別ファイルとして記録してもよい。

次に、２台の電子カメラ１による連携パノラマ撮影について説明する。なお、この一実施の形態では図１に示す電子カメラ１を２台用いて連携パノラマ撮影（協調パノラマ撮影）を行う例を示すが、上記電子カメラ１と同様な機能を有する電子カメラであれば同様に連携パノラマ撮影を行うことができる。

連携パノラマ撮影は、他の電子カメラ１との間で上述したいずれかのペアリング成立条件を満たし、ペアリング関係が成立して電子カメラ１のＩＤなどの識別情報によりペアリング相手を識別可能な状態にあり、ペアリング成立時に決定された親機の時刻に子機の時刻を合わせる時刻合わせが完了している状態で行う。

図９は、親機と子機の電子カメラ１のＣＰＵ２０で実行される連携パノラマ撮影プログラムを示すフローチャートである。電子カメラ１のＣＰＵ２０は、所定時間ごとにこの連携パノラマ撮影プログラムを実行する。親機または子機の電子カメラ１において、図３に示す操作メニュー画面から連携パノラマ撮影モードが選択され、ＯＫスイッチ２３ｈの押下操作があると、上述した他の電子カメラ１との間のペアリング成立を条件に連携パノラマ撮影モードが設定される。

なお、この一実施の形態では他の電子カメラ１との間でペアリング関係が成立している状態で連携パノラマ撮影を実行する例を示すが、他の電子カメラ１との間でペアリング関係が成立していない状態で連携パノラマ撮影モードを設定した場合には、他の電子カメラ１との間で上述したいずれかのペアリング成立処理を行い、ペアリング成立を条件に連携パノラマ撮影モードを設定する。

ステップ１において連携パノラマ撮影モードが設定されたか否かを確認し、設定された場合はステップ２へ進む。ステップ２では通信制御回路２２を介して連携パノラマ撮影の要求コマンドをペアリング相手の電子カメラ１へ送信する。この要求コマンドには自身の電子カメラ１の識別情報が含まれており、要求コマンドを受信した電子カメラ１のＣＰＵ２０は連携パノラマ撮影を要求しているのがペアリング相手か否かを確認することができる。また、要求コマンドには要求元カメラの焦点距離情報が含まれており、この焦点距離情報に基づいてペアリング相手の電子カメラ１は撮影レンズ１１の焦点距離を要求元カメラの焦点距離に合わせることができる。

ステップ３でペアリング相手の電子カメラ１から連携パノラマ撮影要求に対する受諾信号を受信したか否かを確認し、受諾信号を受信したらステップ８へ進む。この受諾信号にはペアリング相手の電子カメラ１の識別信号が含まれており、連携パノラマ撮影の要求元の電子カメラ１のＣＰＵ２０は、連携パノラマ撮影要求を受諾したのがペアリング相手か否かを確認することができる。

一方、ステップ１でパノラマ撮影モードが設定されていない場合はステップ４へ進み、ペアリング相手の電子カメラ１から連携パノラマ撮影の要求コマンドを受信したか否かを確認する。自身の電子カメラ１に連携パノラマ撮影モードが設定されておらず、またペアリング相手の電子カメラ１から連携パノラマ撮影の要求コマンドを受信していない場合は、この連携パノラマ撮影プログラムの実行を終了する。

自身の電子カメラ１には連携パノラマ撮影モードが設定されていないが、ペアリング相手の電子カメラ１から連携パノラマ撮影の要求コマンドを受信した場合はステップ５へ進む。この要求コマンドには連携パノラマ撮影の要求元カメラの識別情報が含まれており、要求コマンドを受信した電子カメラ１のＣＰＵ２０は連携パノラマ撮影を要求しているのがペアリング相手か否かを確認することができる。また、要求コマンドには要求元カメラの焦点距離情報が含まれており、この焦点距離情報に基づいて電子カメラ１は撮影レンズ１１の焦点距離を要求元カメラの焦点距離に合わせることができる。

ステップ５でＬＣＤモニタ１７にペアリング相手の電子カメラ１から連携パノラマ撮影の要求がある旨の表示を行い、受諾するか否かを確認する。この表示には要求元の電子カメラ１の識別情報が含まれており、ペアリング相手か否かを確認することができる。電子カメラ１の所有者が連携パノラマ撮影の要求を受諾するためにＯＫスイッチ２３ｈ（図２参照）を押下操作すると、ステップ６で通信制御回路２２を介して受諾信号を送信する。一方、所定時間の間にＯＫスイッチ２３ｈの押下操作がなく、連携パノラマ撮影要求を受諾しないと判断される場合はステップ７へ進み、通信制御回路２２を介して要求拒否信号を送信する。

連携パノラマ撮影の要求が受諾された場合、または連携パノラマ撮影の要求を受諾した場合は、ステップ８でパノラマガイド処理を実行する。このパノラマガイド処理に先立ち、連携パノラマ撮影の要求を受諾した電子カメラ１は、要求コマンドに含まれる焦点距離情報によりレンズ駆動回路３０を制御して撮影レンズ１１のズームレンズの焦点距離を要求元カメラの焦点距離に合わせる。これにより、連携パノラマ撮影を行う複数のペアリングカメラは同一の焦点距離で連携パノラマ撮影を行うことができる。

図１０は、連携パノラマ撮影を行う２台の電子カメラ、すなわちＸさんの電子カメラ１の撮影画像（図中に実線枠で示す）と、Ｂさんの電子カメラ１の撮影画像（図中に破線枠で示す）の重なり状態を示す。二つの撮影画像の重なりとは、２台の電子カメラ１の撮影画面が重なって、二つの撮影画像の中に図１０に斜線部で示すような同一の像部分（図中の斜線部）が存在することを意味する。二つの撮影画像から同一の像部分を抽出するには、例えば一方の撮影画像の一部または全部を基準パターンとして他方の撮影画像との間でパターンマッチングを行うなどの手法がある。２台の電子カメラ１の画像の重なり具合を水平方向と垂直方向に分け、どちらも完全に重なった状態を１００％とした場合に、例えば、水平方向の重なりが１０〜８０％で、かつ垂直方向の重なりが８０％以上の場合に、パノラマ撮影が可能な重なり具合とする。

連携パノラマ撮影のパノラマガイド処理では、図１１〜図１４に示すように、自分の電子カメラ１のＬＣＤモニタ１７には自分のカメラのスルー画像と、ペアリング相手の電子カメラ１から通信制御回路２２を介して入力したペアリング相手の電子カメラ１のスルー画像とを並べて表示する。図１１および図１３は、連携パノラマ撮影時にＸさんの電子カメラ１のＬＣＤモニタ１７に表示されたスルー画像を示す。また、図１２および図１４はＢさんの電子カメラ１のＬＣＤモニタ１７に表示されたスルー画像を示す。

ＣＰＵ２０は、自分の電子カメラ１のスルー画像とペアリング相手の電子カメラ１のスルー画像に対してそれぞれ輪郭抽出処理を行い、抽出した輪郭に基づいて二つのスルー画像の重なり、つまり二つのスルー画像の中の同一画像の部分を検出する。そして、重なり具合が上述したパノラマ撮影可能な重なり具合となるように、それぞれの電子カメラ１のＬＣＤモニタ１７のスルー画像に“パノラマガイド”を重畳して表示する。図１１に示す例では、Ｘさんの電子カメラ１のＬＣＤモニタ１７にカメラの向きを右方向へ変えることを促す“→”マークが表示され、図１２に示す例では、Ｂさんの電子カメラ１のＬＣＤモニタ１７にカメラの向きを左方向へ変えることを促す“←”マークが表示されている。この場合、２台の電子カメラ１のパノラマガイドの指示方向は互いに異なる方向になっている。

ところで、連携パノラマ撮影を行う２台の電子カメラ１は、被写体に対して左右いずれの側に位置しているのかを検出し、検出結果に基づいてパノラマガイドの左右の方向指示を行うのが望ましいが、この一実施の形態では、二つのスルー画像の輪郭抽出による重なり部分がそれぞれのスルー画像の右側にあるのか、または左側にあるのかを判別し、重なり具合がパノラマ撮影可能な範囲となる移動方向を決定する。例えば、重なりが右側にあって重なりを減らす必要がある場合は左方向の矢印マークを表示し、重なりを増やす必要がある場合は右方向の矢印マークを表示する。

なお、連携パノラマ撮影を行う２台の電子カメラ１の被写体に対する配置を検出せずに連携パノラマ撮影を行うと、被写体に対して実際には左側にあるカメラが被写体の右方向を撮影し、被写体に対して実際には右側にあるカメラが被写体の左方向を撮影する。つまり２台の電子カメラ１の撮影方向が交差することがあるが、このような場合でも両者の画像が所定の重なり具合の範囲内にあれば問題のないパノラマ画像を撮影することができる。

図１１および図１２に示すパノラマガイド例では、左右の重なりをパノラマ撮影可能な重なり具合となるように指示する矢印マークの表示例を示すが、二つのスルー画像に上下方向の“ずれ”がある場合にも同様に、重なり具合を増やすことを促すための“↑”マークまたは“↓”マークが表示される。なお、連携パノラマ撮影を行う２台の電子カメラ１のいずれか一方、例えば連携パノラマ撮影の要求元の電子カメラ１、または親機となる電子カメラ１のＬＣＤモニタ１７だけにパノラマガイドの矢印マークを表示し、撮影範囲を変えるようにガイドしてもよい。

パノラマガイドはＬＣＤモニタ１７上にガイド表示するだけでなく、スピーカ駆動回路１５とスピーカ１６（図１参照）による音声ガイドを併用してもよい。あるいは表示ガイドに代えて音声ガイドを行うようにしてもよい。

ステップ１０において、Ｘさんの電子カメラ１とＢさんの電子カメラ１がパノラマガイドにしたがって向きが変えられ、水平方向の重なりが１０〜８０％で、かつ垂直方向の重なりが８０％以上のパノラマ撮影可能な重なり具合になった場合に、図１３および図１４に示すように、二つの電子カメラ１のＬＣＤモニタ１７に“ＯＫ”マークを表示する。

ステップ１１でレリーズボタン２３ａ（図２参照）が押下操作され、シャッターがレリーズされたか否かを確認する。レリーズされた場合はステップ１２へ進み、所定の自動露出演算（ＡＥ）および自動焦点調節（ＡＦ）を行う。続くステップ１３では、通信制御回路２２を介してペアリング相手の電子カメラ１にレリーズ信号と撮影条件を送信する。

２台の電子カメラ１で連携パノラマ撮影を行う場合には、共通の撮影条件で行うのが望ましい。この一実施の形態では連携パノラマ撮影の要求元の電子カメラ１で設定された撮影条件を共通の撮影条件とし、ペアリング相手の電子カメラ１に共通の撮影条件を設定させる。共通の撮影条件にはシャッター速度、絞り値、感度、焦点距離、ホワイトバランス調整値、画質調整値などが含まれる。なお、ペアリング成立時の親機の撮影条件を共通の撮影条件としてもよい。

ステップ１１でレリーズボタン２３ａの押下操作がない場合はステップ１４へ進み、ペアリング相手の電子カメラ１からレリーズ信号と撮影条件を受信したか否かを確認する。受信していない場合はステップ１１へ戻って上述した処理を行い、レリーズ信号と撮影条件を受信した場合はステップ１５へ進む。ステップ１５で所定の自動露出演算（ＡＥ）および自動焦点調節（ＡＦ）を行った後、ステップ１６で受信した共通の撮影条件を設定する。

ステップ１７において撮像素子１２（図１参照）により共通の撮影条件で撮像を行い、続くステップ１８では撮像素子１２からＡＦＥ回路１３を介して画像データを読み出し、画像処理回路１４により所定の画像処理を行う。

ステップ１９において、通信制御回路２２を介してペアリング相手の電子カメラ１から連携パノラマ撮影結果の画像を入力する。ステップ２０では、自身の電子カメラ１による連携パノラマ撮影結果の画像と、ペアリング相手の電子カメラ１による連携パノラマ撮影結果の画像の輪郭抽出処理を行い、抽出した輪郭に基づいて二つの画像の重なり具合を検出する。

２台の電子カメラ１で連携してパノラマ撮影を行うときには、連携パノラマ撮影の要求元または親機の電子カメラ１でのレリーズ操作により直ちに撮像を行うとともに、ペアリング相手に無線通信を介してレリーズ信号を送信し、ペアリング相手の電子カメラ１で撮像を行わせる手順となるため、２台の電子カメラ１の間でわずかのレリーズタイムラグが発生する。このタイムラグの間に互いの電子カメラ１の構図が変化する可能性があり、撮影結果の２枚の画像が上述した所定の重なり範囲内、つまり水平方向の重なりが１０〜８０％で、かつ垂直方向の重なりが８０％以上になっているか否かを確認する必要がある。

表１に、連携パノラマ撮影結果の二つの画像の重なり具合を評価する一実施の形態の基準を示す。

２枚の画像において、水平方向の重なりが１０〜８０％で、かつ垂直方向の重なりが８０％以上になっていればパノラマ画像とする。しかし、水平方向と垂直方向の重なりがともに８０％以上の場合は“３Ｄ画像”とし、またパノラマ画像および３Ｄ画像以外の重なり具合の画像はすべて個別画像とする。

水平方向および垂直方向ともに画像の重なりが大きい画像は、３Ｄ画像を表示可能なディスプレイを備えた機器において、３Ｄ用の画像処理を施して再生すると立体的な画像を表示することができるため、３Ｄ用画像として取り扱う。また、水平方向または垂直方向の重なりが少ない画像は、パノラマ画像および３Ｄ画像に適さないため、ペアリング成立時に個別に撮影した画像として取り扱う。

ステップ２１において、連携パノラマ撮影において得られたペアリングどうしの画像がパノラマ画像に適合しているか否かを判別し、適合していればステップ２２へ進み、所定のパノラマ画像処理を施す。このパノラマ画像処理は周知であり、詳細な説明を省略する。一方、パノラマ画像に適していない場合は、上述したように３Ｄ画像または個別画像として処理する。

ステップ２４では画像処理後の画像データを含む画像ファイルを生成し、続くステップ２５で画像ファイルを記憶媒体５１のペアホルダに記録する。なお、画像ファイルのヘッダ領域には、ペアリング相手のカメラＩＤなどの識別情報、撮影時刻、画像評価結果（パノラマ画像または３Ｄ画像または個別画像の別）などが記録される。

なお、パノラマ画像処理および３Ｄ画像処理は電子カメラ１内で行わず、画像再生機器やパソコンなどに転送した後、ヘッダ領域に記録されている上記画像評価結果にしたがって処理するようにしてもよい。

また、上述した一実施の形態では２台の電子カメラで連携パノラマ撮影を行う例を示したが、本発明の連携パノラマ撮影機能により３台またはそれ以上の電子カメラで連携してよりワイドなパノラマ撮影を行うことも可能である。

上述した一実施の形態では本発明の連携パノラマ撮影機能を電子カメラに搭載した例を示したが、少なくとも撮像機能と通信機能を装備した携帯電話機やモバイルＰＣなどの電子機器に本発明の連携パノラマ撮影機能を搭載してもよい。

なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。

上述した一実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、被写体の像を撮像する撮像素子１２と、撮像素子１２により撮像された画像を含む情報を表示するＬＣＤモニタ１７と、外部の電子カメラとの間で通信を行う通信制御回路２２と、通信制御回路２２を介して外部電子カメラにより撮像されたスルー画像を入力し、このスルー画と撮像素子１２により撮像されたスルー画像とをＬＣＤモニタ１７に表示するＣＰＵ２０とを備えたので、ＬＣＤモニタ１７で自分の電子カメラのスルー画像とペアリング相手の電子カメラのスルー画像とを見ながら互いの撮像範囲を確認でき、複数台の電子カメラでパノラマ撮影を簡便に行うことができる。また、１台の電子カメラで撮像範囲を変えながら複数回の撮影を行ってパノラマ画像を撮る場合と比較して、複数台のカメラでほぼ同時にパノラマ撮影を行うことができるので、動きのある被写体でもパノラマ撮影を行うことができる。

また、一実施の形態とその変形例によれば、外部の電子カメラにより撮像されたスルー画像と撮像素子１２により撮像されたスルー画像との同一の像部分を検出して二つのスルー画像の重なり具合を検出し、この重なり具合に基づいて撮像素子１２の撮像範囲と外部電子カメラの撮像範囲との重なり具合を所定の重なり具合とさせるための操作ガイド（パノラマガイド）をＬＣＤモニタ１７に表示するようにしたので、連携パノラマ撮影を行うそれぞれの電子カメラの撮影者に対して適切な撮像範囲を指示することができ、複数台の電子カメラで適切なパノラマ撮影を簡便に行うことができる。

一実施の形態とその変形例によれば、二つのスルー画像の重なり具合が所定の重なり具合となったことをＬＣＤモニタ１７に表示するようにしたので、連携パノラマ撮影を行う電子カメラの撮影者に対してパノラマ撮影の適切なレリーズタイミングを報知でき、複数台の電子カメラで適切なパノラマ撮影を簡便に行うことができる。

一実施の形態とその変形例によれば、二つのスルー画像の重なり具合が所定の重なり具合となったときにレリーズ操作が行われた場合は、撮像素子１２により撮像を行うとともに、通信制御回路２２を介して外部の電子カメラへレリーズ信号を送信するようにしたので、複数台の電子カメラで適切なパノラマ撮影を簡便に行うことができる。

一実施の形態とその変形例によれば、二つのスルー画像の重なり具合が所定の重なり具合となったときに外部の電子カメラからレリーズ信号を受信した場合は、撮像素子１２により撮像を行うようにしたので、外部の電子カメラからの指示によっても適切なパノラマ撮影を簡便に行うことができる。

一実施の形態とその変形例によれば、通信制御回路２２を介して外部電子カメラにより撮像された画像を入力し、外部電子カメラにより撮像された画像と撮像素子１２により撮像された画像との同一の像部分を検出して二つの画像の重なり具合を検出し、この重なり具合に応じて二つの画像の用途を決定するようにしたので、複数台の電子カメラによる連携パノラマ撮影で実際に撮像された二つの画像がパノラマ画像に適するのか、あるいは他の用途に適するかを適切に判断し、最適な用途に用いることができる。

一実施の形態とその変形例によれば、撮像素子１２による画像と外部電子カメラによる画像との重なり具合が所定の重なり具合の場合は、二つの画像をパノラマ画像を生成するための画像としたので、複数台の電子カメラによる連携パノラマ撮影で実際に撮像された二つの画像から適切なパノラマ画像を生成することができる。

一実施の形態とその変形例によれば、撮像素子１２による画像と外部電子カメラによる画像との重なり具合が所定の重なり具合を越える場合は、二つの画像を３Ｄ用画像としたので、複数台の電子カメラによる連携パノラマ撮影で実際に撮像された二つの画像から不適切なパノラマ画像が生成されるのを防止でき、それらの画像を最適な目的の画像として利用することができる。

一実施の形態とその変形例によれば、撮像素子１２による画像と外部電子カメラによる画像との重なり具合が所定の重なり具合より少ない場合は、二つの画像を外部電子カメラとの連携撮影画像としたので、複数台の電子カメラによる連携パノラマ撮影で実際に撮像された二つの画像から不適切なパノラマ画像が生成されるのを防止でき、それらの画像を単なる連携撮影画像として利用することができる。

１；電子カメラ、１２；撮像素子、１７；ＬＣＤモニタ、２０；ＣＰＵ、２２；通信制御回路

Claims

被写体の像を撮像する撮像手段と、
前記撮像手段により撮像された画像を表示する表示手段と、
外部撮像装置との間で通信を行う通信手段と、
前記通信手段を介して前記外部撮像装置により撮像されたスルー画像を入力し、該スルー画と前記撮像手段により撮像されたスルー画像とを前記表示手段に同時に表示する制御手段とを備えることを特徴とする撮像装置。
請求項１に記載の撮像装置において、
複数の画像について同一の像部分を抽出して前記複数の画像の重なり具合を検出する検出手段を備え、
前記制御手段は、前記検出手段により前記外部撮像装置により撮像された前記スルー画像と前記撮像手段により撮像された前記スルー画像との重なり具合を検出し、該重なり具合に基づいて前記撮像手段の撮像範囲と前記外部撮像装置の撮像範囲との重なり具合を所定の重なり具合とさせるための操作ガイドを前記表示手段に表示することを特徴とする撮像装置。
請求項２に記載の撮像装置において、
前記制御手段は、前記外部撮像装置により撮像された前記スルー画像と前記撮像手段により撮像された前記スルー画像との重なり具合が前記所定の重なり具合となったことを前記表示手段に表示することを特徴とする撮像装置。
請求項３に記載の撮像装置において、
前記制御手段は、レリーズ操作が行われた場合は、前記撮像手段により撮像を行うとともに、前記通信手段を介して前記外部撮像装置へレリーズ信号を送信することを特徴とする撮像装置。
請求項３に記載の撮像装置において、
前記制御手段は、前記通信手段を介して前記外部撮像装置からレリーズ信号を受信した場合は、前記撮像手段により撮像を行うことを特徴とする撮像装置。
請求項４または請求項５に記載の撮像装置において、
前記制御手段は、前記通信手段を介して前記外部撮像装置により撮像された画像を入力し、前記検出手段により前記外部撮像装置により撮像された画像と前記撮像手段により撮像された画像との重なり具合を検出し、該重なり具合に応じて前記撮像手段により撮像された画像の用途を決定することを特徴とする撮像装置。
請求項６に記載の撮像装置において、
前記制御手段は、前記撮像手段により撮像された前記画像と前記外部撮像装置により撮像された前記画像との重なり具合が前記所定の重なり具合の場合は、前記撮像手段により撮像された前記画像と前記外部撮像装置により撮像された前記画像とをパノラマ画像を生成するための画像とすることを特徴とする撮像装置。
請求項６に記載の撮像装置において、
前記制御手段は、前記撮像手段により撮像された前記画像と前記外部撮像装置により撮像された前記画像との重なり具合が前記所定の重なり具合を越える場合は、前記撮像手段により撮像された前記画像と前記外部撮像装置により撮像された前記画像とを３Ｄ用画像とすることを特徴とする撮像装置。
請求項６に記載の撮像装置において、
前記制御手段は、前記撮像手段により撮像された前記画像と前記外部撮像装置により撮像された前記画像との重なり具合が前記所定の重なり具合より少ない場合は、前記撮像手段により撮像された前記画像と前記外部撮像装置により撮像された前記画像とを前記外部撮像装置との連携撮影画像とすることを特徴とする撮像装置。