JP2012070362A - 撮像装置及び撮像システム - Google Patents

Abstract

【課題】複数台の撮像装置が連動して撮影した画像を自動的に合成する撮像装置及び撮像システムを提供する。
【解決手段】撮像装置１は、撮像部１２と、他の撮像部１２に、撮影の指示を送信する撮影通知送信部１３１と、他の撮像部１２が撮影の指示に応じて撮像した、画像を受信する画像受信部１３４と、画像受信部１３４が受信した画像と、撮像部１２が撮像した画像とを合成する合成部１７２とを備える。
【選択図】図２

Description

本発明は、撮像装置及び撮像システムに関する。

現在、他のカメラと連動して撮影を行うデジタルカメラが提案されている。特許文献１においては、２台のデジタルカメラが連動して連写撮影をすることにより１台のデジタルカメラでの連写撮影に比べより高速の連写撮影をすることができるデジタルカメラが開示されている。

特開２００４−２３５７８２号公報

しかしながら、特許文献１に記載の技術を用いて複数台のデジタルカメラで撮影された画像を合成しようとする場合、例えばユーザがパーソナルコンピュータにて画像処理ソフト等を用いて行うなどの後処理を行わなければならず、手間が掛かるという問題がある。

本発明は上記の点に鑑みてなされたものであり、その目的は、複数台の撮像装置が連動して撮影した画像を簡便に合成する撮像装置及び撮像システムを提供することにある。

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、撮像部と、他の撮像部に、撮影の指示を送信する送信部と、前記他の撮像部が前記撮影の指示に応じて撮像した、画像の部分領域を受信する受信部と、前記受信部が受信した画像の部分領域と、前記撮像部が撮像した画像の部分領域とを合成する合成部とを備えることを特徴とする撮像装置である。

また、本発明の一態様は、撮像部と、他の撮像部に、撮影の指示を送信する送信部と、前記他の撮像部が前記撮影の指示に応じて撮像した、画像を受信する受信部と、前記受信部が受信した画像の部分領域と、前記撮像部が撮像した画像の部分領域とを合成する合成部とを備えることを特徴とする撮像装置である。

また、本発明の一態様は、第１の撮像部と、第２の撮像装置に、撮影の指示を送信する第１の送信部と、前記第２の撮像装置が前記撮影の指示に応じて撮像した、画像の部分領域を受信する第1の受信部と、前記第１の受信部が受信した画像の部分領域と、前記第１の撮像部が撮像した画像の部分領域とを合成する合成部とを備える第１の撮像装置と、前記第１の撮像装置から、前記撮影の指示を受信する第２の受信部と、前記第２の受信部が撮影の指示を受信すると、光学系による像を撮像する第２の撮像部と、前記第２の撮像部が撮像した画像の部分領域を前記第１の撮像装置に送信する第２の送信部とを備える第２の撮像装置とを有することを特徴とする撮像システムである。

また、本発明の一態様は、第１の撮像部と、第２の撮像装置に、撮影の指示を送信する第１の送信部と、前記第２の撮像装置が前記撮影の指示に応じて撮像した、画像を受信する第1の受信部と、前記第１の受信部が受信した画像の部分領域と、前記第１の撮像部が撮像した画像の部分領域とを合成する合成部とを備える第１の撮像装置と、前記第１の撮像装置から、前記撮影の指示を受信する第２の受信部と、前記第２の受信部が撮影の指示を受信すると、光学系による像を撮像する第２の撮像部と、前記第２の撮像部が撮像した画像を前記第１の撮像装置に送信する第２の送信部とを備える第２の撮像装置とを有することを特徴とする撮像システムである。

また、本発明の一態様は、他の撮像部から、撮影の指示を受信する受信部と、前記受信部が撮影の指示を受信すると、光学系による像を撮像する撮像部と、前記撮像部が撮像した画像の部分領域を前記他の撮像部に送信する送信部とを備えることを特徴とする撮像装置である。

本発明によれば、複数の撮像装置が連動して撮影した画像を簡便に合成することができる。

第１の実施形態による撮像システムの構成を示すブロック図である。 第１の実施形態による撮像装置の構成を示すブロック図である。 第１の実施形態による撮像処理の手順を示すフローチャートである。 第１の実施形態による撮影画像、転送画像及び合成画像の表示例を表すイメージ図である。 第２の実施形態による撮像システムの構成を示すブロック図である。 第２の実施形態による撮像装置の構成を示すブロック図である。 第２の実施形態による撮像処理の手順を示すフローチャートである。 第３の実施形態による撮像システムの構成を示すブロック図である。 第３の実施形態による撮像処理の手順を示すフローチャートである。 複数の撮像装置が撮影した画像の他の合成例を示すイメージ図である。 画像合成を指示する操作の一例を示すイメージ図である。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像システムの構成を示すブロック図である。
図１に示すとおり、撮像システムは、互いに通信を行う複数の撮像装置として、第１の撮像装置１００と第２の撮像装置２００とを含んで構成される。

第１の撮像装置１００は、第１の操作部１５０と、第１の撮像部１２０と、第１のメモリ部１８０と、撮影通知送信部（送信部）１３１と、第１の無線部１６０と、画像受信部（受信部）１３４と、人物領域抽出部１７１と、合成部１７２と、合成画像配信部１３５とを含んで構成される。
第１の操作部１５０は、例えば、電源スイッチ、シャッターボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザからの操作入力を受け付ける。第１の撮像部１２０は、光学系による光学像を撮像素子に結像させて光学像に基づく画像データを生成して、撮影（撮像）を行う。第１のメモリ部１８０は、第１の撮像部１２０が生成した画像データを記憶する。第１の無線部１６０は、第２の撮像装置２００と無線にて通信を行う。撮影通知送信部１３１は、シャッターボタン等を介してユーザから撮影指示が入力されると、第１の無線部１６０を介して第２の撮像装置２００に撮影通知を送信する。撮影通知とは、撮影を行うことを通知する（撮影を指示する）データである。画像受信部１３４は、第１の無線部１６０を介して第２の撮像装置２００から、撮影通知送信部１３１が送信した撮影通知に応じて第２の撮像装置２００が撮影した画像データを受信する。

人物領域抽出部１７１は、第１のメモリ部１８０に記憶されている画像データ及び画像受信部１３４が受信した画像データから、人物に対応する（人物を含む）領域（以下、人物領域とする）を抽出する。具体的には、まず、人物領域抽出部１７１は、例えば、パターン認識を利用した顔認識処理を行い、画像データ内に含まれる人物の顔に対応する画像領域を検出する。具体的に説明すると、人物領域抽出部１７１は、画像データに対して画像処理を行い画像の特徴量を算出する。この人物領域抽出部１７１は、第１のメモリ部１８０に記憶されている人物の顔を表わす画像の特徴量を参照して、この顔を表わす画像の特徴量と画像データの特徴量との差分が、両者が類似する範囲として許容される許容範囲内にあるか否かを判断する。この人物領域抽出部１７１は、この差分が許容範囲内にある画像領域を画像データ内に含まれる人物の顔に対応する画像領域（以下、顔領域とする）として検出する。次に、人物領域抽出部１７１は、画像データから色情報や輝度情報を抽出し、似た色の被写体のある領域、あるいは近い輝度の被写体の存在する領域をグループ化する。次に、人物領域抽出部１７１は、検出した顔領域から推定される人物の体に対応する位置にあるグループを人物の体に対応する画像領域（以下、体領域とする）として検出する。そして、人物領域抽出部１７１は検出した顔領域と体領域とを合わせて人物領域とする。

合成部１７２は、画像受信部１３４が受信した画像データ（以下、転送画像データとする）と、第１の撮像部１２０が生成した画像データ（以下、撮影画像データとする）とを合成して合成画像データを生成する。具体的には、合成部１７２は、人物領域抽出部１７１が転送画像データから抽出した人物領域を、撮影画像データにおける人物領域以外の領域に重畳する。このとき、合成部１７２は、転送画像データから抽出した人物領域を、撮影画像データにおける人物領域に隣接する領域のうち、広い領域に重畳する。合成画像配信部１３５は、第１の無線部１６０を介して、合成部１７２が生成した合成画像データを第２の撮像装置２００に送信する。

第２の撮像装置２００は、第２の無線部２６０と、撮影通知受信部１３２と、第２の撮像部２２０と、第２のメモリ部２８０と、画像送信部１３３とを含んで構成される。
第２の無線部２６０は、第１の撮像装置１００と無線にて通信を行う。撮影通知受信部１３２は、第２の無線部２６０を介して第１の撮像装置１００から撮影通知を受信する。
第２の撮像部２２０は、撮影通知受信部１３２が撮影通知を受信すると、光学系による光学像を撮像素子に結像させて光学像に基づく画像データを生成して、撮影（撮像）を行う。第２のメモリ部２８０は、第２の撮像部２２０が生成した画像データを記憶する。画像送信部１３３は、第２の撮像部２２０が生成した画像データを、第２の無線部２６０を介して第１の撮像装置１００に送信する。

以下、第１の撮像装置１００と第２の撮像装置２００とが、第１の無線部１６０と第２の無線部２６０を介して、例えば無線ＬＡＮ（Local Area Network）等により互いに通信を行う状態（例えば、無線を行うための電波が届く範囲に両者が存在している状態）にあるものを例に説明する。
撮像システムは、第１の撮像装置１００が被写体を撮影する際に撮影通知を第２の撮像装置２００に送信することにより、第１の撮像装置１００と第２の撮像装置２００とがほぼ同時に撮影を行うものである。更に、第２の撮像装置２００が、撮像した画像データを第１の撮像装置１００に送信すると、第１の撮像装置１００は、第１の撮像装置１００が撮影した撮影画像データと第２の撮像装置２００が撮影した転送画像データを合成して合成画像データを生成する。

以下、図２を用いて、第１の撮像装置１００及び第２の撮像装置２００に適用可能な撮像装置１の構成例について説明する。図２は、本実施形態による撮像装置１の構成を示すブロック図である。
撮像装置１は、第１の撮像装置１００及び第２の撮像装置２００のどちらの機能も有しており、場面に応じて第１の撮像装置１００として動作することも、第２の撮像装置２００として動作することもできる。なお、図１に示す第１の撮像装置１００及び第２の撮像装置２００と共通する構成要素については、同一の符号を付して詳細な説明は省略する。

撮像装置１は、光学系による像を撮像し、得られた画像データを記憶媒体５０に記憶させる。撮像装置１は、光学系１１と、撮像部１２（第１の撮像部１２０と第２の撮像部２２０とを含む）と、ＣＰＵ（Central Processing Unit）１３と、バッファメモリ部１４と、操作部（第１の操作部１５０を含む）１５と、無線部（第１の無線部１６０と第２の無線部２６０とを含む）１６と、画像処理部１７と、メモリ部（第１のメモリ部１８０と第２のメモリ部２８０とを含む）１８と、Ｉ／Ｆ（インターフェース）部１９とを含んで構成される。

光学系１１は、撮像制御情報に従ってレンズを駆動し、レンズから撮像部１２が含む撮像素子１２１に入射する光の光量や合焦位置を調整して、入射光を撮像素子１２１の受光面に結像させる。撮像部１２は、撮像素子１２１とＡ／Ｄ変換部１２２を含んで構成される。撮像素子１２１は、撮像制御条件に基づく露出時間で、受光面に結像した画像を光電変換する。ここで、撮像制御条件は、画像を撮像する際に利用される複数の設定値（例えば、絞り値、ＩＳＯ感度、ＡＥ（ automatic exposure ）補正値、フォーカス値、シャッタースピード、撮像感度、ストロボの発光状態の情報等）を含む。Ａ／Ｄ変換部１２２は、撮像素子１２１から出力されたアナログ信号の画像情報をデジタル信号に変換する。この構成により、撮像部１２は、シャッターボタン（例えば、操作部１５）等を介してユーザから撮影指示（レリーズ）が入力されると、設定された撮像制御条件に基づき、光学系１１による像を撮像することにより、画像データを生成する。

ＣＰＵ１３は、撮影通知送信部１３１と、撮影通知受信部１３２と、画像送信部１３３と、画像受信部１３４と、合成画像配信部１３５とを備え、撮像装置１を統括的に制御する。バッファメモリ部１４は、撮像部１２によって生成された画像データを一時的に記憶するメモリである。操作部１５は、例えば、電源スイッチ、シャッターボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ１３に出力する。無線部１６は、他の撮像装置１と無線にて通信を行う。画像処理部１７は、人物領域抽出部１７１と合成部１７２を含んで構成され、バッファメモリ部１４又はメモリ部１８に記憶されている画像データに対して画像処理を行う。メモリ部１８は、撮像部１２によって撮像された画像データ、および、撮像装置１の動作に関する設定値や撮像部１２の撮像制御条件等を記憶する。また、メモリ部１８は、他の撮像装置１から受信した転送画像データや画像処理部１７が備える合成部１７２が生成した合成画像データを記憶する。

Ｉ／Ｆ部１９は、カードメモリ等の外部の記憶媒体５０と接続され、この記憶媒体５０への情報の書込み、読み出し、あるいは消去を行う。例えば、Ｉ／Ｆ部１９は、撮像部１２によって生成された画像データを記憶媒体５０に書き込む。なお、撮像部１２、ＣＰＵ１３、バッファメモリ部１４、操作部１５、無線部１６、画像処理部１７、メモリ部１８およびＩ／Ｆ部１９はそれぞれ互いにバスを介して接続されており相互に通信可能である。

次に、図３を参照して、撮像システムによる撮像処理について説明する。図３は、本実施形態による撮像処理の手順を示すフローチャートである。
本実施形態における撮像システムでは、第１の撮像装置１００と第２の撮像装置２００が連携して被写体を撮影し、それぞれが撮影した画像を第１の撮像装置１００が合成する。図３（ａ）は第１の撮像装置１００における撮像処理の手順を示すフローチャートであり、図３（ｂ）は第２の撮像装置２００における撮像処理の手順を示すフローチャートである。

まず、ステップＳ１０１において、第１の撮像装置１００が備えるシャッターボタン（第１の操作部１５０）が、ユーザによって押下されたことを検知する。次に、ステップＳ１０２において、撮影通知送信部１３１が、第２の撮像装置２００に撮影通知を送信する。続いて、ステップＳ１０３において、第１の撮像部１２０が撮影を行い、撮影画像データを生成する。続いて、ステップＳ１０４において、第１の撮像装置１００が備えるＣＰＵ１３が、第１の撮像部１２０が生成した撮影画像データを第１のメモリ部１８０に書き込むことにより保存する。そして、第１の撮像装置１００は、第２の撮像装置２００から転送画像データが送信されるまで待機する。

一方、第２の撮像装置２００では、ステップＳ２０１において、撮影通知受信部１３２が、撮影通知送信部１３１が送信した撮影通知を受信する。続いて、ステップＳ２０２において、第２の撮像部２２０が撮影を行い、転送画像データを生成する。続いて、ステップＳ２０３において、第２の撮像装置２００が備えるＣＰＵ１３が、第２の撮像部２２０が生成した転送画像データを第２のメモリ部２８０に書き込むことにより保存する。そして、ステップＳ２０４において、画像送信部１３３が、転送画像データを第１の撮像装置１００に送信し、処理を終了する。

そして、第１の撮像装置１００では、ステップＳ１０５において、画像受信部１３４が、第２の撮像装置２００から送信された転送画像データを受信し、受信した転送画像データを第１のメモリ部１８０に書き込むことにより保存する。続いて、ステップＳ１０６において、合成部１７２が、撮影画像データと転送画像データとを合成することにより合成画像データを生成する。具体的には、まず、人物領域抽出部１７１が、撮影画像データ及び転送画像データから人物領域を抽出する。続いて、合成部１７２が、転送画像データから抽出した人物領域を、撮影画像データにおける人物領域以外の領域に重畳する。最後に、ステップＳ１０７において、合成部１７２は、生成した合成画像データを第１のメモリ部１８０に書き込むことにより保存し、処理を終了する。

図４は、本実施形態による撮影画像、転送画像及び合成画像の表示例を表すイメージ図である。図４（ａ）は、撮影画像１０００の表示例を表すイメージ図である。撮影画像１０００は、第１の撮像装置１００が撮影した画像であり、人物領域１０００ａを含む。図４（ｂ）は、転送画像２０００の表示例を表すイメージ図である。転送画像２０００は、第２の撮像装置２００が撮影した画像であり、人物領域２０００ａを含む。図４（ｃ）は、合成画像３０００の表示例を表すイメージ図である。合成画像３０００は、第１の撮像装置１００が備える合成部１７２が人物領域２０００ａを撮影画像１０００に重畳（合成）した画像である。第１の撮像装置１００が備える人物領域抽出部１７１は、撮像画像１０００から人物領域１０００ａを抽出し、転送画像２０００から人物領域２０００ａを抽出する。そして、第１の撮像装置１００が備える合成部１７２は、人物領域２０００ａを撮影画像１０００における人物領域１０００ａ以外の領域に重畳する。具体的には、図示するように、合成部１７２は、人物領域１０００ａに隣接する左右の領域のうち広い領域である左側の領域に人物領域２０００ａを重畳する。なお、合成部１７２は、人物領域抽出部１７１が顔認識処理を行った際に取得した人物の上下方向に基づいて左右の領域を判定する。

このように、本実施形態によれば、第１の撮像装置１００は撮影する際に撮影通知を第２の撮像装置２００に送信し、第２の撮像装置２００は撮影通知を受信すると撮影を行う。これにより、第１の撮像装置１００と第２の撮像装置２００とが連動して撮影を行うことができる。また、第２の撮像装置２００は撮影した画像を第１の撮像装置１００に送信し、第１の撮像装置１００は受信した画像と撮影した画像とを合成する。これにより、２台（複数台）の撮像装置１が連動して撮影した画像を自動的に合成することができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。
図５は、本実施形態による撮像システムの構成を示すブロック図である。本実施形態による撮像システムにおいて、第１の撮像装置３００は、第１の実施形態による第１の撮像装置１００の構成に加えて第１の計時部３０１と撮影時刻設定部３３６を備える。第１の計時部３０１は、時刻を表す時刻情報を計時する。撮影時刻設定部３３６は、第１の操作部３５０を介してユーザから撮影指示が入力されると、第１の計時部３０１が計時する時刻情報を参照して撮影時刻を設定する。このとき、撮影時刻設定部３３６は、撮影指示が入力された時刻からＴ（Ｔは０より大きい実数）秒後の時刻を撮影時刻とする。また、第１の撮像部３２０は、第１の計時部３０１が計時する時刻情報を参照して、撮影時刻設定部３３６が設定した時刻に撮影を行う。撮影通知送信部３３１は、撮影時刻設定部３３６が設定した撮影時刻を含む撮影通知を第２の撮像装置４００に送信する。画像受信部３３４は、第２の撮像装置４００から、撮影時刻に撮影された転送画像データを受信する。第１の撮像装置３００における他の構成は第１の実施形態による第１の撮像装置１００と同様であるため、説明を省略する。

また、第２の撮像装置４００は、第１の実施形態による第２の撮像装置２００の構成に加えて第２の計時部４０１を備える。第２の計時部４０１は、時刻情報を計時する。撮影通知受信部３３２は、撮影時刻を含む撮影通知を第１の撮像装置３００から受信する。第２の撮像部４２０は、第２の計時部４０１が計時する時刻情報を参照して、撮影通知受信部３３２が受信した撮影通知に含まれる撮影時刻に撮影を行う。第２の撮像装置４００における他の構成は第１の実施形態による第２の撮像装置２００と同様であるため、説明を省略する。

本実施形態による撮像システムでは、第１の撮像装置３００が撮影時刻を含む撮影通知を第２の撮像装置４００に送信することにより、第１の撮像装置３００と第２の撮像装置４００とが同時刻に撮影を行う。そして、第１の撮像装置３００は、同時刻に撮影された撮影画像データと転送画像データとを合成する。

次に、図６を用いて、第１の撮像装置３００及び第２の撮像装置４００に適用可能な撮像装置３の構成例について説明する。図６は、本実施形態による撮像装置３の構成を示すブロック図である。なお、図５に示す第１の撮像装置３００及び第２の撮像装置４００と共通する構成要素については、同一の符号を付して詳細な説明は省略する。

本実施形態による撮像装置３は、第１の実施形態による撮像装置１の構成に加えて、計時部（第１の計時部３０１と第２の計時部４０１を含む）３０を備える。計時部３０は、時間と日時を計測し、計測した時刻情報をＣＰＵ３３に出力する。なお、計時部３０は、電池から継続的に電力の供給を受け、現在の時刻を継続的に計時している。また、撮像装置３が備えるＣＰＵ３３は、第１の実施形態によるＣＰＵ１３の構成に加えて撮影時刻設定部３３６を含んで構成される。他の構成は第１の実施形態による撮像装置１と同様であるため、説明を省略する。

次に、図７を参照して、撮像システムによる撮像処理について説明する。図７は、本実施形態による撮像処理の手順を示すフローチャートである。
本実施形態では、第１の撮像装置３００と第２の撮像装置４００が同時刻に被写体を撮影し、それぞれが撮影した画像を第１の撮像装置３００が合成する。図７（ａ）は第１の撮像装置３００における撮像処理の手順を示すフローチャートであり、図７（ｂ）は第２の撮像装置４００における撮像処理の手順を示すフローチャートである。

まず、ステップＳ３０１において、第１の撮像装置３００が備えるシャッターボタン（第１の操作部３５０）が、ユーザによって押下されたことを検知する。そして、撮影時刻設定部３３６が、撮影時刻を設定する。次に、ステップＳ３０２において、撮影通知送信部３３１が、第２の撮像装置４００に撮影時刻を含む撮影通知を送信する。そして、ステップＳ３０３において、第１の撮像装置３００は、撮影時刻になるまで待機する。第１の計時部３０１が計時する時刻が撮影時刻と一致すると、ステップＳ３０４において、第１の撮像部３２０が撮影を行い、撮影画像データを生成する。続いて、ステップＳ３０５において、第１の撮像装置３００備えるＣＰＵ３３が、第１の撮像部３２０が生成した撮影画像データを第１のメモリ部３８０に書き込むことにより保存する。そして、ステップＳ３０６において、第１の撮像装置３００は、第２の撮像装置４００から転送画像データが送信されるまで待機する。

一方、第２の撮像装置４００では、ステップＳ４０１において、撮影通知受信部３３２が、撮影時刻を含む撮影通知を受信する。そして、ステップＳ４０２において、第２の撮像装置４００は、撮影時刻になるまで待機する。次に、ステップＳ４０３において、第２の撮像装置４００が備えるＣＰＵ３３が、撮影時刻に間に合ったか否かを判定する。具体的には、ＣＰＵ３３は、第２の計時部４０１が計時する時刻が撮影時刻よりも前であれば、撮影時刻に間に合ったと判定し、第２の計時部４０１が計時する時刻が撮影時刻よりも後であれば撮影時刻に間に合わなかったと判定する。撮影時刻に間に合った場合（ステップＳ４０３においてＹｅｓ）には、ステップＳ４０４へ移行する。一方、撮影時刻に間に合わなかった場合（ステップＳ４０３においてＮｏ）には、ステップＳ４０７へ移行する。

ステップＳ４０３においてＹｅｓに分岐した場合、ステップＳ４０４において、第２の撮像部４２０が撮影を行い、転送画像データを生成する。続いて、ステップＳ４０５において、第２の撮像装置４００が備えるＣＰＵ３３は、第２の撮像部４２０が生成した画像データを第２のメモリ部４８０に書き込むことにより保存する。そして、ステップＳ４０６において、画像送信部３３３が、転送画像データを第１の撮像装置３００に送信し、処理を終了する。一方、ステップＳ４０３においてＮｏに分岐した場合、ステップＳ４０７において、第２の撮像装置４００は、撮影できなかったことを通知するデータであるエラー通知を第１の撮像装置３００に送信する。

そして、第１の撮像装置３００では、ステップＳ３０７において、画像受信部３３４が、第２の撮像装置４００から送信された転送画像データ又はエラー通知を受信し、受信したデータが転送画像データである（撮影あり）か否かを判定する。受信したデータが転送画像データである場合（ステップＳ３０７においてＹｅｓ）には、ステップＳ３０８へ移行する。一方、受信したデータがエラー通知である場合（ステップＳ３０７にいおてＮｏ）には、ステップＳ３１１に移行する。

ステップＳ３０７においてＹｅｓに分岐した場合、ステップＳ３０８において、画像受信部３３４は、受信した転送画像データを第１のメモリ部３８０に書き込むことにより保存する。続いて、ステップＳ３０９において、合成部３７２が、撮影画像データと転送画像データを合成して合成画像データを生成する。合成画像データの生成方法は第１の実施形態と同様である。そして、ステップＳ３１０において、合成部３７２は、生成した合成画像データを第１のメモリ部３８０に書き込むことにより保存し、処理を終了する。

一方、ステップＳ３０７においてＮｏに分岐した場合、ステップＳ３１１において、画像受信部３３４は、表示部（不図示）にエラーを表示して処理を終了する。

このように、本実施形態による撮像システムでは、第１の撮像装置３００が第２の撮像装置４００へ撮影時刻を含む撮影通知を送信することにより、第１の撮像装置３００と第２の撮像装置４００とが同時刻に撮影した画像を合成することができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。
図８は、本実施形態による撮像システムの構成を示すブロック図である。本実施形態による撮像システムにおいて、第２の撮像装置６００は、第１の実施形態による第２の撮像装置２００の構成に加えて第２の人物領域抽出部６７１を備える。第２の人物領域抽出部６７１は、第２の撮像部６２０が生成した転送画像データから人物領域を抽出し、抽出した人物領域に対応する画像データ（以下、転送人物領域画像データとする）を画像送信部５３３に出力する。画像送信部５３３は、第２の人物領域抽出部６７１が抽出した転送人物領域画像データを第１の撮像装置５００に送信する。一方、第１の撮像装置５００における第１の人物領域抽出部５７１は、撮影画像データのみから人物領域を抽出する。そして、第１の撮像装置５００における合成部５７２は、撮影画像データにおける人物領域以外の領域に転送人物領域画像データを重畳する。なお、第１の人物領域抽出部５７１及び第２の人物領域抽出部６７１における人物領域の抽出方法は、第１の実施形態による人物領域抽出部１７１と同様である。他の構成は第１の実施形態と同様であるため、説明を省略する。

次に、図９を参照して、撮像システムによる撮像処理について説明する。図９は、本実施形態による撮像処理の手順を示すフローチャートである。
本実施形態では、第２の撮像装置６００が転送画像データから人物領域に対応する画像データを抽出して、第１の撮像装置５００に送信する。図９（ａ）は第１の撮像装置５００における撮像処理の手順を示すフローチャートであり、図９（ｂ）は第２の撮像装置６００における撮像処理の手順を示すフローチャートである。

まず、ステップＳ５０１において、第１の撮像装置５００が備えるシャッターボタン（第１の操作部５５０）が、ユーザによって押下されたことを検知する。次に、ステップＳ５０２において、撮影通知送信部５３１が、第２の撮像装置６００に撮影通知を送信する。続いて、ステップＳ５０３において、第１の撮像部５２０が撮影を行い、撮影画像データを生成する。続いて、ステップＳ５０４において、第１の撮像装置５００は、第１の撮像部５２０が生成した撮影画像データを第１のメモリ部５８０に書き込むことにより保存する。次に、ステップＳ５０５において、第１の人物領域抽出部５７１が、撮影画像データから人物領域を抽出する。そして、第１の撮像装置５００は、第２の撮像装置６００から転送人物領域画像データが送信されるまで待機する。

一方、第２の撮像装置６００では、ステップＳ６０１において、撮影通知受信部５３２が、撮影通知送信部５３１が送信した撮影通知を受信する。続いて、ステップＳ６０２において、第２の撮像部６２０が撮影を行い、転送画像データを生成する。続いて、ステップＳ６０３において、第２の人物領域抽出部６７１が、転送画像データから人物領域を抽出し、転送人物領域画像データを生成する。続いて、ステップＳ６０４において、第２の人物領域抽出部６７１は、生成した転送人物領域画像データ及び転送画像データを第２のメモリ部６８０に書き込むことにより保存する。そして、ステップＳ６０５において、画像送信部５３３が、転送人物領域画像データを第１の撮像装置５００に送信し、処理を終了する。

そして、第１の撮像装置５００では、ステップＳ５０６において、画像受信部５３４が、第２の撮像装置６００から送信された転送人物領域画像データを受信し、受信した転送人物領域画像データを第１のメモリ部５８０に書き込むことにより保存する。続いて、ステップＳ５０７において、合成部５７２が、撮影画像データと転送人物領域画像データとを合成することにより合成画像データを生成する。具体的には、合成部５７２は、転送人物領域画像データを、撮影画像データにおける人物領域以外の領域に重畳する。最後に、ステップＳ５０８において、合成部５７２は、生成した合成画像データを第１のメモリ部５８０に書き込むことにより保存し、処理を終了する。

このように、本実施形態によれば、第２の撮像装置６００が転送画像データから人物領域を抽出する。これにより、第１の撮像装置５００にて転送画像データから人物領域を抽出する処理を行う必要がなくなり、第１の撮像装置５００における処理負荷が軽減する。
更に、第１の撮像装置５００と第２の撮像装置６００とに画像処理を分散することにより、撮像システム全体における処理速度が向上する。

また、図３，７，９に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、撮像処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、上述した実施形態では、第２の撮像装置を１台ずつのみ記載したが、それぞれ複数台設けてもよい。この場合、第１の撮像装置は、各第２の撮像装置から受信した複数の転送画像データを全て撮影画像データに重畳して１枚の合成画像データを生成する。
また、上述した実施形態では、転送画像データにおける人物領域を、撮影画像データにおける人物領域以外の領域に重畳したが、これに限られることはなく、例えば、予め設定された所定の領域に転送画像データにおける人物領域を重畳してもよい。

図１０は、複数の撮像装置が撮影した画像の他の合成例を示すイメージ図である。図に示す合成画像４０００は、第１の撮像装置が撮影した撮影画像に、４台の第２の撮像装置（カメラ＃１〜＃４）が撮影した画像を合成した画像である。合成部は、カメラ＃１が撮影した画像の人物領域＃１と、カメラ＃２が撮影した画像の人物領域＃２と、カメラ＃３が撮影した画像の人物領域＃３と、カメラ＃４が撮影した画像の人物領域＃４とをそれぞれ撮影画像に重畳して合成画像４０００を生成する。このとき、合成部は、人物領域＃１を領域Ａに、人物領域＃２を領域Ｂに、人物領域＃３を領域Ｃに、人物領域＃を領域Ｄに、それぞれ重畳する。

また、上述した実施形態では、第２の撮像装置２００（又は４００，６００）が撮像した画像データ（以下、第２の画像データとする）の人物領域を、その大きさを変更することなく、第１の撮像装置１００（又は３００，５００）が撮像した画像データ（以下、第１の画像データとする）に重畳しているが、人物の顔の大きさがほぼ同等となるように第１の画像データ又は第２の画像データのうち一方の人物領域を画像合成時に拡大又は縮小してもよい。例えば、合成部１７２（又は３７２，５７２）は、第１の画像データにおける顔領域（以下、第１の顔領域とする）の大きさ（例えば、面積）と第２の画像データにおける顔領域（以下、第２の顔領域とする）の大きさ（例えば、面積）とを比較する。そして、合成部１７２（又は３７２，５７２）は、第１の顔領域の大きさが第２の顔領域の大きさより所定値以上大きい場合に、第２の顔領域の大きさが第１の顔領域の大きさとほぼ同等（差が所定値が小さくなる）ように、第２の画像データにおける人物領域を拡大して、第１の画像データに重畳する。一方、合成部１７２（又は３７２，５７２）は、第２の顔領域の大きさが第１の顔領域の大きさより所定値以上大きい場合に、第２の顔領域の大きさが第１の顔領域の大きさとほぼ同等（差が所定値が小さくなる）ように、第２の画像データにおける人物領域を縮小して、第１の画像データに重畳する。なお、合成部１７２（又は３７２，５７２）は、第１の顔領域の大きさと第２の顔領域の大きさの差が所定値より小さい場合には、第２の画像データにおける人物領域の大きさを変更することなく第１の画像データに重畳する。

また、上述した実施形態では、第１の撮像装置１００（又は３００，５００）から第２の撮像装置２００（又は４００，６００）へ撮影を指示する撮影通知を送信しているが、撮影の指示に加えて撮像制御条件を撮影通知に含ませてもよい。撮像制御条件とは、例えば、絞り値、ＩＳＯ感度、ＡＥ（Automatic Exposure）補正値、フォーカス値、シャッタースピード、撮像感度、ストロボの発光状態の情報等である。第２の撮像装置２００（又は４００，６００）のＣＰＵ１３（又は３３）は、受信した撮像制御条件に基づいて光学系１１（又は３１）及び撮像部１２（又は３２）を制御して撮像させる。すなわち、第２の撮像装置２００（又は４００，６００）は、受信した撮像制御条件で被写体を撮像する。例えば、第１の撮像装置１００（又は３００，５００）が自装置の撮像制御条件を含む撮影通知を第２の撮像装置２００（又は４００，６００）へ送信することにより、第１の撮像装置１００（又は３００，５００）と第２の撮像装置２００（又は４００，６００）とが同じ条件で撮像することができる。

また、画像データに複数人物が写っている場合には、主要な人物以外の不要な人物領域を消す処理を行ってもよい。例えば、人物領域抽出部１７１（又は３７１，５７１，６７１）は、第２の画像データにおいて顔領域の最も大きい人物を主要な人物と判定し、その人物のみの人物領域を抽出する。合成部１７２（又は３７２，５７２）は、抽出された主要な人物の人物領域を第１の画像データに重畳する。

また、各ユーザがそれぞれ撮像装置を持ち、向き合って互いを同時刻に撮影を行うと、互いの撮像装置と撮像装置を持つ手とが写ることがある。この場合、画像データから撮像装置の領域と撮像装置を持つ手の領域とを消す処理を行ってもよい。なお、第１の撮像装置１００（又は３００，５００）及び第２の撮像装置２００（又は４００，６００）を総称して撮像装置とする。例えば、人物領域抽出部１７１（又は３７１，５７１，６７１）は、予め記憶している撮像装置と手の画像特徴量とパターンマッチングすることにより撮像装置と手の領域を抽出し、人物領域から撮像装置と手の領域を除く。合成部１７２（又は３７２，５７２）は、第２の画像データにおける撮像装置の領域と手の領域とを除く人物領域を、第１の画像データにおける撮像装置の領域と手の領域とを除く人物領域以外の領域に重畳する。

また、上述した実施形態では、人物領域を抽出して合成しているが、例えば、ペット（例えば、犬や猫等）等の他のオブジェクトの領域を抽出して合成してもよい。ペットを抽出する方法としては、例えば、予めユーザがペットを撮像して登録する方法等がある。この場合、人物領域抽出部（オブジェクト抽出部）１７１（又は３７１，５７１，６７１）が、登録されたペットの画像データからペットの画像特徴量を抽出し、抽出した画像特徴量を予め記憶しておく。そして、人物領域抽出部（オブジェクト抽出部）１７１（又は３７１，５７１，６７１）は、記憶している画像特徴量とパターンマッチングすることにより撮像された画像データ（第１の画像データ又は第２の画像データ）からペットを抽出する。或いは、人物領域抽出部（オブジェクト抽出部）１７１（又は３７１，５７１，６７１）は、予め記憶している任意の画像特徴量（例えば、動物の毛並みのテクスチャ（模様））を持つ領域をペットの領域として抽出してもよい。

また、上述した実施形態では、撮影直後に画像データを合成しているが、所定の操作が行われたときに画像データを合成してもよい。図１１は、画像合成を指示する操作のイメージ図である。具体的には、第１の撮像装置１００（又は３００，５００）は、液晶や有機ＥＬ（Electro Luminescence）等のディスプレイ（表示部Ｄ）を備え、表示部Ｄの表示面に設置されたタッチパネル（操作部）における操作に基づいて画像を合成する。例えば、合成部１７２（又は３７２，５７２）は、画像合成前の２枚の画像（例えば、撮影画像１０００及び転送画像２０００）を表示部Ｄが表示しているときに、ユーザが各画像上にそれぞれ指を載せ、載せている２本の指（片手の２本の指、もしくは両手の1本ずつの指）の間隔を縮める動作を行ったことを検知すると、その２枚の画像を合成する。各画像上に載せた指の間隔を縮める動作が画像合成開始の指示である。また、合成部１７２（又は３７２，５７２）は、３枚以上の画像を表示部Ｄが表示しているときに、ユーザがそれらの画像から選択した２枚の画像上にそれぞれ指を載せて、載せている２本の指の間隔を縮める動作を行ったことを検知すると、選択した（指を載せている）２枚の画像を合成するようにしてもよい。３枚以上の画像のうち２枚の画像上にそれぞれ指を載せる動作が、合成する画像の選択をする操作である。また、載せている２本の指の間隔を縮める動作が画像合成開始の指示である。これにより、撮影から時間が経った後に、装置内に記憶させていた画像を簡単な操作で合成することができる。

また、上述した実施形態では、２台の撮像装置（第１の撮像装置１００（又は３００，５００）と第２の撮像装置２００（又は４００，６００））がそれぞれ撮像した画像データを合成しているが、１台の撮像装置で撮像した２枚の画像データを合成してもよい。

１，３…撮像装置 １１，３１…光学系 １２，３２…撮像部 １６，３６…無線部 １７，３７…画像処理部 １８，３８…メモリ部 １００，３００，５００…第１の撮像装置 ２００，４００，６００…第２の撮像装置 １２０，３２０，５２０…第１の撮像部 １３１，３３１，５３１…撮影通知送信部 １３２，３３２，５３２…撮影通知受信部 １３３，３３３，５３３…画像送信部 １３４，３３４，５３４…画像受信部 １５０，３５０，５５０…第１の操作部 １７１，３７１…人物領域抽出部 １７２，３７２，５７２…合成部 １８０，３８０，５８０…第１のメモリ部 ２２０，４２０，６２０…第２の撮像部 ２６０，４６０，６６０…第２の無線部 ２８０，４８０，６８０…第２のメモリ部 ３３６…撮影時刻設定部 ５７１…第１の人物領域抽出部 ６７１…第２の人物領域抽出部 Ｄ…表示部

Claims (15)

1. 撮像部と、
   他の撮像部に、撮影の指示を送信する送信部と、
   前記他の撮像部が前記撮影の指示に応じて撮像した、画像の部分領域を受信する受信部と、
   前記受信部が受信した画像の部分領域と、前記撮像部が撮像した画像の部分領域とを合成する合成部と
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像部が撮像した画像から人物を含む領域を抽出する人物領域抽出部を更に備え、
   前記合成部は、前記受信部が受信した画像の人物を含む領域を、前記人物領域抽出部が抽出した人物を含む領域以外の領域に重畳する
   ことを特徴とする撮像装置。
3. 撮像部と、
   他の撮像部に、撮影の指示を送信する送信部と、
   前記他の撮像部が前記撮影の指示に応じて撮像した、画像を受信する受信部と、
   前記受信部が受信した画像の部分領域と、前記撮像部が撮像した画像の部分領域とを合成する合成部と
   を備えることを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記撮像部が撮像した画像および前記受信部が受信した画像から人物を含む領域を抽出する人物領域抽出部を更に備え、
   前記合成部は、前記受信部が受信した画像から前記人物領域抽出部が抽出した人物を含む領域を、前記撮像部が撮像した画像から前記人物領域抽出部が抽出した人物を含む領域以外の領域に重畳する
   ことを特徴とする撮像装置。
5. 請求項１から４の何れか１項に記載の撮像装置において、
   前記撮像部による撮像と、前記他の撮像部による撮像とが連動して行なわれることを特徴とする撮像装置。
6. 請求項１から５の何れか１項に記載の撮像装置において、
   時刻を計時する計時部と、
   前記計時部が計時する時刻を参照して撮影時刻を設定する撮影時刻設定部と
   を更に備え、
   前記撮像部は、前記計時部が計時する時刻を参照して、前記撮影時刻設定部が設定した撮影時刻に撮像し、
   前記送信部は、前記撮影時刻設定部が設定した撮影時刻を含む撮影の指示を前記他の撮像部に送信し、
   前記受信部は、前記他の撮像部から前記撮影時刻に撮像された画像を受信する
   ことを特徴とする撮像装置。
7. 第１の撮像部と、
   第２の撮像装置に、撮影の指示を送信する第１の送信部と、
   前記第２の撮像装置が前記撮影の指示に応じて撮像した、画像の部分領域を受信する第1の受信部と、
   前記第１の受信部が受信した画像の部分領域と、前記第１の撮像部が撮像した画像の部分領域とを合成する合成部と
   を備える第１の撮像装置と、
   前記第１の撮像装置から、前記撮影の指示を受信する第２の受信部と、
   前記第２の受信部が撮影の指示を受信すると、光学系による像を撮像する第２の撮像部と、
   前記第２の撮像部が撮像した画像の部分領域を前記第１の撮像装置に送信する第２の送信部と
   を備える第２の撮像装置と
   を有することを特徴とする撮像システム。
8. 請求項７に記載の撮像システムにおいて、
   前記第１の撮像装置は、
   前記第１の撮像部が撮像した画像及びから人物を含む領域を抽出する第１の人物領域抽出部を更に備え、
   前記合成部は、前記第１の受信部が受信した画像の人物を含む領域を、前記第１の人物領域抽出部が抽出した人物を含む領域以外の領域に重畳し、
   前記第２の撮像装置は、
   前記第２の撮像部が撮像した画像から人物を含む領域を抽出する第２の人物領域抽出部を更に備え、
   前記第２の送信部は、前記第２の人物領域抽出部が抽出した人物を含む領域を前記第１の撮像装置に送信する
   ことを特徴とする撮像システム。
9. 第１の撮像部と、
   第２の撮像装置に、撮影の指示を送信する第１の送信部と、
   前記第２の撮像装置が前記撮影の指示に応じて撮像した、画像を受信する第1の受信部と、
   前記第１の受信部が受信した画像の部分領域と、前記第１の撮像部が撮像した画像の部分領域とを合成する合成部と
   を備える第１の撮像装置と、
   前記第１の撮像装置から、前記撮影の指示を受信する第２の受信部と、
   前記第２の受信部が撮影の指示を受信すると、光学系による像を撮像する第２の撮像部と、
   前記第２の撮像部が撮像した画像を前記第１の撮像装置に送信する第２の送信部と
   を備える第２の撮像装置と
   を有することを特徴とする撮像システム。
10. 請求項９に記載の撮像システムにおいて、
    前記第１の撮像装置は、
    前記第１の撮像部が撮像した画像および前記受信部が受信した画像から人物を含む領域を抽出する人物領域抽出部を更に備え、
    前記合成部は、前記第１の受信部が受信した画像から前記人物領域抽出部が抽出した人物を含む領域を、前記第１の撮像部が撮像した画像から前記人物領域抽出部が抽出した人物を含む領域以外の領域に重畳する
    ことを特徴とする撮像システム。
11. 請求項７から１０の何れか１項に記載の撮像システムにおいて、
    前記第１の撮像装置による撮像と、前記第２の撮像装置による撮像とが連動して行なわれることを特徴とする撮像システム。
12. 請求項７から１１の何れか１項に記載の撮像システムにおいて、
    前記第１の撮像装置は、
    時刻を計時する第１の計時部と、
    前記第１の計時部が計時する時刻を参照して撮影時刻を設定する撮影時刻設定部と
    を更に備え、
    前記第１の撮像部は、前記第１の計時部が計時する時刻を参照して、前記撮影時刻設定部が設定した撮影時刻に撮像し、
    前記第１の送信部は、前記撮影時刻設定部が設定した撮影時刻を含む撮影の指示を前記第２の撮像装置に送信し、
    前記第１の受信部は、前記第２の撮像装置から送信された前記撮影時刻に撮像された画像を受信し、
    前記第２の撮像装置は、
    時刻を計時する第２の計時部を更に備え、
    前記第２の撮像部は、前記第２の受信部が撮影時刻を含む撮影の指示を受信すると、前記第２の計時部が計時する時刻を参照して前記撮影時刻に撮像する
    ことを特徴とする撮像システム。
13. 他の撮像部から、撮影の指示を受信する受信部と、
    前記受信部が撮影の指示を受信すると、光学系による像を撮像する撮像部と、
    前記撮像部が撮像した画像の部分領域を前記他の撮像部に送信する送信部と
    を備えることを特徴とする撮像装置。
14. 請求項１３に記載の撮像装置において、
    前記撮像部が撮像した画像から人物を含む領域を抽出する人物領域抽出部を更に備え、
    前記送信部は、前記人物領域抽出部が抽出した人物を含む領域を前記他の撮像部に送信する
    ことを特徴とする撮像装置。
15. 請求項１３又は１４に記載の撮像装置において、
    時刻を計時する計時部を更に備え、
    前記撮像部は、前記受信部が撮影時刻を含む撮影の指示を受信すると、前記計時部が計時する時刻を参照して前記撮影時刻に撮像する
    ことを特徴とする撮像装置。

Images