JP2014107775A - 電子カメラ - Google Patents

Abstract

【構成】撮像系２４はメインシーンを表すメイン画像データを繰り返し出力し、通信Ｉ／Ｆ３６は、３つのサブシーンをそれぞれ捉える３つの外部ディジタルカメラから３チャネルのサブ画像データを繰り返し取得する。後処理回路３６は、メイン画像データおよび３チャネルのサブ画像データの各々にズーム処理を施し、かつズーム処理後のサブ画像データをズーム処理後のメイン画像データに多重する。ズーム処理後のサブ画像データのサイズは、ズーム処理後のメイン画像データのサイズを下回る。これを踏まえて、ＣＰＵ２８は、有意な変化が生じたサブシーンを複数のサブシーンの中から検知し、検知されたサブシーンを表すサブ画像データが強調されるように後処理回路３８の設定を変更する。
【効果】合成画像の視認性が向上する。
【選択図】図２

Description

この発明は、電子カメラに関し、特に複数チャネルの電子画像を合成する機能を有する、電子カメラに関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、マトリックス状に配置された５×４個の画像がモニタ画面に表示される。操作者が所望の画像上にマウスカーソルを移動させかつマウスの右ボタンを押すと、押圧期間だけ所望の画像が拡大される。

特開２００４−４６８８２号公報

しかし、背景技術では、非押圧期間における各画像の表示態様に優劣が付けられることはなく、合成画像の視認性に限界がある。

それゆえに、この発明の主たる目的は、合成画像の視認性を高めることができる、電子カメラを提供することである。

この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)メインシーンを表すメイン電子画像を繰り返し出力する撮像手段(IM1, 64)、複数のサブシーンをそれぞれ表す複数のサブ電子画像を撮像手段の処理と並列して繰り返し取得する取得手段(32, 36)、取得手段によって取得された複数のサブ電子画像の各々のサイズを撮像手段から出力されたメイン電子画像のサイズを下回るサイズに調整する調整手段(70, 76, 82)、調整手段によって調整されたサイズを各々が有する複数のサブ電子画像を撮像手段から出力されたメイン電子画像に合成する合成手段(84)、有意な変化が生じたサブシーンを複数のサブシーンの中から検知する第１検知手段(S43)、および第１検知手段によって検知されたサブシーンを表すサブ電子画像が強調されるように調整手段および／または合成手段の設定を変更する変更手段(S49~S51)を備える。

好ましくは、変更手段は、強調すべきサブ電子画像を拡大する拡大手段(S49)、および／または強調すべきサブ電子画像にキャラクタを多重する多重手段(S51)を含む。

好ましくは、第１検知手段の非検知が継続する時間を複数のサブシーンの各々に対応して測定する測定手段(S53)、および複数のサブシーンのうち測定手段の測定結果が基準に達したサブシーンに対応して調整手段および／または合成手段の設定を初期化する初期化手段(S59~S61)がさらに備えられる。

好ましくは、取得手段は複数のサブシーンをそれぞれ捉える複数の外部カメラと無線通信を実行する通信手段(36)を含み、メインシーンにおける有意な変化を検知する第２検知手段(S27~S35)、および第２検知手段の検知結果を通信手段を通して複数の外部カメラに通知する通知手段(S37)がさらに備えられる。

さらに好ましくは、メインシーンの属性を判別する判別手段(S21)、および判別手段の判別結果に応じて異なる態様での検知処理を第２検知手段に要求する要求手段(S23~S25)がさらに備えられる。

より好ましくは、第２検知手段は、メインシーンから顔を探索する顔探索手段(S31)、メインシーンからジェスチャを探索するジェスチャ探索手段(S33)、およびメインシーンから音声レベルの変動を探索する音声変動探索手段(S27)を含み、要求手段は顔探索手段、ジェスチャ探索手段および音声変動探索手段の少なくとも１つを起動する。

この発明に従う撮像制御プログラムは、メインシーンを表すメイン電子画像を繰り返し出力する撮像手段(IM1, 64)、複数のサブシーンをそれぞれ表す複数のサブ電子画像を撮像手段の処理と並列して繰り返し取得する取得手段(32, 36)、取得手段によって取得された複数のサブ電子画像の各々のサイズを撮像手段から出力されたメイン電子画像のサイズを下回るサイズに調整する調整手段(70, 76, 82)、および調整手段によって調整されたサイズを各々が有する複数のサブ電子画像を撮像手段から出力されたメイン電子画像に合成する合成手段(84)を備える電子カメラ(10)のプロセッサ(28)に、有意な変化が生じたサブシーンを複数のサブシーンの中から検知する検知ステップ(S43)、および検知ステップによって検知されたサブシーンを表すサブ電子画像が強調されるように調整手段および／または合成手段の設定を変更する変更ステップ(S49~S51)を実行させるための、撮像制御プログラムである。

この発明に従う撮像制御方法は、メインシーンを表すメイン電子画像を繰り返し出力する撮像手段(IM1, 64)、複数のサブシーンをそれぞれ表す複数のサブ電子画像を撮像手段の処理と並列して繰り返し取得する取得手段(32, 36)、取得手段によって取得された複数のサブ電子画像の各々のサイズを撮像手段から出力されたメイン電子画像のサイズを下回るサイズに調整する調整手段(70, 76, 82)、および調整手段によって調整されたサイズを各々が有する複数のサブ電子画像を撮像手段から出力されたメイン電子画像に合成する合成手段(84)を備える電子カメラ(10)によって実行される撮像制御方法であって、有意な変化が生じたサブシーンを複数のサブシーンの中から検知する検知ステップ(S43)、および検知ステップによって検知されたサブシーンを表すサブ電子画像が強調されるように調整手段および／または合成手段の設定を変更する変更ステップ(S49~S51)を備える。

この発明に従う外部制御プログラムは、メインシーンを表すメイン電子画像を繰り返し出力する撮像手段(IM1, 64)、複数のサブシーンをそれぞれ表す複数のサブ電子画像を撮像手段の処理と並列して繰り返し取得する取得手段(32, 36)、取得手段によって取得された複数のサブ電子画像の各々のサイズを撮像手段から出力されたメイン電子画像のサイズを下回るサイズに調整する調整手段(70, 76, 82)、調整手段によって調整されたサイズを各々が有する複数のサブ電子画像を撮像手段から出力されたメイン電子画像に合成する合成手段(84)、およびメモリ(52)に保存された内部制御プログラムに従う処理を実行するプロセッサ(28)を備える電子カメラ(10)に供給される外部制御プログラムであって、有意な変化が生じたサブシーンを複数のサブシーンの中から検知する検知ステップ(S43)、および検知ステップによって検知されたサブシーンを表すサブ電子画像が強調されるように調整手段および／または合成手段の設定を変更する変更ステップ(S49~S51)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。

この発明に従う電子カメラ(10)は、メインシーンを表すメイン電子画像を繰り返し出力する撮像手段(IM1, 64)、複数のサブシーンをそれぞれ表す複数のサブ電子画像を撮像手段の処理と並列して繰り返し取得する取得手段(32, 36)、取得手段によって取得された複数のサブ電子画像の各々のサイズを撮像手段から出力されたメイン電子画像のサイズを下回るサイズに調整する調整手段(70, 76, 82)、調整手段によって調整されたサイズを各々が有する複数のサブ電子画像を撮像手段から出力されたメイン電子画像に合成する合成手段(84)、外部制御プログラムを取り込む取り込み手段(36)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(52)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(28)を備える電子カメラであって、外部制御プログラムは、有意な変化が生じたサブシーンを複数のサブシーンの中から検知する検知ステップ(S43)、および検知ステップによって検知されたサブシーンを表すサブ電子画像が強調されるように調整手段および／または合成手段の設定を変更する変更ステップ(S49~S51)を内部制御プログラムと協働して実行するプログラムに相当する。

複数のサブシーンをそれぞれ表す複数のサブ電子画像の各々は、メイン電子画像のサイズを下回るようにサイズ調整を施された後、メイン電子画像に合成される。ただし、いずれかのサブシーンに有意な変化が生じると、対応するサブ電子画像のサイズおよび／または合成態様が変更され、有意な変化が生じたサブシーンを表すサブ電子画像が合成画像上で強調される。

合成画像には、メインシーンおよびサブシーンの間の重要度の相違およびサブシーン間の重要度の相違が反映される。この結果、必要かつ十分な情報を観者に伝えることができ、合成画像の視認性が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。 撮像面における評価エリアの割り当て状態の一例を示す図解図である。 図２実施例に適用される後処理回路の構成の一例を示すブロック図である。 （Ａ）はズーム処理を施されたメイン画像データの一例を示す図解図であり、（Ｂ）はズーム処理を施されたサブ画像データの一例を示す図解図であり、（Ｃ）はズーム処理を施されたサブ画像データの一例を示す図解図であり、（Ｄ）はズーム処理を施されたサブ画像データの一例を示す図解図であり、（Ｅ）は合成画像データの一例を示す図解図である。 合成画像データに現れたサブ画像データの変化の一例を示す図解図である。 図２実施例の動作の一部を示すタイミング図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。撮像手段１は、メインシーンを表すメイン電子画像を繰り返し出力する。取得手段２は、複数のサブシーンをそれぞれ表す複数のサブ電子画像を撮像手段１の処理と並列して繰り返し取得する。調整手段３は、取得手段２によって取得された複数のサブ電子画像の各々のサイズを撮像手段１から出力されたメイン電子画像のサイズを下回るサイズに調整する。合成手段４は、調整手段３によって調整されたサイズを各々が有する複数のサブ電子画像を撮像手段１から出力されたメイン電子画像に合成する。第１検知手段５は、有意な変化が生じたサブシーンを複数のサブシーンの中から検知する。変更手段６は、第１検知手段５によって検知されたサブシーンを表すサブ電子画像が強調されるように調整手段３および／または合成手段４の設定を変更する。

複数のサブシーンをそれぞれ表す複数のサブ電子画像の各々は、メイン電子画像のサイズを下回るようにサイズ調整を施された後、メイン電子画像に合成される。ただし、いずれかのサブシーンに有意な変化が生じると、対応するサブ電子画像のサイズおよび／または合成態様が変更され、有意な変化が生じたサブシーンを表すサブ電子画像が合成画像上で強調される。

合成画像には、メインシーンおよびサブシーンの間の重要度の相違およびサブシーン間の重要度の相違が反映される。この結果、必要かつ十分な情報を観者に伝えることができ、合成画像の視認性が向上する。
［実施例］

図２を参照して、この実施例のディジタルカメラ１０は、カメラ筐体の前方のシーンを表す１チャネルの画像データ（データ形式：ＹＵＶ）を出力する撮像系ＩＭ１と、図示しない３つの外部ディジタルカメラからそれぞれ出力された３チャネルの画像データ（データ形式：ＹＵＶ）を受信する通信Ｉ／Ｆ３６とを含む。

ここで、撮像系ＩＭ１によって捉えられたシーンがメインシーンに相当し、３つの外部ディジタルカメラの各々で捉えられたシーンがサブシーンに相当する。また、３つの外部ディジタルカメラはいずれも図２に示すディジタルカメラ１０と同じ構成を有し、各ディジタルカメラには固有の識別番号が割り当てられる。通信Ｉ／Ｆ３６によって受信された各チャネルの画像データには、送信元の識別番号が付加される。

撮像系ＩＭ１は、レンズドライバ１８，絞りドライバ２０およびセンサドライバ２２によってそれぞれ駆動されるフォーカスレンズ１２，絞りユニット１４および撮像装置１６を有する。フォーカスレンズ１２および絞りユニット１４を経た光学像は撮像装置１６に設けられた撮像面に照射され、照射された光学像に対応する電荷が光電変換によって生成される。

ＣＰＵ２８は、撮像タスク，警告制御タスクおよび合成制御タスクを含む複数のタスクをマルチタスクＯＳの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ５２に記憶される。

ＣＰＵ２８はまず、撮像タスクの下で初期設定を実行し、外部ディジタルカメラに固有の識別番号に一時識別番号を関連付ける。この結果、１つ目のチャネルの画像データに付加された固有の識別番号は一時識別番号“１”に変換され、２つ目のチャネルの画像データに付加された固有の識別番号は一時識別番号“２”に変換され、３つ目のチャネルの画像データに付加された固有の識別番号は一時識別番号“３”に変換される。

以下では、撮像系ＩＭ１から出力された画像データを“メイン画像データＭＳ１”と定義し、一時識別番号“１”が割り当てられた外部ディジタルカメラからの画像データを“サブ画像データＳＢ＿１”と定義する。また、一時識別番号“２”が割り当てられた外部ディジタルカメラからの画像データを“サブ画像データＳＢ＿２”と定義し、一時識別番号“３”が割り当てられた外部ディジタルカメラからの画像データを“サブ画像データＳＢ＿３”と定義する。

ＣＰＵ２８は続いて、メイン画像取り込みの開始を撮像系ＩＭ１に命令し、サブ画像受信の開始およびメイン画像送信の開始を通信Ｉ／Ｆ３６に命令し、そして合成画像表示の開始を後処理回路３８およびＬＣＤドライバ４０に命令する。

撮像系ＩＭ１に設けられたセンサドライバ２２は、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像装置１６の撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。撮像装置１６からは、読み出された電荷に基づく生画像データが繰り返し出力される。

前処理回路２４は、撮像装置１６から出力された生画像データに色分離，白バランス調整およびＹＵＶ変換の一連の処理を施し、これによって生成されたＹＵＶ形式の画像データつまりメイン画像データＭＳ１をメモリ制御回路３２を通してＳＤＲＡＭ３４のメイン画像エリア３４ａ（図３参照）に書き込む。

一方、通信Ｉ／Ｆ３６は、サブ画像データＳＢ＿１〜ＳＢ＿３を３つの外部ディジタルカメラから並列的に受信し、受信されたサブ画像データＳＢ＿１〜ＳＢ＿３をメモリ制御回路３２を通してＳＤＲＡＭ３４のサブ画像エリア３４ｂ（図３参照）に書き込む。サブ画像エリア３４ｂは３分割されており、サブ画像データＳＢ＿１〜ＳＢ＿３は３つの分割エリアにそれぞれ書き込まれる。

通信Ｉ／Ｆ４６はまた、メイン画像エリア３４ａに格納されたメイン画像データＭＳ１をメモリ制御回路３２を通して読み出し、読み出されたメイン画像データＭＳ１を３つの外部ディジタルカメラに向けて送信する。送信されるメイン画像データＭＳ１には、ディジタルカメラ１０に固有の識別番号が付加される。

メインシーンで発生した音声信号は、マイクロフォン４６によって継続的に取り込まれる。取り込まれた音声信号は音声処理回路４４によって音声データに変換され、変換された音声データはメモリ制御回路３２を通してＳＤＲＡＭ３４の音声エリア３４ｄ（図３参照）に書き込まれる。

後処理回路３８は、メイン画像エリア３４ａに格納されたメイン画像データＭＳ１とサブ画像エリア３４ｂに格納されたサブ画像データＳＢ＿１〜ＳＢ＿３とを並列的に読み出し、読み出されたメイン画像データＭＳ１およびサブ画像データＳＢ＿１〜ＳＢ＿３に電子ズームおよび画像合成の一連の処理（詳細は後述）を施す。これによって作成された合成画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４の合成画像エリア３４ｃ（図３参照）に書き込まれる。

ＬＣＤドライバ４０は、こうして得られた合成画像データをメモリ制御回路３２を通して合成画像エリア３４ｃから読み出し、読み出された合成画像データに基づいてＬＣＤモニタ４２を駆動する。この結果、合成画像データに基づく動画像がＬＣＤモニタ４２に表示される。

図４を参照して、撮像装置１６に設けられた撮像面の中央には、評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２４は、上述した処理に加えて、生画像データを簡易的にＹデータに変換する簡易Ｙ変換処理を実行する。

ＡＥ／ＡＦ評価回路２６は、前処理回路２４によって生成されたＹデータのうち評価エリアＥＶＡに属するＹデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ／ＡＦ評価回路２６から出力される。

ＡＥ／ＡＦ評価回路２６はまた、前処理回路２４によって生成されたＹデータのうち評価エリアＥＶＡに属するＹデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ／ＡＦ評価回路２６から出力される。

ＣＰＵ２８は、ＡＥ／ＡＦ評価回路２６から出力された２５６個のＡＥ評価値に基づいてＡＥ処理を実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間は絞りドライバ２０およびセンサドライバ２２に設定され、これによってメイン画像データＭＳ１の輝度が調整される。

ＣＰＵ２８はまた、ＡＥ／ＡＦ評価回路２６から出力された２５６個のＡＦ評価値に基づいてＡＦ処理を実行する。フォーカスレンズ１２は、合焦点の探索のためにレンズドライバ１８によって光軸方向に移動し、合焦点の近傍を継続的に移動する。この結果、メイン画像データＭＳ１の鮮鋭度が継続的に向上する。

キー入力装置３０に設けられたムービーボタン３０ｍｖが操作されると、ＣＰＵ２８は、メモリＩ／Ｆ４８に動画記録の開始を命令する。メモリＩ／Ｆ４８は、合成画像エリア３４ｃに格納された合成画像データをメモリ制御回路３２を通して読み出し、読み出された合成画像データを記録媒体５０に準備された動画ファイルに書き込む。ムービーボタン３０ｍｖが再度操作されると、ＣＰＵ２８は、動画記録の終了をメモリＩ／Ｆ４８に命令する。メモリＩ／Ｆ４８は合成画像エリア３４ｃに残存する合成画像データが動画ファイルに書き込まれた後に動画記録を終了する。

後処理回路３８は、図５に示すように構成される。コントローラ６０は、ＳＲＡＭ６２に格納されたデータ量が閾値を下回る毎に、メイン画像エリア３４ａからのメイン画像データＭＳ１の読み出しを要求する要求信号をメモリ制御回路３２に与える。メモリ制御回路３２は、要求信号を承認したとき、承認信号を要求元に返送するとともに、要求信号に従う処理を実行する。したがって、コントローラ６０からの要求信号が承認されると、メイン画像エリア３４ａに格納されたメイン画像データＭＳ１の一部がメモリ制御回路３２を介してＳＲＡＭ６２に書き込まれる。

コントローラ６６は、ＳＲＡＭ６８に格納されたデータ量が閾値を下回る毎に、サブ画像エリア３４ｂからのサブ画像データＳＢ＿１の読み出しを要求する要求信号をメモリ制御回路３２に与える。メモリ制御回路３２は、要求信号を承認したとき、承認信号を要求元に返送するとともに、要求信号に従う処理を実行する。したがって、コントローラ６６からの要求信号が承認されると、サブ画像エリア３４ｂに格納されたサブ画像データＳＢ＿１の一部がメモリ制御回路３２を介してＳＲＡＭ６８に書き込まれる。

コントローラ７２は、ＳＲＡＭ７４に格納されたデータ量が閾値を下回る毎に、サブ画像エリア３４ｂからのサブ画像データＳＢ＿２の読み出しを要求する要求信号をメモリ制御回路３２に与える。メモリ制御回路３２は、要求信号を承認したとき、承認信号を要求元に返送するとともに、要求信号に従う処理を実行する。したがって、コントローラ７２からの要求信号が承認されると、サブ画像エリア３４ｂに格納されたサブ画像データＳＢ＿２の一部がメモリ制御回路３２を介してＳＲＡＭ７４に書き込まれる。

コントローラ７８は、ＳＲＡＭ８０に格納されたデータ量が閾値を下回る毎に、サブ画像エリア３４ｂからのサブ画像データＳＢ＿３の読み出しを要求する要求信号をメモリ制御回路３２に与える。メモリ制御回路３２は、要求信号を承認したとき、承認信号を要求元に返送するとともに、要求信号に従う処理を実行する。したがって、コントローラ７８からの要求信号が承認されると、サブ画像エリア３４ｂに格納されたサブ画像データＳＢ＿３の一部がメモリ制御回路３２を介してＳＲＡＭ８０に書き込まれる。

ズーム回路６４は、ＳＲＡＭ６２に格納されたメイン画像データＭＳ１を読み出し、読み出されたメイン画像データＭＳ１にズーム倍率ＺＭｍａｉｎを参照したズーム処理を施す。ズーム回路７０は、ＳＲＡＭ６８に格納されたサブ画像データＳＢ＿１を読み出し、読み出されたサブ画像データＳＢ＿１にズーム倍率ＺＭｓｕｂ＿１を参照したズーム処理を施す。

ズーム回路７６は、ＳＲＡＭ７４に格納されたサブ画像データＳＢ＿２を読み出し、読み出されたサブ画像データＳＢ＿２にズーム倍率ＺＭｓｕｂ＿２を参照したズーム処理を施す。ズーム回路８２は、ＳＲＡＭ８０に格納されたサブ画像データＳＢ＿３を読み出し、読み出されたサブ画像データＳＢ＿３にズーム倍率ＺＭｓｕｂ＿３を参照したズーム処理を施す。

メイン画像データＭＳ１のサイズ（画素数）はズーム倍率ＺＭｍａｉｎに対応するサイズに調整され、サブ画像データＳＢ＿１〜ＳＢ３のサイズもまたズーム倍率ＺＭｓｕｂ＿１〜ＺＭｓｕｂ＿３に対応するサイズに調整される。ここで、ズーム倍率ＺＭｍａｉｎおよびＺＭｓｕｂ＿１〜ＺＭｓｕｂ＿３の値は、ズーム処理後のサブ画像データＳＢ＿１〜ＳＢ＿３のサイズがズーム処理後のメイン画像データＭＳ１のサイズを常に下回るように調整される。

したがって、ズーム回路６４から出力されたメイン画像データＭＳ１が図６（Ａ）に示すサイズを示すとき、ズーム回路７０，７６および８２からそれぞれ出力されたサブ画像データＳＢ＿１〜ＳＢ＿３は、たとえば図６（Ｂ）〜図６（Ｄ）に示すサイズを示す。

画像合成回路７２は、ズーム回路７０，７６および８２からそれぞれ出力されたサブ画像データＳＢ＿１〜ＳＢ＿３をズーム回路７０から出力されたメイン画像データＭＳ１に多重し、合成画像データを作成する。合成画像データは図６（Ｅ）に示す要領で作成され、ＳＲＡＭ８８に書き込まれる。

コントローラ８６は、ＳＲＡＭ８８に格納されたデータ量が閾値に達する毎に、合成画像エリア３４ｃへの合成画像データの書き込みを要求する要求信号をメモリ制御回路３２に与える。メモリ制御回路３２から承認信号が返送されると、コントローラ８６は、既定量の合成画像データをＳＲＡＭ８８から読み出し、読み出された合成画像データをメモリ制御回路３２に与える。合成画像データは、メモリ制御回路３２によって合成画像エリア３４ｃに書き込まれる。

ＣＰＵ２８はまた、警告制御タスクの下で、メイン画像エリア３４ａおよび音声エリア３４ｄにそれぞれ格納されたメイン画像データＭＳ１および音声データに基づいてメインシーンの属性を判別し、判別結果に応じて異なる態様でメインシーンにおける有意な変化を探索する。

メインシーンが静寂シーンであれば、メインシーンにおける音声レベルの異常変動が音声エリア３４ｄに格納された音声データに基づいて探索される。また、メインシーンが画角固定シーン（ディジタルカメラ１０が三脚などによって固定され、画角が静止しているシーン）であれば、メイン画像データＭＳ１に基づいて一般顔画像（特定の人物に限られない一般的な顔画像）が探索される。

メインシーンが静寂シーンおよび画角固定シーンのいずれでもなければ、登録顔画像（事前に登録された特定の人物の顔画像）および既定のジェスチャ（身振り、手振りあるいは一般顔画像の表情の変化）がメイン画像データＭＳ１に基づいて探索される。このような探索処理によってメインシーンから有意な変化が探知されると、ＣＰＵ２８は、３つの外部カメラに向けて警告を発行する。発行される警告には、ディジタルカメラ１０に固有の識別番号が付加される。

合成制御タスクでは、ＣＰＵ２８は、まずズーム倍率ＺＭｍａｉｎ，ＺＭｓｕｂ１〜ＺＭｓｕｂ３を初期化する。したがって、合成画像データは、当初は図６（Ｅ）に示す要領で作成される。外部ディジタルカメラから発行された警告が通信Ｉ／Ｆ３６によって受信されると、ＣＰＵ２８は、受信した警告に付加された識別番号に対応する一時識別番号を特定し、特定された一時識別番号を変数Ｋに設定する。

変数Ｋの値が決定されると、ＣＰＵ２８は、ズーム倍率ＺＭｓｕｂ＿Ｋを既定量だけ増大させ、サブ画像データＳＢ＿ＫへのキャラクタＭＫ＿Ｋの多重の開始を画像合成回路８４に命令する。この結果、合成画像データを形成するサブ画像データＳＢ＿Ｋのサイズが増大し、キャラクタＭＫ＿Ｋがサブ画像データＳＢ＿Ｋに多重される。したがって、サブ画像データＳＢ＿３を出力する外部ディジタルカメラから警告を受信したとき、合成画像データは、図６（Ｅ）に示す状態から図７に示す状態に遷移する。

これらの処理が完了すると、ＣＰＵ２８はタイマＴＭ＿Ｋのリセット＆スタートを実行する。こうして起動したタイマＴＭ＿Ｋにタイムアウトが生じると、増大されたズーム倍率ＺＭｓｕｂ＿Ｋが初期化され、マーカＭＫ＿Ｋの多重が終了される。したがって、サブ画像データＳＢ＿３を出力する外部ディジタルカメラから警告を受信する前後で、合成画像データに対する処理は図８に示すように変化する。

撮像タスクは図９に示すように構成され、警告制御タスクは図１０に示すように構成され、そして合成制御タスクは図１１〜図１２に示すように構成される。

図９を参照して、ステップＳ１では初期設定を実行する。この結果、３つの外部ディジタルカメラの各々に固有の識別番号に一時識別番号が関連付けられる。ステップＳ３ではメイン画像取り込みを開始し、ステップＳ５ではサブ画像取り込みを開始する。この結果、メイン画像データＭＳ１が前処理回路２４から繰り返し出力され、サブ画像データＳＢ＿１〜ＳＢ＿３が通信Ｉ／Ｆ３６によって繰り返し受信される。メイン画像データＭＳ１はＳＤＲＡＭ３４のメイン画像エリア３４ａに書き込まれ、サブ画像データＳＢ＿１〜ＳＢ＿３はＳＤＲＡＭ３４のサブ画像エリア３４ｂに書き込まれる。

ステップＳ７では、メイン画像送信を開始する。この結果、メイン画像エリア３４ａに格納されたメイン画像データＭＳ１が、通信Ｉ／Ｆ３６によって３つの外部ディジタルカメラに送信される。ステップＳ９では、合成画像の表示を開始するべく、後処理回路３８およびＬＣＤドライバ４０を起動する。この結果、合成画像データが後処理回路３８によって作成され、作成された合成画像データに基づく動画像がＬＣＤドライバ４０によってＬＣＤモニタ４２に表示される。

ステップＳ１１では、ＡＥ／ＡＦ評価回路２６の出力を参照したＡＥ処理およびＡＦ処理を実行する。この結果、メイン画像データの輝度および鮮鋭度が適度に調整される。ステップＳ１３ではムービーボタン３０ｍｖが操作されたか否かを判別し、判別結果がＮＯであればステップＳ９に戻る一方、判別結果がＹＥＳであればステップＳ１３に進む。

ステップＳ１５では動画記録が実行中であるか否かを判別し、判別結果がＹＥＳであればステップＳ１７で動画記録の開始をメモリＩ／Ｆ４８に命令する一方、判別結果がＮＯであればステップＳ１９で動画記録の終了をメモリＩ／Ｆ４６に命令する。この結果、ムービーボタン３０ｍｖの１回目の操作から２回目の操作までの期間に作成された合成画像データがファイル形式で記録媒体５０に記録される。ステップＳ１７またはＳ１９の処理が完了すると、ステップＳ１１に戻る。

図１０を参照して、ステップＳ２１〜Ｓ２５では、メインシーンの属性をメイン画像データおよび音声データに基づいて判別する。メインシーンが静寂シーンであればステップＳ２３からステップＳ２７に進み、メインシーンが画角固定シーンであればステップＳ２９に進み、メインシーンが静寂シーンおよび画角固定シーンのいずれでもなければステップＳ３１に進む。

ステップＳ２７では、メインシーンにおける音声レベルの異常変動を音声データに基づいて探索する。ステップＳ２９では、メイン画像データに基づいてメインシーンから一般顔画像を探索する。ステップＳ３１ではメイン画像データに基づいてメインシーンから登録顔画像を探索し、ステップＳ３３ではメイン画像データに基づいてメインシーンから既定のジェスチャを探索する。

ステップＳ３５では、ステップＳ２７〜Ｓ３３の探索結果の少なくとも１つが“探知”を示すか否かを判別する。判別結果がＮＯであれば、そのままステップＳ３１に戻る。一方、判別結果がＹＥＳであれば、メインシーンに有意な変化が生じたとみなし、ステップＳ３７で３つの外部ディジタルカメラに対して警告を発行する。発行される警告には、ディジタルカメラ１０に固有の識別番号が割り当てられる。ステップＳ３７の処理が完了すると、ステップＳ２１に戻る。

図１１を参照して、ステップＳ４１では、ズーム倍率ＺＭｍａｉｎ，ＺＭｓｕｂ１〜ＺＭｓｕｂ３を初期化する。ステップＳ４３では外部ディジタルカメラから発行された警告が通信Ｉ／Ｆ３６によって受信されたか否かを判別し、判別結果がＹＥＳであればステップＳ４５に進む一方、判別結果がＮＯであればステップＳ５５に進む。

ステップＳ４５では、受信した警告に付加された識別番号に対応する一時識別番号を特定し、特定された一時識別番号を変数Ｋに設定する。ステップＳ４７ではタイマＴＭ＿Ｋが起動中であるか否かを判別し、判別結果がＹＥＳであればそのままステップＳ５３に進む一方、判別結果がＮＯであればステップＳ４９〜Ｓ５１の処理を経てステップＳ５３に進む。

ステップＳ４９ではズーム倍率ＺＭｓｕｂ＿Ｋを変更し、ステップＳ５１ではサブ画像データＳＢ＿ＫへのキャラクタＭＫ＿Ｋの多重の開始を画像合成回路８４に命令する。ステップＳ５３ではタイマＴＭ＿Ｋのリセット＆スタートを実行し、その後にステップＳ４３に戻る。

ステップＳ５５では変数Ｌを“１”に設定し、ステップＳ５７ではタイマＴＭ＿Ｌにタイムアウトが生じたか否かを判別する。判別結果がＮＯであればそのままステップＳ６３に進み、判別結果がＹＥＳであればステップＳ５９〜Ｓ６１の処理を経てステップＳ６３に進む。ステップＳ５９ではズーム倍率ＺＭｓｕｂ＿Ｌを初期化し、ステップＳ６１ではサブ画像データＳＢ＿ＬへのキャラクタＭＫ＿Ｌの多重の終了を画像合成回路８４に命令する。

ステップＳ６３では変数Ｌが“３”に達したか否かを判別し、判別結果がＮＯであればステップＳ６５で変数ＬをインクリメントしてからステップＳ５７に戻る一方、判別結果がＹＥＳであればそのままステップＳ４３に戻る。

以上の説明から分かるように、撮像系２４はメインシーンを表すメイン画像データＭＳ１を繰り返し出力し、ズーム回路６４は撮像系２４から出力されたメイン画像データＭＳ１にズーム倍率ＺＭｍａｉｎに従うズーム処理を施す。通信Ｉ／Ｆ３６は、３つのサブシーンをそれぞれ表す３チャネルのサブ画像データＳＢ＿１〜ＳＢ＿３を撮像系２４の処理と並列して繰り返し取得する。ズーム回路７０，７６および７８は、通信Ｉ／Ｆ３６によって取得されたサブ画像データＳＢ＿１〜ＳＢ＿３にズーム倍率ＺＭｓｕｂ１〜ＺＭｓｕｂ３を参照したズーム処理を施す。ズーム処理後のサブ画像データＳＢ＿１〜ＳＢ＿３のサイズはいずれも、ズーム処理後のメイン画像データＭＳ１のサイズを下回る。画像合成回路８４は、このようなサイズ調整の後に、サブ画像データＳＢ＿１〜ＳＢ＿３をメイン画像データＭＳ１に多重する。これを踏まえて、ＣＰＵ２８は、有意な変化が生じたサブシーンを複数のサブシーンの中から検知し(S43)、検知されたサブシーンを表すサブ画像データが強調されるように、対応するズーム回路および／または画像合成回路８４の設定を変更する(S49~S51)。

サブ画像データＳＢ＿１〜ＳＢ＿３は、メイン画像データＭＳ１のサイズを下回るようにサイズ調整を施された後、メイン画像データＭＳ１に合成される。ただし、いずれかのサブシーンに有意な変化が生じると、対応するサブ画像データのサイズおよび／または合成態様が変更され、有意な変化が生じたサブシーンを表すサブ画像データが合成画像データ上で強調される。合成画像データには、メインシーンおよびサブシーンの間の重要度の相違およびサブシーン間の重要度の相違が反映される。この結果、必要かつ十分な情報を観者に伝えることができ、合成画像データの視認性が向上する。

なお、この実施例では、マイクロフォン４６はメインシーンにおける有意な変化を探索するためにのみ用いられるが、マイクロフォン４６によって捉えられた音声を動画ファイルに追加的に収めるようにしてもよい。

また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ５２に予め記憶される。しかし、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ５２に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。

さらに、この実施例では、ＣＰＵ２８によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。

１０ …ディジタルカメラ
１６ …イメージセンサ
２４ …前処理回路
２８ …ＣＰＵ
３６ …通信Ｉ／Ｆ
３８ …後処理回路
４０ …ＬＣＤドライバ

Claims (10)

1. メインシーンを表すメイン電子画像を繰り返し出力する撮像手段、
   複数のサブシーンをそれぞれ表す複数のサブ電子画像を前記撮像手段の処理と並列して繰り返し取得する取得手段、
   前記取得手段によって取得された複数のサブ電子画像の各々のサイズを前記撮像手段から出力されたメイン電子画像のサイズを下回るサイズに調整する調整手段、
   前記調整手段によって調整されたサイズを各々が有する複数のサブ電子画像を前記撮像手段から出力されたメイン電子画像に合成する合成手段、
   有意な変化が生じたサブシーンを前記複数のサブシーンの中から検知する第１検知手段、および
   前記第１検知手段によって検知されたサブシーンを表すサブ電子画像が強調されるように前記調整手段および／または前記合成手段の設定を変更する変更手段を備える、電子カメラ。
2. 前記変更手段は、強調すべきサブ電子画像を拡大する拡大手段、および／または強調すべきサブ電子画像にキャラクタを多重する多重手段を含む、請求項１記載の電子カメラ。
3. 前記第１検知手段の非検知が継続する時間を前記複数のサブシーンの各々に対応して測定する測定手段、および
   前記複数のサブシーンのうち前記測定手段の測定結果が基準に達したサブシーンに対応して前記調整手段および／または前記合成手段の設定を初期化する初期化手段をさらに備える、請求項１または２記載の電子カメラ。
4. 前記取得手段は前記複数のサブシーンをそれぞれ捉える複数の外部カメラと無線通信を実行する通信手段を含み、
   前記メインシーンにおける有意な変化を検知する第２検知手段、および
   前記第２検知手段の検知結果を前記通信手段を通して前記複数の外部カメラに通知する通知手段をさらに備える、請求項１ないし３のいずれかに記載の電子カメラ。
5. 前記メインシーンの属性を判別する判別手段、および
   前記判別手段の判別結果に応じて異なる態様での検知処理を前記第２検知手段に要求する要求手段をさらに備える、請求項４記載の電子カメラ。
6. 前記第２検知手段は、前記メインシーンから顔を探索する顔探索手段、前記メインシーンからジェスチャを探索するジェスチャ探索手段、および前記メインシーンから音声レベルの変動を探索する音声変動探索手段を含み、
   前記要求手段は前記顔探索手段、前記ジェスチャ探索手段および前記音声変動探索手段の少なくとも１つを起動する、請求項５記載の電子カメラ。
7. メインシーンを表すメイン電子画像を繰り返し出力する撮像手段、
   複数のサブシーンをそれぞれ表す複数のサブ電子画像を前記撮像手段の処理と並列して繰り返し取得する取得手段、
   前記取得手段によって取得された複数のサブ電子画像の各々のサイズを前記撮像手段から出力されたメイン電子画像のサイズを下回るサイズに調整する調整手段、および
   前記調整手段によって調整されたサイズを各々が有する複数のサブ電子画像を前記撮像手段から出力されたメイン電子画像に合成する合成手段を備える電子カメラのプロセッサに、
   有意な変化が生じたサブシーンを前記複数のサブシーンの中から検知する検知ステップ、および
   前記検知ステップによって検知されたサブシーンを表すサブ電子画像が強調されるように前記調整手段および／または前記合成手段の設定を変更する変更ステップを実行させるための、撮像制御プログラム。
8. メインシーンを表すメイン電子画像を繰り返し出力する撮像手段、
   複数のサブシーンをそれぞれ表す複数のサブ電子画像を前記撮像手段の処理と並列して繰り返し取得する取得手段、
   前記取得手段によって取得された複数のサブ電子画像の各々のサイズを前記撮像手段から出力されたメイン電子画像のサイズを下回るサイズに調整する調整手段、および
   前記調整手段によって調整されたサイズを各々が有する複数のサブ電子画像を前記撮像手段から出力されたメイン電子画像に合成する合成手段を備える電子カメラによって実行される撮像制御方法であって、
   有意な変化が生じたサブシーンを前記複数のサブシーンの中から検知する検知ステップ、および
   前記検知ステップによって検知されたサブシーンを表すサブ電子画像が強調されるように前記調整手段および／または前記合成手段の設定を変更する変更ステップを備える、撮像制御方法。
9. メインシーンを表すメイン電子画像を繰り返し出力する撮像手段、
   複数のサブシーンをそれぞれ表す複数のサブ電子画像を前記撮像手段の処理と並列して繰り返し取得する取得手段、
   前記取得手段によって取得された複数のサブ電子画像の各々のサイズを前記撮像手段から出力されたメイン電子画像のサイズを下回るサイズに調整する調整手段、
   前記調整手段によって調整されたサイズを各々が有する複数のサブ電子画像を前記撮像手段から出力されたメイン電子画像に合成する合成手段、および
   メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
   有意な変化が生じたサブシーンを前記複数のサブシーンの中から検知する検知ステップ、および
   前記検知ステップによって検知されたサブシーンを表すサブ電子画像が強調されるように前記調整手段および／または前記合成手段の設定を変更する変更ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
10. メインシーンを表すメイン電子画像を繰り返し出力する撮像手段、
    複数のサブシーンをそれぞれ表す複数のサブ電子画像を前記撮像手段の処理と並列して繰り返し取得する取得手段、
    前記取得手段によって取得された複数のサブ電子画像の各々のサイズを前記撮像手段から出力されたメイン電子画像のサイズを下回るサイズに調整する調整手段、
    前記調整手段によって調整されたサイズを各々が有する複数のサブ電子画像を前記撮像手段から出力されたメイン電子画像に合成する合成手段、
    外部制御プログラムを取り込む取り込み手段、および
    前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
    前記外部制御プログラムは、
    有意な変化が生じたサブシーンを前記複数のサブシーンの中から検知する検知ステップ、および
    前記検知ステップによって検知されたサブシーンを表すサブ電子画像が強調されるように前記調整手段および／または前記合成手段の設定を変更する変更ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。

Images