JP2013026660A - 電子カメラ - Google Patents

Abstract

【構成】イメージセンサ１６はシーンを表す画像を出力する。認識マーク検出回路４６は、イメージセンサ１６から出力された画像から特定指標を表す指標画像を探索する。ＣＰＵ２６は、素材画像のサイズを認識マーク検出回路４６によって探知された指標画像の出現態様に適合するサイズに調整する。ＣＰＵ２６はまた、調整されたサイズを有する素材画像をイメージセンサ１６から出力された画像に合成する処理を認識マーク検出回路４６によって探知された指標画像の位置に対応して実行する。
【効果】画像処理性能の向上。
【選択図】図２

Description

この発明は、電子カメラに関し、特に複数の画像を合成する、電子カメラに関する。

この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、表示画面は実世界のシーンを表示する。画像キャプチャ装置は、表示画面に関連付けられ、実世界のシーンを表している画像データをキャプチャする。画像認識論理回路は、実世界のシーンを表している画像データを分析する。画像生成論理回路は、画像認識論理回路に応答し、実世界のシーンに追加画像を取り入れる。

特表２００８−５１０２５４号公報

しかし、背景技術では、実世界のシーンに追加画像をどのように取り入れるかが記載されておらず、シーンによっては不自然な合成態様となる可能性があり、画像処理性能が低下するおそれがある。

それゆえに、この発明の主たる目的は、画像処理性能を高めることができる、電子カメラを提供することである。

この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、シーンを表す画像を出力する撮像手段(16)、撮像手段から出力された画像から特定指標を表す指標画像を探索する探索手段(46)、素材画像のサイズを探索手段によって探知された指標画像の出現態様に適合するサイズに調整するサイズ調整手段(S15)、およびサイズ調整手段によって調整されたサイズを有する素材画像を撮像手段から出力された画像に合成する処理を探索手段によって探知された指標画像の位置に対応して実行する合成手段(S17, S41)を備える。

好ましくは、フォーカスレンズ(12)から撮像手段に設けられた撮像面までの距離を撮像手段から出力された画像に基づいて調整する距離調整手段をさらに備え、サイズ調整手段は、探索手段によって注目された特定指標までの距離を距離調整手段によって調整された距離に基づいて算出する算出手段(S71, S73)、および算出手段によって算出された距離に基づいて素材画像のサイズを変更する変更手段(S75, S79)を含む。

さらに好ましくは、距離調整手段は、探索手段によって探知された指標画像に基づいて調整処理を実行する。

好ましくは、撮像手段から出力された画像のサイズを表示サイズに変換する変換手段(34)をさらに備え、サイズ調整手段は表示サイズを参照して素材画像のサイズを調整する。

好ましくは、素材画像が記録された記録媒体(42)を着脱自在に保持する保持手段(50)、および保持手段によって保持された記録媒体から素材画像を読み出す読み出し手段(40)をさらに備える。

この発明に従う画像処理プログラムは、シーンを表す画像を出力する撮像手段(16)、および撮像手段から出力された画像から特定指標を表す指標画像を探索する探索手段(46)、を備える電子カメラ(10)のプロセッサ(26)に、素材画像のサイズを探索手段によって探知された指標画像の出現態様に適合するサイズに調整するサイズ調整ステップ(S15)、およびサイズ調整ステップによって調整されたサイズを有する素材画像を撮像手段から出力された画像に合成する処理を探索手段によって探知された指標画像の位置に対応して実行する合成ステップ(S17, S41)を実行させるための、画像処理プログラムである。

この発明に従う画像処理方法は、シーンを表す画像を出力する撮像手段(16)、および撮像手段から出力された画像から特定指標を表す指標画像を探索する探索手段(46)、を備える電子カメラ(10)によって実行される画像処理方法であって、素材画像のサイズを探索手段によって探知された指標画像の出現態様に適合するサイズに調整するサイズ調整ステップ(S15)、およびサイズ調整ステップによって調整されたサイズを有する素材画像を撮像手段から出力された画像に合成する処理を探索手段によって探知された指標画像の位置に対応して実行する合成ステップ(S17, S41)を備える。

この発明に従う外部制御プログラムは、シーンを表す画像を出力する撮像手段(16)、撮像手段から出力された画像から特定指標を表す指標画像を探索する探索手段(46)、およびメモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)に供給される外部制御プログラムであって、素材画像のサイズを探索手段によって探知された指標画像の出現態様に適合するサイズに調整するサイズ調整ステップ(S15)、およびサイズ調整ステップによって調整されたサイズを有する素材画像を撮像手段から出力された画像に合成する処理を探索手段によって探知された指標画像の位置に対応して実行する合成ステップ(S17, S41)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。

この発明に従う電子カメラ(10)は、シーンを表す画像を出力する撮像手段(16)、撮像手段から出力された画像から特定指標を表す指標画像を探索する探索手段(46)、外部制御プログラムを受信する受信手段(60)、および受信手段によって受信された外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)であって、外部制御プログラムは、素材画像のサイズを探索手段によって探知された指標画像の出現態様に適合するサイズに調整するサイズ調整ステップ(S15)、およびサイズ調整ステップによって調整されたサイズを有する素材画像を撮像手段から出力された画像に合成する処理を探索手段によって探知された指標画像の位置に対応して実行する合成ステップ(S17, S41)を内部制御プログラムと協働して実行するプログラムに相当する。

［作用効果］

撮像手段から出力されたシーンを表す画像から指標画像が探索され、探知された指標画像の出現態様に基づいて素材画像のサイズが調整される。このようにしてサイズが調整された素材画像と撮像手段から出力された画像とが、探知された指標画像の位置に対応して合成される。素材画像のサイズが探知された指標画像の出現態様に基づいて調整されるので、シーンを表す画像と素材画像とを自然な態様で合成することができ、画像処理性能を高めることができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。 撮像面における評価エリアの割り当て状態の一例を示す図解図である。 撮像タスクおよびコンティニュアスＡＦタスクにおいて参照されるレジスタの構成の一例を示す図解図である。 認識マーク検出回路の構成の一例を示すブロック図である。 認識マーク検出回路によって参照される辞書の構成の一例を示す図解図である。 図２実施例に適用される認識マークの一例を示す図解図である。 認識マーク検出回路の動作の一例を示す図解図である。 認識マーク検出回路によって参照されるレジスタの構成の一例を示す図解図である。 認識マーク検出回路によって用いられる検出枠の一例を示す図解図である。 （Ａ）はＡＲ画像の一例を示す図解図であり、（Ｂ）はＡＲ画像の他の一例を示す図解図であり、（Ｃ）はＡＲ画像のその他の一例を示す図解図であり、（Ｄ）はＡＲ画像のさらにその他の一例を示す図解図である。 図２実施例に適用される認識マークカードの一例を示す図解図である。 （Ａ）はＡＲ画像のサイズ調整処理の一例を示す図解図であり、（Ｂ）はＡＲ画像のサイズ調整処理の他の一例を示す図解図であり、（Ｃ）はＡＲ画像のサイズ調整処理のその他の一例を示す図解図である。 表示用の画像合成処理の動作の一例を示す図解図である。 記録用の合成画像の一例を示す図解図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 この発明の他の実施例の基本的構成を示すブロック図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。撮像手段１はシーンを表す画像を出力する。探索手段２は、撮像手段１から出力された画像から特定指標を表す指標画像を探索する。サイズ調整手段３は、素材画像のサイズを探索手段２によって探知された指標画像の出現態様に適合するサイズに調整する。合成手段４は、サイズ調整手段３によって調整されたサイズを有する素材画像を撮像手段１から出力された画像に合成する処理を探索手段２によって探知された指標画像の位置に対応して実行する。

撮像手段１から出力されたシーンを表す画像から指標画像が探索され、探知された指標画像の出現態様に基づいて素材画像のサイズが調整される。このようにしてサイズが調整された素材画像と撮像手段から出力された画像とが、探知された指標画像の位置に対応して合成される。素材画像のサイズが探知された指標画像の出現態様に基づいて調整されるので、シーンを表す画像と素材画像とを自然な態様で合成することができ、画像処理性能を高めることができる。
［実施例］

図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経たシーンの光学像は、ドライバ１８ｃによって駆動されるイメージセンサ１６の撮像面に照射され、光電変換を施される。これらの部材によって、イメージセンサ１６によって捉えられたシーンに対応した電荷が生成される。

このようなディジタルカメラ１０は、ＡＲ（augmented reality）画像と取り込み画像とを合成するためのＡＲモードおよび通常モードからなる２つの撮像モードを有する。操作者によるキー入力装置２８の操作によって２つの撮像モードの各々が相互に切り替えられる。

電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、イメージセンサ１６の撮像面を露光し、かつイメージセンサ１６の撮像面で生成された電荷をラスタ走査態様でそれぞれ読み出す。イメージセンサ１６からは読み出された電荷に基づく生画像データが周期的に出力される。

前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通して図３に示すＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。

後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。後処理回路３４はさらに、ＹＵＶ形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、ＹＵＶ形式に従う表示画像データおよび探索画像データが個別に作成される。表示画像データは、メモリ制御回路３０によって図３に示すＳＤＲＡＭ３２の表示画像エリア３２ｂに書き込まれる。探索画像データは、メモリ制御回路３０によって図３に示すＳＤＲＡＭ３２の探索画像エリア３２ｃに書き込まれる。

ＬＣＤドライバ３６は、表示画像エリア３２ｂに格納された表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、シーンを表すリアルタイム動画像（スルー画像）がＬＣＤ３８に表示される。

図４を参照して、イメージセンサ１６の撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。

ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの各々を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。

ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。

シャッタボタン２８ｓｈが非操作状態のとき、ＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく簡易ＡＥ処理を撮像タスクの下で実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、この結果、スルー画像の明るさが適度に調整される。

このような動画取り込み処理と並列して、ＣＰＵ２６は、垂直同期信号Ｖｓｙｎｃに応答して探索要求を認識マーク検出回路４６に向けて発行する。

認識マーク検出回路４６は、図６に示すように構成される。図７を参照して、辞書ＤＩＣには、図８に示す認識マーク画像ＲＣＧが収められる。認識マーク検出回路４６は、探索画像エリア３２ｃに格納された探索画像の先頭位置から末尾位置に向けてラスタ走査態様で検出枠ＦＤを移動させ（図９参照）、検出枠ＦＤに属する一部の画像を辞書ＤＩＣに登録された認識マーク画像ＲＣＧと照合する。

検出枠ＦＤの画像が認識マーク画像ＲＣＧと符合すると、認識マーク検出回路４６は、現時点の検出枠ＦＤの位置およびサイズを図１０に示す認識マークレジスタＲＧＳＴｍに登録する。登録された検出枠ＦＤの位置およびサイズは、それぞれ認識マーク画像ＲＣＧの位置およびサイズとみなされる。

検出枠ＦＤは、末尾位置に到達する毎に縮小され（図１１参照）、その後に先頭位置に再度設定される。これによって、互いに異なるサイズを有する検出枠ＦＤが被写界像上をラスタ方向に走査される。最小サイズの検出枠ＦＤが末尾位置に到達すると、探索終了通知が認識マーク検出回路４６からＣＰＵ２６に向けて返送される。

ＣＰＵ２６は、認識マーク検出回路４６から返送された探索終了通知に応答して、認識マーク画像が検出されたか否かを判別する。認識マークレジスタＲＧＳＴｍに登録があれば、認識マーク画像が検出されたと判別される。これに対して、認識マークレジスタＲＧＳＴｍに登録がなければ、認識マーク画像が検出されなかったと判別される。

撮像モードがＡＲモードに設定されており、かつ認識マーク画像が検出された場合、ＣＰＵ２６は、ＡＲ画像のサイズを調整する処理を実行する。ＡＲ画像は、取り込み画像と合成される画像であり、例えば図１２（Ａ）〜（Ｄ）にそれぞれ示すＡＲ画像ＡＲ１〜ＡＲ４のように女性用の洋服等の画像を用いることができる。これらのＡＲ画像は記録媒体４２にＡＲ画像データとして格納され、操作者によるキー入力装置２８の操作によって、いずれかのＡＲ画像が合成予定の画像としてあらかじめ選択される。

なお、記録媒体４２は着脱自在であり、スロット５０に装着されたときにＩ／Ｆ４０によってアクセスされる。

ＣＰＵ２６はまた、スルー画像処理と並列するコンティニュアスＡＦタスクの下で、ＡＦ評価回路２４からの出力に基づくスルー画像用ＡＦ処理を繰り返し実行する。

認識マーク画像が検出されていないとき、ＣＰＵ２６は、シーン中央に注目したスルー画像用ＡＦ処理を実行する。ＣＰＵ２６は、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、シーン中央の既定領域に対応するＡＦ評価値を抽出し、抽出された一部のＡＦ評価値に基づくＡＦ処理を実行する。この結果、シーン中央に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像の鮮鋭度が継続的に向上する。

認識マーク画像が検出されたとき、ＣＰＵ２６は、認識マーク画像に注目したＡＦ処理を実行する。ＣＰＵ２６は、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、認識マークレジスタＲＧＳＴｍに登録された位置およびサイズに対応するＡＦ評価値を抽出し、抽出された一部のＡＦ評価値に基づくＡＦ処理を実行する。この結果、認識マーク画像に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像における認識マーク画像の鮮鋭度が向上する。

スルー画像用ＡＦ処理の完了後のフォーカスレンズ１２の位置に基づく焦点距離は、図５に示す焦点距離レジスタＲＧＳＴｆに登録される。

取り込み画像とＡＲ画像との合成を行う際には、認識マーク画像ＲＣＧを印刷した認識マークカードＲＣＰが用いられる（図１３参照）。操作者は、このような認識マークカードＲＣＰを、撮像シーンにおいてＡＲ画像を合成したい場所に置くか、または被写体の人物に持たせるようにする。

ＡＲ画像のサイズを調整する処理において、ＣＰＵ２６は、焦点距離レジスタＲＧＳＴｆに登録された焦点距離を読み出して、読み出された焦点距離に対応する被写体距離を算出する。コンティニュアスＡＦタスクの下でスルー画像用ＡＦ処理が実行されたことにより、撮像シーンに認識マークカードＲＣＰが存在するとき、焦点距離は、認識マークカードＲＣＰの位置に基づいた距離に設定される。つまり、算出された被写体距離は、ディジタルカメラ１０および認識マークカードＲＣＰの距離を示す。

このようにして算出された被写体距離に基づいて、ＣＰＵ２６は、ＡＲ画像のサイズを表示用のサイズに調整する処理を実行する。図１４（Ａ）〜（Ｃ）を参照して、ＣＰＵ２６は、被写体距離が大きくなるほどＡＲ画像のサイズが小さくなるように調整し、被写体距離が小さくなるほどＡＲ画像のサイズが大きくなるように調整する。このようにしてサイズ調整された表示用ＡＲ画像データは、図３に示す表示用ＡＲ画像エリア３２ｅに格納される。

ＣＰＵ２６はまた、ＡＲ画像のサイズを記録用のサイズに調整する処理を同様に実行する。サイズ調整された記録用ＡＲ画像データは、図３に示す記録用ＡＲ画像エリア３２ｆに格納される。

サイズ調整処理が完了すると、ＣＰＵ２６は、認識マークレジスタＲＧＳＴｍから認識マーク画像ＲＣＧの位置を読み出して、画像合成回路４８に表示用の画像合成の開始を命令する。

画像合成回路４８は、表示画像データをメモリ制御回路３０を通して表示画像エリア３２ｂから繰り返し読み出し、表示用ＡＲ画像データをメモリ制御回路３０を通して表示用ＡＲ画像エリア３２ｅから繰り返し読み出す。表示画像エリア３２ｂからの読み出し処理および表示用ＡＲ画像エリア３２ｅからの読み出し処理は並列的に実行され、表示画像データおよび表示用ＡＲ画像データが同時に画像合成回路４８に入力される。

画像合成回路４８は、こうして入力された表示画像データおよび表示用ＡＲ画像データを認識マーク画像ＲＣＧの位置に合わせて合成し、合成表示画像データを作成する。作成された合成表示画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の合成表示画像エリア３２ｇに書き込まれる。

ＬＣＤドライバ３６は、合成表示画像エリア３２ｇに格納された合成表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、スルー画像上の認識マーク画像ＲＣＧの位置および認識マークカードＲＣＰまでの距離に適合する態様で、ＡＲ画像がＬＣＤモニタ３８に表示される。

図１５を参照して、認識マークカードＲＣＰを掲げた人物ＨＭ１がイメージセンサ１６の撮像面に捉えられると、スルー画像上に合成された態様でＡＲ画像がＬＣＤモニタ３８に表示される。

スルー画像の表示中に、撮像モードがＡＲモードから通常モードに切り替えられた場合、または認識マーク画像が検出されなくなった場合、ＣＰＵ２６は、ＬＣＤドライバ３６および画像合成回路４８に合成表示の停止を命令する。この結果、ＬＣＤ３８の表示はスルー画像のみの表示に戻る。

ＣＰＵ２６はまた、表示用ＡＲ画像エリア３２ｅおよび記録用ＡＲ画像エリア３２ｆにそれぞれ格納された表示用ＡＲ画像データおよび記録用ＡＲ画像データをクリアする。

シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、コンティニュアスＡＦタスクを中断し、記録用ＡＦ処理を撮像タスクの下で実行する。記録用ＡＦ処理もまたＡＦ評価回路２４の出力に基づいて実行される。これによって、フォーカスが厳格に調整される。ＣＰＵ２６は続いて、ＡＥ評価回路２２の出力に基づいて記録用ＡＥ処理を実行し、最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間は、上述と同様、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが厳格に調整される。

シャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、撮像タスクの下で静止画取り込み処理および記録処理を実行する。シャッタボタン２８ｓｈが全押しされた時点の１フレームの生画像データは、静止画取り込み処理によって図３に示すＳＤＲＡＭ３２の静止画エリア３２ｄに取り込まれる。

ＳＤＲＡＭ３２の記録用ＡＲ画像エリア３２ｆに記録用ＡＲ画像データが格納されていない場合、取り込まれた１フレームの生画像データは、記録処理に関連して起動したＩ／Ｆ４０によって静止画エリア３２ｄから読み出され、ファイル形式で記録媒体４２に記録される。

一方、記録用ＡＲ画像エリア３２ｆに記録用ＡＲ画像データが格納されていた場合、ＣＰＵ２６は、認識マークレジスタＲＧＳＴｍから認識マーク画像ＲＣＧの位置を読み出して、画像合成回路４８に記録用の画像合成の開始を命令する。

画像合成回路４８は、取り込まれた１フレームの生画像データをメモリ制御回路３０を通して静止画エリア３２ｄから読み出し、記録用ＡＲ画像データをメモリ制御回路３０を通して記録用ＡＲ画像エリア３２ｆから読み出す。

画像合成回路４８は、読み出された生画像データおよび記録用ＡＲ画像データを認識マーク画像ＲＣＧの位置に合わせて合成し、合成記録画像データを作成する。作成された合成記録画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の合成記録画像エリア３２ｈに書き込まれる。また、作成された合成記録画像データは、記録処理に関連して起動したＩ／Ｆ４０によって合成記録画像エリア３２ｈから読み出され、ファイル形式で記録媒体４２に記録される。

図１５に示す例において、スルー画像上に合成された態様でＡＲ画像がＬＣＤモニタ３８に表示されているときにシャッタボタン２８ｓｈが全押しされると、図１６に示す例のように、取り込み画像とＡＲ画像との合成画像を格納した画像データが、記録媒体４２に記録される。

ＣＰＵ２６は、図１７〜１９に示す撮像タスクおよび図２０に示すコンティニュアスＡＦタスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。

図１７を参照して、ステップＳ１では、表示用ＡＲ画像エリア３２ｅおよび記録用ＡＲ画像エリア３２ｆにそれぞれ格納された表示用ＡＲ画像データおよび記録用ＡＲ画像データをクリアする。ステップＳ３では認識マーク検出回路４６を起動する。

ステップＳ５では動画取り込み処理を実行する。この結果、シーンを表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ７ではコンティニュアスＡＦタスクを起動する。

ステップＳ９では撮像モードがＡＲモードに設定されているか否かを判別し、判別結果がＮＯであればステップＳ１９に進み、判別結果がＹＥＳであれば認識マーク検出回路４６によって認識マーク画像が検出されたか否かをステップＳ１１で判別する。

ステップＳ１１の判別結果がＮＯであればステップＳ１９に進み、ステップＳ１１の判別結果がＹＥＳであれば焦点距離レジスタＲＧＳＴｆに焦点距離の登録があるか否かをステップＳ１３で判別する。

ステップＳ１３の判別結果がＮＯであればステップＳ１９に進み、ステップＳ１３の判別結果がＹＥＳであればＡＲ画像のサイズを調整するべくステップＳ１５でＡＲ調整処理を実行する。

ステップＳ１７では、ＬＣＤドライバ３６および画像合成回路４８にスルー画像とＡＲ画像との合成表示の開始を命令する。この結果、スルー画像上の認識マーク画像ＲＣＧの位置および認識マークカードＲＣＰまでの距離に適合する態様で、ＡＲ画像がＬＣＤモニタ３８に表示される。

ステップＳ１９では、ＬＣＤドライバ３６および画像合成回路４８に合成表示の停止を命令する。この結果、ＬＣＤ３８の表示はスルー画像のみの表示に戻る。ステップＳ２１では、表示用ＡＲ画像エリア３２ｅおよび記録用ＡＲ画像エリア３２ｆにそれぞれ格納された表示用ＡＲ画像データおよび記録用ＡＲ画像データをクリアする。

ステップＳ１７またはステップＳ２１の処理が完了すると、シャッタボタン２８ｓｈが半押しされたか否かをステップＳ２３で判別し、判別結果がＹＥＳであればステップＳ２７に進む一方、判別結果がＮＯであればステップＳ２５の処理を経てステップＳ９に戻る。

ステップＳ２５では簡易ＡＥ処理を実行する。この結果、スルー画像の明るさが適度に調整される。

ステップＳ２７では、コンティニュアスＡＦタスクを停止し、ステップＳ２９では記録用ＡＦ処理を実行する。この結果、フォーカスが厳格に調整される。ステップＳ３１では記録用ＡＥ処理を実行する。この結果、スルー画像の明るさが厳格に調整される。

ステップＳ３３では、シャッタボタン２８ｓｈが全押しされたか否かを判別し、判別結果がＮＯであればシャッタボタン２８ｓｈが解除されたか否かをステップＳ３５で判別する。ステップＳ３５の判別結果がＮＯであればステップＳ３３に戻る一方、ステップＳ３５の判別結果がＹＥＳであればステップＳ７に戻る。

ステップＳ３３の判別結果がＹＥＳであれば、ステップＳ３７で静止画取り込み処理を実行する。シャッタボタン２８ｓｈが全押しされた時点の１フレームの生画像データは、静止画取り込み処理によってＳＤＲＡＭ３２の静止画エリア３２ｄに取り込まれる。

ステップＳ３９では、ＳＤＲＡＭ３２の記録用ＡＲ画像エリア３２ｆに記録用ＡＲ画像データが格納されているか否かを判別し、判別結果がＹＥＳであればステップＳ４１およびＳ４３の処理を経てステップＳ７に戻り、判別結果がＮＯであればステップＳ４５の処理を経てステップＳ７に戻る。

ステップＳ４１では画像合成回路４８に記録用の画像合成の開始を命令する。この結果、生画像データと記録用ＡＲ画像データとの合成記録画像データが作成され、作成された合成記録画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の合成記録画像エリア３２ｈに書き込まれる。

ステップＳ４３では、合成画像データの記録処理を実行する。この結果、ステップＳ４１で作成された合成記録画像データは、記録処理に関連して起動したＩ／Ｆ４０によって合成記録画像エリア３２ｈから読み出され、ファイル形式で記録媒体４２に記録される。

ステップＳ４５では、取り込み画像データの記録処理を実行する。この結果、ステップＳ３７で取り込まれた１フレームの生画像データは、記録処理に関連して起動したＩ／Ｆ４０によって静止画エリア３２ｄから読み出され、ファイル形式で記録媒体４２に記録される。

図２０を参照して、ステップＳ５１では焦点距離レジスタＲＧＳＴｆの登録内容をクリアし、ステップＳ５３では垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別する。判別結果がＮＯからＹＥＳに更新されると、ＡＦ起動条件を満足するか否かをステップＳ５５で判別する。

ステップＳ５５の判別結果がＮＯであればステップＳ５３に戻り、ステップＳ５５の判別結果がＹＥＳであれば、認識マーク画像が検出されたか否かをステップＳ５７で判別する。ステップＳ５７の判別結果がＮＯであればステップＳ５９の処理を経てステップＳ６５に進み、ステップＳ５７の判別結果がＹＥＳであればステップＳ６１およびＳ６３の処理を経てステップＳ６５に進む。

ステップＳ５９ではシーン中央に注目したスルー画像用ＡＦ処理を実行する。この結果、シーン中央に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像の鮮鋭度が継続的に向上する。

ステップＳ６１では認識マークレジスタＲＧＳＴｍに登録された位置およびサイズを読み出して、読み出された位置およびサイズに基づいて認識マーク画像に注目したＡＦ処理をステップＳ６３で実行する。この結果、認識マーク画像に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像における認識マーク画像の鮮鋭度が向上する。

ステップＳ６５では、スルー画像用ＡＦ処理の完了後のフォーカスレンズ１２の位置に基づく焦点距離が、焦点距離レジスタＲＧＳＴｆに登録される。ステップＳ６５の処理が完了するとステップＳ５３に戻る。

ステップＳ１５のＡＲ調整処理は、図２１に示すサブルーチンに従って実行される。ステップＳ７１では焦点距離レジスタＲＧＳＴｆに登録された焦点距離を読み出して、読み出された焦点距離に対応する被写体距離をステップＳ７３で算出する。

このようにして算出された被写体距離に基づいて、ＡＲ画像のサイズを表示用の解像度に調整する処理をステップＳ７５で実行する。サイズ調整された表示用ＡＲ画像データは、ステップＳ７７でＳＤＲＡＭ３２の表示用ＡＲ画像エリア３２ｅに格納される。

ステップＳ７９では、算出された被写体距離に基づいて、ＡＲ画像のサイズを記録用の解像度に調整する処理を実行する。サイズ調整された記録用ＡＲ画像データは、ステップＳ８１でＳＤＲＡＭ３２の記録用ＡＲ画像エリア３２ｆに格納される。ステップＳ８１の処理が完了すると、上階層のルーチンに復帰する。

以上の説明から分かるように、イメージセンサ１６はシーンを表す画像を出力する。認識マーク検出回路４６は、イメージセンサ１６から出力された画像から特定指標を表す指標画像を探索する。ＣＰＵ２６は、素材画像のサイズを認識マーク検出回路４６によって探知された指標画像の出現態様に適合するサイズに調整する。ＣＰＵ２６はまた、調整されたサイズを有する素材画像をイメージセンサ１６から出力された画像に合成する処理を認識マーク検出回路４６によって探知された指標画像の位置に対応して実行する。

イメージセンサ１６から出力されたシーンを表す画像から指標画像が探索され、探知された指標画像の出現態様に基づいて素材画像のサイズが調整される。このようにしてサイズが調整された素材画像と撮像手段から出力された画像とが、探知された指標画像の位置に対応して合成される。素材画像のサイズが探知された指標画像の出現態様に基づいて調整されるので、シーンを表す画像と素材画像とを自然な態様で合成することができ、画像処理性能を高めることができる。

なお、この実施例では、焦点距離から被写体距離を算出し、算出された被写体距離に基づいてＡＲ画像のサイズを調整するようにした。しかし、他の方法によりＡＲ画像のサイズを調整するようにしてもよい。例えば、検出された認識マーク画像ＲＣＧのサイズに基づいてＡＲ画像のサイズを調整するようにしてもよい。

また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ６０を図２２に示す要領でディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。

また、この実施例では、ＣＰＵ２６によって実行される処理を、図１７〜１９に示す撮像タスクおよび図２０に示すコンティニュアスＡＦタスクを含む複数のタスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。

また、この実施例では、ディジタルスチルカメラを用いて説明したが、本発明は、ディジタルビデオカメラ，携帯電話端末またはスマートフォンなどにも適用することができる。

１０ …ディジタルカメラ
１２ …フォーカスレンズ
１６ …イメージセンサ
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
３８ …ＬＣＤモニタ
４２ …記録媒体
４６ …認識マーク検出回路
４８ …画像合成回路

Claims (9)

1. シーンを表す画像を出力する撮像手段、
   前記撮像手段から出力された画像から特定指標を表す指標画像を探索する探索手段、
   素材画像のサイズを前記探索手段によって探知された指標画像の出現態様に適合するサイズに調整するサイズ調整手段、および
   前記サイズ調整手段によって調整されたサイズを有する素材画像を前記撮像手段から出力された画像に合成する処理を前記探索手段によって探知された指標画像の位置に対応して実行する合成手段を備える、電子カメラ。
2. フォーカスレンズから前記撮像手段に設けられた撮像面までの距離を前記撮像手段から出力された画像に基づいて調整する距離調整手段をさらに備え、
   前記サイズ調整手段は、前記探索手段によって注目された特定指標までの距離を前記距離調整手段によって調整された距離に基づいて算出する算出手段、および前記算出手段によって算出された距離に基づいて前記素材画像のサイズを変更する変更手段を含む、請求項１記載の電子カメラ。
3. 前記距離調整手段は、前記探索手段によって探知された指標画像に基づいて調整処理を実行する、請求項２記載の電子カメラ。
4. 前記撮像手段から出力された画像のサイズを表示サイズに変換する変換手段をさらに備え、
   前記サイズ調整手段は前記表示サイズを参照して前記素材画像のサイズを調整する、請求項１ないし３のいずれかに記載の電子カメラ。
5. 前記素材画像が記録された記録媒体を着脱自在に保持する保持手段、および
   前記保持手段によって保持された記録媒体から前記素材画像を読み出す読み出し手段をさらに備える、請求項１ないし４のいずれかに記載の電子カメラ。
6. シーンを表す画像を出力する撮像手段、および
   前記撮像手段から出力された画像から特定指標を表す指標画像を探索する探索手段、を備える電子カメラのプロセッサに、
   素材画像のサイズを前記探索手段によって探知された指標画像の出現態様に適合するサイズに調整するサイズ調整ステップ、および
   前記サイズ調整ステップによって調整されたサイズを有する素材画像を前記撮像手段から出力された画像に合成する処理を前記探索手段によって探知された指標画像の位置に対応して実行する合成ステップを実行させるための、画像処理プログラム。
7. シーンを表す画像を出力する撮像手段、および
   前記撮像手段から出力された画像から特定指標を表す指標画像を探索する探索手段、を備える電子カメラによって実行される画像処理方法であって、
   素材画像のサイズを前記探索手段によって探知された指標画像の出現態様に適合するサイズに調整するサイズ調整ステップ、および
   前記サイズ調整ステップによって調整されたサイズを有する素材画像を前記撮像手段から出力された画像に合成する処理を前記探索手段によって探知された指標画像の位置に対応して実行する合成ステップを備える、画像処理方法。
8. シーンを表す画像を出力する撮像手段、
   前記撮像手段から出力された画像から特定指標を表す指標画像を探索する探索手段、および
   メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
   素材画像のサイズを前記探索手段によって探知された指標画像の出現態様に適合するサイズに調整するサイズ調整ステップ、および
   前記サイズ調整ステップによって調整されたサイズを有する素材画像を前記撮像手段から出力された画像に合成する処理を前記探索手段によって探知された指標画像の位置に対応して実行する合成ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
9. シーンを表す画像を出力する撮像手段、
   前記撮像手段から出力された画像から特定指標を表す指標画像を探索する探索手段、
   外部制御プログラムを受信する受信手段、および
   前記受信手段によって受信された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
   前記外部制御プログラムは、
   素材画像のサイズを前記探索手段によって探知された指標画像の出現態様に適合するサイズに調整するサイズ調整ステップ、および
   前記サイズ調整ステップによって調整されたサイズを有する素材画像を前記撮像手段から出力された画像に合成する処理を前記探索手段によって探知された指標画像の位置に対応して実行する合成ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。

Images