JP2010147634A - 画像合成装置 - Google Patents

Abstract

【課題】パノラマモードで合成画像の品質を向上させる画像合成装置を提供する。
【解決手段】ＣＰＵは、２つの被写界像を部分的に重複する態様で合成し、垂直方向に並ぶ８つのブロックを合成画像上に割り当てる。ＣＰＵはさらに、合成画像上に割り当てられた８つのブロックのうち連続する２つのブロックＢＫ＿ＮおよびＢＫ＿Ｍを注目ブロック群ＢＫＧとして指定し、注目ブロック群ＢＫＧに定義された補正エリアＣＲＣＴに属する画素を注目画素として指定する。ＣＰＵはその後、２つのブロックＢＫ＿ＮおよびＢＫ＿Ｍの輝度に関連する２つの輝度係数と注目画素の垂直位置に関連する垂直位置係数とを参照して、注目画素の輝度を補正する。
【選択図】図７

Description

この発明は、画像合成装置に関し、特にパノラマモードを有するディジタルカメラに適用され、複数の被写界像を部分的に重複する態様で合成する、画像合成装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、部分的に重複する２つの入力画像を合成するにあたって、まずつなぎ目を中心として所定の幅を有する領域が、階調変換領域として設定される。そして、階調変換領域外の画素については、元の画素値がそのまま合成画像の画素のために採用される。一方、階調変換領域内の画素については、つなぎ目からの幅方向の距離に応じて異なる係数を参照して画素値が補正され、補正された画素値が合成画像の画素のために採用される。
特開平９−３２１９７２号公報

しかし、背景技術では、画素値補正のための係数を決定するにあたって、注目する画素の垂直方向の位置が参照されることはない。このため、背景技術では、合成画像の品質に限界がある。

それゆえに、この発明の主たる目的は、合成画像の品質を向上させることができる、画像合成装置を提供することである。

この発明に従う画像合成装置(10：実施例で相当する参照符号。以下同じ)は、複数の被写界像を部分的に重複する態様で合成する合成手段(S53)、既定方向に並ぶＰ個（Ｐ：２以上の整数）のブロックを合成手段によって作成された合成画像上に割り当てる割り当て手段(S55)、割り当て手段によって割り当てられたＰ個のブロックのうち連続するＱ個（Ｑ：２以上でかつＰ以下の整数）のブロックを注目ブロック群として指定する第１指定手段(S57, S85)、注目ブロック群に属する画素を注目画素として指定する第２指定手段(S67, S83)、および注目ブロック群を形成するＱ個のブロックの色および／または輝度に係る属性に関連するＱ個の属性係数と既定方向における注目画素の位置に関連する第１位置係数とを参照して注目画素の色および／または輝度に係る属性を補正する補正手段(S75, S77, S93, S99)を備える。

合成手段は、複数の被写界像を部分的に重複する態様で合成する。割り当て手段は、既定方向に並ぶＰ個（Ｐ：２以上の整数）のブロックを、合成手段によって作成された合成画像上に割り当てる。割り当て手段によって割り当てられたＰ個のブロックのうち連続するＱ個（Ｑ：２以上でかつＰ以下の整数）のブロックは、第１指定手段によって注目ブロック群として指定される。注目ブロック群に属する画素は、第２指定手段によって注目画素として指定される。補正手段は、注目ブロック群を形成するＱ個のブロックの色および／または輝度に係る属性に関連するＱ個の属性係数と既定方向における注目画素の位置に関連する第１位置係数とを参照して、注目画素の色および／または輝度に係る属性を補正する。

Ｑ個の属性係数は、既定方向に並ぶように合成画像上に割り当てられたＰ個のブロックの中で連続するＱ個のブロックの色および／または輝度に係る属性に関連する。また、第１位置係数は、Ｑ個のブロックに属する画素（＝注目画素）の既定方向における位置に関連する。これらの係数を参照して注目画素の色および／または輝度に係る属性を補正することで、合成画像の色および／または輝度に係る属性の斑が抑制され、これによって合成画像の品質が向上する。

好ましくは、第２指定手段は注目ブロック群に定義された既定エリア上で注目画素を既定回数にわたって変更する画素変更手段(S83)を含み、第１指定手段は画素変更手段による既定回数の変更処理が完了する毎に注目ブロック群を変更するブロック変更手段(S85)を含む。

好ましくは、複数の被写界像は既定方向に直交する方向の側部に共通画像を有する２つの被写界像を含み、合成手段は共通画像が重複するように２つの被写界像を合成する。

さらに好ましくは、注目画素が共通画像を形成する画素であるか否かを判別する判別手段(S71)、判別手段の判別結果が肯定的であるとき第１態様でＱ個の属性係数を算出する第１属性係数算出手段(S61, S65)、および判別手段の判別結果が否定的であるとき第２態様でＱ個の属性係数を算出する第２属性係数算出手段(S91, S97)がさらに備えられる。

より好ましくは、既定方向に直交する方向における注目画素の位置に相関する第２位置係数を算出する位置係数算出手段(S89, S95)がさらに備えられ、第２属性係数算出手段は第１属性係数算出手段によって算出された数値を位置係数算出手段によって算出された第２位置係数を参照して修正する。

好ましくは、色および／または輝度に係る属性は色相，彩度，色差および輝度の少なくとも１つに相当する。

好ましくは、合成手段によって注目される複数の被写界像を生成する撮像手段(16)をさらに備える。

この発明に従う画像合成プログラムは、画像合成装置(10)のプロセッサ(30)に、複数の被写界像を部分的に重複する態様で合成する合成ステップ(S53)、既定方向に並ぶＰ個（Ｐ：２以上の整数）のブロックを合成ステップによって作成された合成画像上に割り当てる割り当てステップ(S55)、割り当てステップによって割り当てられたＰ個のブロックのうち連続するＱ個（Ｑ：２以上でかつＰ以下の整数）のブロックを注目ブロック群として指定する第１指定ステップ(S57, S85)、注目ブロック群に属する画素を注目画素として指定する第２指定ステップ(S67, S83)、および注目ブロック群を形成するＱ個のブロックの色および／または輝度に係る属性に関連するＱ個の属性係数と既定方向における注目画素の位置に関連する第１位置係数とを参照して注目画素の色および／または輝度に係る属性を補正する補正ステップ(S75, S77, S93, S99)を実行させるための、画像合成プログラムである。

この発明に従う画像合成方法は、画像合成装置(10)によって実行される画像合成方法であって、複数の被写界像を部分的に重複する態様で合成する合成ステップ(S53)、既定方向に並ぶＰ個（Ｐ：２以上の整数）のブロックを合成ステップによって作成された合成画像上に割り当てる割り当てステップ(S55)、割り当てステップによって割り当てられたＰ個のブロックのうち連続するＱ個（Ｑ：２以上でかつＰ以下の整数）のブロックを注目ブロック群として指定する第１指定ステップ(S57, S85)、注目ブロック群に属する画素を注目画素として指定する第２指定ステップ(S67, S83)、および注目ブロック群を形成するＱ個のブロックの色および／または輝度に係る属性に関連するＱ個の属性係数と既定方向における注目画素の位置に関連する第１位置係数とを参照して注目画素の色および／または輝度に係る属性を補正する補正ステップ(S75, S77, S93, S99)を備える。

この発明によれば、Ｑ個の属性係数は、既定方向に並ぶように合成画像上に割り当てられたＰ個のブロックの中で連続するＱ個のブロックの色および／または輝度に係る属性に関連する。また、第１位置係数は、Ｑ個のブロックに属する画素（＝注目画素）の既定方向における位置に関連する。これらの係数を参照して注目画素の色および／または輝度に係る属性を補正することで、合成画像の色および／または輝度に係る属性の斑が抑制され、これによって合成画像の品質が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞り機構１４を含む。フォーカスレンズ１２および絞り機構１４を経た被写界の光学像は、撮像装置１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。

電源が投入されると、ＣＰＵ３０は、スルー画像処理を実行するべく、ドライバ１８ｃにプリ露光動作および間引き読み出し動作の繰り返しを命令する。ドライバ１８ｃは、ＳＧ(Signal Generator)２０から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面にプリ露光を施し、かつ撮像面で生成された電荷を間引き態様で読み出す。撮像装置１６からは、読み出された電荷に基づく低解像度の生画像データが、ラスタ走査態様で周期的に出力される。

信号処理回路２２は、撮像装置１６から出力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施し、これによって作成されたＹＵＶ形式の画像データをバスＢＳ１を経てメモリ制御回路３２に与える。メモリ制御回路３２は、与えられた画像データをバスＢＳ２を経てＳＤＲＡＭ３４に書き込む。

ＳＤＲＡＭ３４に格納された画像データは、メモリ制御回路３２によって繰り返し読み出され、バスＢＳ１を経てドライバ３６に与えられる。ＬＣＤドライバ３６は、与えられた画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。

図２を参照して、撮像面の中央には測光エリアＥＡが割り当てられる。輝度評価回路２４は、信号処理回路２２から出力されたＹデータのうち測光エリアＥＡに属するＹデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。積分値つまり輝度評価値は、垂直同期信号Ｖｓｙｎｃの発生周期で輝度評価回路２４から出力される。ＣＰＵ３０は、輝度評価回路２４から出力された輝度評価値に基づいて適正ＥＶ値を算出するべく、上述のスルー画像処理と並列してスルー画像用ＡＥ処理（簡易ＡＥ処理）を繰り返し実行する。算出された適正ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、ＬＣＤモニタ３８に表示されるスルー画像の明るさが適度に調整される。

キー入力装置２８上のシャッタボタン２８ｓが半押しされると、輝度評価回路２４から出力された輝度評価値に基づいて最適ＥＶ値を算出するべく、厳格な記録用ＡＥ処理が実行される。算出された最適ＥＶ値を定義する絞り量および露光時間は、上述と同様、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。

記録用ＡＥ処理が完了すると、フォーカス評価回路２６の出力に基づくＡＦ処理が実行される。フォーカス評価回路２６は、信号処理回路２２から出力されたＹデータのうち図２に示すフォーカスエリアＦＡに属するＹデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。積分値つまりＡＦ評価値は、垂直同期信号Ｖｓｙｎｃの発生周期でフォーカス評価回路２６から出力される。

ＣＰＵ３０は、フォーカス評価回路２６からＡＦ評価値を取り込み、いわゆる山登り処理によって合焦点に対応する位置を探索する。フォーカスレンズ１２は、垂直同期信号Ｖｓｙｎｃが発生する毎に光軸方向に段階的に移動した後、合焦点に対応する位置に配置される。

シャッタボタン２８ｓが全押しされると、静止画取り込み処理が実行される。ＣＰＵ３０は、本露光動作および全画素読み出しを１回ずつ実行することをドライバ１８ｃに命令する。ドライバ１８ｃは、垂直同期信号Ｖｓｙｎｃの発生に応答して撮像面に本露光を施し、電荷読み出しエリアで生成された全ての電荷をラスタ走査態様で読み出す。この結果、被写界を表す高解像度の生画像データが撮像装置１６から出力される。出力された生画像データは上述と同様の処理を施され、この結果、ＹＵＶ形式に従う高解像度の画像データがＳＤＲＡＭ３４に確保される。

撮像モードは、シャッタボタン２８ｓの操作に先立つモードキー２８ｍの操作によって、通常モードおよびパノラマモードのいずれか一方に設定される。設定された撮像モードが通常モードであれば、ＣＰＵ３０は、ＳＤＲＡＭ３４に確保された高解像度の画像データに記録処理を施すべく、対応する命令をメモリ制御回路３２に与える。メモリ制御回路３２は、所望の画像データをＳＤＲＡＭ３４から読み出し、読み出された画像データをファイル形式で記録媒体４０に記録する。記録処理が完了すると、上述のスルー画像処理およびスルー画像用ＡＥ処理が再開される。

モードキー２８ｍの操作によって設定された撮像モードがパノラマモードであれば、ＣＰＵ３０は、記録処理を実行することなく、スルー画像処理およびスルー画像用ＡＥ処理を再開する。ただし、ＣＰＵ３０は、ＳＤＲＡＭ３４に確保された高解像度の画像データに基づく被写界像をスルー画像と並列してＬＣＤモニタ３８に表示することを、ＬＣＤドライバ３６に追加的に命令する。１フレーム目の被写界像は、パノラマ撮影を支援する支援画像として、スルー画像に隣接する位置に表示される。

この状態でシャッタボタン２８ｓが半押しされると、記録用ＡＥ処理およびＡＦ処理が実行される。また、シャッタボタン２８ｓが全押しされると、静止画取り込み処理が実行される。この結果、ＳＤＲＡＭ３４には、高解像度を有する２フレーム目の画像データが確保される。

１回目のシャッタボタン２８ｓの全押しが図３に示す被写界ＯＢＪＬを捉えた状態で実行され、２回目のシャッタボタン２８ｓの全押しが同じ図３に示す被写界ＯＢＪＲを捉えた状態で実行された場合、ＳＤＲＡＭ２８には、図４に示す２フレームの被写界像ＩＭＬおよびＩＭＲが確保される。被写界像ＩＭＬは、右側に共通画像エリアＣＬを有し、左側に固有画像エリアＰＬを有する。一方、被写界像ＩＭＲは、左側に共通画像エリアＣＲを有し、右側に固有画像エリアＰＲを有する。

ＣＰＵ３０は、こうして確保された２フレームの画像データに画像合成処理を施し、合成画像データを作成する。ＣＰＵ３０はさらに、作成された合成画像データに記録処理を施すべく、対応する命令をメモリ制御回路３２に与える。メモリ制御回路３２は、後述する切り出しエリアＣＴに属する一部の合成画像データをＳＤＲＡＭ３４から読み出し、読み出された合成画像データをファイル形式で記録媒体４０に記録する。記録処理が完了すると、上述のスルー画像処理およびスルー画像用ＡＥ処理が再開される。

画像合成処理は、次の要領で実行される。まず、注目する２フレームの被写界像ＩＭＬおよびＩＭＲから共通画像エリアＣＬおよびＣＲが特定される。被写界像ＩＭＬおよびＩＭＲは特定された共通画像エリアＣＬおよびＣＲが互いに重複するように合成され、矩形の切り出しエリアＣＴが合成画像上に割り当てられる。切り出しエリアＣＴには、垂直方向に並ぶ８個のブロックＢＫ＿１〜ＢＫ＿８が割り当てられる。

したがって、図４に示す被写界像ＩＭＬおよびＩＭＲは図５に示す要領で合成され、切り出しエリアＣＴおよびブロックＢＫ＿１〜ＢＫ＿８は同じ図５に示す要領で合成画像上に割り当てられる。なお、切り出しエリアＣＴに属する合成画像は、左側の非重複画像エリアＮＤＰＬ，中央の重複画像エリアＤＰおよび右側の非重複画像エリアＮＤＰＲに区分される。

被写界像ＩＭＬを形成する画素を“Ｌ側画素”と定義し、被写界像ＩＭＲを形成する画素を“Ｒ側画素”と定義すると、非重複画像エリアＮＤＰＬはＬ側画素のみによって形成され、非重複画像エリアＮＤＰＲはＲ側画素のみによって形成される。これに対して、重複画像エリアＤＰは、Ｌ側画素およびＲ側画素の両方によって形成される。

また、図６を参照して厳密に説明すると、ブロックＢＫ＿１〜ＢＫ＿８は、被写界像ＩＭＬに対応するブロックＢＫ＿１Ｌ〜ＢＫ＿８Ｌと、被写界像ＩＭＲに対応するブロックＢＫ＿１Ｒ〜ＢＫ＿８Ｒとに区分される。ブロックＢＫ１Ｌ〜ＢＫ＿８Ｌ上の重複画像エリアＤＰはＬ側画素によって形成され、ブロックＢＫ１Ｒ〜ＢＫ＿８Ｒ上の重複画像エリアＤＰはＲ側画素によって形成される。

次に、ブロックＢＫ＿１〜ＢＫ＿８のうち互いに隣接する２つのブロックが注目ブロック群ＢＫＧとして指定される（図７参照）。以下では、注目ブロック群ＢＫＧを形成する２つのブロックを“ブロックＢＫ＿Ｍ”および“ＢＫ＿Ｎ”と定義する。

ブロックＢＫ＿Ｍについては、まず各種平均輝度（＝ＹａｖｅＭ，ＹＬａｖｅＭ，ＹＲａｖｅＭ）が算出され、続いてブロックＢＫ＿ＭＬの輝度に相関する輝度係数ＷＬＭ１（＝ＹａｖｅＭ／ＹＬａｖｅＭ）とブロックＢＫ＿ＭＲの輝度に相関する輝度係数ＷＲＭ１（＝ＹａｖｅＭ／ＹＲａｖｅＭ）とが算出される。

ブロックＢＫ＿Ｎについても、まず各種平均輝度（＝ＹａｖｅＮ，ＹＬａｖｅＮ，ＹＲａｖｅＮ）が算出され、続いてブロックＢＫ＿ＮＬの輝度に相関する輝度係数ＷＬＮ１（＝ＹａｖｅＮ／ＹＬａｖｅＮ）とブロックＢＫ＿ＮＲの輝度に相関する輝度係数ＷＲＮ１（＝ＹａｖｅＮ／ＹＲａｖｅＮ）とが算出される。

ここで、平均輝度ＹａｖｅＭはブロックＢＫ＿Ｍに属する画像の平均輝度に相当し、平均輝度ＹＬａｖｅＭはブロックＢＫ＿ＭＬに属する画像の平均輝度に相当し、そして平均輝度ＹＲａｖｅＭはブロックＢＫ＿ＭＲに属する画像の平均輝度に相当する。一方、平均輝度ＹａｖｅＮはブロックＢＫ＿Ｎに属する画像の平均輝度に相当し、平均輝度ＹＬａｖｅＮはブロックＢＫ＿ＮＬに属する画像の平均輝度に相当し、そして平均輝度ＹＲａｖｅＮはブロックＢＫ＿ＮＲに属する画像の平均輝度に相当する。

輝度係数ＷＬＭ１，ＷＲＭ１，ＷＬＮ１およびＷＲＮ１が算出されると、注目ブロック群ＢＫＧの高さ方向中央に定義された補正エリアＣＲＣＴ上の画素が注目画素ＬｍまたはＲｍとして指定される。図７，図８（Ａ）〜図８（Ｂ）および図９（Ａ）〜図９（Ｂ）にハッチングで示すように、補正エリアＣＲＣＴの水平サイズは注目ブロック群ＢＫＧの水平サイズと等しく、補正エリアＣＲＣＴの垂直サイズは注目ブロック群ＢＫＧの垂直サイズの１／２に等しい。なお、補正エリアＣＲＣＴは、被写界像ＩＭＬに対応する補正エリアＣＲＣＴＬと、被写界像ＩＭＲに対応する補正エリアＣＲＣＴＲとに区分される。

図８（Ａ）〜図８（Ｂ）に示すように、補正エリアＣＲＣＴＬから指定された注目画素が“Ｌｍ”として定義される。また、図９（Ａ）〜図９（Ｂ）に示すように、補正エリアＣＲＣＴＲから指定された注目画素が“Ｒｍ”として定義される。

続いて、注目画素Ｌｍの垂直位置に相関する垂直位置係数（＝ｖｌ／Ｖ）、或いは注目画素Ｒｍの垂直位置に相関する垂直位置係数（＝ｖｒ／Ｖ）が算出される。ここで、変数Ｖは補正エリアＣＲＣＴの垂直画素数を示し、変数ｖｌは補正エリアＣＲＣＴの上端と注目画素Ｌｍとの間の垂直画素数を示し、そして変数ｖｒは補正エリアＣＲＣＴの上端と注目画素Ｒｍとの間の垂直画素数を示す。こうして垂直位置係数ｖｌ／Ｖまたはｖｒ／Ｖが算出されると、注目画素の位置に応じて異なる態様で注目画素の輝度が補正される。

注目画素が重複画像エリアＤＰに属するＬ側画素であれば、注目画素Ｌｍの輝度を表す輝度値ＹＬｍは数１に従って補正される。また、注目画素が重複画像エリアＤＰに属するＲ側画素であれば、注目画素Ｒｍの輝度を表す輝度値ＹＲｍは数２に従って補正される。

数１によれば、輝度係数ＷＬＮ１を輝度係数ＷＬＭ１によって減算することで得られる差分値が、垂直位置係数ｖｌ／Ｖによって掛け算される。また、掛け算値を輝度係数ＷＬＭ１に加算することで得られる加算値が、輝度値ＹＬｍによって掛け算される。これによって、補正輝度値ＹＬｍ＿ｃｒｃｔが得られる。

数２によれば、輝度係数ＷＲＮ１を輝度係数ＷＲＭ１によって減算することで得られる差分値が、垂直位置係数ｖｒ／Ｖによって掛け算される。また、掛け算値を輝度係数ＷＲＭ１に加算することで得られる加算値が、輝度値ＹＲｍによって掛け算される。これによって、補正輝度値ＹＲｍ＿ｃｒｃｔが得られる。

一方、注目画素が非重複画像エリアＮＤＰＬに属するＬ側画素であれば、注目画素の水平位置に相関する水平位置係数（＝ｈｌ／ＨＬ）が算出され、数３に従って輝度係数ＷＬＭ２およびＷＬＮ２が算出される。注目画素の輝度値ＹＬｍはその後、数４に従って補正される。

また、注目画素が非重複画像エリアＮＤＰＲに属するＲ側画素であれば、注目画素の水平位置に相関する水平位置係数（＝ｈｒ／ＨＲ）が算出され、数５に従って輝度係数ＷＲＭ２およびＷＲＮ２が算出される。注目画素の輝度値ＹＲｍはその後、数６に従って補正される。

ここで、変数ＨＬは非重複画像エリアＮＤＰＬの水平画素数を示し、変数ｈｌは非重複画像エリアＮＤＰＬの左端と注目画素Ｌｍとの間の水平画素数を示す（図８（Ｂ）参照）。また、変数ＨＲは非重複画像エリアＮＤＰＲの水平画素数を示し、変数ｈｒは非重複画像エリアＮＤＰＲの右端と注目画素Ｒｍとの間の水平画素数を示す（図９（Ｂ）参照）。

数３によれば、水平位置係数ｈｌ／ＨＬに“１”を加算して得られる数値を輝度係数ＷＬＭ１から“１”を減算して得られる数値によって掛け算することで、輝度係数ＷＬＭ２が得られる。また、水平位置係数ｈｌ／ＨＬに“１”を加算して得られる数値を輝度係数ＷＬＮ１から“１”を減算して得られる数値によって掛け算することで、輝度係数ＷＬＮ２が得られる。

同様に、数５によれば、水平位置係数ｈｒ／ＨＲに“１”を加算して得られる数値を輝度係数ＷＲＭ１から“１”を減算して得られる数値によって掛け算することで、輝度係数ＷＲＭ２が得られる。また、水平位置係数ｈｒ／ＨＲに“１”を加算して得られる数値を輝度係数ＷＲＮ１から“１”を減算して得られる数値によって掛け算することで、輝度係数ＷＲＮ２が得られる。

つまり、輝度係数ＷＬＭ２およびＷＬＮ２は、水平位置係数ｈｌ／ＨＬを参照して輝度係数ＷＬＭ１およびＷＬＮ１を修正した値に相当する。また、輝度係数ＷＲＭ２およびＷＲＮ２は、水平位置係数ｈｒ／ＨＲを参照して輝度係数ＷＲＭ１およびＷＲＮ１を修正した値に相当する。

また、数４によれば、輝度係数ＷＬＮ２を輝度係数ＷＬＭ２によって減算することで得られる差分値が、垂直位置係数ｖｌ／Ｖによって掛け算される。また、掛け算値を輝度係数ＷＬＭ２に加算することで得られる加算値が、輝度値ＹＬｍによって掛け算される。これによって、補正輝度値ＹＬｍ＿ｃｒｃｔが得られる。

さらに、数６によれば、輝度係数ＷＲＮ２を輝度係数ＷＲＭ２によって減算することで得られる差分値が、垂直位置係数ｖｒ／Ｖによって掛け算される。また、掛け算値を輝度係数ＷＲＭ２に加算することで得られる加算値が、輝度値ＹＲｍによって掛け算される。これによって、補正輝度値ＹＲｍ＿ｃｒｃｔが得られる。

このような輝度補正は、補正エリアＣＲＣＴに属する全ての画素に対して実行される。補正エリアＣＲＣＴに属する全画素の輝度補正が完了すると、変数ＭおよびＮがインクリメントされ、インクリメントされた変数Ｍによって定義される注目ブロック群ＢＫＧの補正エリアＣＲＣＴにおいて、同様の輝度補正が実行される。ブロックＢＫ＿７およびＢＫ＿８を跨ぐ補正エリアＣＲＣＴにおける輝度補正が完了すると、画像合成処理が終了される。このような輝度補正処理を実行することで、合成画像の輝度の斑が抑制され、高品質の合成画像が得られる。

ＣＰＵ３０は、図１０〜図１４に示す撮像タスクに従う処理を実行する。この撮像タスクに対応する制御プログラムは、フラッシュメモリ４２に記憶される。

図１０を参照して、ステップＳ１ではスルー画像処理を実行する。この結果、被写界を表すスルー画像がＬＣＤモニタ３８から出力される。ステップＳ３ではシャッタボタン２８ｓが半押しされたか否かを判別し、判別結果がＮＯである限りステップＳ５のスルー画像用ＡＥ処理を繰り返す。この結果、スルー画像の明るさが適度に調整される。シャッタボタン２８ｓが半押しされると、ステップＳ３で記録用ＡＥ処理を実行し、ステップＳ７でＡＦ処理を実行する。ステップＳ７の処理によってスルー画像の明るさが最適値に調整され、ステップＳ９の処理によってフォーカスレンズ１２が合焦点に配置される。

ステップＳ１１ではシャッタボタン２８ｓが全押しされたか否かを判別し、ステップＳ１３ではシャッタボタン２８ｓの操作が解除されたか否かを判別する。ステップＳ１１でＹＥＳであれば、静止画取り込み処理をステップＳ１５で実行し、現時点の撮像モードがパノラマモードであるか否かを続くステップＳ１７で判別する。

現時点の撮像モードが通常モードであれば、ステップＳ１７からステップＳ１９に進み、静止画取り込み処理によって取り込まれた１フレームの画像データに記録処理を施す。記録処理が完了すると、ステップＳ２１でスルー画像処理を再開し、その後にステップＳ３に戻る。現時点の撮像モードがパノラマモードであれば、ステップＳ１７でＹＥＳと判断し、ステップＳ２３でスルー画像処理を実行する。ただし、このスルー画像処理は、パノラマ撮影を支援する支援画像の表示処理を伴う。

ステップＳ２５〜Ｓ３７では、上述のステップＳ３〜Ｓ１５と同様の処理を実行する。ステップＳ３７の処理によって、ステップＳ１５で取り込まれた被写界像と部分的に重複する別の被写界像がＳＤＲＡＭ３４に確保される。ステップＳ３９では、ＳＤＲＡＭ３４に確保された２フレームの被写界像を合成するべく画像合成処理を実行する。続くステップＳ４１では、画像合成処理によって作成された合成画像データのうち、切り出しエリアＣＴに属する一部の合成画像データの記録処理を施す。記録処理が完了すると、ステップＳ４３でスルー画像処理を再開し、その後にステップＳ３に戻る。

図１２を参照して、ステップＳ５１では注目する２フレームの被写界像ＯＢＪＬおよびＯＢＪＲから共通画像エリアＣＬおよびＣＲを特定する。ステップＳ５３では、特定された共通画像エリアＣＬおよびＣＲが互いに重複するように被写界像ＯＢＪＬおよびＯＢＪＲを合成し、これによって得られた合成画像上に矩形の切り出しエリアＣＴを割り当てる。

ステップＳ５５では、垂直方向に並ぶ８個のブロックＢＫ＿１〜ＢＫ＿８をステップＳ５３で割り当てられた切り出しエリアＣＴに割り当てる。ステップＳ５７では、注目ブロック群を形成する２つのブロックを指定するための変数ＭおよびＮをそれぞれ“１”および“２”に設定する。

ステップＳ５９ではブロックＢＫ＿Ｍの各種平均輝度（＝ＹａｖｅＭ，ＹＬａｖｅＭ，ＹＲａｖｅＭ）を算出し、ステップＳ６１ではブロックＢＫ＿Ｍの輝度係数（＝ＷＬＭ１，ＷＲＭ１）を算出する。ステップＳ６３ではブロックＢＫ＿Ｎの各種平均輝度（＝ＹａｖｅＮ，ＹＬａｖｅＮ，ＹＲａｖｅＮ）を算出し、ステップＳ６５ではブロックＢＫ＿Ｎの輝度係数（＝ＷＬＮ１，ＷＲＮ１）を算出する。

ステップＳ６７では補正エリアＣＲＣＴの先頭画素を注目画素として指定し、ステップＳ６９では注目画素の垂直位置係数（＝ｖｌ／Ｖまたはｖｒ／Ｖ）を算出する。ステップＳ７１では注目画素が重複画像エリアＤＰに属するか否かを判別し、ステップＳ７３およびＳ８７の各々では注目画素がＬ側画素であるか否かを判別する。

注目画素が重複画像エリアＤＰに属するＬ側画素であれば、ステップＳ７１およびＳ７３を経てステップＳ７５に進む。注目画素が重複画像エリアＤＰに属するＲ側画素であれば、ステップＳ７１およびＳ７３を経てステップＳ７７に進む。注目画素が非重複画像エリアＮＤＰＬに属するＬ側画素であれば、ステップＳ７１およびＳ８７を経てステップＳ８９に進む。注目画素が非重複画像エリアＮＤＰＲに属するＲ側画素であれば、ステップＳ７１およびＳ８７を経てステップＳ９５に進む。

ステップＳ７５では数１に従って注目画素の輝度を補正し、ステップＳ７７では数２に従って注目画素の輝度を補正する。ステップＳ８９では注目画素の水平位置係数（＝ｈｌ／ＨＬ）を算出し、ステップＳ９１では数３に従って輝度係数ＷＬＭ２およびＷＬＮ２を算出し、ステップＳ９３では数４に従って注目画素の輝度を補正する。ステップＳ９５では注目画素の水平位置係数（＝ｈｒ／ＨＲ）を算出し、ステップＳ９７では数５に従って輝度係数ＷＲＭ２およびＷＲＮ２を算出し、ステップＳ９９では数６に従って注目画素の輝度を補正する。

ステップＳ７５，Ｓ７７，Ｓ９３またはＳ９９の処理が完了すると、注目画素が補正エリアＣＲＣＴの末尾画素であるか否かをステップＳ７９で判別し、変数Ｎが“８”を示すか否かをステップＳ８１で判別する。ステップＳ７９でＮＯであればステップＳ８３に進み、注目画素を補正エリアＣＲＣＴの次画素に変更する。変更処理が完了すると、ステップＳ７１に戻る。ステップＳ７９でＹＥＳである一方、ステップＳ８１でＮＯであれば、ステップＳ８５で変数ＮおよびＭをインクリメントし、その後にステップＳ５９に戻る。ステップＳ７９およびＳ８１のいずれもＹＥＳであれば、上階層のルーチンに復帰する。

以上の説明から分かるように、ＣＰＵ３０は、２つの被写界像を部分的に重複する態様で合成し(S53)、垂直方向に並ぶ８つのブロックＢＫ＿１〜ＢＫ＿８を合成画像上に割り当てる(S55)。ＣＰＵ３０はさらに、合成画像上に割り当てられた８つのブロックＢＫ＿１〜ＢＫ＿８のうち連続する２つのブロックＢＫ＿ＭおよびＢＫ＿Ｎを注目ブロック群ＢＫＧとして指定し(S57, S85)、注目ブロック群ＢＫＧに属する画素を注目画素として指定する(S67, S83)。ＣＰＵ３０はその後、注目ブロック群ＢＫＧを形成する２つのブロックＢＫ＿ＭおよびＢＫ＿Ｎの輝度に関連する２つの輝度係数(WLM1&WLN1, WRM1&WRN1, WLM2&WLN2, WRM2&WRN2)と注目画素の垂直位置に関連する垂直位置係数(vl/V, Vr/V)とを参照して、注目画素の輝度を補正する(S75, S77, S93, S99)。

２つの輝度係数は、垂直方向に並ぶように合成画像上に割り当てられた８つのブロックＢＫ＿１〜ＢＫ＿８の中で連続する２つのブロックＢＫ＿ＭおよびＢＫ＿Ｎの輝度に関連する。また、垂直位置係数ｖｌ／Ｖまたはｖｈ／Ｖは、補正エリアＣＲＣＴに属する画素（＝注目画素）の垂直位置に関連する。これらの係数を参照して注目画素の輝度を補正することで、合成画像の輝度の斑が抑制され、これによって合成画像の品質が向上する。

なお、この実施例では、合成画像上に垂直方向に並ぶ８つのブロックを割り当て、このうち連続する２つのブロックを注目ブロック群として指定するようにしている。しかし、合成画像上に割り当てられるブロックの数は、“３”以上である限り、“８”と異なってもよい。また、注目ブロック群を形成するブロックの数は、“２”以上でかつ合成画像上に割り当てられるブロックの総数を下回る限り、“２”と異なってもよい。

さらに、合成画像上に割り当てられるブロックの数は“２”以上でもよく、注目ブロック群を形成するブロックの数は“２”以上でかつ合成画像上に割り当てられるブロックの総数以下でもよい。

また、この実施例では、水平方向側部に共通エリアを有する２つの被写界像を水平方向において結合するようにしている。しかし、垂直方向側部に共通エリアを有する２つの被写界像を垂直方向において結合するようにしてもよい。ただし、この場合には、水平方向に並ぶ複数のブロックを合成画像上に割り当てる必要がある。

さらに、この実施例では、色および／または輝度に係る属性のうち輝度を補正するようにしているが、色相，彩度，色差のような他の色および／または輝度に係る属性を補正するようにしてもよい。つまり、輝度に代えて色相および／または彩度および／または色差を補正したり、輝度とともに色相および／または彩度および／または色差を補正したりするようにしてもよい。

また、この実施例では、ブロックＢＫ＿１〜ＢＫ＿７の各々に属する全ての画素の輝度を補正するようにしているが、ブロックＢＫ＿１〜ＢＫ＿７の一部に属する一部の画素の輝度のみを補正するようにしてもよい。これによって、画像合成処理に要する時間の短縮化が図られる。

この発明の一実施例の構成を示すブロック図である。 測光エリアおよびフォーカスエリアの割り当て状態の一例を示す図解図である。 被写界の一例を示す図解図である。 パノラマモードによって捉えられた２フレームの被写界像の一例を示す図解図である。 パノラマモードにおける画像合成動作の一部を示す図解図である。 パノラマモードにおける画像合成動作の他の一部を示す図解図である。 パノラマモードにおける画像合成動作のその他の一部を示す図解図である。 （Ａ）はブロックＢＫ＿Ｌの重複画像エリアにおける輝度補正動作の一部を示す図解図であり、（Ｂ）はブロックＢＫ＿Ｌの非重複画像エリアにおける輝度補正動作の一部を示す図解図である。 （Ａ）はブロックＢＫ＿Ｒの重複画像エリアにおける輝度補正動作の一部を示す図解図であり、（Ｂ）はブロックＢＫ＿Ｒの非重複画像エリアにおける輝度補正動作の一部を示す図解図である。 図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。

符号の説明

１０ …ディジタルカメラ
１２ …フォーカスレンズ
１６ …撮像装置
２４ …輝度評価回路
２６ …フォーカス評価回路
３０ …ＣＰＵ
４２ …フラッシュメモリ

Claims (9)

1. 複数の被写界像を部分的に重複する態様で合成する合成手段、
   既定方向に並ぶＰ個（Ｐ：２以上の整数）のブロックを前記合成手段によって作成された合成画像上に割り当てる割り当て手段、
   前記割り当て手段によって割り当てられたＰ個のブロックのうち連続するＱ個（Ｑ：２以上でかつＰ以下の整数）のブロックを注目ブロック群として指定する第１指定手段、
   前記注目ブロック群に属する画素を注目画素として指定する第２指定手段、および
   前記注目ブロック群を形成するＱ個のブロックの色および／または輝度に係る属性に関連するＱ個の属性係数と前記既定方向における前記注目画素の位置に関連する第１位置係数とを参照して前記注目画素の色および／または輝度に係る属性を補正する補正手段を備える、画像合成装置。
2. 前記第２指定手段は前記注目ブロック群に定義された既定エリア上で前記注目画素を既定回数にわたって変更する画素変更手段を含み、
   前記第１指定手段は前記画素変更手段による前記既定回数の変更処理が完了する毎に前記注目ブロック群を変更するブロック変更手段を含む、請求項１記載の画像合成装置。
3. 前記複数の被写界像は前記既定方向に直交する方向の側部に共通画像を有する２つの被写界像を含み、
   前記合成手段は前記共通画像が重複するように前記２つの被写界像を合成する、請求項１または２記載の画像合成装置。
4. 前記注目画素が前記共通画像を形成する画素であるか否かを判別する判別手段、
   前記判別手段の判別結果が肯定的であるとき第１態様で前記Ｑ個の属性係数を算出する第１属性係数算出手段、および
   前記判別手段の判別結果が否定的であるとき第２態様で前記Ｑ個の属性係数を算出する第２属性係数算出手段をさらに備える、請求項３記載の画像合成装置。
5. 前記既定方向に直交する方向における前記注目画素の位置に相関する第２位置係数を算出する位置係数算出手段をさらに備え、
   前記第２属性係数算出手段は前記第１属性係数算出手段によって算出された数値を前記位置係数算出手段によって算出された第２位置係数を参照して修正する、請求項４記載の画像合成装置。
6. 前記色および／または輝度に係る属性は色相，彩度，色差および輝度の少なくとも１つに相当する、請求項１ないし５のいずれかに記載の画像合成装置。
7. 前記合成手段によって注目される複数の被写界像を生成する撮像手段をさらに備える、請求項１ないし６のいずれかに記載の画像合成装置。
8. 画像合成装置のプロセッサに、
   複数の被写界像を部分的に重複する態様で合成する合成ステップ、
   既定方向に並ぶＰ個（Ｐ：２以上の整数）のブロックを前記合成ステップによって作成された合成画像上に割り当てる割り当てステップ、
   前記割り当てステップによって割り当てられたＰ個のブロックのうち連続するＱ個（Ｑ：２以上でかつＰ以下の整数）のブロックを注目ブロック群として指定する第１指定ステップ、
   前記注目ブロック群に属する画素を注目画素として指定する第２指定ステップ、および
   前記注目ブロック群を形成するＱ個のブロックの色および／または輝度に係る属性に関連するＱ個の属性係数と前記既定方向における前記注目画素の位置に関連する第１位置係数とを参照して前記注目画素の色および／または輝度に係る属性を補正する補正ステップを実行させるための、画像合成プログラム。
9. 画像合成装置によって実行される画像合成方法であって、
   複数の被写界像を部分的に重複する態様で合成する合成ステップ、
   既定方向に並ぶＰ個（Ｐ：２以上の整数）のブロックを前記合成ステップによって作成された合成画像上に割り当てる割り当てステップ、
   前記割り当てステップによって割り当てられたＰ個のブロックのうち連続するＱ個（Ｑ：２以上でかつＰ以下の整数）のブロックを注目ブロック群として指定する第１指定ステップ、
   前記注目ブロック群に属する画素を注目画素として指定する第２指定ステップ、および
   前記注目ブロック群を形成するＱ個のブロックの色および／または輝度に係る属性に関連するＱ個の属性係数と前記既定方向における前記注目画素の位置に関連する第１位置係数とを参照して前記注目画素の色および／または輝度に係る属性を補正する補正ステップを備える、画像合成方法。

Images