JP2019087924A - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 ピント位置を細かく移動させて撮像した複数の画像から検出した変換係数の精度が低い。【解決手段】 画像処理装置は、ピント位置の異なる複数の画像から特徴点を検出する検出手段と、特徴点を用いて位置合わせのための変換係数を算出し、変換係数に基づいて合成を行う合成手段と、を有する。合成手段は、第１の画像と第２の画像から検出された特徴点を用いて算出される第１の画像に対する第２の画像の変換係数が予め定められた条件を満たさないと判断され、かつ、第１の画像と第３の画像から検出された特徴点を用いて算出される第１の画像に対する第３の画像の変換係数が予め定められた条件を満たす場合、第３の画像の変換係数に基づいて第２の画像の変換係数を算出することを特徴とする。【選択図】 図６

Description

本発明は、複数の画像に対して位置合わせを行う撮像装置に関するものである。

デジタルカメラなどの撮像装置からの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。こうした深度合成の技術を正しく行うために、画像間の正しい位置合わせが不可欠である。特許文献２には、複数の画像において特徴点を検出して追跡し、検出した特徴点を用いて変換係数を求め、この変換係数に基づく画像の位置合わせを行ってから画像合成を行う方法が開示されている。

特開平１０―２９０３８９号公報 特開２００８―２７１２４０号公報

特許文献１に記載の方法で深度合成の画像を作成する際に、品位の高い合成画像を得るためには、ピント位置を細かく変えながら、大量の画像を撮像することが望ましい。しかしながら、ピント位置の変化が少ないと、特許文献２に開示された方法で位置合わせための変換係数を求めようとしても、特徴点の移動量が演算精度より小さくなってしまい、正しい変換係数が求められない可能性がある。

本発明は、上記の課題を鑑みてなされたものであり、ピント位置を細かく移動させて撮像した複数の画像に対して精度の高い位置合わせを行う画像処理装置を提供することを目的とする。

上記課題を解決するため、本願発明は、ピント位置の異なる複数の画像から特徴点を検出する検出手段と、前記特徴点を用いて、前記複数の画像の少なくとも一部の位置合わせを行うための変換係数を算出し、前記変換係数に基づいて前記複数の画像の少なくとも一部に対して合成を行う合成手段と、を有し、前記合成手段は、前記複数の画像のうちの第１の画像と第２の画像から検出された前記特徴点を用いて算出される前記第１の画像に対する前記第２の画像の変換係数が、予め定められた条件を満たさないと判断され、かつ、前記複数の画像のうちの前記第１の画像と第３の画像から検出された前記特徴点を用いて算出される前記第１の画像に対する前記第３の画像の変換係数が、前記予め定められた条件を満たす場合に、前記第３の画像の変換係数に基づいて前記第２の画像の変換係数を算出することを特徴とする画像処理装置を提供する。

本発明の構成によれば、ピント位置を細かく移動させて撮像した複数の画像に対して精度の高い位置合わせを行う画像処理装置を提供することができる。

本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。 本発明の実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。 本発明の実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。 本発明の実施形態における被写体像が結像面に結像する様子を示す図である。 本発明の実施形態における深度合成の撮像を説明するための図である。 本発明の実施形態における画像合成の処理を説明するためのフローチャートである。 本発明の実施形態における変換係数の算出を説明するためのフローチャートである。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本実施形態に係る画像処理装置であるデジタルカメラの概略構成を示す背面斜視図である。

デジタルカメラ１００の背面には、画像や各種の情報を表示する表示部１０１と、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２が設けられている。また、デジタルカメラ１００の背面には、撮像モード等を切り替えるモード切替スイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。デジタルカメラ１００の上面には、撮像指示を行うシャッタボタン１２１と、デジタルカメラ１００の電源のオン／オフを切り替える電源スイッチ１２２と、被写体に対して閃光を照射するストロボ１４１が設けられている。

デジタルカメラ１００は、有線あるいは無線通信を介して外部装置と接続可能であり、外部装置に画像データ（静止画データ、動画データ）等を出力することができる。デジタルカメラ１００の下面には、蓋１３１により開閉可能な記録媒体スロット（不図示）が設けられており、記録媒体スロットに対してメモリカード等の記録媒体１３０を挿抜することができるようになっている。

記録媒体スロットに格納された記録媒体１３０は、デジタルカメラ１００のシステム制御部２１０（図２参照）と通信可能である。なお、記録媒体１３０は、記録媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、光学ディスクやハードディスク等の磁気ディスクであってもよく、更に、デジタルカメラ１００の本体に内蔵されていてもよい。

図２は、デジタルカメラ１００のハードウェア構成を示すブロック図である。デジタルカメラ１００は、バリア２０１、撮像レンズ２０２、シャッタ２０３及び撮像部２０４を備える。バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。撮像レンズ２０２は、ズームレンズ、フォーカスレンズを含むレンズ群により構成されており、撮像光学系を構成する。シャッタ２０３は、絞り機能を備え、撮像部２０４に対する露光量を調節する。撮像部２０４は、光学像を電気信号（アナログ信号）に変換する撮像素子であり、例えば、ＲＧＢの画素が規則的に配置されたベイヤー配列構造を有するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。なお、シャッタ２０３は、機械式シャッタ（以下、メカシャッタという）であってもよいし、撮像素子のリセットタイミングの制御によって蓄積時間を制御する電子シャッタであってもよい。

または、撮像部２０４を、ステレオ画像が取得できる、１つ画素に複数の光電変換部に設けられる構造にすれば、自動焦点検出（ＡＦ）処理がより素早くできる。

図３は、本実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。

図３では、画素アレイ３０１が、マイクロレンズ３０２と、カラーフィルタ３０３と、光電変換部３０４および３０５を備えている。光電変換部３０４と３０５とは、同じ画素に属し、共通する１つのマイクロレンズ３０２と１つのカラーフィルタ３０３に対応する。図３はデジタルカメラ１００を上から見た図であって、１つの画素に対応する２つの光電変換部３０４と３０５が左右に並んで配置されていることを示している。射出瞳３０６から出る光束のうち、光軸３０９を境にして、上側の光束（領域３０７からの光束に相当）は光電変換部３０５に入射し、下側の光束（領域３０８からの光束に相当）は光電変換部３０４に入射する。つまり、光電変換部３０４と３０５とはそれぞれ撮像レンズの射出瞳の異なる領域の光を受光している。ここで光電変換部３０４が受光した信号をＡ像、光電変換部３０５で受光した信号をＢ像とすると、Ａ像とＢ像のように、１対の瞳分割画像の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。特に、撮像素子の全体に、２つの光電変換部を有する画素を全面的に配置すれば、撮像素子が、画面上の任意の位置における被写体の距離情報を得ることができる。

ただし、上述した距離情報は、２つの光電変換部を有する画素でなく、普通の画像を有する撮像素子を用いても得られる。たとえば、撮像部２０４が、複数のレンズの相対位置を変えながら、ピント位置の異なる複数の画像を生成する。後述する画像処理部２０６は、それぞれの画像に対して、ブロックに分割し、分割したブロックのコントラストを算出する。画像処理部２０６は、撮像した複数の画像の同じ位置にあるブロックのコントラストを比較し、コントラストの最も大きいブロックを合焦しているブロックと判断する。最後に、画像処理部２０６は、合焦しているブロックが撮影された画像のピント位置から、各々のブロックの距離情報を求めればよい。

デジタルカメラ１００は、Ａ／Ｄ変換器２０５、画像処理部２０６、メモリ制御部２０７、Ｄ／Ａ変換器２０８、メモリ２０９及びシステム制御部２１０を備える。撮像部２０４からＡ／Ｄ変換器２０５へアナログ信号が出力され、Ａ／Ｄ変換器２０５は、取得したアナログ信号をデジタル信号からなる画像データに変換して、画像処理部２０６またはメモリ制御部２０７へ出力する。

画像処理部２０６は、Ａ／Ｄ変換器２０５から取得した画像データまたはメモリ制御部２０７から取得したデータに対して、画素補間やシェーディング補正等の補正処理、ホワイトバランス処理、γ補正処理、色変換処理等を行う。また、画像処理部２０６は、画像の切り出しや変倍処理を行うことで電子ズーム機能を実現する。更に、画像処理部２０６は撮像した画像の画像データを用いて所定の演算処理を行い、こうして得られた演算結果に基づいてシステム制御部２１０が露光制御や測距制御を行う。例えば、システム制御部２１０により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が行われる。画像処理部２０６は、撮像した画像の画像データを用いて所定の演算処理を行い、得られた演算結果を用いて、システム制御部２１０はＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

画像処理部２０６は、複数の画像からパノラマ画像を合成し、またその合成結果の判断を行う画像合成処理回路を有する。画像合成処理回路は、単純な加算平均合成だけでなく、合成対象の画像データの各領域において最も明るい値または暗い値を持つ画素を選択して１枚の画像データを生成する比較明合成や比較暗合成等の処理を行うことができる。また、合成結果を特定の基準に基づいて評価し、判定する。たとえば、合成された画像の数が所定数に満たさない場合や、合成後の画像の長さが基準値に満たさない場合に、合成に失敗したと判定する。なお、画像処理部２０６を備える構成の代わりに、システム制御部２１０によるソフトウェア処理によって画像合成処理の機能を実現する構成としてもよい。

Ａ／Ｄ変換器２０５から出力される画像データは、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介して、メモリ２０９に書き込まれる。メモリ２０９は、表示部１０１に表示する画像データを格納する画像表示用メモリ（ビデオメモリ）を兼ねている。メモリ２０９は、所定枚数の静止画像、パノラマ画像（広角画像）、パノラマ画像合成結果を格納することができる記憶容量を備えている。なお、メモリ２０９は、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラム等を展開する作業領域として用いることもできる。

メモリ２０９に格納されている画像表示用データ（デジタルデータ）は、Ｄ／Ａ変換器２０８に送信される。Ｄ／Ａ変換器２０８は、受信したデジタルデータをアナログ信号に変換して表示部１０１に供給し、これにより、表示部１０１に画像が表示される。表示部１０１は、液晶ディスプレイまたは有機ＥＬディスプレイ等の表示装置であり、Ｄ／Ａ変換器２０８からのアナログ信号に基づいて画像を表示する。表示部１０１における画像表示のオン／オフは、システム制御部２１０によって切り替えられ、画像表示をオフにすることで電力消費を低減させることができる。なお、撮像部２０４からＡ／Ｄ変換器２０５を通じてメモリ２０９に蓄積されるデジタル信号をＤ／Ａ変換器２０８によりアナログ信号に変換して表示部１０１に逐次表示することにより、スルー画像を表示する電子ビューファインダ機能を実現することができる。

デジタルカメラ１００は、不揮発性メモリ２１１、システムタイマ２１２、システムメモリ２１３、検出部２１５及びストロボ制御部２１７を備える。不揮発性メモリ２１１は、電気的に消去や記憶が可能なメモリ（例えば、ＥＥＰＲＯＭ等）であり、システム制御部２１０が実行するプログラムや動作用の定数等を格納する。また、不揮発性メモリ２１１は、システム情報を記憶する領域やユーザ設定情報を記憶する領域を有しており、システム制御部２１０は、デジタルカメラ１００の起動時に不揮発性メモリ２１１に記憶された種々の情報や設定を読み出して復元する。

システム制御部２１０は、ＣＰＵを備え、不揮発性メモリ２１１に記憶されている各種のプログラムコードを実行することにより、デジタルカメラ１００の全体的な動作を制御する。なお、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラムや動作用の定数、変数等は、システムメモリ２１３上に展開される。システムメモリ２１３には、ＲＡＭが用いられる。更に、システム制御部２１０は、メモリ２０９やＤ／Ａ変換器２０８、表示部１０１等を制御することにより、表示制御を行う。システムタイマ２１２は、各種の制御に用いる時間や内蔵された時計の時間を計測する。ストロボ制御部２１７は、被写体の明るさに応じて、ストロボ１４１の発光を制御する。検出部２１５は、ジャイロやセンサを含み、デジタルカメラ１００の角速度情報、姿勢情報等を取得する。なお、角速度情報は、デジタルカメラ１００によるパノラマ撮像時の角速度及び角加速度の情報を含む。また、姿勢情報は、水平方向に対するデジタルカメラ１００の傾き等の情報を含む。

図２に示される表示部１０１、操作部１０２、コントローラホイール１０３、シャッタボタン１２１、モード切替スイッチ１０４、電源スイッチ１２２及びストロボ１４１は、図１を参照して説明したものと同じである。

操作部１０２を構成する各種の操作部材は、例えば、表示部１０１に表示される種々の機能アイコンの選択に用いられ、所定の機能アイコンが選択されることにより、場面毎に機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、ＤＩＳＰボタン等が挙げられる。例えば、メニューボタンが押下されると、各種の設定を行うためのメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に設定操作を行うことができる。

回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指定するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。システム制御部２１０は、このパルス信号を解析して、デジタルカメラ１００の各部を制御する。

シャッタボタン１２１は、第１スイッチＳＷ１と第２スイッチＳＷ２を有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でオンとなり、これにより、撮像準備を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第１スイッチＳＷ１がオンになった信号を受信すると、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でオンとなり、これにより、撮像開始を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第２スイッチＳＷ２がオンになった信号を受信すると、撮像部２０４からの信号読み出しから記録媒体１３０への画像データの書き込みまでの一連の撮像動作を行う。

モード切替スイッチ１０４は、デジタルカメラ１００の動作モードを、静止画撮像モード、動画撮像モード、再生モード等の各種モードの間で切り替えるためのスイッチである。静止画撮像モードは、オート撮像モード等の他に、パノラマ撮像によりパノラマ画像を合成するパノラマ画像撮像モードを含む。

デジタルカメラ１００は、電源部２１４及び電源制御部２１８を備える。電源部２１４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプタ等であり、電源制御部２１８へ電力を供給する。電源制御部２１８は、電源部２１４における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びシステム制御部２１０の指示に基づいて、必要な電圧を必要な期間、記録媒体１３０を含む各部へ供給する。

デジタルカメラ１００は、記録媒体１３０が記録媒体スロット（不図示）に装着された際に、記録媒体１３０とシステム制御部２１０との間の通信を可能にするための記録媒体Ｉ／Ｆ２１６を備える。記録媒体１３０の詳細については、図１を参照して既に説明しているため、ここでの説明を省略する。

次に、深度合成（フォーカスブラケット）について簡単に説明する。

図４は、本実施形態における被写体像が結像面に結像する様子を示す図である。

図４（ａ）は、被写体４０１が光学レンズ４０２によって面４０３ａ上に像４０４として結像している様子を示している。すなわち、面４０３ａと撮像素子の撮像センサ面とが互いに一致すれば、被写体４０１は面４０３ａにて「点」として結像し、合焦画像として記録される。

図４（ｂ）は、像の結像面と撮像センサ面とが一致しない場合を示している。撮像センサ面４０３ｂが図４（ａ）に示される面４０３ａとは異なる位置にある場合、光学レンズ４０２により結像される被写体４０１は、錯乱円４０５として撮像センサ面４０３ｂ上に写る。このとき、錯乱円４０５が撮像センサの許容錯乱円よりも小さい場合、錯乱円４０５は合焦した場合の「点」と同等とみなすことができ、合焦画像と同等の画像が得られる。一方、錯乱円４０５が許容錯乱円よりも大きい場合、撮像センサ面４０３ｂではぼけた画像が得られる。

図４（ｃ）は、上記の様子を側面から示した図である。ここで、焦点４１０にて被写体が結像し、面４１１ａの位置に撮像センサ面が存在する場合、錯乱円径４１２ａが得られる。このときの錯乱円径４１２ａは、撮像センサの許容錯乱円径４１３よりも小さい。このため、撮像センサにて記録される画像４１７は、ぼけの無い合焦画像となる。一方、撮像センサ面が面４１４ａの位置に存在する場合、このときの錯乱円径４１５ａは、許容錯乱円径４１３よりも大きい。このため、撮像センサ面４１４ａ上の画像４１８ａは、ぼけた画像となる。錯乱円径４１２ａが許容錯乱円径４１３よりも小さくなる斜線で示される領域は焦点深度４１６ａであり、これを被写体側に換算して置き換えたものが被写界深度となる。

図４（ｄ）は、図４（ｃ）と比べて、絞りを絞った状態を示す図である。絞りを絞った状態では、図４（ｃ）の錯乱円径４１２ａと４１５ａがそれぞれ、面４１１ｂに対しての錯乱円径４１２ｂ、面４１４ｂに対しての錯乱円径４１５ｂとなるように変化する。このとき、図４（ｃ）の錯乱円径４１５ａと比較して、図４（ｄ）の錯乱円径４１５ｂは小さい。このため、そのときに得られる画像４１８ｂは、画像４１８ａよりもぼけ量の少ない画像となる。また、そのときの焦点深度４１６ｂは、焦点深度４１６ａよりも深い。

図５は、本実施形態における深度合成の撮像を説明するための図である。ここでは、合焦させる被写体として、被写体５１乃至５３を想定している。それぞれの被写体５１乃至５３は、互いに異なる距離（被写体距離）に存在するものとし、デジタルカメラ１００に近い側から（近距離側から遠距離側に向かう方向に）被写体５１、５２、５３の順に位置している。デジタルカメラ１００の構造上、１回の撮像で被写体５１乃至５３を全部被写界深度に入れることができない。また、より高い解像感を得るため、各々の画像の被写界深度を小さくすることもある。こうした場合では、複数の被写体５１乃至５３のすべてに対して合焦した深度合成画像を得るには、フォーカスブラケット撮像を行う焦点範囲５００（ブラケット範囲）を、複数の焦点深度でカバーする必要がある。焦点深度５１１乃至５１６は、それぞれの撮像における焦点深度を示し、焦点範囲５００をカバーするように並んでいる。すなわち、焦点深度５１１乃至５１６となるピント位置で撮像（６回の撮像）を行うことにより、焦点範囲５００の範囲内の被写体５１乃至５３は、いずれかの画像において合焦した状態となる。また、このようにして撮像された複数の画像から、それぞれの撮像における焦点深度内の領域を画像合成することにより、焦点範囲５００の全域（ブラケット全域）で合焦した画像を得ることができる。

しかしながら、上記のように、深度合成の画像の撮像において、画質のよい合成画像を得るために、枚数の多い画像を撮像する。そのため、画像間のピント位置の差が極端に小さくなると、画像間の変化が小さすぎるために、精度の高い変換係数を検出できないこともある。このような課題を解決するために、本実施形態においては、システム制御部２１０が所定の閾値よりも被写界深度が浅いと判断した場合、合成用画像のほかに撮像部２０４に特徴点検出用の画像を撮像させる。

図６は、本実施形態での画像合成の処理を説明するためのフローチャートである。

ステップＳ６０１で、システム制御部２１０は、ユーザの入力またはデフォルト設定に従って、撮像条件の設定を行う。ここでいう撮像条件には、合成画像の枚数やピント位置などが含まれる。たとえば、ユーザは表示部１０１が兼用するタッチパネルを通して合焦位置を指定し、その合焦位置に相当するピント位置の光軸方向の前後に等間隔に複数のピント位置を指定する。または、ユーザは表示部１０１が兼用するタッチパネルで２つの位置を指定し、この２つの位置の間に等間隔にピント位置を設定してもよい。なお、ピント位置の数（合成用の画像の数）については、システム制御部２１０は、処理負荷を考慮して増やしてもよい。一般的に、ピント位置が多いほど、深度合成画像の画質が良いが、処理負荷を考慮してピント位置の数を決める必要がある。同時に、システム制御部２１０は、設定したピント位置において、距離順に撮像順番を決める。

また、ステップＳ６０１では、システム制御部２１０は、ピント位置に合わせて、撮像するときの被写界深度を設定する。被写界深度の設定では、図５のように、ブラケット範囲を全部カバーできるように設定しなければならない。

また、ステップＳ６０１で、システム制御部２１０は、ピント位置や被写界深度以外には、ＩＳＯ感度やシャッタースピードなどの設定も行う。

ステップＳ６０２で、撮像部２０４が、設定したピント位置で同じ画角に対して順次に合成用の画像の撮像を行う。

ステップＳ６０３で、システム制御部２１０は、位置合わせのための変換係数を算出する。詳細は後述する。

ステップＳ６０４で、システム制御部２１０は、画像の合成に用いられる画像に対して位置合わせを行う。たとえば、システム制御部２１０は、（式１）に示したアフィン係数の式を用いて位置合わせを行うことができる。

（式１）では、（ｘ´、ｙ´）は位置合わせを行った後の座標を示し、（ｘ、ｙ）は位置合わせを行う前の座標を示す。行列Ａは変換係数を示す。

ステップＳ６０５で、システム制御部２１０は、位置合わせを行った後の画像に対して合成を行う。合成処理では、システム制御部２１０は、各々の画像の合焦位置を抽出して合成し、画像全体に合焦しているような合成画像を生成する。図３に示したような複数の光電変換部を有する画素からなる撮像素子を用いる場合、デジタルカメラ１００が瞳分割の光信号から、合焦位置を抽出することができる。一般的な撮像素子しかもたないデジタルカメラ１００の場合では、コントラスト値の最も高い位置を合焦位置として抽出する。

まず、システム制御部２１０は、それぞれの画像のコントラスト値を算出する。コントラスト値の算出の方法の一例としては、たとえば、システム制御部２１０がそれぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式２）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・（式２）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式３）乃至（式５）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

次に、システム制御部２１０は、同一座標を有する各々の画像の画素から、コントラスト値の最も高いものを選んで、合成画像の同一座標に置き換える。システム制御部２１０は、すべての画素に対して、こうした置き換えを行うと、撮像領域全体に合焦している合成画像を生成できる。

ただし、前述の合成処理は一例にすぎず、本実施形態は、撮像領域全体に合焦している合成画像以外の合成にも適用できる。たとえば、システム制御部２１０は、加算合成処理、加重加算合成処理、比較明合成処理、比較暗合成処理などを行ってもよい。

以下では、ステップＳ６０３での変換係数の算出について詳細に説明する。

図７は、本実施形態における変換係数の算出を説明するためのフローチャートである。

ステップＳ７０１で、システム制御部２１０は、ステップＳ６０２で撮像部２０４が撮像した画像から、基準画像を選択する。

ステップＳ７０２で、システム制御部２１０は、基準画像から特徴点を抽出する。特徴点の抽出の方法は種々のものがあるが、一例としては、ある点を中心とする所定の領域内の輝度の標準偏差が所定値以上の場合、システム制御部２１０は、その点を特徴点として抽出する。また、抽出する特徴点の数が多いほど処理の精度が上がるが、同時に処理負荷が増えてしまうため、システム制御部２１０などのハードウェアの性能によって特徴点の数を事前に決められるのが好ましい。

ステップＳ７０３で、システム制御部２１０は、基準画像以外の画像から、被検出画像を選択する。

ステップＳ７０４で、システム制御部２１０は、基準画像の特徴点から未追跡のものから１つを選択する。

ステップＳ７０５で、システム制御部２１０は、特徴点の追跡を行う。システム制御部２１０は、ステップＳ７０３で選択した被検出画像において、ステップＳ７０４で選択した特徴点に対応する点を探す。探し方の一例としては、システム制御部２１０は、被検出画像においてステップＳ７０４で選択した特徴点と同じ位置を中心とする所定の範囲を、探索範囲として設定する。システム制御部２１０は、探索範囲において、特徴点との輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。この点を特徴点と対応する点として後述する画像の変形処理までに、メモリ２０９がその対応関係を記憶する。システム制御部２１０は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

例えば、追跡前後の対応する３つの点のそれぞれの座標が、（ｘ１、ｙ１）と（ｕ１、ｖ１）、（ｘ２、ｙ２）と（ｕ２、ｖ２）および（ｘ３、ｙ３）と（ｕ３、ｖ３）とする。下記の（式６）と（式７）とを連立して解くことでアフィン係数を算出することができる。

システム制御部２１０は、軌跡が一直線状に位置しない４点以上の特徴点があるとき、最小二乗法を用いて正規化する。システム制御部２１０は、軌跡が一直線状に位置しない３つの特徴点を検出できない場合、アフィン係数を算出できず、後述するステップＳ７０８で変換係数が使えないと判断する。

ステップＳ７０６では、システム制御部２１０は、ステップＳ７０３で選択した被検出画像において、基準画像のすべての特徴点に対して追跡を行ったかどうかについて判断する。まだ基準画像のすべての特徴点が処理されていない場合は、ステップＳ７０４に戻り、未処理の特徴点から改めて追跡対象の特徴点を選択する。基準画像のすべての特徴点が処理された場合は、ステップＳ７０７に進む。

ステップＳ７０７で、システム制御部２１０は、追跡した特徴点の位置に基づいて、変換係数を算出する。ここでいう変換は、公知の平行移動、回転移動、拡大・縮小のうちのいずれか１つまたは複数の変換方法を指す。一般的に、システム制御部２１０は、ステップＳ６０５で検出した対応点（特徴点とそれに対応する被検出画像の点）の位置が一致になるように、かつ最短な距離で変換処理を行うための係数を変換係数として計算する。

ステップＳ７０８で、システム制御部２１０は、ステップＳ７０７で算出した変換係数は位置合わせに使えるかどうかについて判断する。前述したように、撮像時のピント位置の差が少なく、画像間の変化が極めて少ない場合では、ステップＳ７０５で追跡した特徴点と基準画像の特徴点との位置が極めて近くなる。こうした特徴点から変換係数を検出すると、変換係数が極めて小さくなり、または、０になる可能性がある。システム制御部２１０は、こうした極めて小さい変換係数を位置合わせに使っても、精度の高い位置合わせが実現できないので、こうした変換係数を使えないと判断する。具体的に、たとえばアフィン係数を変換係数として用いる場合、変換前の座標を（ｘ，ｙ）と、変換後の座標を（ｘ´，ｙ´）と書くと、下記の（式８）が成り立つ。なお、（式８）と（式１）とが実質的に同一である。

（式８）では、ａとｅが１に近いほど、また、ｂ、ｄ、ｃ及びｆが０に近いほど、変換前後の座標の変化が少ない。システム制御部２１０は、ａおよびｅと１との差を閾値と比較し、ｂ、ｄ、ｃ及びｆと０との差を別の閾値と比較すると、変換係数が使えるかどうかを判断できる。また、システム制御部２１０は、上記の要素に対してそれぞれの閾値を予め定めてもよい。

また、前述した通り、システム制御部２１０は、画像において抽出した一直線にない特徴点が３つ未満の場合、アフィン係数を算出できず、ステップＳ７０８で変換係数が使えないと判断する。より好ましいのは、システム制御部２１０は、画像において所定数以上、すなわち３つ以上の一直線にない特徴点が抽出できないと判断した途端、フローはステップＳ７０３に戻る。

または、システム制御部２１０は、特徴点の位置の変化について判断し、特徴点の変化の前後の位置の差が予め定められた閾値より小さければ、変換係数が使えないと判断する。この場合では、システム制御部２１０は、変換係数が使えるかどうかを判断する前に、必ずしも変換係数の算出を行う必要がない。

ステップＳ７０８で、システム制御部２１０が、ステップＳ７０７で算出した変換係数が使えないと判断した場合、ステップＳ７０３で選択した被検出画像の位置合わせのために、別の被検出画像の変換係数から算出する。システム制御部２１０は、ステップＳ７０７で算出した変換係数が使えない場合、まず、フローはステップＳ７１３に進み、被検出画像を再選択する。ピント位置が近い画像ほど変化が少ないので、ステップＳ７１３では、システム制御部２１０は、ステップＳ７０３で選択した画像よりも基準画像とのピント位置が遠い画像を被検出画像として再選択する。

ステップＳ７１４乃至ステップＳ７１７での処理はステップＳ７０３乃至ステップＳ７０７と同様である。ステップＳ７１８で、システム制御部２１０は、ステップＳ７１７で算出した変換係数が使えるかどうかについて判断する。判断の方法はステップＳ７０８と同様でよい。ステップＳ７１８で、システム制御部２１０は、変換係数が使えないと判断した場合では、ステップＳ７１３に戻り、ピント位置が基準画像とさらに遠い画像を被検出画像として再選択する。

一方、ステップＳ７１８で、システム制御部２１０は、変換係数が使えると判断した場合、ステップＳ７１７で算出した変換係数をステップＳ７１３で選択した被検出画像の変換係数として一時システムメモリ２１３に記憶する。次に、ステップＳ７１９に進み、ステップＳ７０３で選択した被検出画像の変換係数を、ステップＳ７１７で算出した変換系を用いて割り当てる。ここで、システム制御部２１０は、基準画像のピント位置と、ステップＳ７０３とステップＳ７１３とで選択した２つの被検出画像のピント位置とを、変換係数の割り当てに使う。

具体的な割り当て方法について、アフィン係数の算出できた２つの画像のピント位置ｐ１、ｐ２の間のピント位置ｐ３で撮像した画像に対してアフィン係数を割り当てることを例として説明する。ピント位置ｐ１で撮像した画像のアフィン係数はＡ１で、ピント位置ｐ２で撮像した画像のアフィン係数はＡ２で、ピント位置ｐ３で撮像した画像に割り当てるアフィン係数はＡ３とする。ピント位置ｐ１で撮像した画像を基準にして、ｐ２で撮像した画像のアフィン係数をＡ２１と書くと、下記の（式９）が成り立つ。
Ａ_２＝Ａ_２１・Ａ_１・・・（式９）

（式９）からＡ１の逆行列を計算することでＡ２１を解くことができる。そして、ピント位置ｐ１、ｐ２、ｐ３の位置関係で、ピント位置ｐ１で撮像した画像を基準にするピント位置ｐ３で撮像した画像のアフィン係数Ａ３１を算出することができる。例えばピント位置ｐ３は、ピント位置ｐ１とｐ２とのちょうど中央にあれば、Ａ３１のａ乃至ｆの各要素は、Ａ２１の各要素の半分である。最後に、下記の（式１０）を用いてピント位置ｐ３で撮像した画像にアフィン係数Ａ３を割り当てる。
Ａ_３＝Ａ_３１・Ａ_１・・・（式１０）

ステップＳ７０９では、システム制御部２１０は、基準画像以外のすべての画像に対して変換係数の算出の処理が完了したかどうかについて判断する。まだすべての画像が完了していない場合、ステップＳ７０３に戻る。

以上では、本実施形態についての説明であるが、本発明は以上の記述に限定されるものでなく、さまざまな変形で実施することが可能である。特に、以下のような実施方法が考えられる。ステップＳ６０２で撮像部２０４が撮像した画像のほかに、専ら変換係数の算出のための画像を改めて撮像する。こうした専ら変換係数の算出のための画像は、たとえば、デジタルカメラ１００の焦点範囲の最至近側と無限側とのピント位置で撮像し、変換係数を算出する。システム制御部２１０は、専ら変換係数の算出のための画像の変換係数を、合成用の画像に変換係数を割り当てる。割り当ての方法は、ステップＳ７１９での説明と同様でよい。

本実施形態によれば、ピント位置を細かく移動させて撮像した複数の画像の合成において、隣り合う画像でなく、よりピント位置の離れる画像から変換係数を算出し、他の画像に変換係数を割り当てることによって、位置合わせの精度を高めることができる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０２ 操作部
１０４ モード切替スイッチ
１３０ 記録媒体
２０４ 撮像部
２０６ 画像処理部
２０７ メモリ制御部
２０９ メモリ
２１０ システム制御部
２１５ 検出部
２１６ Ｉ／Ｆ

Claims (13)

1. ピント位置の異なる複数の画像から特徴点を検出する検出手段と、
   前記特徴点を用いて、前記複数の画像の少なくとも一部の位置合わせを行うための変換係数を算出し、前記変換係数に基づいて前記複数の画像の少なくとも一部に対して合成を行う合成手段と、を有し、
   前記合成手段は、前記複数の画像のうちの第１の画像と第２の画像から検出された前記特徴点を用いて算出される前記第１の画像に対する前記第２の画像の変換係数が、予め定められた条件を満たさないと判断され、かつ、前記複数の画像のうちの前記第１の画像と第３の画像から検出された前記特徴点を用いて算出される前記第１の画像に対する前記第３の画像の変換係数が、前記予め定められた条件を満たすと判断される場合に、前記第３の画像の変換係数に基づいて前記第２の画像の変換係数を算出することを特徴とする画像処理装置。
2. 前記合成手段は、前記変換係数の大きさが予め定められた閾値より大きい場合に、前記予め定められた条件を満たすと判断することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、前記変換係数の要素が、予め定められた範囲にある場合に、前記予め定められた条件を満たすと判断することを特徴とする請求項１に記載の画像処理装置。
4. 前記合成手段は、前記第２の画像の変換係数が予め定められた条件を満たさない場合に、前記第３の画像の変換係数を算出することを特徴とする請求項１に記載の画像処理装置。
5. 前記合成手段は、前記変換係数の算出に用いられる画像間で、対応する特徴点のそれぞれの画像における座標の差が予め定められた閾値よりも大きい場合に、前記予め定められた条件を満たすと判断することを特徴とする請求項４に記載の画像処理装置。
6. 前記合成手段は、前記変換係数の算出に用いられる画像間で、対応するすべての特徴点のそれぞれの画像における座標の差が予め定められた閾値よりも大きい場合に、前記予め定められた条件を満たすと判断することを特徴とする請求項４に記載の画像処理装置。
7. 前記合成手段は、前記変換係数の算出に用いられる画像間で、対応する特徴点のうち、座標の差が予め定められた閾値より大きなものの数が所定数以上である場合に、前記予め定められた条件を満たすと判断することを特徴とする請求項３に記載の画像処理装置。
8. 前記変換係数はアフィン係数であり、前記所定数は３であることを特徴とする請求項７に記載の画像処理装置。
9. 前記合成手段は、前記第３の画像を合成に用いないことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記第３の画像を撮像したときのピント位置は、前記第２の画像を撮像したときのピント位置よりも、前記第１の画像を撮像したときのピント位置から遠いことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. ピント位置の異なる複数の画像を撮像する撮像手段と、
    前記複数の画像から特徴点を検出する検出手段と、
    前記特徴点を用いて、前記複数の画像の少なくとも一部の位置合わせを行うための変換係数を算出し、前記変換係数に基づいて前記複数の画像の少なくとも一部に対して合成を行う合成手段と、を有し、
    前記合成手段は、前記複数の画像のうちの第１の画像と第２の画像から検出された前記特徴点を用いて算出される前記第１の画像に対する前記第２の画像の変換係数が、予め定められた条件を満たさないと判断され、かつ、前記複数の画像のうちの前記第１の画像と第３の画像から検出された前記特徴点を用いて算出される前記第１の画像に対する前記第３の画像の変換係数が、前記予め定められた条件を満たす場合に、前記第３の画像の変換係数に基づいて前記第２の画像の変換係数を算出することを特徴とする撮像装置。
12. ピント位置の異なる複数の画像から特徴点を検出する検出ステップと、
    前記特徴点を用いて、前記複数の画像の少なくとも一部の位置合わせを行うための変換係数を算出し、前記変換係数に基づいて前記複数の画像の少なくとも一部に対して合成を行う合成ステップと、を有し、
    前記合成ステップにおいて、前記複数の画像のうちの第１の画像と第２の画像から検出された前記特徴点を用いて算出される前記第１の画像に対する前記第２の画像の変換係数が、予め定められた条件を満たさないと判断され、かつ、前記複数の画像のうちの前記第１の画像と第３の画像から検出された前記特徴点を用いて算出される前記第１の画像に対する前記第３の画像の変換係数が、前記予め定められた条件を満たすと判断される場合に、前記第３の画像の変換係数に基づいて前記第２の画像の変換係数を算出することを特徴とする画像処理装置。
13. 撮像装置をコンピュータに動作させるコンピュータのプログラムであって、
    ピント位置の異なる複数の画像から特徴点を検出する検出ステップと、
    前記特徴点を用いて、前記複数の画像の少なくとも一部の位置合わせを行うための変換係数を算出し、前記変換係数に基づいて前記複数の画像の少なくとも一部に対して合成を行う合成ステップと、を行わせ、
    前記合成ステップにおいて、前記複数の画像のうちの第１の画像と第２の画像から検出された前記特徴点を用いて算出される前記第１の画像に対する前記第２の画像の変換係数が、予め定められた条件を満たさないと判断され、かつ、前記複数の画像のうちの前記第１の画像と第３の画像から検出された前記特徴点を用いて算出される前記第１の画像に対する前記第３の画像の変換係数が、前記予め定められた条件を満たすと判断される場合に、前記第３の画像の変換係数に基づいて前記第２の画像の変換係数を算出することを特徴とするプログラム。

Images