JP2012075088A - 画像処理システムおよび画像処理方法 - Google Patents

Abstract

【課題】２つの画像の位置合わせが容易で、かつ様々な直線を軸とした撮影装置の回転に対しても画像の合成を可能にするように、２画像の一方の画像を変形させる。
【解決手段】２つの画像の一方の画像を基準画像、他方の画像を比較画像に指定する。基準画像の全体に分散するように複数の測定点ＦＰ１〜ＦＰ２４を設定する。比較画像において、測定点ＦＰ１〜ＦＰ２４に対応する複数の移動点ＳＰ１〜ＳＰ２４を検出する。比較画像を、測定点と同じ座標を頂点とする複数の矩形の部分画像に分割する。各部分画像の頂点を移動点に移動させて部分画像ＰＡ１〜ＰＡ１５を変形させることにより、変形部分画像を作成する。全ての変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する。
【選択図】図４

Description

本発明は、複数の画像を合成する場合に、各々の画像の位置合わせを容易にするように一画像を変形させる画像処理システムに関する。

暗い領域から明るい領域まで明瞭に表示するＨＤＲ合成や手振れの影響を低減化するための手振れ補正画像合成が知られている。ＨＤＲ合成では、例えばシャッタスピードの高い画像と低い画像とを平均させることにより見かけのダイナミックレンジの広い画像が合成される。また、手振れ補正画像合成では、手振れが影響しないほどの高速のシャッタスピードで撮影した複数の画像を合計することにより、手振れの影響が低減化された十分な明るさの画像が合成される。このように、複数の画像を用いた様々な画像合成が提案されている。

このように複数の画像を用いた画像合成では、それぞれの画像における同じ座標の画素は同じ光学像を形成していることが求められる。しかし、三脚などを用いずに時間差をおいて撮影した複数の画像では、カメラの並進移動や回転により光学像に微小なずれが生じることが一般的である。

そこで、２つの画像の位置合わせをするための様々な方法が提案されている（特許文献１参照）。特許文献１では、一方の画像上に設定された複数のターゲットブロックの動きベクトルをターゲットブロック毎に算出し、算出された複数の動きベクトルに基づいて、画像全体の平行移動量および光軸周りの回転角度が算出される。

特許文献１の方法では、２つの画像間において、平行移動および光軸周りの回転に対しては、位置合わせに基づく合成が可能である。しかし、光軸に垂直な直線を軸に回転（例えば、パンやチルト）させた場合には、位置合わせに基づく合成が困難となる。なぜならば、２画像間に含まれる同じ被写体像の形状が変形するからである。

特開２００７−３３６１２１号公報

したがって本発明は、２つの画像の位置合わせが容易で、かつ様々な直線を軸とした撮影装置の回転に対しても画像の合成を可能にするように、２画像の一方の画像を変形させる画像処理システムの提供を目的とする。

本発明に係る画像処理システムは、同じ被写体を複数回にわたって撮影して得られる第１および第２の画像を合成するために、第１および第２の画像の位置合わせを行う画像処理システムであって、第１の画像の全体に分散するように設定された複数の測定点に対応する複数の移動点を、第２の画像において検出する移動点検出手段と、第２の画像を、測定点と同じ座標を頂点とする複数の多角形の部分画像に分割する画像分割手段と、各部分画像の頂点を移動点に移動させて部分画像を変形させることにより変形部分画像を作成する画像変形手段と、全ての変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する画像結合手段とを備えることを特徴としている。

好ましくは移動点検出手段は、第１の画像において、測定点を中心とする基準小画像を設定する基準小画像設定手段と、第２の画像において、測定点に関連する複数の候補点を中心とし、基準小画像と同じ大きさの複数の比較小画像を設定する比較小画像設定手段と、複数の比較小画像の中で、基準小画像に最も類似する比較小画像に含まれる候補点を選択する候補点選択手段とを備える。

候補点選択手段は、基準小画像と比較小画像において、同じ座標の画素の輝度値の差分の絶対値を全画素に対して求め、全画素における差分の絶対値の合計が最小となる比較小画像を、基準小画像に最も類似する比較小画像であると判断してもよい。

画像処理システムは、第１の画像と結合画像において、互いに重なる領域以外の領域を切除し、第１の画像と結合画像を合成する画像合成手段を備えてもよい。

本発明に係る画像処理方法は、同じ被写体を複数回にわたって撮影して得られる第１および第２の画像を合成するために、第１および第２の画像の位置合わせを行う画像処理方法であって、第１の画像の全体に分散するように設定された複数の測定点に対応する複数の移動点を、第２の画像において検出する移動点検出ステップと、第２の画像を、測定点と同じ座標を頂点とする複数の多角形の部分画像に分割する画像分割ステップと、各部分画像の頂点を移動点に移動させて部分画像を変形させることにより変形部分画像を作成する画像変形ステップと、全ての変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する画像結合ステップとを備えることを特徴としている。

本発明によれば、一方の画像上に定められた測定点における画像の移動位置を複数の測定点ごとに検出し、移動点を頂点とする小画像を、小画像毎に変形させるので、画像全体の移動量の算出が不要になる。

本発明の一実施形態を適用した画像処理システムを有するデジタルカメラの電気的構成を概略的に示すブロック図である。 撮影された画像内における測定点の位置を示す配置図である。 サーチ範囲、候補点、および比較小画像の関係を示す図である。 各測定点に対する対応する移動点の位置の一例を示す配置図である。 部分画像の配置を示す配置図である。 第１の部分画像を第１の変形部分画像に変形する手法を説明するための図である。 全ての変形部分画像を結合して得られる結合画像を示す図である。 トリミングをする外縁を示す図である。 位置合わせ処理を示すフローチャートの前半部分である。 位置合わせ処理を示すフローチャートの後半部分である。 パン方向に回転した場合の連続する２フレームの画像の形状の変化を示す図である。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態を適用した画像処理システムを有するデジタルカメラの電気的構成を概略的に示すブロック図である。

デジタルカメラ１０は、撮影光学系１１、撮像素子１２、ＡＦＥ（Analog Front End）１３、ＤＳＰ（Digital Signal Processor）１４、ＣＰＵ１５、ＳＤＲＡＭ１６、ＬＣＤ１７、コネクタ１８、および入力部１９などによって構成される。

撮影光学系１１は、撮像素子１２に光学的に接続される。撮影光学系１１は、フォーカスレンズ（図示せず）を含む複数のレンズによって構成される。フォーカスレンズを光軸に沿って変位させることにより被写体の光学像を撮像素子１２の受光面に合焦させることが可能である。

撮像素子１２は、例えばＣＣＤである。撮像素子１２が光学像を受光すると、受光した光学像に相当する画像信号が生成される。

撮像素子１２は撮像素子駆動回路（図示せず）によって駆動され、静止画像すなわち１フレームの画像信号、および動画像すなわち複数のフレームの画像信号を周期的に生成する。なお、撮像素子駆動回路により撮像素子の電子シャッタのシャッタスピードが制御される。

撮像素子１２は、ＡＦＥ１３を介してＤＳＰ１４に接続される。撮像素子１２が生成した画像信号はＡＦＥ１３によりデジタルデータである画像データに変換される。画像データはＤＳＰ１４に送信される。

受信した画像データは、ＤＳＰ１４によりワークメモリであるＳＤＲＡＭ１６に一旦格納される。画像データは、ＲＧＢデータ成分によって構成されており、ＤＳＰ１４においてマトリックス処理が施され、輝度データ成分および色差データ成分に変換される。

ＤＳＰ１４では、輝度データ成分および色差データ成分によって構成される画像データに対して、さらにガンマ補正処理や輪郭強調処理などの画像処理が施される。また、ＤＳＰ１４では、後述するようにＨＤＲ撮影モードや手振れ低減撮影モードにおいて複数の画像データを合成して単一の画像データを生成することも可能である。

画像処理が施された画像データは、ＬＣＤ１７に表示される。また画像データは、コネクタ１８を介して接続される外部メモリ２０に格納することも可能である。

ＤＳＰ１４は、ＣＰＵ１５に接続される。ＤＳＰ１４を含むデジタルカメラ１０の各部位はＣＰＵ１５により動作が制御される。ＣＰＵ１５には、入力部１９が接続される。使用者による入力部１９への様々なコマンド入力に基づいて、ＣＰＵ１５はデジタルカメラ１０の各部位の動作を制御する。

デジタルカメラ１０には、通常撮影モード、ＨＤＲ撮影モード、および手振れ低減撮影モードなどの複数の撮影モードが設けられる。

通常撮影モードでは、使用者がレリーズボタン（図示せず）を全押ししたときに、自動または手動で定められた露光条件（シャッタスピード、ＩＳＯ感度、絞りの開口率）で、撮像素子１２により１フレームの画像信号が生成される。生成された画像信号に対して、前述の画像処理が施され、外部メモリ２０に格納される。

ＨＤＲ撮影モードでは、使用者がレリーズボタンを全押ししたときに、同じ被写体が同一の露光条件で連続的に（複数回にわたって）撮影され、撮像素子１２により２フレームの画像信号が連続的に生成される。一方の画像信号は低速のシャッタスピードで、他方の画像信号は高速のシャッタスピードで受光された光学像に基づいて生成される。２フレームの画像信号は、後述する位置合わせ処理の実行後、画像信号を平均化するＨＤＲ合成処理を施すことによりＨＤＲ画像信号が生成され、外部メモリ２０に格納される。

手振れ低減撮影モードでは、使用者がレリーズボタンを全押ししたときに、同じ被写体が同一の露光条件で連続的に撮影され、撮像素子１２により複数フレームの画像信号が連続的に生成される。全ての画像信号は、手振れの影響が及ばないシャッタスピードで受光された光学像に基づいて生成される。複数フレームの画像信号は、後述する位置合わせの処理の実行後、画像信号を合計する手振れ低減合成処理を施すことにより手振れ低減画像信号が生成され、外部メモリ２０に格納される。

次に、ＤＳＰ１４において実行される位置合わせ処理について説明する。前述のように、ＨＤＲ撮影モードおよび手振れ低減撮影モードにおいて、複数フレームの画像信号を合成するために、それぞれの画像信号の位置合わせ、すなわち、撮像素子において同じ座標の画素が受光する光学像が同じ被写体部位となるように画像信号が加工される。

位置合わせ処理は、以下に説明するように、画像指定処理、移動点検出処理、画像分割処理、画像変形処理、画像結合処理の順番に実行され、その後、トリミング、および画像合成処理が遂行される。

画像指定処理では、ＳＤＲＡＭ１６にデータとして格納された複数の画像の中から、最初に生成された画像が基準画像（第１の画像）に指定される。また、基準画像の次に生成された画像が比較画像（第２の画像）に指定される。基準画像と比較画像に対して、以下に説明する画像処理が実行され、位置合わせが行われる。

なお、ＳＤＲＡＭ１６にデータとして格納された画像が３フレーム以上である場合、基準画像と比較画像との位置合わせ処理の終了時に、比較画像として指定された画像の次に生成された画像が次の比較画像として指定される。そして、基準画像と新たに指定された比較画像との位置合わせが行われる。

画像指定処理後の移動点検出処理では、測定点の移動位置が検出される。測定点とは、基準画像内において予め位置が定められた複数の点である。測定点の移動位置とは、比較画像における、測定点に対応した移動点の位置である。すなわち、基準画像における測定点と比較画像における移動点は被写体像の同一部分に相当する。

図２に示すように、基準画像ＩＭの全体に均一に分散するように多数の測定点が設定される。なお図示例では、説明の簡単のために、２４個の測定点ＦＰ１〜ＦＰ２４が示されているが、実際にはもっと多数の測定点が設定され、測定点ＦＰ１、ＦＰ６、ＦＰ１９、ＦＰ２４は基準画像ＩＭの角部の近傍に位置している。

本実施形態では、測定点ＦＰ１〜ＦＰ２４は、測定点ＦＰ１、ＦＰ６、ＦＰ１９、ＦＰ２４が矩形の頂点に位置し、矩形の長辺上の測定点は長辺を等分するように位置し、矩形の短辺の測定点は短辺を等分するように位置する。また全ての測定点に関し、水平および垂直方向に隣り合う２つの測定点は等距離にあり、近接する４つの測定点は正方形の頂点に位置している。各測定点の座標は、データとしてＥＥＰＲＯＭ（図示せず）に格納されており、移動点検出処理の開始時にＤＳＰ１４に読出される。

測定点の座標が読み出されると、次のようにして、第１〜第２４の測定点ＦＰ１〜ＦＰ２４の移動位置が検出される。

第１の測定点ＦＰ１の移動位置の検出のために、第１の測定点ＦＰ１を中心とした、正方形の基準小画像ＲＰＡが設定される。また比較画像において、第１の測定点ＦＰ１と同じ座標を中心とした、基準小画像ＲＰＡよりも大きい正方形のサーチ範囲ＳＡが設定される。

比較画像において、図３に示すように、サーチ範囲ＳＡ内の全画素が測定点ＦＰ１に関連する候補点ＣＰとして選択され、また、各候補点ＣＰを中心とした、基準小画像ＲＰＡと同じ大きさの正方形の複数の比較小画像ＳＰＡが設定される。なお図３においては、左上と右下との線分上の一部の画素のみが候補点ＣＰとして選択されていることが例示されているが、他の位置のすべての画素も同様に候補点ＣＰとして選択され、比較小画像ＳＰＡが設定される。

第１の測定点ＦＰ１（図２参照）に関し、基準小画像ＲＰＡおよび複数の比較小画像ＳＰＡ（図３参照）が設定されると、比較小画像ＳＰＡの各画素の輝度値と基準小画像ＲＰＡの各画素の輝度値がＳＤＲＡＭ１６から読出される。

基準小画像ＲＰＡと比較小画像ＳＰＡの輝度値の差分絶対値和（ＳＡＤ）が、各候補点ＣＰに対して算出される。ＳＡＤは、基準画像ＲＰＡと比較小画像ＳＰＡにおいて、対応する画素の輝度値の差分の絶対値を全画素に対して求め、それを合計した値である。

それぞれの候補点に対して算出されたＳＡＤの最小値が検出される。全画素におけるＳＡＤが最小となる比較小画像ＳＰＡが基準小画像ＲＰＡに最も類似する比較小画像ＳＰＡであると判断される。すなわちＳＡＤが最小となる候補点ＣＰが、基準部分画像の第１の測定点ＦＰ１における移動位置である第１の移動点として検出される。

第１の測定点ＦＰ１の移動位置の検出を終えると、第２の測定点ＦＰ２（図２参照）の移動位置が、第１の測定点ＦＰ１の検出と同様に検出される。同様に、第３〜第２４の測定点ＦＰ３〜ＦＰ２４の移動位置が検出される。このようにして測定点ＦＰ１〜ＦＰ２４の移動位置が、図４に示すように、移動点ＳＰ１〜ＳＰ２４として検出される。

移動点ＳＰ１〜ＳＰ２４が検出されると、画像分割処理が実行される。画像分割処理では、図５に示すように比較画像は、測定点と同じ座標を頂点とする１５の正方形の部分画像ＰＡ１〜ＰＡ１５に分割される。なお図５では、各頂点を測定点と同じ符号（ＦＰ１〜ＦＰ２４）により示している。

部分画像ＰＡ１〜ＰＡ１５の分割の後、画像変形処理が実行される。画像変形処理では、比較画像において部分画像ＰＡ１〜ＰＡ１５が以下に説明するようにして変形される。

図６に示すように、第１の部分画像ＰＡ１の頂点ＦＰ１、ＦＰ２、ＦＰ７、ＦＰ８はそれぞれ、移動点ＳＰ１、ＳＰ２、ＳＰ７、ＳＰ８に移動され、これにより第１の部分画像ＰＡ１は第１の変形部分画像ＤＡ１に変形させられる。

なお画像の変形は、アフィン変換などの従来公知の座標変換方法によって実行される。同様にして、他の部分画像も変形部分画像に変換される。

全ての変形部分画像への変形後、画像結合処理が実行される。画像結合処理では、全ての変形部分画像が結合される。各変形部分画像は、隣接する変形部分画像と共通する移動点が同じ位置になるように結合される。図７は全ての変形部分画像を結合して得られる結合画像を示している。

結合画像は、データとしてＳＤＲＡＭ１６に格納される。ＳＤＲＡＭ１６に３フレーム以上の画像がデータとして格納されている場合には、別の画像が比較画像として指定され、基準画像と新たに指定された比較画像とに基づいて、同様に結合画像が作成され、データとしてＳＤＲＡＭ１６に格納される。

基準画像以外の画像であって、ＳＤＲＡＭ１６に格納された画像すべてに対して結合画像が作成されると、基準画像および結合画像のトリミングが行われる。トリミングでは、図８に示すように、基準画像と結合画像において、互いに重なる領域以外の領域を切除した後、基準画像と結合画像が合成される。まず、切除する上端、下端、左端、右端の位置が最初に決められ、決められた上端、下端、左端、右端の外部の領域が基準画像および結合画像から切除される。

上端の位置を決めるために、基準画像における測定点ＦＰ１〜ＦＰ６と結合画像における移動点ＳＰ１〜ＳＰ６との中で最も低い位置の移動点が検出される。検出された移動点ＳＰ３の位置がトリミングに用いる上端に決められる。

同様にして、基準画像における測定点ＦＰ１９〜ＦＰ２４と結合画像における移動点ＳＰ１９〜ＳＰ２４との中で最も上側に位置する移動点ＳＰ２４が検出され、トリミングに用いる下端の位置に用いられる。

同様にして、基準画像における測定点ＦＰ１、ＦＰ７、ＦＰ１３、ＦＰ１９と結合画像における移動点ＳＰ１、ＳＰ７、ＳＰ１３、ＳＰ１９との中で最も右側に位置する測定点ＦＰ１、ＦＰ７、ＦＰ１３、ＦＰ１９が検出され、トリミングに用いる左端の位置に用いられる。

同様にして、基準画像における測定点ＦＰ６、ＦＰ１２、ＦＰ１８、ＦＰ２４と結合画像における移動点ＳＰ６、ＳＰ１２、ＳＰ１８、ＳＰ２４の中で最も左側に位置する移動点ＳＰ１２が検出され、トリミングに用いる右端の位置に用いられる。

このようにして、移動点ＳＰ３を通り測定点ＦＰ１、ＦＰ６を結ぶ線分に平行な直線Ｌ１が上端に定められる。同様に、移動点ＳＰ２４を通り測定点ＦＰ１９、ＦＰ２４を結ぶ線分に平行な直線Ｌ２が下端に定められる。同様に、測定点ＦＰ１、ＦＰ１９を結ぶ線分を含む直線Ｌ３が左端に定められる。同様に、移動点ＳＰ１２を通り測定点ＦＰ６、ＦＰ２４を結ぶ線分に平行な直線Ｌ４が右端に定められる。

上述のように、トリミングの上端、下端、左端、および右端を定めることにより、基準画像およびすべての結合画像において、互いに重なる矩形の領域を求めることが出来る。

上端、下端、左端、右端により囲まれた領域の外部領域が、基準画像およびすべての結合画像から切除され、トリミングが完了する。トリミングされた基準画像および結合画像がデータとしてＳＤＲＡＭ１６に格納される。トリミングされた基準画像および結合画像がＳＤＲＡＭ１６に格納されると、位置合わせ処理が終了する。トリミングにより、基準画像および結合画像の形状および大きさを一致させることが可能である。

そして、前述のように、ＳＤＲＡＭ１６にデータとして格納されたトリミングされた基準画像および結合画像に対して、ＨＤＲ合成処理または手振れ低減合成処理等の画像合成処理が施され、ＨＤＲ画像信号または手振れ低減画像信号が生成され、外部メモリ２０に格納される。

次に、ＤＳＰ１４によって行われる位置合わせ処理を、図９、１０のフローチャートを用いて説明する。位置合わせ処理は、ＨＤＲ撮影モードまたは手振れ低減撮影モードにおいて、撮像動作が実行され、複数の画像データの輝度値がＳＤＲＡＭ１６に格納された後に実行される。

ステップＳ１００では、ＳＤＲＡＭ１６にデータとして格納された複数の画像の中で、最初に生成された画像が基準画像に指定される。また、基準画像に指定された画像以外の画像であって、結合画像が作成されていない１つの画像が比較画像に指定される。基準画像および比較画像の指定後、ステップＳ１０１では、測定点ＦＰ１〜ＦＰ２４の座標がＥＥＰＲＯＭから読出される。

ステップＳ１０２では、基準画像において測定点が選択される。ステップＳ１０３では、測定点に対する基準小画像ＲＰＡが設定され、また比較画像においてサーチ範囲ＳＡが設定される。ステップＳ１０４では、サーチ範囲ＳＡに基づいて、比較画像において複数の比較小画像ＳＰＡが設定される。すなわちサーチ範囲ＳＡ内の全画素を候補点ＣＰとし、各々の候補点ＣＰを中心とする正方形の比較小画像ＳＰＡが設定される。

ステップＳ１０５では、基準小画像ＲＰＡと各比較小画像ＳＰＡの輝度値がＳＤＲＡＭ１６から読出され、輝度値のＳＡＤが、比較小画像ＳＰＡ毎、すなわち候補点ＣＰ毎に算出される。ステップＳ１０６では、ステップＳ１０５において算出したＳＡＤの最小値が検知される。ＳＡＤが最小となる候補点ＣＰが、ステップＳ１０２において選択され測定点の移動位置である移動点として検出される。

ステップＳ１０７では、すべての測定点に関して移動点が検出されたか否かが判断される。検出していない移動点がある場合には、ステップＳ１０２に戻る。以後、すべての移動点が検出されるまで、ステップＳ１０２〜ステップＳ１０７の処理が繰り返される。すべての移動点が検出された場合には、ステップＳ１０８に進む。

ステップＳ１０８では、比較画像が図５に示すような部分画像ＰＡ１〜ＰＡ１５に分割される。ステップＳ１０９では、部分画像ＰＡ１〜ＰＡ１５を変形させることにより、それぞれ変形部分画像が作成される。ステップＳ１１０では、変形部分画像を結合することにより結合画像が作成され、その画像データがＳＤＲＡＭ１６に格納される。

ステップＳ１１１では、ＳＤＲＡＭ１６に格納された画像すべての位置合わせが終了しているか否か、すなわち、基準画像以外の画像すべてに対して結合画像が生成されているか否かを判別する。すべての画像の位置合わせを終えていない場合には、ステップＳ１００に戻り、すべての画像の位置合わせを終了するまで、ステップＳ１００〜ステップＳ１１１の処理が繰り返される。すべての画像の位置合わせを終了すると、ステップＳ１１２に進む。

ステップＳ１１２では、ＳＤＲＡＭ１６に格納された結合画像に基づいて、トリミングの外縁となる上端、下端、左端、右端を検出する。ステップＳ１１３では、ステップＳ１１２において検出された外縁を用いて、ＳＤＲＡＭ１６に格納された基準画像および結合画像のトリミングが実行される。そして、トリミングされた基準画像および結合画像がＳＤＲＡＭ１６に格納され、位置合わせ処理は終了する。

以上のような構成である本実施形態の画像処理システムによれば、複数の測定点の移動量の集合から画像全体の動きベクトルを算出することなく、精度の高い位置合わせが可能である。すなわち移動量の集合から画像全体の動きベクトルを算出することが不要である。

また本実施形態では、比較画像に基づいて結合画像を作成するので、位置合わせをする２つの画像の撮影時の間にパン方向またはチルト方向に回転したとしても、位置合わせが可能になる。

例えば図１１に示すように、２フレームの画像の撮影間にデジタルカメラ１０がパン方向に回転すると、先のフレームの画像信号の生成時に受光される矩形の全体画像ＦＩは、後のフレームの画像信号の生成時には、台形状の画像ＴＡに変形する。このように、画像の位置によって拡大率または縮小率が異なる後のフレームの画像は、平行移動および光軸周りの回転をさせても、先のフレームの画像に重ならない。したがって従来の方法では、パン方向およびチルト方向に回転している場合には精度の高い位置合わせを行うことはできなかったが、本実施形態では、後のフレームの画像を先のフレームの画像に重なるように変形させるので、パン方向およびチルト方向に回転したとしても精度の高い位置合わせを行うことが可能である。

なお、本実施形態では、基準小画像と比較小画像のＳＡＤに基づいて、複数の比較小画像の中で、基準小画像に最も類似する比較小画像に含まれる候補点を選択する構成であるが、従来公知の他の手法によって基準部分画像と比較部分画像との類似性を判別する構成であってもよい。

本実施形態では、基準小画像に対して最も類似性の高い比較小画像の候補点が測定点の移動位置として検出されるが、従来公知の動きベクトルの算出方法によって測定点の移動位置を検出する構成であってもよい。

本実施形態では、比較画像は正方形の部分画像に分割されるが、部分画像は３以上の測定点を頂点とする多角形であればよい。

本実施形態では、測定点ＦＰ１〜ＦＰ２４が画像の位置合わせに用いられるが、４以上の測定点を用いれば、位置合わせを行うことは可能である。

本実施形態では、サーチ範囲内の全画素が候補点ＣＰとして設定されるが、全画素でなくてもよい。測定点に対して相対位置が決められた点を候補点ＣＰとして設定すれば、本実施形態と同様の効果を得ることが可能である。

本実施形態では、測定点が中心となるように基準小画像ＲＰＡが設定され、また候補点ＣＰが中心となるように比較小画像ＳＰＡが設定されるが、測定点および候補点ＣＰの位置はそれぞれの小画像の中心でなくてもよい。基準小画像ＲＰＡにおける測定点と比較小画像ＳＰＡにおける候補点ＣＰとの相対位置が同じであれば、本実施形態と同様の効果を得ることが可能である。

本実施形態では、画像処理システムがデジタルカメラに設けられる構成であるが、デジタルビデオカメラなどの他の撮像装置に設けられてもよいし、画像合成装置に設けられてもよい。

本実施形態を適用した画像処理システムは、コンピュータに画像変形プログラムを読込ませて構成することも可能である。

また、本実施形態では、最初に生成された画像を基準画像に指定しているが、後から生成された画像を基準画像とし、先に生成された画像を比較画像としてもよい。

ＣＰ 候補点
ＦＰ１〜ＦＰ２４ 測定点
ＩＭ 基準画像（第１の画像）
ＰＡ１〜ＰＡ１５ 部分領域
ＲＰＡ 基準小画像
ＳＡ サーチ範囲
ＳＰ１〜ＳＰ２４ 移動点
ＳＰＡ 比較小画像

Claims (8)

1. 同じ被写体を複数回にわたって撮影して得られる第１および第２の画像を合成するために、前記第１および第２の画像の位置合わせを行う画像処理システムであって、
   前記第１の画像の全体に分散するように設定された複数の測定点に対応する複数の移動点を、前記第２の画像において検出する移動点検出手段と、
   前記第２の画像を、前記測定点と同じ座標を頂点とする複数の多角形の部分画像に分割する画像分割手段と、
   各部分画像の頂点を前記移動点に移動させて前記部分画像を変形させることにより、変形部分画像を作成する画像変形手段と、
   全ての前記変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する画像結合手段と
   を備えることを特徴とする画像処理システム。
2. 前記移動点検出手段が、
   前記第１の画像において、前記測定点を中心とする基準小画像を設定する基準小画像設定手段と、
   前記第２の画像において、前記測定点に関連する複数の候補点を中心とし、前記基準小画像と同じ大きさの複数の比較小画像を設定する比較小画像設定手段と、
   前記複数の比較小画像の中で、前記基準小画像に最も類似する比較小画像に含まれる候補点を選択する候補点選択手段と
   を備えることを特徴とする請求項１に記載の画像処理システム。
3. 前記候補点選択手段が、前記基準小画像と前記比較小画像において、対応する画素の輝度値の差分の絶対値を全画素に対して求め、全画素における前記差分の絶対値の合計が最小となる前記比較小画像を、前記基準小画像に最も類似する比較小画像であると判断することを特徴とする請求項２に記載の画像処理システム。
4. 前記第１の画像と前記結合画像において、互いに重なる領域以外の領域を切除し、前記第１の画像と前記結合画像を合成する画像合成手段を備えることを特徴とする請求項１に記載の画像処理システム。
5. 同じ被写体を複数回にわたって撮影して得られる第１および第２の画像を合成するために、前記第１および第２の画像の位置合わせを行う画像処理方法であって、
   前記第１の画像の全体に分散するように設定された複数の測定点に対応する複数の移動点を、前記第２の画像において検出する移動点検出ステップと、
   前記第２の画像を、前記測定点と同じ座標を頂点とする複数の多角形の部分画像に分割する画像分割ステップと、
   各部分画像の頂点を前記移動点に移動させて前記部分画像を変形させることにより、変形部分画像を作成する画像変形ステップと、
   全ての前記変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する画像結合ステップと
   を備えることを特徴とする画像処理方法。
6. 前記移動点検出ステップが、
   前記第１の画像において、前記測定点を中心とする基準小画像を設定する基準小画像設定ステップと、
   前記第２の画像において、前記測定点に関連する複数の候補点を中心とし、前記基準小画像と同じ大きさの複数の比較小画像を設定する比較小画像設定ステップと、
   前記複数の比較小画像の中で、前記基準小画像に最も類似する比較小画像に含まれる候補点を選択する候補点選択ステップと
   を備えることを特徴とする請求項５に記載の画像処理方法。
7. 前記候補点選択ステップが、前記基準小画像と前記比較小画像において、同じ座標の画素の輝度値の差分の絶対値を全画素に対して求め、全画素における前記差分の絶対値の合計が最小となる前記比較小画像を、前記基準小画像に最も類似する比較小画像であると判断することを特徴とする請求項６に記載の画像処理方法。
8. 前記第１の画像と前記結合画像において、互いに重なる領域以外の領域を切除し、前記第１の画像と前記結合画像を合成する画像合成ステップを備えることを特徴とする請求項５に記載の画像処理方法。

Images