JP2009048495A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】煩雑な操作を要することなく、歪みの少ないパノラマ画像を生成できる画像処理装置、方法及びプログラムを得る。
【解決手段】ＣＰＵ２０Ａにより、移動する被写体を主被写体として、当該主被写体の移動方向に対する端部を含むように少なくとも２回連続して撮影し、かつ当該撮影に継続して連続的に撮影して得られた複数の画像情報のうち、前記２回の連続した撮影にて得られた第１、第２画像情報に対しパターン・マッチングすることにより、１回目の撮影時から２回目の撮影時までの主被写体の移動量を特定し、パノラマ画像の生成に用いられる第１画像情報からの画像情報の切り出し幅を、特定した移動量に対応する幅に決定し、２回目の撮影時以降の時間的に隣接する撮影間の主被写体の移動量を直前の撮影にて得られた画像情報の切り出し幅に基づいて予測し、２回目以降の撮影にて得られた各画像情報に対する切り出し幅を、予測した移動量を用いて決定する。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに係り、特に、移動する被写体を主被写体として連続的に撮影することにより得られた複数の画像情報に基づいてパノラマ画像を示す画像情報を生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。

移動する被写体を主被写体として連続的に撮影することにより当該主被写体を示す複数の画像情報を取得し、各画像情報により示される画像から短冊状のスリット画像を切り出して時系列順に並べて合成することにより、パノラマ画像を生成することができる。

この種のパノラマ画像の生成に関する従来の技術として、特許文献１には、携帯型のカメラでスリットカメラの機能を実現することを目的として、移動している被写体を同一地点において連続的に撮影する撮像手段と、前記撮像手段により得られる各画像から、短冊状のスリット画像を切り出す切り出し手段と、前記切り出し手段により切り出された各スリット画像を合成する合成手段と、前記合成手段により合成された画像を表示する表示手段と、を有し、前記被写体と撮影装置との間の距離及び当該被写体の速度に基づいて、前記撮影装置のフレーム速度及びスリット幅を算出する算出手段を備え、前記撮像手段が、前記算出手段により算出されたフレーム速度で前記被写体を撮影し、前記切り出し手段が、前記算出手段により算出されたスリット幅でスリット画像を切り出す技術が開示されている。

また、特許文献２には、厳密な機器や操作を必要としなくても、より正確なパノラマ画像を作成でき、そのパノラマ画像内の対象物までの距離に基づいたステレオ表示が可能なパノラマステレオ画像生成表示方法を得ることを目的として、連続する撮影画像からスリット状に切り出したスリット画像を結合し、左目視用及び右目視用のパノラマ画像を生成して、立体表示を行うパノラマステレオ画像生成表示方法において、連続する２つのフレーム画像を比較し、基準フレーム画像を２等分する中心線から等距離にある２本の基準線上の各画素におけるオプティカルフローの大きさを算出する工程と、オプティカルフローの大きさに基づいて、スリット画像の幅をそれぞれ決定し、基準フレーム画像からスリット画像をそれぞれ切り出す工程と、右目用及び左目用のパノラマ画像を生成するためのスリット画像をそれぞれ結合し、右目用及び左目用のパノラマ画像をそれぞれ生成する工程とを有する技術が開示されている。
特開２００５−２０３８４５号公報 特開平１１−１６４３２５号公報

しかしながら、上記特許文献１及び特許文献２に開示されている技術によって歪みの少ないパノラマ画像を生成するためには、スリット画像の幅を適切に決定する必要があり、そのためには撮影された画像における移動する主被写体の画像領域を検出して当該主被写体の移動量を正確に導出する必要があるが、各特許文献に開示されている技術では、上記主被写体の画像領域をユーザが指定する必要があるため、煩雑な操作を必要とする、という問題点があった。

なお、フレーム画像が一例として図６に示されるものである、撮影領域内の一部を右から左へ列車が通過する動画像情報を用いて、当該列車の画像領域を考慮せずにスリット画像を切り出し、時系列順に並べて合成することによってパノラマ画像を生成したところ、一例として図７に示されるように、列車の進行方向に対する長さが極端に短く、歪みの大きなパノラマ画像となってしまった。

本発明は上記問題点を解決するためになされたものであり、煩雑な操作を要することなく、歪みの少ないパノラマ画像を生成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の画像処理装置は、移動する被写体を主被写体として、当該主被写体の移動方向に対する端部を含むように少なくとも２回連続して撮影し、かつ当該撮影に継続して連続的に撮影することにより得られた複数の画像情報を取得する取得手段と、前記取得手段によって取得された前記複数の画像情報のうち、前記２回の連続した撮影における１回目の撮影によって得られた第１画像情報及び２回目の撮影によって得られた第２画像情報を対象としてパターン・マッチングを行うことにより、前記１回目の撮影を行った時点から前記２回目の撮影を行った時点までの前記主被写体の移動量を特定する特定手段と、前記複数の画像情報から前記主被写体を含むパノラマ画像を示す画像情報を生成するために用いられる前記第１画像情報からの画像情報の切り出し幅を、前記特定手段によって特定された前記移動量に対応する幅に決定する第１決定手段と、前記２回目の撮影以降の時間的に隣接する撮影間の前記主被写体の移動量を、直前の撮影によって得られた前記画像情報に対する前記切り出し幅に基づいて予測する予測手段と、前記２回目以降の撮影により得られた各画像情報に対する前記切り出し幅を、当該各画像情報における時間的に隣接する撮影によって得られた画像情報を対象としてパターン・マッチングを行い、これによって得られる前記主被写体の移動量の候補から、前記予測手段によって予測された対応する移動量に最も近い移動量を優先して選択し、選択した移動量に対応する幅に決定する第２決定手段と、前記第１決定手段及び前記第２決定手段によって決定された前記切り出し幅で、対応する前記画像情報から前記主被写体を含む画像を示す画像情報を切り出す切出手段と、前記切出手段によって切り出された前記画像情報を合成することにより前記パノラマ画像を示す画像情報を生成する生成手段と、を備えている。

請求項１に記載の画像処理装置によれば、取得手段により、移動する被写体を主被写体として、当該主被写体の移動方向に対する端部を含むように少なくとも２回連続して撮影し、かつ当該撮影に継続して連続的に撮影することにより得られた複数の画像情報が取得される。なお、上記撮影には、ＣＣＤ（Charge Coupled Device）エリアセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ・センサ等の固体撮像素子による撮影が含まれる。

ここで、本発明では、特定手段により、前記取得手段によって取得された前記複数の画像情報のうち、前記２回の連続した撮影における１回目の撮影によって得られた第１画像情報及び２回目の撮影によって得られた第２画像情報を対象としてパターン・マッチングが行われることにより、前記１回目の撮影を行った時点から前記２回目の撮影を行った時点までの前記主被写体の移動量が特定され、第１決定手段により、前記複数の画像情報から前記主被写体を含むパノラマ画像を示す画像情報を生成するために用いられる前記第１画像情報からの画像情報の切り出し幅が、前記特定手段によって特定された前記移動量に対応する幅に決定される。

また、本発明では、予測手段により、前記２回目の撮影以降の時間的に隣接する撮影間の前記主被写体の移動量が、直前の撮影によって得られた前記画像情報に対する前記切り出し幅に基づいて予測され、第２決定手段により、前記２回目以降の撮影により得られた各画像情報に対する前記切り出し幅が、当該各画像情報における時間的に隣接する撮影によって得られた画像情報を対象としてパターン・マッチングが行われ、これによって得られる前記主被写体の移動量の候補から、前記予測手段によって予測された対応する移動量に最も近い移動量が優先して選択され、選択された移動量に対応する幅に決定される。

そして、本発明では、切出手段により、前記第１決定手段及び前記第２決定手段によって決定された前記切り出し幅で、対応する前記画像情報から前記主被写体を含む画像を示す画像情報が切り出され、生成手段により、前記切出手段によって切り出された前記画像情報を合成することにより前記パノラマ画像を示す画像情報が生成される。

すなわち、本発明では、パターン・マッチング技術を利用して主被写体の移動量を得るようにしている。しかしながら、パノラマ画像の生成を前提とする主被写体には、類似する部分領域が存在することが多い。例えば、主被写体が、一例として図６に示されるような列車である場合には、当該列車に設けられた窓の領域が上記類似する部分領域に相当する。

この場合、単純にパターン・マッチングのみにより主被写体の移動量を特定しようとすると、上記類似する部分領域の影響によって誤った移動量となってしまうことが多い。

そこで、本発明では、主被写体の移動方向に対する端部については一般に類似する部分領域がない点に着目し、当該端部が各々含まれる２つの画像情報を対象としてパターン・マッチングを行うことによって正確な移動量を特定し、その後の各撮影間の主被写体の移動量については、特定した正確な移動量に基づいて求めるようにしており、この結果として、歪みの少ないパノラマ画像を生成することができるようにしている。

このように、請求項１に記載の画像処理装置によれば、移動する被写体を主被写体として、当該主被写体の移動方向に対する端部を含むように少なくとも２回連続して撮影し、かつ当該撮影に継続して連続的に撮影することにより得られた複数の画像情報を取得し、取得した前記複数の画像情報のうち、前記２回の連続した撮影における１回目の撮影によって得られた第１画像情報及び２回目の撮影によって得られた第２画像情報を対象としてパターン・マッチングを行うことにより、前記１回目の撮影を行った時点から前記２回目の撮影を行った時点までの前記主被写体の移動量を特定し、前記複数の画像情報から前記主被写体を含むパノラマ画像を示す画像情報を生成するために用いられる前記第１画像情報からの画像情報の切り出し幅を、前記特定した前記移動量に対応する幅に決定し、前記２回目の撮影以降の時間的に隣接する撮影間の前記主被写体の移動量を、直前の撮影によって得られた前記画像情報に対する前記切り出し幅に基づいて予測し、前記２回目以降の撮影により得られた各画像情報に対する前記切り出し幅を、当該各画像情報における時間的に隣接する撮影によって得られた画像情報を対象としてパターン・マッチングを行い、これによって得られる前記主被写体の移動量の候補から、前記予測した対応する移動量に最も近い移動量を優先して選択し、選択した移動量に対応する幅に決定し、決定した前記切り出し幅で、対応する前記画像情報から前記主被写体を含む画像を示す画像情報を切り出し、切り出した前記画像情報を合成することにより前記パノラマ画像を示す画像情報を生成しているので、煩雑な操作を要することなく、歪みの少ないパノラマ画像を生成することができる。

なお、前記予測手段による前記主被写体の移動量の予測は、前記切り出し幅に代えて、当該切り出し幅と同様の値である前記移動量に基づいて行うものとしてもよい。

また、本発明は、請求項２に記載の発明のように、前記第２決定手段が、前記２回目以降の撮影により得られた各画像情報における時間的に隣接する撮影によって得られた画像情報を対象としてパターン・マッチングを行い、これによって得られた相関係数に対して、前記予測手段によって予測された対応する移動量に対応する位置を最大値として当該位置から遠ざかるに従って値が小さくなる係数を対応する位置同士で乗算し、これによって得られた値が最も大きくなる位置に対応する移動量を優先して選択するものとしてもよい。これにより、より簡易に、歪みの少ないパノラマ画像を生成することができる。

更に、本発明は、請求項３に記載の発明のように、前記予測手段が、前記２回目の撮影以降の時間的に隣接する撮影間の前記主被写体の移動量を、直前の撮影によって得られた前記画像情報に対する前記切り出し幅に対応する移動量とするか、又は当該切り出し幅の、前記直前の撮影より前の撮影によって得られた前記画像情報に対する前記切り出し幅に対する変化量に基づいて予測するか、又は直前の撮影以前の撮影によって得られた前記画像情報に対する前記切り出し幅の移動平均値に対応する移動量とするものとしてもよい。

一方、上記目的を達成するために、請求項４に記載の画像処理方法は、移動する被写体を主被写体として、当該主被写体の移動方向に対する端部を含むように少なくとも２回連続して撮影し、かつ当該撮影に継続して連続的に撮影することにより得られた複数の画像情報を取得する取得工程と、前記取得工程によって取得された前記複数の画像情報のうち、前記２回の連続した撮影における１回目の撮影によって得られた第１画像情報及び２回目の撮影によって得られた第２画像情報を対象としてパターン・マッチングを行うことにより、前記１回目の撮影を行った時点から前記２回目の撮影を行った時点までの前記主被写体の移動量を特定する特定工程と、前記複数の画像情報から前記主被写体を含むパノラマ画像を示す画像情報を生成するために用いられる前記第１画像情報からの画像情報の切り出し幅を、前記特定工程によって特定された前記移動量に対応する幅に決定する第１決定工程と、前記２回目の撮影以降の時間的に隣接する撮影間の前記主被写体の移動量を、直前の撮影によって得られた前記画像情報に対する前記切り出し幅に基づいて予測する予測工程と、前記２回目以降の撮影により得られた各画像情報に対する前記切り出し幅を、当該各画像情報における時間的に隣接する撮影によって得られた画像情報を対象としてパターン・マッチングを行い、これによって得られる前記主被写体の移動量の候補から、前記予測工程によって予測された対応する移動量に最も近い移動量を優先して選択し、選択した移動量に対応する幅に決定する第２決定工程と、前記第１決定工程及び前記第２決定工程によって決定された前記切り出し幅で、対応する前記画像情報から前記主被写体を含む画像を示す画像情報を切り出す切出工程と、前記切出工程によって切り出された前記画像情報を合成することにより前記パノラマ画像を示す画像情報を生成する生成工程と、を有するものである。

従って、請求項４に記載の画像処理方法によれば、請求項１に記載の発明と同様に作用するので、請求項１に記載の発明と同様に、煩雑な操作を要することなく、歪みの少ないパノラマ画像を生成することができる。

更に、上記目的を達成するために、請求項５に記載の画像処理プログラムは、移動する被写体を主被写体として、当該主被写体の移動方向に対する端部を含むように少なくとも２回連続して撮影し、かつ当該撮影に継続して連続的に撮影することにより得られた複数の画像情報を取得する取得ステップと、前記取得ステップによって取得された前記複数の画像情報のうち、前記２回の連続した撮影における１回目の撮影によって得られた第１画像情報及び２回目の撮影によって得られた第２画像情報を対象としてパターン・マッチングを行うことにより、前記１回目の撮影を行った時点から前記２回目の撮影を行った時点までの前記主被写体の移動量を特定する特定ステップと、前記複数の画像情報から前記主被写体を含むパノラマ画像を示す画像情報を生成するために用いられる前記第１画像情報からの画像情報の切り出し幅を、前記特定ステップによって特定された前記移動量に対応する幅に決定する第１決定ステップと、前記２回目の撮影以降の時間的に隣接する撮影間の前記主被写体の移動量を、直前の撮影によって得られた前記画像情報に対する前記切り出し幅に基づいて予測する予測ステップと、前記２回目以降の撮影により得られた各画像情報に対する前記切り出し幅を、当該各画像情報における時間的に隣接する撮影によって得られた画像情報を対象としてパターン・マッチングを行い、これによって得られる前記主被写体の移動量の候補から、前記予測ステップによって予測された対応する移動量に最も近い移動量を優先して選択し、選択した移動量に対応する幅に決定する第２決定ステップと、前記第１決定ステップ及び前記第２決定ステップによって決定された前記切り出し幅で、対応する前記画像情報から前記主被写体を含む画像を示す画像情報を切り出す切出ステップと、前記切出ステップによって切り出された前記画像情報を合成することにより前記パノラマ画像を示す画像情報を生成する生成ステップと、をコンピュータに実行させるものである。

従って、請求項５に記載の画像処理プログラムによれば、コンピュータに対して請求項１に記載の発明と同様に作用させることができるので、請求項１に記載の発明と同様に、主被写体の画像領域をユーザが指定するという煩雑な操作を要することなく、歪みの少ないパノラマ画像を生成することができる。

本発明によれば、移動する被写体を主被写体として、当該主被写体の移動方向に対する端部を含むように少なくとも２回連続して撮影し、かつ当該撮影に継続して連続的に撮影することにより得られた複数の画像情報を取得し、取得した前記複数の画像情報のうち、前記２回の連続した撮影における１回目の撮影によって得られた第１画像情報及び２回目の撮影によって得られた第２画像情報を対象としてパターン・マッチングを行うことにより、前記１回目の撮影を行った時点から前記２回目の撮影を行った時点までの前記主被写体の移動量を特定し、前記複数の画像情報から前記主被写体を含むパノラマ画像を示す画像情報を生成するために用いられる前記第１画像情報からの画像情報の切り出し幅を、前記特定した前記移動量に対応する幅に決定し、前記２回目の撮影以降の時間的に隣接する撮影間の前記主被写体の移動量を、直前の撮影によって得られた前記画像情報に対する前記切り出し幅に基づいて予測し、前記２回目以降の撮影により得られた各画像情報に対する前記切り出し幅を、当該各画像情報における時間的に隣接する撮影によって得られた画像情報を対象としてパターン・マッチングを行い、これによって得られる前記主被写体の移動量の候補から、前記予測した対応する移動量に最も近い移動量を優先して選択し、選択した移動量に対応する幅に決定し、決定した前記切り出し幅で、対応する前記画像情報から前記主被写体を含む画像を示す画像情報を切り出し、切り出した前記画像情報を合成することにより前記パノラマ画像を示す画像情報を生成しているので、煩雑な操作を要することなく、歪みの少ないパノラマ画像を生成することができる、という効果が得られる。

以下、図面を参照して、本発明を実施するための最良の形態について詳細に説明する。なお、ここでは、本発明を、静止画像及び動画像の双方の撮影を行う機能を有するデジタル電子スチルカメラ（以下、「デジタルカメラ」という。）と、当該デジタルカメラによる動画像の撮影によって得られた複数の画像データに基づいてパノラマ画像を生成するパーソナル・コンピュータ（以下、「ＰＣ」という。）と、を含んで構成された画像処理システムに適用した場合について説明する。

まず、図１を参照して、本発明が適用された画像処理システム９０の構成を説明する。

同図に示すように、本実施の形態に係る画像処理システム９０は、静止画撮影機能及び動画撮影機能を有するデジタルカメラ１０と、当該デジタルカメラ１０の動画撮影機能による撮影によって得られた複数の画像データに基づいてパノラマ画像を生成するＰＣ２０と、を備えている。

本実施の形態に係る画像処理システム９０では、デジタルカメラ１０の動画撮影機能により、当該デジタルカメラ１０を固定した状態で、移動する被写体を主被写体として、当該主被写体の移動方向に対する端部を含むように少なくとも２回連続して撮影し、かつ当該２回の連続した撮影に継続して連続的に撮影することにより、各々静止画像を示す複数の画像データを取得する。そして、ＰＣ２０により、デジタルカメラ１０によって取得された上記複数の画像データを取り込み、当該画像データに基づいてパノラマ画像を生成する。

次に、図２を参照して、画像処理システム９０で特に重要な役割を有するＰＣ２０の電気系の要部構成を説明する。

同図に示すように、本実施の形態に係るＰＣ２０は、ＰＣ２０全体の動作を司るＣＰＵ（中央処理装置）２０Ａと、ＣＰＵ２０Ａによる各種処理プログラムの実行時のワークエリア等として用いられるＲＡＭ２０Ｂと、各種制御プログラムや各種パラメータ等が予め記憶されたＲＯＭ２０Ｃと、各種情報を記憶する記憶手段として機能するハードディスク２０Ｄと、各種情報を入力するために用いられるキーボード２０Ｅと、各種情報を表示するために用いられるディスプレイ２０Ｆと、外部装置との間の所定の通信規格（例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４等）による通信を司る外部機器接続インタフェース２０Ｇと、が備えられており、これら各部はシステムバスＢＵＳにより電気的に相互に接続されている。

従って、ＣＰＵ２０Ａは、ＲＡＭ２０Ｂ、ＲＯＭ２０Ｃ、及びハードディスク２０Ｄに対するアクセス、キーボード２０Ｅを介した各種入力情報の取得、ディスプレイ２０Ｆに対する各種情報の表示、及び外部機器接続インタフェース２０Ｇに接続された外部装置との間の各種情報の授受を各々行うことができる。本実施の形態に係る画像処理システム９０では、外部機器接続インタフェース２０Ｇにデジタルカメラ１０が接続されている。従って、ＣＰＵ２０Ａは、デジタルカメラ１０との間の各種情報の授受を行うことができる。

次に、図３を参照して、本実施の形態に係る画像処理システム９０の作用を説明する。なお、図３は、ユーザによってパノラマ画像の生成の実行を指示する指示入力がキーボード２０Ｅを介して行われたときにＰＣ２０のＣＰＵ２０Ａによって実行される画像処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはハードディスク２０Ｄに予め記憶されている。また、錯綜を回避するために、ここでは、デジタルカメラ１０による撮影により、上記パノラマ画像の生成に用いる複数の画像データ（以下、「処理対象画像データ群」という。）が得られ、当該処理対象画像データ群が上記外部機器接続インタフェース２０Ｇを介してＰＣ２０のハードディスク２０Ｄに記憶されている場合について説明する。更に、錯綜を回避するために、ここでは、主被写体の移動方向に対する端部を含むように連続して撮影することにより得られた画像データを、処理対象画像データ群における１番目及び２番目のフレーム画像データとする場合について説明する。

まず、同図のステップ１００では、処理対象画像データ群をハードディスク２０Ｄから読み出すことにより取得し、次のステップ１０２では、上記ステップ１００の処理によって取得した処理対象画像データ群のうち、１番目のフレーム画像（静止画像）を示す画像データ（以下、「第１画像データ」という。）及び２番目のフレーム画像を示す画像データ（以下、「第２画像データ」という。）を対象として相関法によるパターン・マッチングを行い、これによって得られた相関係数が最も高い位置から、当該１番目のフレーム画像を得るための撮影を行った時点から２番目のフレーム画像を得るための撮影を行った時点までの主被写体の移動量を特定する。

次のステップ１０４では、処理対象画像データ群から主被写体を含むパノラマ画像を示す画像データを生成するために用いられる上記第１画像データからの画像データの切り出し幅（スリット幅）を、上記ステップ１０２の処理によって特定された移動量に対応する幅に決定し、次のステップ１０６にて、上記ステップ１０４の処理によって決定された切り出し幅を示す幅情報をハードディスク２０Ｄの所定領域に記憶する。

次のステップ１０８では、変数Ｉに初期設定として２を代入し、次のステップ１１０では、上記ステップ１００の処理によって取得した処理対象画像データ群のうち、Ｉ番目のフレーム画像を得るための撮影と、（Ｉ＋１）番目のフレーム画像を得るための撮影との間の主被写体の移動量を、直前の撮影によって得られた画像データに対する切り出し幅に基づいて予測する。なお、本ステップ１１０の処理が、本画像処理プログラムの実行開始時から最初に実行される際の上記直前の撮影によって得られた画像データに対する切り出し幅は、上記ステップ１０４〜ステップ１０６の処理によって決定され、記憶された切り出し幅となる。

本実施の形態に係る画像処理プログラムでは、上記ステップ１１０の処理として、上記直前の撮影によって得られた画像データに対する切り出し幅に対応する移動量を予測対象とする移動量とする処理を適用している。

次のステップ１１２では、切り出し幅決定処理ルーチン・プログラムを実行する。

以下、図４を参照して、本実施の形態に係る切り出し幅決定処理ルーチン・プログラムについて説明する。なお、図４は、当該切り出し幅決定処理ルーチン・プログラムの処理の流れを示すフローチャートであり、当該プログラムもハードディスク２０Ｄに予め記憶されている。

同図のステップ２００では、Ｉ番目のフレーム画像を示す画像データ及び（Ｉ＋１）番目のフレーム画像を示す画像データを対象として相関法によるパターン・マッチングを行うことにより相関係数を導出する。

次のステップ２０２では、直前の上記ステップ１１０の処理によって予測された移動量に対応する位置を最大値として、当該位置から遠ざかるに従って値が小さくなる重み係数を決定する。なお、本実施の形態に係る切り出し幅決定処理ルーチン・プログラムでは、上記重み係数として、予測された移動量に対応する位置を中心とする正規分布を示す値を適用しているが、これに限らず、予測された移動量に対応する位置を最大値として、当該位置から遠ざかるに従って値が小さくなるものであれば、他のものを適用してもよいことは言うまでもない。

次のステップ２０４では、上記ステップ２００の処理によって導出した相関係数に対して、上記ステップ２０２の処理によって決定した重み係数を対応する位置同士で乗算し、これによって得られた値を、新たな相関係数として上記ステップ２００の処理によって導出された相関係数に置き換える。

次のステップ２０６では、上記ステップ２０４の処理によって得られた相関係数が最も高い位置から、Ｉ番目のフレーム画像を得るための撮影を行った時点から（Ｉ＋１）番目のフレーム画像を得るための撮影を行った時点までの主被写体の移動量を特定する。

そして、次のステップ２０８では、上記パノラマ画像を示す画像データを生成するために用いられるＩ番目のフレーム画像を示す画像データからの画像データの切り出し幅を、上記ステップ２０６の処理によって特定された移動量に対応する幅に決定し、その後に本切り出し幅決定処理ルーチン・プログラムを終了する。

切り出し幅決定処理ルーチン・プログラムを終了すると、画像処理プログラム（図３参照。）のステップ１１４に移行し、切り出し幅決定処理ルーチン・プログラムのステップ２０８の処理によって決定された切り出し幅を示す幅情報をハードディスク２０Ｄの所定領域に記憶する。

次のステップ１１６では、変数Ｉの値を１だけインクリメントした後、次のステップ１１８にて、変数Ｉの値が処理対象画像データ群に含まれるフレーム画像の数に一致したか否かを判定し、否定判定となった場合は上記ステップ１１０に戻る一方、肯定判定となった時点でステップ１２０に移行する。

上記ステップ１０６の処理により、１番目のフレーム画像の切り出し幅を示す幅情報が、ハードディスク２０Ｄの所定領域に記憶される。また、上記ステップ１１０〜ステップ１１８の繰り返し処理により、２番目のフレーム画像から、処理対象画像データ群に含まれる最終フレーム画像の１枚前のフレーム画像までの各フレーム画像の切り出し幅を示す幅情報が、ハードディスク２０Ｄの所定領域に記憶される。

そこで、ステップ１２０では、ハードディスク２０Ｄの上記所定領域から、１番目から最終フレーム画像の１枚前のフレーム画像までの各フレーム画像（以下、「処理対象フレーム画像」という。）に対応する切り出し幅を示す幅情報を読み出した後、各処理対象フレーム画像を示す画像データから、対応する切り出し幅でスリット画像となる画像データを切り出す。このとき、ＣＰＵ２０Ａは、各フレーム画像における主被写体の移動方向に対する同一位置（例えば、フレーム画像における当該移動方向に対する中心位置や、フレーム画像における当該移動方向の最下流に位置する端部位置等）が基準位置とされ、かつ対応する切り出し幅が当該移動方向に対する切り出し幅とされた状態で、各フレーム画像を示す画像データから画像データを切り出す。

次のステップ１２２では、上記ステップ１２０の処理によって切り出された画像データを、撮影時間の時系列順で、主被写体の移動方向に対してつなぎ合わせる（合成する）ことによりパノラマ画像を示す画像データを生成し、その後に本画像処理プログラムを終了する。

図５には、処理対象画像データ群が、その１枚のフレーム画像が図６に示されるものである場合における、以上の画像処理プログラムにより生成された画像データにより示されるパノラマ画像が示されている。同図に示されるように、本実施の形態に係る画像処理システム９０によれば、一例として図７に示されるものに比較して、歪みが著しく少ないパノラマ画像を生成することができる。

上記画像処理プログラムのステップ１００の処理が本発明の取得手段、取得工程及び取得ステップに、ステップ１０２の処理が本発明の特定手段、特定工程、及び特定ステップに、ステップ１０４の処理が本発明の第１決定手段、第１決定工程及び第１決定ステップに、ステップ１１０の処理が本発明の予測手段、予測工程及び予測ステップに、ステップ１１２の処理が本発明の第２決定手段、第２決定工程及び第２決定ステップに、ステップ１２０の処理が本発明の切出手段、切出工程及び切出ステップに、ステップ１２２の処理が本発明の生成手段、生成工程及び生成ステップに、各々相当する。

以上詳細に説明したように、本実施の形態では、移動する被写体を主被写体として、当該主被写体の移動方向に対する端部を含むように少なくとも２回連続して撮影し、かつ当該撮影に継続して連続的に撮影することにより得られた複数の画像情報のうち、前記２回の連続した撮影における１回目の撮影によって得られた第１画像情報（ここでは、「第１画像データ」）及び２回目の撮影によって得られた第２画像情報（ここでは、「第２画像データ」）を対象としてパターン・マッチングを行うことにより、前記１回目の撮影を行った時点から前記２回目の撮影を行った時点までの前記主被写体の移動量を特定し、パノラマ画像を示す画像情報を生成するために用いられる前記第１画像情報からの画像情報の切り出し幅を、前記特定した前記移動量に対応する幅に決定し、前記２回目の撮影以降の時間的に隣接する撮影間の前記主被写体の移動量を、直前の撮影によって得られた前記画像情報に対する前記切り出し幅に基づいて予測し、前記２回目以降の撮影により得られた各画像情報に対する前記切り出し幅を、前記予測した前記移動量を用いて決定しているので、煩雑な操作を要することなく、歪みの少ないパノラマ画像を生成することができる。

また、本実施の形態では、前記２回目以降の撮影により得られた各画像情報における時間的に隣接する撮影によって得られた画像情報を対象としてパターン・マッチングを行い、これによって得られた相関係数に対して、予測した対応する移動量に対応する位置を最大値として当該位置から遠ざかるに従って値が小さくなる係数（ここでは、「重み係数」）を対応する位置同士で乗算し、これによって得られた値が最も大きくなる位置に対応する移動量を優先して選択しているので、より簡易に、歪みの少ないパノラマ画像を生成することができる。

なお、上記実施の形態では、ＰＣ２０によってパノラマ画像を生成する場合について説明したが、本発明はこれに限定されるものではなく、例えば、デジタルカメラ１０によってパノラマ画像を生成する形態とすることもできる。この場合、上記実施の形態に係る画像処理プログラム（図３参照。）をデジタルカメラ１０で実行することになる。この場合も、上記実施の形態と同様の効果を奏することができる。

また、上記実施の形態では、動画像の撮影によって取得された複数の画像データを用いてパノラマ画像を生成する場合について説明したが、本発明はこれに限定されるものではなく、例えば、連写によって取得された複数の画像データを用いてパノラマ画像を生成する形態とすることもできる。この場合も、上記実施の形態と同様の効果を奏することができる。

また、上記実施の形態では、本発明を画像処理プログラムの実行によるソフトウェアにより実現した場合について説明したが、本発明はこれに限定されるものではなく、本発明をハードウェアにより実現したり、ハードウェアとソフトウェアの組み合わせにより実現したりする形態とすることもできる。この場合の形態例としては、画像処理プログラムにおけるハードウェア化したいステップと同様の処理を実行する機能デバイスを作成し、適用する形態を例示することができる。この場合、上記実施の形態に比較して、処理の高速化が期待できる。

また、上記実施の形態では、主被写体の移動方向に対する端部を含むように連続して撮影することにより得られた画像データが、処理対象画像データ群における１番目及び２番目のフレーム画像データである場合について説明したが、本発明はこれに限定されるものではなく、例えば、主被写体の移動方向に対する端部を含むように連続して撮影することにより得られた画像データが処理対象画像データ群の途中に存在する形態とすることもできる。この場合、当該画像データを自動的に検出するか、又はユーザに指定させることにより、当該画像データを特定する。ここで、当該画像データを自動的に検出する場合の形態例としては、処理対象画像データ群における最初のフレーム画像から順に、所定面積以上の大きさとされた被写体（主被写体）が出現するフレーム画像を検索し、当該フレーム画像と、次のフレーム画像とを上記画像データとして検出する形態を例示することができる。この場合、上記実施の形態に比較して、処理対象画像データ群の自由度を向上させることができる結果、ユーザにとっての利便性を向上させることができる。

また、上記実施の形態では、主被写体の移動量を予測する処理として、直前の撮影によって得られた画像データに対する切り出し幅に対応する移動量を予測対象とする移動量とする処理を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、当該直前の撮影によって得られた画像データに対する切り出し幅の、当該直前の撮影より前の撮影によって得られた画像データに対する切り出し幅に対する変化量に基づいて予測する処理、又は直前の撮影以前の撮影によって得られた画像データに対する切り出し幅の移動平均値に対応する移動量とする処理を適用する形態とすることもできる。この場合も、上記実施の形態と同様の効果を奏することができる。

また、上記実施の形態では、主被写体の移動量の予測を切り出し幅に基づいて行う場合について説明したが、本発明はこれに限定されるものではなく、当該切り出し幅に代えて、当該切り出し幅と同様の値である移動量に基づいて行う形態とすることもできる。この場合も、上記実施の形態と同様の効果を奏することができる。

また、上記実施の形態では、パターン・マッチングによって得られた相関係数に対し、予測した移動量に対応する位置を最大値として当該位置から遠ざかるに従って値が小さくなる重み係数を、対応する位置同士で乗算することにより、主被写体の移動量の候補から、予測した移動量に最も近い移動量を優先して選択する場合について説明したが、本発明はこれに限定されるものではなく、例えば、パターン・マッチングによって得られた相関係数により求められる主被写体の移動量の候補から、予測した移動量に対応する位置を含む所定範囲内のものだけに選択対象を絞り込むことにより、予測した移動量に最も近い移動量を優先して選択する形態とすることもできる。この場合も、上記実施の形態と同様の効果を奏することができる。

その他、上記実施の形態で説明した画像処理システム９０及びＰＣ２０の構成（図１，図２参照。）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

更に、上記実施の形態で示した画像処理プログラム及び切り出し幅決定処理ルーチン・プログラムの処理の流れ（図３，図４参照。）も一例であり、本発明の主旨を逸脱しない範囲内において、不要な処理ステップを削除したり、新たな処理ステップを追加したり、処理順序を変更したりすることができることは言うまでもない。

実施の形態に係る画像処理システムの全体構成を示す概略図である。 実施の形態に係るパーソナル・コンピュータの電気系の要部構成を示すブロック図である。 実施の形態に係る画像処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係る切り出し幅決定処理ルーチン・プログラムの処理の流れを示すフローチャートである。 実施の形態に係る画像処理プログラムによって得られたパノラマ画像の一例を示す図である。 従来の技術の問題点の説明に供する図であり、動画像データの一例を示す図である。 従来の技術の問題点の説明に供する図であり、従来の技術によって生成されたパノラマ画像の一例を示す図である。

符号の説明

１０ デジタルカメラ
２０ パーソナル・コンピュータ
２０Ａ ＣＰＵ
２０Ｄ ハードディスク
２０Ｆ ディスプレイ
２０Ｇ 外部機器接続インタフェース
９０ 画像処理システム

Claims (5)

1. 移動する被写体を主被写体として、当該主被写体の移動方向に対する端部を含むように少なくとも２回連続して撮影し、かつ当該撮影に継続して連続的に撮影することにより得られた複数の画像情報を取得する取得手段と、
   前記取得手段によって取得された前記複数の画像情報のうち、前記２回の連続した撮影における１回目の撮影によって得られた第１画像情報及び２回目の撮影によって得られた第２画像情報を対象としてパターン・マッチングを行うことにより、前記１回目の撮影を行った時点から前記２回目の撮影を行った時点までの前記主被写体の移動量を特定する特定手段と、
   前記複数の画像情報から前記主被写体を含むパノラマ画像を示す画像情報を生成するために用いられる前記第１画像情報からの画像情報の切り出し幅を、前記特定手段によって特定された前記移動量に対応する幅に決定する第１決定手段と、
   前記２回目の撮影以降の時間的に隣接する撮影間の前記主被写体の移動量を、直前の撮影によって得られた前記画像情報に対する前記切り出し幅に基づいて予測する予測手段と、
   前記２回目以降の撮影により得られた各画像情報に対する前記切り出し幅を、当該各画像情報における時間的に隣接する撮影によって得られた画像情報を対象としてパターン・マッチングを行い、これによって得られる前記主被写体の移動量の候補から、前記予測手段によって予測された対応する移動量に最も近い移動量を優先して選択し、選択した移動量に対応する幅に決定する第２決定手段と、
   前記第１決定手段及び前記第２決定手段によって決定された前記切り出し幅で、対応する前記画像情報から前記主被写体を含む画像を示す画像情報を切り出す切出手段と、
   前記切出手段によって切り出された前記画像情報を合成することにより前記パノラマ画像を示す画像情報を生成する生成手段と、
   を備えた画像処理装置。
2. 前記第２決定手段は、前記２回目以降の撮影により得られた各画像情報における時間的に隣接する撮影によって得られた画像情報を対象としてパターン・マッチングを行い、これによって得られた相関係数に対して、前記予測手段によって予測された対応する移動量に対応する位置を最大値として当該位置から遠ざかるに従って値が小さくなる係数を対応する位置同士で乗算し、これによって得られた値が最も大きくなる位置に対応する移動量を優先して選択する
   請求項１記載の画像処理装置。
3. 前記予測手段は、前記２回目の撮影以降の時間的に隣接する撮影間の前記主被写体の移動量を、直前の撮影によって得られた前記画像情報に対する前記切り出し幅に対応する移動量とするか、又は当該切り出し幅の、前記直前の撮影より前の撮影によって得られた前記画像情報に対する前記切り出し幅に対する変化量に基づいて予測するか、又は直前の撮影以前の撮影によって得られた前記画像情報に対する前記切り出し幅の移動平均値に対応する移動量とする
   請求項１又は請求項２記載の画像処理装置。
4. 移動する被写体を主被写体として、当該主被写体の移動方向に対する端部を含むように少なくとも２回連続して撮影し、かつ当該撮影に継続して連続的に撮影することにより得られた複数の画像情報を取得する取得工程と、
   前記取得工程によって取得された前記複数の画像情報のうち、前記２回の連続した撮影における１回目の撮影によって得られた第１画像情報及び２回目の撮影によって得られた第２画像情報を対象としてパターン・マッチングを行うことにより、前記１回目の撮影を行った時点から前記２回目の撮影を行った時点までの前記主被写体の移動量を特定する特定工程と、
   前記複数の画像情報から前記主被写体を含むパノラマ画像を示す画像情報を生成するために用いられる前記第１画像情報からの画像情報の切り出し幅を、前記特定工程によって特定された前記移動量に対応する幅に決定する第１決定工程と、
   前記２回目の撮影以降の時間的に隣接する撮影間の前記主被写体の移動量を、直前の撮影によって得られた前記画像情報に対する前記切り出し幅に基づいて予測する予測工程と、
   前記２回目以降の撮影により得られた各画像情報に対する前記切り出し幅を、当該各画像情報における時間的に隣接する撮影によって得られた画像情報を対象としてパターン・マッチングを行い、これによって得られる前記主被写体の移動量の候補から、前記予測工程によって予測された対応する移動量に最も近い移動量を優先して選択し、選択した移動量に対応する幅に決定する第２決定工程と、
   前記第１決定工程及び前記第２決定工程によって決定された前記切り出し幅で、対応する前記画像情報から前記主被写体を含む画像を示す画像情報を切り出す切出工程と、
   前記切出工程によって切り出された前記画像情報を合成することにより前記パノラマ画像を示す画像情報を生成する生成工程と、
   を有する画像処理方法。
5. 移動する被写体を主被写体として、当該主被写体の移動方向に対する端部を含むように少なくとも２回連続して撮影し、かつ当該撮影に継続して連続的に撮影することにより得られた複数の画像情報を取得する取得ステップと、
   前記取得ステップによって取得された前記複数の画像情報のうち、前記２回の連続した撮影における１回目の撮影によって得られた第１画像情報及び２回目の撮影によって得られた第２画像情報を対象としてパターン・マッチングを行うことにより、前記１回目の撮影を行った時点から前記２回目の撮影を行った時点までの前記主被写体の移動量を特定する特定ステップと、
   前記複数の画像情報から前記主被写体を含むパノラマ画像を示す画像情報を生成するために用いられる前記第１画像情報からの画像情報の切り出し幅を、前記特定ステップによって特定された前記移動量に対応する幅に決定する第１決定ステップと、
   前記２回目の撮影以降の時間的に隣接する撮影間の前記主被写体の移動量を、直前の撮影によって得られた前記画像情報に対する前記切り出し幅に基づいて予測する予測ステップと、
   前記２回目以降の撮影により得られた各画像情報に対する前記切り出し幅を、当該各画像情報における時間的に隣接する撮影によって得られた画像情報を対象としてパターン・マッチングを行い、これによって得られる前記主被写体の移動量の候補から、前記予測ステップによって予測された対応する移動量に最も近い移動量を優先して選択し、選択した移動量に対応する幅に決定する第２決定ステップと、
   前記第１決定ステップ及び前記第２決定ステップによって決定された前記切り出し幅で、対応する前記画像情報から前記主被写体を含む画像を示す画像情報を切り出す切出ステップと、
   前記切出ステップによって切り出された前記画像情報を合成することにより前記パノラマ画像を示す画像情報を生成する生成ステップと、
   をコンピュータに実行させる画像処理プログラム。