JP2013042213A - 画像処理装置および画像処理方法、プログラム - Google Patents

Abstract

【課題】 複数の撮像画像データからパノラマ画像のような結合画像データを高解像度で生成することを目的とする。
【解決手段】 超解像処理が行えるように、結合シーンの各位置を撮像装置により複数回撮影すべく撮像装置の撮影条件を決定し、決定された撮影条件により撮影された複数の撮像画像データに基づいて超解像処理を行い、解像度の大きい結合画像データを生成する。
【選択図】 図７

Description

本発明は、撮像部による複数回の撮影により取得される複数の撮像画像データから、撮像部による１回の撮影で得られるシーンよりも広いシーンである被写体エリアに対応する合成画像データを生成する画像処理装置および画像処理方法、プログラムに関する。

従来、三脚とカメラの間に装着し、上部に設置されたカメラ（撮像部）を電動で一定角度回転させるための装置として、電動雲台が知られている。これは、一般的にはパノラマ画像を撮影するための撮影補助具として用いられる。決められた角度の回転を行うため、人間がカメラを手持ちで任意の角度振りながら撮影するよりも、精度よく撮影することが可能となる。この電動雲台を使用した技術としては、電動雲台とカメラの両方を制御し、自動でパノラマ画像を撮影する技術が知られている（特許文献１）。このように、電動雲台を利用してカメラによる複数回の撮影により取得される複数枚の撮像画像データから、１回の撮影で得られるシーンよりも広いシーンを表わすパノラマ画像データを生成するためには、これら複数枚の撮像画像データを結合する必要がある。そのため、各々の撮像画像データは、隣接画像と重複領域を持つように撮影され、隣接画像と位置合わせをした後でブレンド処理を行うことで結合処理が行われる。この位置合わせは、例えば、重複領域において画素ごとの平均二乗誤差を求め、それが最小となるように２枚の画像の位置を合わせる処理である。

特開平１１−２９５７８３号公報

Ｓｕｎｇ Ｃ． Ｐ．， Ｍｉｎ Ｋ． Ｐ． ，"Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ： Ａ Ｔｅｃｈｎｉｃａｌ Ｏｖｅｒｖｉｅｗ" 米国 ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃ． Ｍａｇａｚｉｎｅ， 第２６巻， 第３号， ｐ．２１−３６，２００３年 Ｒ． Ｒ． Ｓｃｈｕｌｚ， Ｒ． Ｌ． Ｓｔｅｖｅｎｓｏｎ， "Ｅｘｔｒａｃｔｉｏｎ ｏｆ ｈｉｇｈ−ｒｅｓｏｌｕｔｉｏｎ ｆｒａｍｅｓ ｆｒｏｍ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ" ＩＥＥＥ Ｔｒａｎｓ． Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， 第５巻， ｐ．９９６−１０１１， １９９６年

しかしながら、特許文献１に記載されている技術により得られるパノラマ画像の解像度は、カメラによる撮影で得られる画像データの解像度である。
そこで、本発明は、複数の撮像画像データからパノラマ画像のような結合画像データを高解像度で生成することを目的とする。

上記目的を達成するために本発明の画像処理装置は、撮像装置による複数回の撮影により取得される複数の撮像画像データから、前記撮像装置による１回の撮影で得られるシーンよりも広い結合シーンに対応する結合画像データを生成する画像処理装置であって、超解像処理が行えるように、前記結合シーンの各位置を前記撮像装置により複数回撮影すべく前記撮像装置の複数の撮影条件を決定する決定手段と、前記決定された複数の撮影の撮影条件により取得された複数の撮像画像データを入力する入力手段と、前記入力された複数の撮像画像データに基づいて、超解像処理を行うことにより結合シーンに対応する結合画像データを生成する生成手段とを有し、前記超解像処理により、前記撮像装置による１回の撮影で得られる画像データの解像度よりも前記結合画像データの解像度が大きくなることを特徴とする。

本発明によれば、複数の撮像画像データからパノラマ画像のような合成画像データを高解像度で生成することができる。

実施例１における撮影装置の構成を示す図である。 実施例１における撮影装置の詳細構成を示した図である。 実施例１における画像結合処理の概要を示す図である。 実施例１における射影後画像と重複領域の一例を示した図である。 実施例１における撮影座標決定処理の適用順の一例を示した図である。 実施例１における撮影座標決定処理の流れを示すフローチャートである。 実施例１における超解像処理用の撮影座標決定処理の流れを示すフローチャートである。 実施例１における撮影処理の流れを示すフローチャートである。 実施例１における最低重複枚数と重複領域の大きさの関係を示す図である。 実施例２における最低重複枚数が２の場合の射影後画像群の一例を示した図である。

［実施例１］

図１は本実施例における撮影装置の構成を示す図である。図１において、１０１は撮影装置本体であるカメラであり、１０２は電動雲台で、回転によりカメラ本体をＰＡＮ、ＴＩＬＴさせるための装置を示している。１０３はカメラ１０１の動作、および電動雲台１０２の回転動作を制御する制御部である。１０４は幅Ｗ、高さＨの大きさを持ち、カメラ１０１から距離Ｌの位置に設置された撮影対象の被写体を示している。

図２は、図１の撮影装置の詳細構成を示した図である。２０１は撮影光学系レンズ、２０２は結像した光学像を光電変換する撮像素子（ＣＣＤ等）である。２０３は撮像された電気信号に所定の処理を行うための信号処理部、２０４は信号処理された画像を記憶するための記憶部である。２０５は撮像された画像または記憶された画像を表示するための表示部（ＬＣＤ）、２０６はカメラの動作を制御するカメラ制御部、２０７はカメラ操作部である。２０８は電動雲台１０２を回転制御するためのステッピングモータ、２０９はモータドライバ、２１０はステッピングモータ２０８の回転動作を制御する雲台制御部である。２１１はホスト制御部（ホストコンピュータ）である。２１２はカメラ１０１への撮影指示や電動雲台１０２の回転角度を指定するためのホスト操作部であり、キーボードやマウス等の入力装置で構成される。２１３はホスト制御部における情報を表示するためのモニタである。２１４はカメラ１０１と制御部１０３を繋ぐ通信ライン、２１５は電動雲台１０２と制御部１０３を繋ぐ通信ラインである。これら通信ラインを通して、制御部１０３からカメラ１０１や電動雲台１０２へと制御信号を送ることで、これら装置の動作制御を行う。なお、通信ラインは有線でも無線でも構わない。

カメラ１０１において、撮影光学系レンズ２０１により撮像素子２０２上に結像した光学像は、信号処理部２０３により信号処理され、表示部２０５に表示される。カメラ操作部２０７によりシャッター操作が行われるか、ホスト制御部２１１よりシャッターコマンドが送られてくると、カメラ制御部２０６は現在撮像されている画像を記憶部２０４に記憶させる。また、雲台制御部２１０は、ホスト制御部２１１より回転動作のコマンドが送られてくると、これに従い回転を行う。

本実施例では、説明を簡単にするため被写体１０４に歪みはなく、地面に対して垂直に設置されているものとする。また、電動雲台１０２のＰＡＮとＴＩＬＴの角度（撮影方向）がゼロの位置（ホームポジション）においてはカメラ１０１と被写体１０４は正対し、その際カメラの画角中心は被写体中心を捉えているものとして説明を行う。

本実施例では、全ての撮像画像が隣接する撮像画像と重複するように電動雲台１０２を制御して、被写体を複数回に分けて撮影を行う。この撮影を行うにあたって、まずは電動雲台１０２のＰＡＮとＴＩＬＴの角度で表現される撮影条件（撮影座標、撮影角度）の決定を行う。この際に、もし、超解像処理モードが選択された場合、超解像処理が行えるように、合成後のシーン（被写体）の各位置を指定された回数分撮影されるように撮影条件が決定される。次に、決定された撮影条件に基づいて撮影を行い、撮像画像データを取得する。そして、最後に全ての撮像画像データを結合することで、１枚の高解像度画像を生成する。以下、これらの処理について詳細に説明する。

＜画像結合処理＞
まず、図３を用いて本実施例における結合処理の概要を説明する。本実施例では、被写体を絵画のように平面であるものとする。風景など、撮影距離が非常に大きい被写体についても同様に平面として扱うことができるため、本実施例の手法で対応可能である。

被写体を平面であると仮定した場合、図３（ａ）のようなある３次元空間上に被写体を想定した平面（被写体面）を設定し、この平面上に撮像画像をマッピングすることで画像配置することができる。図３（ｂ）では説明を簡単にするために、３次元空間をｚ軸方向から見た図を示している。配置した画像の被写体面との角度は、撮影時のカメラ位置によって決まる。

以後、図３（ｂ）を用いて本実施例における結合処理について説明する。

例えば（Ａ）の位置から撮影した場合、ファインダ中心にピントが合うように撮影すると、撮影レンズの画角から、図中に示した仮想ピント面Ｆａを設定することが出来る。ここで、仮想ピント面はカメラによってピントを合わせた平面であり、カメラ位置から被写体を見た光景のうち、仮想ピント面を含む領域が撮像画像に写り込むことになる。この場合、（Ａ）の位置にあるカメラは被写体面に対して正対していないため、実際に写る範囲は撮影範囲Ｒａの部分になる。

そこで、図中に示したような再構成平面を設定し、被写体から無限遠の位置、かつ視線方向を再構成平面に正対した方向とするような視点からの被写体像を得るパース補正処理を施して、これを並べることで結合画像データを得る。以後、このようにして得た画像データを射影後画像データと呼ぶ。例えば説明を簡単にするためにレンズによる歪みが無いと仮定した場合、再構成平面上の点Ｐａ’は、（Ａ）にあるカメラと被写体との距離や撮影時の画角から、被写体面上の点Ｐａの画素値となる。撮影データはデジタル化されたビットマップデータであり、点Ｐａの座標は必ずしも整数値になるとは言えないが、整数値にならない場合には近傍画素を補間して画素値を算出する。ここで、図中の（Ｂ）のように、使用ＡＦフレームが画像の中心にない場合には、ＡＦフレームが被写体上に配置されるように、仮想ピント面を設定する。この結合処理により、カメラ１０１による１回の撮影で得られるシーンよりも広い結合シーンに対応する結合画像データを得ることができる。

このようにして得た射影後画像が示すデータが示す画像の一例を図４に示す。射影後画像データが示す画像間には重複領域が生じ、この重複領域に対してブレンド処理を適用することで画像間の境界部分に違和感の無い結合画像データを得ることが可能になる。本実施例では、このブレンド処理の際に超解像処理を施すことによって、高解像度の結合画像データを生成する。この重複領域においては、同じ被写体位置を撮影した撮影条件の異なる複数枚の撮像画像データが示す画像が重なった状態で形成される。また、各撮像画像データを取得する際の撮影条件が異なるため、シーン（被写体）の各位置において各撮像画像データが示す画像間で若干シフトしている。そのシフト量（ズレ量）はサブピクセル以下のズレ量である。このようなシーンの各位置において若干シフトした画像に対応する撮像画像データを利用することにより超解像処理を実現する。この超解像処理には公知の方法を用いる。例えば、複数フレームの位置ずれを有する低解像度画像を合成して、高解像度な画像を生成する撮像手法（非特許文献１）や、ＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒ）推定に基づく方法（非特許文献２）である。これらの処理の詳細に関しては本実施例の主眼ではないため詳細な説明は省略する。

＜撮影条件決定処理＞
ここでは、本実施例の主眼である撮影条件決定処理の詳細について説明する。

本実施例では、電動雲台１０２を制御し、超解像処理モードの場合には結合シーン（被写体）が全ての位置において指定された重複枚数の分割画像で構成されるように、撮影条件を決定する。撮影条件は、電動雲台のホームポジションにおいて撮影される画像を基準画像とし、その基準画像に近い順に決定していく。例えば図５に示したような射影後画像データが示す画像群について、画像８を基準画像とした場合、画像７、画像９、画像１１、画像５、画像１０、画像１２、・・・の順で撮影条件を決定する。もちろんこれ以外の順番で撮影条件を決めていってもよいことは言うまでもない。例えば図５における画像１を基準として、画像２、画像３、画像４、画像５、・・・とラスタスキャンするように決定していく方法も考えられる。ただし、決定順がどのような順番であっても、少なくとも１枚以上の画像と隣接するように決定する必要がある。

次に、図６に示すフローチャートを用いて、本実施例における撮影条件決定処理の流れを説明する。

ステップＳ６０１では、ホスト操作部２１２から処理モードの入力を行う。

ステップＳ６０２では、ホスト制御部２１１は、入力された処理モードが超解像処理モードであるかどうかを判断する。もし、超解像処理モードであると判断した場合には、ステップＳ６０３へ進み、そうでない場合にはステップＳ６０４へと進む。

ステップＳ６０３では、超解像処理用の撮影条件決定処理を行い、処理を終了する。この処理の詳細に関しては後述する。

ステップＳ６０４では、一般的な画像結合用の撮影条件決定処理を行い、処理を終了する。このステップＳ６０４の処理は、従来のパノラマ画像生成処理において用いられる公知の撮影条件決定処理である。例えば、画像結合処理が実行可能であろうと想定される重複領域（例えば画像の１／３の面積）を撮像画像同士が持つように、撮影条件を決定する処理である。つまり、これは最終的に画像同士が超解像処理を行うことなく結合することだけを考慮に入れた撮影条件決定方法である。この処理により、超解像処理を必要としない撮影における撮影枚数と画像結合処理における計算コストを必要最小限に抑えることができる。ステップＳ６０４の結合処理によれば、カメラ１０１による１回の撮影で得られる画像データの解像度と結合画像データの解像度とは等しい。

＜超解像処理用の撮影条件決定処理＞
ここでは、超解像処理モードであると判断された場合に行われる超解像処理用の撮影条件決定処理について説明する。図７は、本実施例における超解像処理用の撮影条件決定処理の流れを示すフローチャートである。

ステップＳ７０１では、撮影対象となる被写体１０４の幅Ｗと高さＨをホスト操作部２１２により入力する。

ステップＳ７０２では、カメラ１０１から被写体１０４までの距離Ｌをホスト操作部２１２により入力する。

ステップＳ７０３では、撮像画像の最低重複枚数ｎ（ｎ≧２）をホスト操作部２１２により指定する。最低重複枚数ｎ（撮像画像データ数）は、超解像処理の処理コストと、生成する結合画像の解像度を考慮して決定する。超解像処理では、サブピクセル単位でずれた画像の枚数が増えるほど、処理コストは大きくなるが、より高解像度な画像を生成することが可能となる。ステップＳ７０４では、カメラ１０１とレンズ２０１の情報を取得する。カメラとレンズの情報とは、撮像画像サイズ、焦点距離、レンズ収差補正に必要な光学特性を含む情報である。

ステップＳ７０５では、電動雲台１０２をホームポジションへと移動し、基準画像データを設定する。ここでは、ホームポジションにおいて得られる画像を基準画像データとする。さらに、基準画像データの撮影条件を決定する。前述したように、この撮影条件とは雲台のＰＡＮとＴＩＬＴの角度で表現されるため、この場合、基準画像データの撮影条件は雲台のＰＡＮとＴＩＬＴの角度が０度で示される撮影条件となる。

ステップＳ７０６では、ループ処理のインデックスｉを０に初期化する。

ステップＳ７０７では、インデックスｉ番目の撮影条件の初期値を設定する。この撮影条件の初期値は、すでに撮影条件の決まった隣接画像と重複領域を持つように適当な値を設定すればよい。例えば、図４において、画像８を基準画像とした場合、画像１０の撮影条件の初期値は、画像７および画像１１と重複領域を持つように設定する。本実施例では収束演算により最終的な撮影条件を決定するため、この初期値の決め方で収束速度が変化する。

ステップＳ７０８では、カメラ情報、レンズ情報、被写体までの距離Ｌ、および被写体の大きさから、現在設定されている撮影条件において撮影を行った場合に、カメラで取得される被写体の撮影範囲１を計算する。

ステップＳ７０９では、前のステップで計算された被写体の撮影範囲１に対してパース補正を適用し、被写体の撮影範囲１を更新して撮影範囲２を得る。この撮影範囲２は、射影後画像データが示す画像に相当する被写体の撮影範囲である。

ステップＳ７１０では、ステップＳ７０９で得られた撮影範囲２と、すでに撮影条件の決まった隣接画像の射影後画像データが示す画像に相当する撮影範囲との重複領域の大きさｍを算出する。

ステップＳ７１１では、算出された重複領域の大きさｍが、規定の重複領域の大きさＭを満たすかどうかを判定する。ここで、規定の大きさＭについて図９を用いて説明する。この規定の大きさＭは、ステップＳ７０３で入力された重複数ｎから求まる値である。図９（ａ）は重複数ｎが２の場合の規定の重複領域の大きさＭを示している。図示したように重複領域の大きさＭは、隣接画像の射影後画像データが示す画像の面積の１／２となるように決定される。図９（ｂ）は、重複数ｎが３の場合の規定の重複領域の大きさＭを示している。この場合は、重複領域の大きさＭは隣接画像の射影後画像データが示す画像の面積の２／３となるように決定される。つまり、射影後画像データが示す画像の面積の（１−１／ｎ）となるように重複領域の大きさＭが決定されることになる。もし、算出された重複領域の大きさｍが規定の大きさＭを満たしていればステップＳ７１３へと進み、規定の大きさＭを満たしていなければステップＳ７１２へと進む。

ステップＳ７１３では、撮影条件の更新を行う。もし、ｍが規定の大きさＭよりも小さかった場合には、隣接画像との重複が小さくなる方向へと撮影条件を更新し、逆に、ｍが規定の大きさＭよりも大きかった場合には、隣接画像との重複が大きくなる方向へと撮影条件を更新する。この更新処理に例えば二分法のような探索方法を用いることで、更新処理の繰り返し回数を削減することができることは言うまでもない。

ステップＳ７１４では、被写体１０４が、全ての位置において指定された重複枚数の射影後画像によって構成されているかどうかの判定を行う。例えば、ｎが２の場合には、全ての位置において２枚上の射影後画像データが示す画像が重なった状態となっているかを判断する。なお、この判定にはステップＳ７０１で入力した被写体の幅Ｗと高さＨを用いる。もし、被写体全体に対して条件を満たしている場合には処理を終了し、そうでない場合にはステップＳ７０９へと進む。

ステップＳ７１５では、インデックスｉを１だけインクリメントする。

以上の処理により、超解像処理モード時の撮影条件決定を行う。

本実施例では、射影後画像データが示す画像の面積の（１−１／ｎ）となるように重複領域の大きさＭを決定したが、この際に、超解像処理の効果をさらに向上させるために、隣接画像と１／２画素だけずれるように設定するようにしてもよい。

＜撮影処理＞
図８は、撮影処理の流れを示すフローチャートである。

ステップＳ８０１では、ホスト制御部２１１は、記憶装置に記憶された撮影条件（回転角度）を読み出す。

ステップＳ８０２では、ホスト制御部２１１は、回転角度を回転動作のコマンドと共に雲台制御部２１０へと通信ライン２１５を通して送信する。

ステップＳ８０３では、雲台制御部は、モータドライバ２０９によりステッピングモータ２０８を駆動し、受信した回転角度だけ雲台を回転する。

ステップＳ８０４では、ホスト制御部２１１は、シャッターコマンドをカメラ制御部２０６へと通信ライン２１４を通して送信する。

ステップＳ８０５では、カメラ制御部２０６は、シャッターコマンドを受信するとカメラのシャッターを切り、撮影を行う。撮影された画像はカメラ内の記憶部２０４に記憶される。

ステップＳ８０６では、カメラ制御部２０６は、記憶部２０４に記憶された撮像画像データをホスト制御部２１１内にある記憶装置へと通信ライン２１４を通して転送し、処理を終了する。

以上の処理により、決められた撮影条件における撮影を行う。

本実施例では、撮影条件決定処理と撮影処理を分けて行うよう説明したが、これらを組み合わせて撮影条件を決めながら撮影処理を行うようにしてもよいことは言うまでもない。

なお、画像結合処理において、指定された最低重複枚数ｎを超える画像が重複する部分に関しては、その中からｎ枚の画像を選択し、それらを使って超解像処理を適用するものとする。これにより、被写体の全ての位置において一様な解像度を持つ高解像度画像を得ることが可能となる。

＜超解像処理＞
カメラ制御部２０６から送信されてきた複数の撮像画像データを用いて、ホスト制御部２１１は超解像処理を行う。この複数の撮像画像データは、被写体（結合シーン）の各位置のをカメラ１０１により複数回撮影したことにより得られ、かつ各位置においてサブピクセルだけシフトしているため超解像処理が行うことができる。この超解像処理により、カメラ１０１による１回の撮影で得られる画像データの解像度より大きな解像度を有する結合画像データを生成することが可能となる。

以上説明した方法により、画像結合時に被写体全体に対して超解像処理が確実に適用可能なように、撮像画像データを取得することが可能となる。

［実施例２］

実施例１では、指定された最低重複枚数ｎを超える画像が重複する部分に関しては、その中からｎ枚の画像を選択し、それらを使って超解像処理を適用するとして説明した。本実施例では、その場合の画像の選択方法について説明する。

図１０は、最低重複枚数ｎが２の場合の射影後画像データが示す画像群の一例を示している。本来であれば射影後画像データが示す画像はが画像変形しているが、説明を簡単にするため、ここでは全て長方形として扱う。図１０において位置Ａでは、画像１、画像２、画像３、画像４の４枚の画像が重複している。この場合、最低重複枚数ｎが２であるため、この４枚の中から２枚を選択することとなる。本実施例では、この選択の際に被写体中心からの距離を用いる。４枚の画像それぞれに対して、被写体中心からそれぞれの画像中心までの距離を求める。そして、これらの距離を短い順に並べ、距離の短い方から２枚の画像を選ぶことによって画像の選択を行う。つまり、図１０の例では、画像４と画像２を選択する。このようにすることで、できるだけ画質の良い画像を使って結合画像を生成することが可能となる。なぜなら、被写体中心（雲台のホームポジション）から離れるほど、撮像画像のパースはきつくなるため、パース補正の際の補間処理により射影後画像データが示す画像の画質の劣化が大きくなるからである。

以上説明した方法により、画像結合時に被写体全体に対してできるだけ高画質な超解像処理が確実に適用可能なように、撮像画像を取得することが可能となる。

＜変形例＞
実施例１では、超解像処理モードかそうでないかによって撮影条件の決定の仕方を変更する方法について説明したが、この処理モードは、例えばＳ／Ｎ比を向上させるようなモードであってもよい。つまり、複数枚の重複した画像を用いて１枚の画像を生成する画像処理を行うような重複撮影モードの場合には全て適用可能である。

実施例１では、パース補正により撮影範囲を更新しているが、例えばレンズ収差の影響等も考慮して撮影範囲を決定するような構成も考えられる。

実施例１では、全ての被写体位置においてｎ枚以上の画像が重なるように撮影位置を決定したが、例えば、被写体情報（例えば、重要度や周波数など）に応じて最低重複枚数を被写体位置ごとに変更するような構成も考えられる。

本実施例１では、撮像画像データの取得に当たり、電動雲台１０２のＰＡＮとＴＩＬＴの角度で表現される撮影条件を決定するとしたがこれに限らない。例えば、光学ズームや空間位置（Ｘ，Ｙ，Ｚ位置）を変更した上で撮像画像データを取得しても良い。

実施例２では、被写体中心からの距離に応じて画像の選択を行っているが、例えば、画素ごとにその画素がパース補正時の画素補間によって生成されたものかどうかを判定し、補間によって生成されたものでないものを優先的に選択するような構成も考えられる。実施例１，２では、ホスト制御部２１１により、撮影条件の決定処理や超解像処理を行うとしたが、それら処理の一部又は全部をカメラ１０１で行うとしても良い。

Claims (9)

1. 撮像装置による複数回の撮影により取得される複数の撮像画像データから、前記撮像装置による１回の撮影で得られるシーンよりも広い結合シーンに対応する結合画像データを生成する画像処理装置であって、
   超解像処理が行えるように、前記結合シーンの各位置を前記撮像装置により複数回撮影すべく前記撮像装置の複数の撮影条件を決定する決定手段と、
   前記決定された複数の撮影条件により取得された複数の撮像画像データを入力する入力手段と、
   前記入力された複数の撮像画像データに基づいて、超解像処理を行うことにより結合シーンに対応する結合画像データを生成する生成手段とを有し、
   前記超解像処理により、前記撮像装置による１回の撮影で得られる画像データの解像度よりも前記結合画像データの解像度が大きくなることを特徴とする画像処理装置。
2. 超解像処理を行うか否かを判断する判断手段と、
   前記入力された複数の撮像画像データに基づいて、超解像処理を行うことなく結合シーンに対応する結合画像データを生成する結合手段とを有し、
   前記判断手段により超解像処理を行うと判断された場合、前記生成手段により、前記入力された複数の撮像画像データに基づいて、超解像処理を行うことにより結合シーンに対応する結合画像データを生成し、
   前記判断手段により超解像処理を行わないと判断された場合、前記結合手段により、前記入力された複数の撮像画像データに基づいて、超解像処理を行うことなく結合シーンに対応する結合画像データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記超解像処理に必要な撮像画像データ数を指定する指定手段を更に有し、
   前記生成手段は、前記結合シーンの各位置において前記指定された撮像画像データ数の撮像画像データに基づいて、超解像処理を行うことにより結合シーンに対応する結合画像データを生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記各位置において前記指定された撮像画像データ数よりも多い撮像画像データがある場合、前記結合シーンの中心に近い撮像画像データを用いて超解像処理を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記撮影条件は、撮像装置の撮影方向であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記複数の撮像画像データは、前記撮像装置を雲台に設置して撮像することにより得られることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 請求項１乃至６のいずれか１項に記載の画像処理装置を備えた撮影装置。
8. 撮像装置による複数回の撮影により取得される複数の撮像画像データから、前記撮像装置による１回の撮影で得られるシーンよりも広いシーンである結合シーンに対応する結合画像データを生成する画像処理方法であって、
   超解像処理が行えるように、前記結合シーンの各位置を前記撮像装置により複数回撮影すべく前記撮像装置の複数の撮影条件を決定する決定工程と、
   前記決定された複数の撮影条件により取得された複数の撮像画像データを入力する入力工程と、
   前記入力された複数の撮像画像データに基づいて、超解像処理を行うことにより結合シーンに対応する結合画像データを生成する生成工程とを有し、
   前記超解像処理により、前記撮像装置による１回の撮影で得られる画像の解像度よりも前記結合画像データの解像度が大きくなることを特徴とする画像処理方法。
9. コンピュータを請求項１乃至６のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images