JP2016149736A - 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム - Google Patents

Abstract

【課題】 画像処理装置、画像処理方法、プログラムおよび撮像システムを提供すること。【解決手段】 画像処理システム１００は、複数の入力画像間のつなぎ位置を検出する検出処理手段２２０と、複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理手段２５０と、モードを切り替える切替手段２７０とを含む。モードは、検出処理手段２２０の検出結果を反映してつなぎ処理手段２５０によりつなぎ処理を実行し生成された出力画像が出力される第１のモード（１）と、検出処理手段２２０による処理をせずにつなぎ処理手段２５０によりつなぎ処理を実行し生成された出力画像が出力される第２のモード（２）とを含む。【選択図】 図３

Description

本発明は、画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラムに関する。

魚眼レンズや超広角レンズなどの広角なレンズを複数使用して全方位（以下、全天球という。）を一度に撮像する全天球撮像システムが知られている（例えば、特開２０１３−１８７８６０号公報（特許文献１））。この全天球撮像システムでは、各々のレンズからの像をセンサ面に投影し、得られる各画像を画像処理によってつなぎ合わせることで、全天球画像を生成する。例えば、１８０度を超える画角を有する２つの広角なレンズを用いて、全天球画像を生成することができる。

上記特許文献１の画像処理では、各レンズ光学系により撮像された魚眼画像に対して、所定の射影モデルに基づいて、また理想的なモデルからの歪みを考慮して、歪み補正および射影変換を施す。そして、魚眼画像に含まれる重複部分に基づいて魚眼画像をつなぎ合わせ、１枚の全天球画像とする処理が行われる。画像をつなぎ合わせる処理においては、魚眼画像間の重複部分において、パターンマッチングなどを用いて被写体が重なるつなぎ位置が検出される。

上記画像処理が高速に実施できれば、全天球画像をリアルタイムでモニタすることが可能となる。しかしながら、上述したように、現実的には画像処理量が非常に多いため、許容されるコストでリアルタイムに画像を生成することは難しい。高速に画像処理できたとした場合でも、画像処理による消費電力が多くなり、バッテリ消耗が激しくなり、消費電力の増大に起因して発熱が発生するという問題もある。

本発明は、上記従来技術の不充分な点に鑑みてなされたものであり、本発明は、複数の入力画像をつなぎ合わせて１つの画像を生成する画像処理において、画像遅延を短縮して画像を出力することが可能なモードを備えた画像処理システムを提供することを目的とする。

本発明では、上記課題を解決するために、下記特徴を有する画像処理システムを提供する。画像処理システムは、複数の入力画像間のつなぎ位置を検出する検出処理手段と、上記複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理手段と、モードを切り替える切替手段とを含む。上記モードは、上記検出処理手段の検出結果を反映して上記つなぎ処理手段によりつなぎ処理を実行し生成された出力画像が出力される第１のモードと、上記検出処理手段による処理をせずに上記つなぎ処理手段によりつなぎ処理を実行し生成された出力画像が出力される第２のモードとを含む。

上記構成により、複数の入力画像を合成して１つの画像を生成する画像処理において、画像遅延を短縮して画像を出力することが可能なモードを提供することができる。

本実施形態による全天球撮像システムを構成する全天球カメラの断面図。 本実施形態による全天球撮像システムのハードウェア構成図。 本実施形態による全天球撮像システムにおける複数のモードの画像処理パスを説明する概略図。 本実施形態による全天球撮像システム上に実現される全天球画像モニタ機能に関連する主要な機能ブロック図。 本実施形態による全天球撮像システムにおける射影関係を説明する図。 本実施形態で用いられる全天球画像フォーマットの画像データのデータ構造を説明する図。 本実施形態による位置検出用歪み補正部が参照する変換データを説明する図。 本実施形態による位置検出処理の際における、魚眼レンズで撮像された部分画像の球面座標系へのマッピングを説明する図。 本実施形態によるつなぎ位置検出処理を説明する図。 本実施形態におけるつなぎ位置検出結果のデータ構造を示す図。 本実施形態による画像合成処理の際における、魚眼レンズで撮像された部分画像の球面座標系へのマッピングを説明する図。 本実施形態による全天球撮像システムにおいて生成される各モードの出力画像を例示する図。 本実施形態による全天球撮像システムによるモニタ画像の画像遅延の短縮および消費電力の省電力化を説明する模式図。

以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、画像処理システムおよび撮像システムの一例として、２つの魚眼レンズを備える全天球カメラ１１０と、全天球カメラ１１０と通信するユーザ端末装置１５０とを備える全天球撮像システム１００を用いて説明する。なお、以下の実施形態では、２つの魚眼レンズとしているが、３つ以上の複数の魚眼レンズでもよい。

以下、図１および図２を参照しながら、本実施形態による全天球撮像システム１００の全体構成について説明する。図１は、本実施形態による全天球撮像システム１００を構成する全天球カメラ１１０の断面図である。図１に示す全天球カメラ１１０は、撮像体１２と、上記撮像体１２およびコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられた撮影ボタン１８とを備える。

図１に示す撮像体１２は、２つの結像光学系２０Ａ，２０Ｂと、２つの撮像素子２２Ａ，２２Ｂとを含み構成される。撮像素子２２Ａ，２２Ｂは、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどである。結像光学系２０は、例えば６群７枚の魚眼レンズとして構成される。上記魚眼レンズは、図１に示す実施形態では、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、１９０度以上の画角を有する。このような広角な結像光学系２０と撮像素子２２とを１個ずつ組み合わせたものを広角撮像光学系と参照する。

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。

図１に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換し、コントローラ上の画像処理ブロックに順次、画像フレームを出力する。詳細は後述するが、撮像素子２２Ａ，２２Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。説明する実施形態では、全天球画像を生成するものとして説明するが、水平面のみ３６０度を撮影した、いわゆるパノラマ画像であってもよく、全天球または水平面３６０度の全景のうちの一部を撮影した画像であってもよい。また、全天球画像は、静止画として保存することもできるし、動画として保存することもできる。

図２（Ａ）は、本実施形態による全天球撮像システム１００を構成する全天球カメラ１１０のハードウェア構成を示す。全天球カメラ１１０は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、動画圧縮ブロック１１８と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部センサインタフェース１２４を介して接続される加速度センサ１３６とを含み構成される。

ＣＰＵ１１２は、全天球カメラ１１０の各部の動作および全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。画像処理ブロック１１６は、２つの撮像素子１３０Ａ，１３０Ｂ（図１における撮像素子２２Ａ，２２Ｂである。）と接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。画像処理ブロック１１６は、さらに、撮像素子１３０から取得された複数の画像を合成処理し、これにより、上述した全天球画像を生成する。

動画圧縮ブロック１１８は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。動画圧縮ブロック１１８は、生成された全天球画像の動画データを生成するために用いられる。ＤＲＡＭ１３２は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。加速度センサ１３６は、３軸の加速度成分を検出し、検出された加速度成分は、鉛直方向を検出して全天球画像の天頂補正を施すために用いられる。

全天球カメラ１１０は、さらに、外部ストレージインタフェース１２２と、ＵＳＢ（Universal Serial Bus）インタフェース１２６と、シリアルブロック１２８と、映像出力インタフェース１２９とを含み構成される。外部ストレージインタフェース１２２には、外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４に対する読み書きを制御する。

ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。シリアルブロック１２８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１４０が接続される。映像出力インタフェース１２９は、ＨＤＭＩ（High-Definition Multimedia Interface，ＨＤＭＩは登録商標である。）などの外部ディスプレイと接続するためのインタフェースであり、撮像した画像を外部ディスプレイなどに映像出力することができる。

電源スイッチの操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされる。ＣＰＵ１１２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、全天球カメラ１１０の後述する各機能部および処理が実現される。

図２（Ｂ）は、本実施形態による全天球撮像システム１００を構成するユーザ端末装置１５０のハードウェア構成を示す。図２（Ｂ）に示すユーザ端末装置１５０は、ＣＰＵ１５２と、ＲＡＭ１５４と、ＨＤＤ（Hard Disk Drive）１５６と、入力装置１５８と、外部ストレージ１６０と、ディスプレイ１６２と、無線ＮＩＣ１６４と、ＵＳＢコネクタ１６６とを含み構成される。

ＣＰＵ１５２は、ユーザ端末装置１５０の各部の動作および全体動作を制御する。ＲＡＭ１５４は、ＣＰＵ１５２の作業領域を提供する。ＨＤＤ１５６は、ＣＰＵ１５２が解読可能なコードで記述された、オペレーティング・システム、本実施形態によるユーザ端末装置１５０側の処理を担うアプリケーションなどのプログラムを格納する。

入力装置１５８は、マウス、キーボード、タッチパッド、タッチスクリーンなどの入力装置であり、ユーザ・インタフェースを提供する。外部ストレージ１６０は、メモリカードスロットなどに装着された着脱可能な記録媒体であり、動画形式の画像データや静止画データなどの各種データを記録する。無線ＮＩＣ１６４は、全天球カメラ１１０などの外部機器との無線ＬＡＮ通信の接続を確立する。ＵＳＢコネクタ１６６は、全天球カメラ１１０などの外部機器とのＵＳＢ接続を確立する。なお、一例として、無線ＮＩＣ１６４およびＵＳＢコネクタ１６６を示すが、特定の規格に限定されるものではなく、Ｂｌｕｅｔｏｏｔｈ（登録商標）やワイヤレスＵＳＢなどの他の無線通信、有線ＬＡＮ（Local Area Network）などの有線通信で外部機器と接続されてもよい。

ディスプレイ１６２は、ユーザが操作するための操作画面の表示、撮影前または撮影中の全天球カメラ１１０による撮像画像のモニタ画像の表示、保存された動画や静止画の再生、閲覧のための表示を行う。ディスプレイ１６２および入力装置１５８により、ユーザは、操作画面を介して全天球カメラ１１０に対する撮影指示や各種設定変更を行うことが可能となる。

ユーザ端末装置１５０に電源が投入され電源がオン状態になると、ＲＯＭやＨＤＤ１５６からプログラムが読み出され、ＲＡＭ１５４にロードされる。ＣＰＵ１５２は、ＲＡＭ１５４に読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、ユーザ端末装置１５０の後述する各機能部および処理が実現される。

上述したように、本実施形態による全天球カメラ１１０は、全天球画像の静止画または動画を撮影する機能を有する。この全天球画像の静止画または動画の撮影前または撮影中、撮像される画像の状態をリアルタイムに確認できることが望ましい。例えば、ユーザが、全天球カメラ１１０を設置する際に、画像の明るさを確認したり、画角を確認したりすることを望むかもしれない。

しかしながら、複数の撮像素子１３０Ａ，１３０Ｂを用いて上述した全天球画像を生成するためには、パターンマッチングによる被写体が重なるつなぎ位置の検出や複数の画像をつなぎ合わせといった複雑な画像処理が要求される。上記画像処理を高速に実施できれば、全天球画像のリアルタイムモニタを実現することができるが、現実的には画像処理量が非常に多いため、許容されるコストでリアルタイムに画像をモニタできるように構成することは難しい。高速に画像処理できる場合であっても、画像処理による消費電力が多くなり、バッテリ消耗が激しくなり、ひいては発熱量も大きくなる。

そこで、本実施形態においては、用途に応じて複数のモードの画像処理パスを用意する。複数のモードとしては、つなぎ位置を検出する処理の検出結果を反映して複数の撮像素子１３０Ａ，１３０Ｂからの入力画像のつなぎ処理を実行して出力画像を生成する（１）撮影モードに加えて、下記特徴を有する（２）画角確認モードが提供される。複数のモードのうちの（２）画角確認モードが指定されたことに応答して、上述したつなぎ位置を検出する処理が迂回され、複数の撮像素子１３０Ａ，１３０Ｂからの入力画像がそのままつなぎ処理されて出力画像が生成される。つまり、つなぎ位置を検出せずに、所定の位置で撮像素子１３０Ａ，１３０Ｂからの入力画像として第１の画像と第２の画像をつなぎ、出力画像を生成する。好ましい実施形態では、さらに、複数の入力画像のうちの少なくとも一方を切り出して出力画像を生成する（３）明るさ確認モードが提供される。つまり、つなぎ位置を検出せずに、部分画像の切り出しを行う。

上記構成により、画角を確認したいといった用途においては、ユーザは、（２）画角確認モードを選択すればよく、これにより、処理負荷が大きく電力消費が大きなつなぎ位置検出処理を迂回して出力画像を生成することができる。これにより、画角確認における画像遅延を短縮し、ひいては、消費電力および発熱の抑制を図る。

なお、以下に説明する実施形態においては、ユーザ端末装置１５０は、全天球画像の静止画または動画の撮影前または撮影中に撮像画像を確認するためのモニタ画像を表示するために用いられる。ユーザは、ユーザ端末装置１５０上で稼働するリモートコントロール用のアプリケーションを操作し、ユーザ端末装置１５０上でモニタ画像を表示しながら、撮影指示を行い、これに応答して、全天球カメラ１１０で静止画または動画の撮影が行われる。しかしながら、このような実施形態に限定されるものではなく、他の実施形態では、上述した映像出力インタフェース１２９に接続した外部ディスプレイにモニタ画像を表示するように構成してもよいし、全天球カメラ１１０自体がディスプレイを備える場合、全天球カメラ１１０が備えるディスプレイにモニタ画像を表示するように構成してもよい。撮影ボタン１８を介して撮影指示を受け付けることもできる。

以下、図３を参照しながら、本実施形態による全天球撮像システム１００における複数のモードの画像処理の流れについて説明する。図３は、本実施形態による全天球撮像システム１００における、複数のモードの画像処理パスを概略説明する図である。

図３には、（１）撮影モード、（２）画角確認モードおよび（３）明るさ確認モードを含む合計３つのモードの各画像処理の流れが示されている。いずれのモードにおいても、画像処理２００は、複数の撮像素子１３０Ａ，１３０Ｂによる部分画像取得処理２１０から開始される。部分画像取得処理２１０では、全天球カメラ１１０は、２つの撮像素子１３０Ａ，１３０Ｂを制御し、連続したフレームを順次撮像する。撮像素子１３０各々で撮像される画像は、概ね全天球のうちの半球を視野に収めた魚眼画像であり、全天球画像の部分的な画像を構成する。以下、撮像素子１３０それぞれで撮像される各フレームの画像を部分画像と参照する。

まず、（１）撮影モードについて説明する。（１）撮影モードでは、全天球カメラ１１０は、部分画像取得処理２１０に引き続き、取得された２つの部分画像間のつなぎ位置を検出するつなぎ位置検出処理２２０を実行する。（１）撮影モードにおけるつなぎ位置検出処理２２０では、フレーム毎に、複数の部分画像間に存在する重複領域において、複数の対応点各々の位置ずらし量を検出する処理が行われ、つなぎ位置検出結果が生成される。

（１）撮影モードでは、つなぎ位置検出処理２２０に引き続き、傾き検出処理２３０が実行される。傾き検出処理２３０では、全天球カメラ１１０は、図２（Ａ）に示した加速度センサ１３６を制御し、所定の基準方向に対する全天球カメラ１１０の傾きを検出する。ここで、所定の基準方向とは、典型的には、鉛直方向であり、重力加速度が作用する方向である。傾き検出処理２３０により、フレーム毎に、３軸加速度センサ１３６の各加速度成分が測定され、傾き検出結果が生成される。

上述したつなぎ位置検出処理２２０によるつなぎ位置検出結果および傾き検出処理２３０による傾き検出結果により、各フレームの複数の部分画像を合成するためのつなぎパラメータ２４０が構成される。

（１）撮影モードでは、全天球カメラ１１０は、引き続き、得られたつなぎパラメータ２４０に基づいて、部分画像取得処理２１０で取得された２つの部分画像をつなぎ合わせるつなぎ処理２５０を実行する。（１）撮影モードにおけるつなぎ処理２５０では、つなぎ位置検出結果に基づくつなぎ位置で複数の部分画像の位置合わせが行われ、傾き検出結果に基づいて天頂補正が行われる。これにより、部分画像取得処理２１０で取得された２つの部分画像が合成され、全天球画像が生成される。３つ以上の複数の魚眼レンズの場合は、３以上の複数の部分画像が合成され、全天球画像が生成される。

（１）撮影モードでは、フレーム毎につなぎ位置検出および傾き検出が行われるので、つなぎパラメータ２４０は、フレーム毎に動的に更新される。そして、つなぎ処理は、これらの検出結果が反映されたつなぎパラメータ２４０を適用してフレーム毎に実行される。そのため、撮影モード中、全天球カメラ１１０の傾きや向きが変化したり、重複領域付近の被写体が移動したりした場合であっても、適切に天頂補正およびつなぎ補正が施された状態で出力画像を生成することができる。

これに対して、（２）画角確認モードでは、全天球カメラ１１０は、部分画像取得処理２１０に引き続き、つなぎ位置検出処理２２０を迂回してつなぎ処理２５０を実行する。つまり、つなぎ位置を検出せずに、所定の位置で撮像素子１３０Ａ，１３０Ｂからの入力画像として第１の画像と第２の画像をつなぎ、出力画像を生成する。（２）画角確認モードにおけるつなぎ処理２５０では、既定のつなぎパラメータに基づくつなぎ位置で複数の部分画像の位置合わせが行われ、取得された２つの部分画像が合成され、全天球画像が生成される。３つ以上の複数の魚眼レンズの場合は、３以上の複数の部分画像が合成され、全天球画像が生成される。

既定のつなぎパラメータとしては、全天球カメラ１１０の工場出荷時の校正等で予め生成されたパラメータや、前回の撮影モードでの撮影時に生成されたパラメータなど、少なくとも部分画像が取得される前から存在するパラメータが静的に用いられる。そのため、画像フレーム毎のつなぎ位置検出および傾き検出が省略され、出力画像生成時の画像遅延の短縮および消費電力の省電力化が図られる。また、過去に適切につなぎ合わすことができたパラメータであるため、極端につなぎ位置がずれることもなく、画角の確認という用途において充分な画質が得られる。

さらに、（３）明るさ確認モードでは、全天球カメラ１１０は、部分画像取得処理２１０に引き続き、つなぎ位置検出処理２２０もつなぎ処理２５０も迂回して、画像切出処理２６０を実行する。画像切出処理２６０では、部分画像取得処理２１０により取得された複数の部分画像のうちの少なくとも一方を切り出して、出力画像が生成される。画像切出処理２６０は、つなぎ処理２５０よりもさらに処理負荷が小さいため、消費電力をさらに削減することができる。つまり、つなぎ位置を検出せずに、部分画像の切り出しを行う。

上記（１）〜（３）の各モードで、つなぎ処理２５０または画像切出処理２６０が完了した後、全天球カメラ１１０は、出力画像の選択処理２７０を実行し、ユーザ端末装置１５０は、全天球カメラ１１０から出力される画像に基づきモニタ表示処理２８０を行う。

選択処理２７０では、複数のモードのうちの指定されるモードに応じて画像処理パスが切り替えられる。（１）撮影モードでは、全天球カメラ１１０は、選択処理２７０で、つなぎ処理２５０からのつなぎ位置補正および天頂補正が施された全天球画像を選択する。これに対して、（２）画角確認モードでは、全天球カメラ１１０は、選択処理２７０で、つなぎ処理２５０からのつなぎ位置補正および天頂補正が施されていない全天球画像を選択する。（３）明るさ確認モードでは、全天球カメラ１１０は、選択処理２７０で、画像切出処理２６０からの切出画像を選択する。

モニタ表示処理２８０では、ユーザ端末装置１５０は、指定モードに応じて切り替えられる出力画像に基づくモニタ画像を表示する。なお、（１）撮影モードおよび（２）画角確認モードにおけるモニタ表示処理２８０では、全天球画像をそのまま表示してもよいし、全天球画像を所定の画角で射影表示して生成された画像（全天球画像から指定された画角で切り出された画像）を表示してもよい。（３）明るさ確認モードにおけるモニタ表示処理２８０では、切出画像をそのまま表示することができる。

以下、図４〜図１３を参照しながら、本実施形態による全天球撮像システム１００が備える全天球画像モニタ機能について、詳細を説明する。図４は、本実施形態による全天球撮像システム１００上に実現される主要な機能ブロックを示す。本実施形態による画像処理ブロック３００は、図４に示すように、位置検出用歪み補正部３０２と、つなぎ位置検出部３０４と、テーブル修正部３０６と、テーブル生成部３０８と、傾き検出部３１０と、画像合成用歪み補正部３１２と、画像合成部３１４と、画像切出部３１６と、モード切替部３１８と、出力画像選択部３２０とを含み構成される。

画像処理ブロック３００には、２つの撮像素子１３０Ａ，１３０Ｂから、各種画像信号処理を経て、フレーム毎に２つの部分画像が入力される。ここで、撮像素子１３０Ａをソースとするフレームの画像を「部分画像０」のように参照し、撮像素子１３０Ｂをソースとするフレームの画像を「部分画像１」のように参照する。画像処理ブロック３００には、さらに、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成された、位置検出用変換テーブル３３０が提供される。

（１）撮影モードでは、位置検出用歪み補正部３０２、つなぎ位置検出部３０４、テーブル修正部３０６、テーブル生成部３０８および傾き検出部３１０が、つなぎパラメータ２４０を生成するために動作する。

位置検出用歪み補正部３０２は、入力される部分画像０，１に対し、位置検出用変換テーブル３３０を用いて歪み補正を施し、位置検出用補正画像（以下、単に補正画像と参照する場合がある。）０および位置検出用補正画像１を生成する。入力される部分画像０，１は、平面座標系（ｘ，ｙ）で表現された画像データであり、これに対し、位置検出用変換テーブル３３０を用いて歪み補正がかけられた補正画像は、球面座標系（動径を１とし、２つの偏角θ，φを有する極座標系である。）で表現された全天球画像フォーマットの画像データとなる。

図５は、本実施形態による全天球撮像システム１００における射影関係を説明する図である。１つ魚眼レンズで撮影された画像は、撮影地点から概ね半球分の方位を撮影したものとなる。また、魚眼レンズでは、図５（Ａ）に示すように、光軸に対する入射角度φに対応した像高ｈで画像生成される。像高ｈと、入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。また、説明する実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図５（Ｂ）に示すように、撮影範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。

図６は、本実施形態で用いられる全天球画像フォーマットの画像データのデータ構造を説明する図である。図６に示すように、全天球画像フォーマットの画像データは、所定の軸に対するなす角度に対応する垂直角度φと、上記軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。各座標値（θ，φ）は、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上にマッピングされる。

図７は、本実施形態による位置検出用歪み補正部３０２が参照する変換データを説明する図である。変換テーブル３３０は、平面座標系で表現される部分画像から、球面座標系で表現される画像への射影を規定する。変換テーブル３３０は、図７（Ａ）および（Ｂ）に示すように、魚眼レンズ毎に、補正後画像の座標値（θ,φ）と、該座標値（θ,φ）にマッピングされる補正前の部分画像の座標値（ｘ、ｙ）とを対応付ける情報を、全座標値（θ，φ）に対して保持したものである。図７の例示では、１画素が担当する角度は、φ方向およびθ方向いずれも１／１０度であり、変換テーブルは、各魚眼レンズについて、３６００×１８００の対応関係を示す情報を有している。つなぎ位置検出の際に用いられる位置検出用変換テーブル３３０は、事前に製造元等で理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものである。

図８は、本実施形態による位置検出処理の際における、魚眼レンズで撮像された部分画像の球面座標系へのマッピングを説明する図である。位置検出用歪み補正部３０２による処理の結果、魚眼レンズで撮像された２つの部分画像０，１は、図８に示すように、全天球画像フォーマット上に展開される。魚眼レンズ０により撮影された部分画像０は、典型的には、全天球のうちの概ね上半球にマッピングされ、魚眼レンズ１により撮影された部分画像１は、全天球のうちの概ね下半球にマッピングされる。全天球フォーマットで表現された補正画像０および補正画像１は、魚眼レンズの全画角が１８０度を超えるため、それぞれ半球からはみ出している。その結果、補正画像０および補正画像１を重ね合わせると、画像間で撮影範囲が重複する重複領域が発生する。

つなぎ位置検出部３０４は、位置検出用歪み補正部３０２により変換された補正画像０，１の入力を受けて、パターンマッチング処理により、入力された補正画像０，１間のつなぎ位置を検出し、つなぎ位置検出結果３３２を生成する。本実施形態による位置検出用変換テーブル３３０では、図８に示すように、２つのレンズ光学系各々の光軸を球面の２つの極に射影するとともに、画像間の重複領域を球面の赤道近傍に射影するように作成される。球面座標系では、垂直角度φが０度または１８０度である極に近接するほど歪みが大きくなり、つなぎ位置検出精度が劣化してしまう。これに対し、上述したような射影とすることによって、つなぎ位置検出精度を向上させることができる。なお、図８は２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図であるが、３つ以上の複数の魚眼レンズでもよい。

図９は、本実施形態によるつなぎ位置検出処理を説明する図である。説明する実施形態では、テンプレート用画像５００は、位置検出用補正画像１の重複領域の部分の画像であり、探索用画像５１０は、位置検出用補正画像０の重複領域の部分の画像である。ここで、指定されたサイズＷ、指定された生成間隔Ｓｔｅｐでテンプレート画像が生成されるものとすると、図９に示すような態様で複数のテンプレート画像５０２−１〜５０２−＃が生成される。

生成された複数のテンプレート画像５０２−１〜５０２−＃に対し、テンプレート・マッチングにより、探索用画像５１０上での対応部分５１４が所定の探索範囲５１２内で探索される。この各テンプレート画像５０２−１〜５０２−＃に対して、それぞれ、マッチングスコアが最大となる位置の基準位置からのずらし量が検出される。

図１０は、本実施形態におけるつなぎ位置検出結果のデータ構造を示す図である。つなぎ位置検出処理に基づき、図１０に示すような、変換後の各座標値（θ，φ）に対して、ずらし量（Δθ，Δφ）が対応付けられた情報を全座標値について保持するデータが生成される。このとき、上記つなぎ位置検出により求められたテンプレート・ブロック毎のずらし量（Δθ_ｉ，Δφ_ｉ）を、テンプレート・ブロックの中心座標の値として設定し、各座標値（θ，φ）に対応するずらし量（Δθ，Δφ）を補間して、つなぎ位置データが計算される。

テーブル修正部３０６は、つなぎ位置検出結果３３２に基づいて、事前準備された位置検出用変換テーブル３３０に対し修正を施し、テーブル生成部３０８に渡す。上述したつなぎ位置検出により、図１０に示すように、全天球画像フォーマットの座標値毎にずらし量が求まっているので、テーブル修正部３０６は、部分画像０の歪み補正に用いた検出用歪み補正テーブル０において、入力座標値（θ，φ）に対し、修正前に（θ＋Δθ，φ＋Δφ）に対応付けられていた（ｘ，ｙ）を対応付けるように修正する。なお、部分画像１の歪み補正に用いた検出用歪み補正テーブル１については対応付けを変える必要がない。

テーブル生成部３０８は、上記テーブル修正部３０６により修正された変換データから、回転座標変換に基づき、画像合成用変換テーブル３３６を生成する。なお、この際に、傾き検出部３１０が生成した傾き検出結果３３４に基づいて、傾き補正を反映させて画像合成用変換テーブル３３６を生成することができる。

このように、（１）撮影モードでは、フレーム毎につなぎ位置検出が行われ、画像合成用変換テーブル３３６が更新される。位置検出用歪み補正部３０２、つなぎ位置検出部３０４、テーブル修正部３０６およびテーブル生成部３０８が実行する処理は、図３に示したつなぎ位置検出処理２２０に対応しており、傾き検出部３１０が実行する処理は、傾き検出処理に対応している。生成される画像合成用変換テーブル３３６は、つなぎパラメータ２４０に対応する。

なお、（２）画角確認モードでは、上述した位置検出用歪み補正部３０２、つなぎ位置検出部３０４、テーブル修正部３０６、テーブル生成部３０８および傾き検出部３１０は、消費電力を削減する観点からは、好ましくは休止される。

（１）撮影モードおよび（２）画角確認モードでは、画像合成用歪み補正部３１２および画像合成部３１４が、全天球画像を生成するために動作する。

画像合成用歪み補正部３１２は、画像合成処理の前段の処理として、部分画像０および部分画像１に対し、変換テーブルを用いて歪み補正をかけ、画像合成用補正画像０および画像合成用補正画像１を生成する。生成される画像合成用補正画像０，１は、位置検出用補正画像と同様に、球面座標系で表現されている一方で、上記回転座標変換により、位置検出用補正画像とは座標軸の定義が異なったものとなる。画像合成部３１４は、得られた画像合成用補正画像０および画像合成用補正画像１を合成し、全天球画像フォーマットの合成画像のフレームを生成する。

図１１は、本実施形態による画像合成処理の際における、魚眼レンズで撮像された部分画像の球面座標系へのマッピングを説明する図である。上記回転座標変換により、図８に示すような、一方のレンズ光学系の光軸を軸とした水平角度および垂直角度の座標軸の定義から、図１１に示すような、光軸に垂直な軸を基準とした水平角度および垂直角度の定義に変換される。これにより、画像合成用歪み補正部３１２による処理の結果、魚眼レンズで撮像された２つの部分画像０，１は、図１１に示すように全天球画像フォーマット上に展開される。魚眼レンズ０により撮影された部分画像０は、典型的には、全天球のうちの概ね左半球にマッピングされ、魚眼レンズ１により撮影された部分画像１は、全天球のうちの概ね右半球にマッピングされる。なお、図１１は、２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングについて説明しているが、３つ以上の複数の魚眼レンズの場合は、３以上の複数の部分画像が合成され、全天球画像が生成される。

画像合成用歪み補正部３１２が参照する変換テーブルは、指定されるモードに応じて異なる。（１）撮影モードでは、フレーム毎に、つなぎ位置検出処理２２０により更新される画像合成用変換テーブル３３６が参照される。これに対して、（２）画角確認モードでは、すべてのフレームを通して、固定変換テーブル３３８が参照される。ここで、固定変換テーブル３３８は、事前に製造元等で保存されたもの、あるいは、前回の（１）撮影モード時に生成したものなどを用いることができる。つまり、（２）画角確認モードでは、その時点で撮像されたフレームに対する最適な変換テーブルではないが、許容できる品質で全天球画像を生成することができる固定変換テーブル３３８が用いられる。

このように、（１）撮影モードおよび（２）画角確認モードでは、変換テーブル３３６，３３８に基づきつなぎ処理が行われる。画像合成用歪み補正部３１２および画像合成部３１４が実行する処理は、図３に示したつなぎ処理２５０に対応する。

（３）明るさ確認モードでは、上述した位置検出用歪み補正部３０２、つなぎ位置検出部３０４、テーブル修正部３０６、テーブル生成部３０８、傾き検出部３１０、画像合成用歪み補正部３１２および画像合成部３１４は、省電力化の観点から好ましくは休止される。代わりに、画像切出部３１６が動作する。

画像切出部３１６は、入力される部分画像（図４では部分画像０を用いているが、部分画像１であってもよい。）に対し、画像切り出し処理を施し、切出画像を生成する。生成される切出画像は、部分画像と同じく、平面座標系で表現された画像データとなる。画像切出部３１６が実行する処理は、図３に示した画像切出処理２６０に対応する。

モード切替部３１８は、ユーザから指定されるモードに応じて、出力画像選択部３２０、つなぎ位置検出処理２２０、つなぎ処理２５０、画像切出処理２６０の動作を切り替える。ユーザによるモード指定は、例えば、ユーザ端末装置１５０上で動作するアプリケーション上のソフトキーまたは全天球カメラ１１０が備えるハードキーなどを介して行われる。より具体的には、モード切替部３１８は、つなぎ位置検出処理２２０で２つの部分画像間のつなぎ位置を検出するか否かを判断する判断手段としての機能が含まれる。つなぎ位置を検出すると判断した場合には、（１）撮影モードとなるが、つなぎ位置を検出しないと判断した場合には、つなぎ位置を検出せずに、（２）画角確認モードまたは（３）明るさ確認モードとなる。

出力画像選択部３２０は、（１）撮影モードおよび（２）画角確認モードでは、画像合成部３１４が出力する合成画像を出力画像として選択する。出力画像選択部３２０は、（３）明るさ確認モードでは、画像切出部３１６が出力する切出画像を出力画像として選択する。

図１２は、本実施形態による全天球撮像システム１００において生成される各モードの出力画像を例示する図である。（１）撮影モード中に選択される出力画像は、図１２（Ａ）に示すように、つなぎ位置が適切に位置合わせされ、天頂補正が施された画像となる。これに対して、（２）画角確認モード中に選択される出力画像は、図１２（Ｂ）に示すように、充分な画質でつなぎ位置の位置合わせが行われているが、天頂補正は施されていない画像となる。（３）明るさ確認モード中に選択される出力画像は、図１２（Ｃ）に示すように、魚眼画像から矩形に切り出した画像となる。

図４に示す画像処理ブロック３００は、さらに、モニタ画像生成部３２２を含むことができる。上記生成された合成画像は、全天球画像フォーマットで表現されるため、そのまま、ディスプレイなどの平面表示デバイスに表示させると、垂直角度０度および１８０度に近づくほど画像が歪んで表示されることになる。画角の確認という目的では、全天球画像フォーマットのまま表示させてもよいが、好ましい実施形態では、全天球画像を平面表示デバイスに投影するための画像処理を実行することができる。

モニタ画像生成部３２２は、（１）撮影モードおよび（２）画角確認モードにおいて、全天球画像フォーマットの合成画像から、球面座標系から特定方向および特定画角の平面座標系への順次変換し、ユーザが指定する特定の視野方向の一定画角の画像に投影する処理を行う。これにより、視聴者は、所定の視点および視野で観察した場合に相当する画像をモニタすることができるようになる。モニタ画像生成部３２２は、（３）明るさ確認モードにおいては、出力される切出画像をそのまま、またはさらに一部を切り出してディスプレイに表示することができる。

また、上述した説明では、撮影前または撮影中のモニタ画像表示について説明した。しかしながら、上述した（１）撮像モードの画像処理パスで生成される全天球画像の静止画を生成し、または、全天球画像の複数のフレームからなる画像列を動画圧縮して動画像を生成し、これらの静止画または動画の画像データを保存することもできる。

図１３は、本実施形態による全天球撮像システムによるモニタ画像の画像遅延の短縮および消費電力の省電力化を模式的に説明する図である。図１３には、入力される画像フレームとともに、各モードにおいて行われる各処理、入力された画像フレームに対応する出力のタイミングが時間軸上に示されている。また、各処理の処理量がバーの幅で模式的に表現されている。

図１３に示すように、つなぎ位置検出処理を実行する（１）撮影モードでは、典型的には、数フレーム分の時間をかけてつなぎ位置検出処理を行い、数フレーム分待って画像に対しつなぎ処理を行って画像出力が行われる。高速な画像処理チップを用いてハードウェアの画像処理性能を向上することにより、遅延を短縮することができるが、コストおよび消費電力の増大につながる。

これに対し、上述した（２）画角確認モードでは、典型的には数フレーム分の時間が必要なつなぎ位置検出処理を省略することができるので、その分だけ、画像遅延の短縮および消費電力の省電力化が図られる。一例として、特定の処理チップ上において撮影モードで３フレーム相当かかる処理を、１フレーム分相当に短縮し、１フレームの遅延で出力することが可能である。さらに、上述した（３）明るさ確認モードでは、つなぎ処理が、さらに処理負荷の低い画像切出処理で代替されるので、より一層の消費電力の低減を図ることができる。

以上説明したように、上述した実施形態によれば、複数の入力画像をつなぎ合わせて１つの画像を生成する画像処理において、画像遅延を短縮して画像を出力することが可能なモードを備えた画像処理システム、画像処理方法、プログラムおよび撮像システムを提供することができる。

なお、上述までの実施形態では、全天球カメラ１１０と、全天球カメラ１１０と通信するユーザ端末装置１５０とを備える全天球撮像システム１００を一例として、画像処理システムおよび撮像システムについて説明した。

上述した全天球撮像システム１００において、特定の実施形態では、部分画像取得処理２１０、つなぎ位置検出処理２２０、傾き検出処理２３０、つなぎ処理２５０および選択処理２７０を全天球カメラ１１０のハードウェア上で実装し、モニタ表示処理２８０をユーザ端末装置１５０上で実装することができる。この特定の実施形態では、全天球カメラ１１０は、複数のモードのうちの指定されるモードに応じた出力画像を出力し、ユーザ端末装置１５０は、モードに応じた出力画像に基づくモニタ画像を表示することができる。

しかしながら、画像処理システムおよび撮像システムの構成は、上述した構成に限定されるものではない。他の実施形態では、上述した画像処理２１０〜２８０をすべて全天球カメラ１１０上で実行し、全天球カメラ１１０のみで画像処理システム、画像処理装置および撮像システムを構成してもよい。さらに他の実施形態では、上述した部分画像取得処理２１０を除く画像処理２２０〜２８０を、ユーザ端末装置１５０を含む１以上の外部のパーソナル・コンピュータやサーバなどの画像処理装置上で分散実装してもよい。例えば、特定の実施形態では、画像処理２２０〜２８０を、画像処理装置としてのユーザ端末装置１５０上で実行することができる。このような実施形態では、全天球カメラ１１０は、モードにかかわらず複数の部分画像を取得して出力し、ユーザ端末装置１５０は、全天球カメラ１１０から出力された複数の部分画像の入力を受け、複数のモードのうちの指定されるモードに応じた出力画像を生成し、モニタ画像を表示することができる。

さらに、上記実施形態では、傾き補正において、鉛直方向を基準として傾き角を求めるとしたが、鉛直方向以外で、たとえば水平方向やその他所望の方向を基準方向として設定し、その基準方向に対する全天球カメラ１１０や撮像素子１３０Ａ、１３０Ｂ等所定の物体との傾きに基づいて画像の傾きを修正するようにしてもよい。また、上記実施形態では、傾きの検出に加速度センサを用いたが、加速度センサと地磁気センサの組合せなどのその他の傾きセンサにより、全天球カメラ１１０や全天球カメラ１１０に固定された撮像素子１３０Ａ、１３０Ｂ、センサ自体等の傾きを検出するようにしてもよい。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１２…撮像体、１４…筐体、１８…撮影ボタン、２０…結像光学系、２２…撮像素子、１００…全天球撮像システム、１１０…全天球カメラ、１１２…ＣＰＵ、１１４…ＲＯＭ、１１６…画像処理ブロック、１１８…動画圧縮ブロック、１２０…ＤＲＡＭインタフェース、１２２…外部ストレージインタフェース、１２４…外部センサインタフェース、１２６…ＵＳＢインタフェース、１２８…シリアルブロック、１２９…映像出力インタフェース、１３０…撮像素子、１３２…ＤＲＡＭ、１３４…外部ストレージ、１３６…加速度センサ、１３８…ＵＳＢコネクタ、１４０…無線ＮＩＣ、１４２…バス、１５０…ユーザ端末装置、１５２…ＣＰＵ、１５４…ＲＡＭ、１５６…ＨＤＤ、１５８…入力装置、１６０…外部ストレージ、１６２…ディスプレイ、１６４…無線ＮＩＣ、１６６…ＵＳＢコネクタ、１６８…バス、２００…画像処理、２１０…部分画像取得処理、２２０…つなぎ位置検出処理、２３０…傾き検出処理、２４０…つなぎパラメータ、２５０…つなぎ処理、２６０…画像切出処理、２７０…選択処理、２８０…モニタ表示処理、３００…画像処理ブロック、３０２…位置検出用歪み補正部、３０４…つなぎ位置検出部、３０６…テーブル修正部、３０８…テーブル生成部、３１０…傾き検出部、３１２…画像合成用歪み補正部、３１４…画像合成部、３１６…画像切出部、３１８…モード切替部、３２０…出力画像選択部、３２２…モニタ画像生成部、３３０…位置検出用変換テーブル、３３２…つなぎ位置検出結果、３３４…傾き検出結果、３３６…画像合成用変換テーブル、３３８…固定変換テーブル、５００…テンプレート用画像、５０２…テンプレート画像、５１０…探索用画像、５１２…探索範囲、５１４…対応部分

特開２０１３−１８７８６０号公報

Claims (20)

1. 複数の入力画像間のつなぎ位置を検出する検出処理手段と、
   前記複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理手段と、
   モードを切り替える切替手段と
   を含み、前記モードは、
   前記検出処理手段の検出結果を反映して前記つなぎ処理手段により前記つなぎ処理を実行し生成された出力画像が出力される第１のモードと、
   前記検出処理手段による処理をせずに前記つなぎ処理手段により前記つなぎ処理を実行し生成された出力画像が出力される第２のモードと
   を含む、画像処理システム。
2. 前記第１のモードにおける前記つなぎ処理手段による前記つなぎ処理は、前記検出処理手段の検出結果が反映された変換データを適用して実行され、
   前記第２のモードにおける前記つなぎ処理手段による前記つなぎ処理は、所定の変換データを適用して実行される、
   請求項１に記載の画像処理システム。
3. 前記複数の入力画像のうちの少なくとも一方を切り出して、出力画像を生成する切出処理手段をさらに含み、前記モードは、
   前記検出処理手段および前記つなぎ処理手段による処理をせずに前記切出処理手段により前記少なくとも一方を切り出し生成された出力画像が出力される第３のモード
   をさらに含む、請求項１または２に記載の画像処理システム。
4. 前記第１のモードにおける前記検出処理手段による処理は、前記複数の入力画像間に存在する重複領域での複数の対応点各々の位置ずらし量を検出する処理を含む、請求項１〜３のいずれか１項に記載の画像処理システム。
5. 前記第１のモードにおける前記検出処理手段による処理は、
   前記複数の入力画像から変換された球面座標系の複数の画像間のつなぎ位置を検出する検出処理と、
   傾きセンサによる傾き検出結果および前記球面座標系で検出されたつなぎ位置の検出結果に基づいて、前記複数の入力画像から前記出力画像を生成するための変換データを生成する変換データ生成処理と
   を含む、請求項１〜４のいずれか１項に記載の画像処理システム。
6. 前記つなぎ処理手段による処理は、
   前記変換データに基づいて、前記複数の入力画像をそれぞれ球面座標系の画像に変換する変換処理と、
   前記変換処理により前記複数の入力画像から変換された球面座標系の複数の画像を合成し、出力画像を生成する合成処理と
   を含む、請求項５に記載の画像処理システム。
7. 指定されるモードに応じて切り替えられる出力画像に基づくモニタ画像を表示手段に表示させる、請求項１〜６のいずれか１項に記載の画像処理システム。
8. 前記検出処理手段および前記つなぎ処理手段は、ハードウェア実装される、請求項１〜７のいずれか１項に記載の画像処理システム。
9. それぞれレンズ光学系および撮像素子を含み互いに異なる方向を撮像して入力画像の列を与える複数の撮像手段からの部分画像を取得する画像取得手段をさらに含む、請求項１〜８のいずれか１項に記載の画像処理システム。
10. 前記複数の撮像手段は、それぞれ、所定画角を有し、前記複数の撮像手段の画角を合わせることにより４πステラジアンの立体角が満たされ、前記つなぎ処理手段により生成される出力画像は、全天球画像である、請求項９に記載の画像処理システム。
11. 画像処理装置が実行する画像処理方法であって、前記画像処理装置が、
    第１のモードが指定されたことに応答して、
    入力される複数の入力画像間のつなぎ位置を検出するステップと、
    前記検出するステップでの検出結果を反映して前記複数の入力画像をつなぎ処理して、第１の出力画像を生成するステップと、
    第２のモードが指定されたことに応答して、
    前記つなぎ位置を検出する処理をせずに入力される複数の入力画像をつなぎ処理して、第２の出力画像を生成するステップと
    を含む、画像処理方法。
12. コンピュータを、
    複数の入力画像間のつなぎ位置を検出する検出処理手段、
    前記複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理手段、および、
    モードを切り替える切替手段
    として機能させるためのプログラムであって、前記モードは、
    前記検出処理手段の検出結果を反映して前記つなぎ処理手段により前記つなぎ処理を実行し生成された出力画像が出力される第１のモードと、
    前記検出処理手段による処理をせずに前記つなぎ処理手段により前記つなぎ処理を実行し生成された出力画像が出力される第２のモードと
    を含む、プログラム。
13. それぞれ、レンズ光学系および固体撮像素子を含み、互いに異なる方向を撮像して入力画像を取得する複数の撮像手段と、
    取得された複数の入力画像間のつなぎ位置を検出する検出処理手段と、
    前記複数の入力画像をつなぎ処理して、出力画像を生成するつなぎ処理手段と、
    モードを切り替える切替手段と
    を含み、前記モードは、
    前記検出処理手段の検出結果を反映して前記つなぎ処理手段によりつなぎ処理を実行し生成された出力画像が出力される第１のモードと、
    前記検出処理手段による処理をせずに前記つなぎ処理手段によりつなぎ処理を実行し生成された出力画像が出力される第２のモードと
    を含む、撮像システム。
14. 前記複数の撮像手段、前記検出処理手段、前記つなぎ処理手段および前記切替手段を備える撮像装置を含む、請求項１３に記載の撮像システム。
15. 前記撮像装置は、指定されるモードに応じた出力画像を出力し、前記撮像システムは、
    前記指定されるモードに応じた出力画像に基づくモニタ画像を表示手段に表示させるユーザ端末装置をさらに含む、請求項１４に記載の撮像システム。
16. 前記複数の撮像手段を備え、前記複数の撮像手段各々が取得した複数の入力画像を出力する撮像装置と、
    前記検出処理手段、前記つなぎ処理手段および前記切替手段を備え、前記撮像装置から出力された前記複数の入力画像の入力を受け、切り替えられたモードに応じた出力画像を出力する画像処理装置と
    を含む、請求項１３に記載の撮像システム。
17. 複数の画像を合成して１つの画像を生成する画像生成装置において、
    第１の画像と第２の画像をつなぐつなぎ位置を検出するか否かを判断する判断手段と、
    前記判断手段で、つなぎ位置を検出しないと判断した場合、
    所定の位置で第１の画像と第２の画像をつないで画像を生成する生成手段と、
    を有することを特徴とする画像生成装置。
18. 前記判断手段で、つなぎ位置を検出すると判断した場合、つなぎ位置の検出を行う検出手段と、
    前記つなぎ位置に基づいて、第１の画像と第２の画像をつないで画像を生成する生成手段と、
    を有することを特徴とする請求項１７の画像生成装置。
19. 複数の画像を合成して１つの画像を生成する画像生成装置が実行する画像生成方法であって、前記画像生成装置が、
    第１の画像と第２の画像をつなぐつなぎ位置を検出するか否かを判断するステップと、
    前記判断するステップで、つなぎ位置を検出しないと判断した場合、
    所定の位置で第１の画像と第２の画像をつないで画像を生成するステップと、
    を含む、画像生成方法。
20. 複数の画像を合成して１つの画像を生成する画像生成装置を実現するためのプログラムであって、コンピュータを、
    第１の画像と第２の画像をつなぐつなぎ位置を検出するか否かを判断する判断手段、および、
    前記判断手段で、つなぎ位置を検出しないと判断した場合、所定の位置で第１の画像と第２の画像をつないで画像を生成する生成手段、
    として機能させるためのプログラム。