JP2019009643A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】部分画像を繋ぎ合わせた全天球画像を生成する際に、フレーム遅延を抑制する。【解決手段】テンプレート特徴量算出部（検出手段）が、撮像装置（撮像手段）が同時に撮像した、重複領域を含む複数の部分画像（画像）の一方の部分画像（第２の撮像画像）の中から、所定の特徴量を有する特徴領域を検出する。そして、速度算出部（算出手段）が、特徴領域の移動速度を算出して、テンプレートサイズ設定部（設定手段）が、部分画像の重複領域の中に、特徴領域の移動速度に応じたサイズのテンプレート画像（テンプレート）を設定する。次に、マッチング計算部（探索手段）が、他方の部分画像（第１の撮像画像）の重複領域の中から、テンプレート画像と対応する領域を探索する。そして、検出結果生成部（合成手段）が、マッチング計算部の探索結果に基づいて、部分画像を繋ぎ合わせた合成画像を生成する。【選択図】 図４

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

魚眼レンズや超広角レンズ等の複数の広角レンズを異なる方向に向けて、全方位（以下、全天球と呼ぶ。）を一度に撮像する全天球撮像システムが知られている。このような全天球撮像システムでは、各レンズを透過した光をセンサ面に投影して、得られる各画像を画像処理によって合成することで、全天球画像を生成する。例えば、１８０度を超える画角を有する２つの魚眼レンズを用いて、全天球画像を生成することができる。

上記画像処理は、各魚眼レンズを通して撮像された部分画像に対して、所定の射影モデルに基づいて、歪み補正および射影変換を施す。その後、各部分画像に含まれる重複部分を利用することによって各部分画像を繋ぎ合わせる処理を行い、１枚の全天球画像としている。画像を繋ぎ合わせる処理は、各部分画像の重複部分に対して、テンプレート・マッチング等のパターンマッチングを用いて、繋ぎ合わせる部分に存在する被写体が重なるような繋ぎ位置を検出する。

このように、各部分画像を繋ぎ合わせる技術として、例えば特許文献１では、複数の画像間で相関の高い領域を探索する際に、画像の状態に応じて、複数のサイズのテンプレートのうち、どのテンプレートを用いてマッチングを行うかを設定していた。

しかしながら、上記の従来技術は、複数のサイズのテンプレートをそれぞれ当てはめて、適切なサイズのテンプレートを選択する必要があるため、画像が撮像されてから、相関の高い領域の探索を完了するまでに処理時間を要する。したがって、撮像を行ってから結果を出力するまでのフレーム遅延を抑制することができないという問題があった。

本発明は、上記に鑑みてなされたものであり、部分画像を繋ぎ合わせた全天球画像を生成して出力する際に、少ない演算量で繋ぎ処理を行うことによって、フレーム遅延を抑制することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、重複領域を含む複数の画像を同時に撮像する撮像手段と、前記撮像手段が撮像した第１の撮像画像の中から、所定の特徴量を有する特徴領域を検出する検出手段と、前記特徴領域の移動速度を算出する算出手段と、前記第１の撮像画像の前記重複領域の中に、前記特徴領域の移動速度に応じたサイズのテンプレートを設定する設定手段と、前記撮像手段が前記第１の撮像画像と同時に撮像した第２の撮像画像の前記重複領域の中から、前記テンプレートと対応する領域を探索する探索手段と、前記探索手段の探索結果に基づいて、前記第１の撮像画像と前記第２の撮像画像とを繋ぎ合わせた合成画像を生成する合成手段と、を備えたことを特徴とする。

本発明によれば、部分画像である、第１の撮像画像と第２の撮像画像を繋ぎ合わせた全天球画像を生成して出力する際に、少ない演算量で繋ぎ処理を行うことができるため、画像を繋ぎ合わせて出力する際のフレーム遅延を抑制することができる。

図１は、全天球撮像装置の撮像手段の一例である撮像装置の断面図である。 図２は、全天球撮像装置のハードウェア構成を示すハードウェアブロック図ある。 図３は、全天球撮像装置の機能構成を示す機能ブロック図である。 図４は、歪み補正・画像合成部の機能構成を示す機能ブロック図である。 図５は、繋ぎ位置検出部の機能構成を示す機能ブロック図である。 図６は、本実施形態による全天球撮像装置における、入射光線と生成される画像との射影関係を説明する図である。 図７は、本実施形態で用いる全天球画像フォーマットの部分画像のデータ構造を説明する図である。 図８は、本実施形態による位置検出用歪み補正部が参照する位置検出用変換テーブルを説明する図である。 図９は、本実施形態による繋ぎ位置検出処理における、魚眼レンズで撮像された部分画像の球面座標系へのマッピングを説明する図である。 図１０は、本実施形態において、繋ぎ位置検出部により生成される検出結果データのデータ構造を示す図である。 図１１は、テンプレート生成部が行うテンプレートの初期設定について説明する図である。 図１２は、２枚の位置検出用補正画像を繋ぎ合わせる処理を説明する図である。 図１３は、テンプレート画像を設定する方法の概要を説明する図である。 図１４は、テンプレートサイズ設定部が行うテンプレート画像のサイズ設定について説明する図である。 図１５は、物体の移動速度に基づくテンプレート画像の設定方法を説明する図である。 図１６は、本実施形態による全天球撮像装置が実行する全天球画像合成処理の全体的な流れを示すフローチャートである。 図１７は、本実施形態による全天球撮像装置が実行する繋ぎ位置検出処理の流れを示すフローチャートである。

以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、画像処理装置の一例である全天球撮像装置について説明する。全天球撮像装置は、２つの魚眼レンズを光学系に含む撮像体を備えて、当該２つの魚眼レンズを通して撮像した２枚の部分画像に対して、それぞれ歪み補正および射影変換を行い、その後、２枚の部分画像を繋ぎ合わせて全天球画像を生成する画像処理機能を備える。

（全天球撮像装置のハードウェア構成の説明）
以下、図１，図２を用いて、本実施形態に係る画像処理装置の一例である全天球撮像装置の全体構成について説明する。図１は、全天球撮像装置の撮像手段の一例である撮像装置１０の断面図である。図１に示す撮像装置１０は、撮像体１２と、撮像体１２およびコントローラやバッテリ等の部品を保持する筐体１４と、筐体１４に設けられたシャッター・ボタン１８とを備える。撮像体１２は、２つの結像光学系２０（２０Ａ，２０Ｂ）と、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の２つの撮像素子２２（２２Ａ，２２Ｂ）を備える。結像光学系２０と撮像素子２２とを１個ずつ組み合わせたものを撮像光学系と呼ぶ。各結像光学系２０は、例えば６群７枚等のレンズを含む魚眼レンズ２１（２１Ａ，２１Ｂ）で構成される。この魚眼レンズ２１は、それぞれ、１８０度より大きい画角を有する。なお、各魚眼レンズ２１は、好適には１８５度以上の画角を有し、より好適には、１９０度以上の画角を有するのが望ましい。すなわち、２つの魚眼レンズ２１Ａ，２１Ｂで撮像された画像は、全天球を漏れなくカバーする。

２つの結像光学系２０を形成する光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２に対して位置関係が定められている。位置決めは、各結像光学系２０の光軸Ａ１，Ａ２が、対応する撮像素子２２Ａ，２２Ｂの受光領域の中心部に直交するように、かつ、受光領域が、対応する魚眼レンズ２１Ａ，２１Ｂの結像面となるように行われる。より具体的には、図１に示すように、結像光学系２０Ａと結像光学系２０Ｂとは、両面ミラー２３によって、光軸Ａ１と光軸Ａ２とがそれぞれ直角に折り曲げられた状態で設置されている。なお、両面ミラー２３は、入射した光の波長に依存せずに、高い反射率を有する。また、各撮像素子２２は、受光領域が２次元の広がりを有する撮像素子であり、各結像光学系２０により集光された光を画像信号に変換する。

図１に示す撮像装置１０では、各結像光学系２０は同一仕様である。また、各撮像素子２２は、集光した光を画像信号に変換して、後述する画像処理ブロック１１６（図２参照）に出力する。詳細は後述するが、画像処理ブロック１１６は、各撮像素子２２がそれぞれ出力する部分画像を繋ぎ合わせて合成し、立体角４πラジアンの合成画像（以下、全天球画像と呼ぶ。）を生成する。全天球画像は、撮像地点から見渡すことのできる全ての方向を撮像したものとなる。

各結像光学系２０が備える魚眼レンズ２１は、それぞれ１８０度を超える画角を有するため、全天球画像を生成する際には、各撮像光学系による撮像画像において、互いに重複する画像部分が、部分画像を繋ぎ合わせる際の参考とされる。生成された全天球画像は、例えば、撮像体１２に備えられる、または撮像体１２に接続されているディスプレイ装置、印刷装置、ＳＤ（登録商標）カードまたはコンパクトフラッシュ（登録商標）等の外部記憶媒体に出力される。また、生成された全天球画像を、インターネット等のネットワークを介して外部に配信してもよい。

図２は、本実施形態による全天球撮像装置１のハードウェア構成を示す。図２に示すように、全天球撮像装置１は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６を備える。また、全天球撮像装置１は、動画圧縮ブロック１１８と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３０を備える。

ＣＰＵ１１２は、全天球撮像装置１の各部の動作および全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムＰや各種パラメータ等を格納する。画像処理ブロック１１６は、２つの撮像素子２２（２２Ａ，２２Ｂ）（図１参照）と接続され、各撮像素子２２で撮像された画像の画像信号が入力される。画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）等を含んで構成され、各撮像素子２２から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正等を行う。画像処理ブロック１１６は、さらに、各撮像素子２２が出力した複数の画像を合成処理し、前記した全天球画像を生成する。

動画圧縮ブロック１１８は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等の動画圧縮および伸張を行うコーデック・ブロックである。動画圧縮ブロック１１８は、生成された全天球画像の動画データを生成するために用いられる。ＤＲＡＭ１３０は、各種信号処理および画像処理を施す際に、データを一時的に保存する記憶領域を提供する。なお、前記した各ハードウェアは、それぞれ内部バス１４０によって接続されている。

全天球撮像装置１の電源がオン状態になると、ＣＰＵ１１２は、制御プログラムＰをＤＲＡＭ１３０にロードする。ＣＰＵ１１２は、ＤＲＡＭ１３０にロードした制御プログラムＰに従って、全天球撮像装置１の各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、全天球撮像装置１の後述する各機能部および処理を実現する。

（全天球撮像装置の機能構成の説明）
次に、図３から図５を用いて、全天球撮像装置１の機能構成について説明する。図３は、全天球撮像装置１の機能構成を示す機能ブロック図である。

図３に示すように、全天球撮像装置１は、撮像部２００と、画像記憶部２１０と、歪み補正・画像合成部３００と、画像配信部２７０を備える。

撮像部２００は、前記した撮像素子２２Ａ，２２Ｂ（図１参照）を含む撮像装置１０（撮像手段）によって、周囲の画像を撮像する。撮像素子２２Ａが撮像した部分画像を第１の撮像画像Ｉａ（ｘ，ｙ）と呼び、撮像素子２２Ｂが撮像した部分画像を第２の撮像画像Ｉｂ（ｘ，ｙ）と呼ぶ。以下、第１の撮像画像Ｉａ（ｘ，ｙ）を、単に部分画像Ｉａ（ｘ，ｙ）と呼び、第２の撮像画像Ｉｂ（ｘ，ｙ）を、単に部分画像Ｉｂ（ｘ，ｙ）と呼ぶ。なお、部分画像は、画像の一例である。

画像記憶部２１０は、さらに、撮像画像記憶部２１０ａと、配信画像記憶部２１０ｂを備える。撮像画像記憶部２１０ａは、所定の時間間隔で撮像された、部分画像Ｉａ（ｘ，ｙ）と部分画像Ｉｂ（ｘ，ｙ）のペアを記憶する。配信画像記憶部２１０ｂは、後述する画像合成部３１２（図４参照）が合成した複数の合成画像を記憶する。画像記憶部２１０は、ＤＲＡＭ１３０（図２参照）で構成される。なお、画像記憶部２１０は、記憶手段の一例である。

歪み補正・画像合成部３００は、部分画像Ｉａ（ｘ，ｙ）と部分画像Ｉｂ（ｘ，ｙ）を、それぞれ、歪み補正された位置検出用補正画像に変換する。また、歪み補正・画像合成部３００は、位置検出用補正画像を合成して合成画像を生成する。歪み補正・画像合成部３００は、前記した画像処理ブロック１１６（図２参照）が、ＣＰＵ１１２で動作する制御プログラムＰによって制御されることによって構成される。なお、歪み補正・画像合成部３００の詳細な構成については後述する。

画像配信部２７０は、合成画像を、ネットワーク回線等を介して外部に配信する。なお、画像配信部２７０は、配信手段の一例である。

図４は、歪み補正・画像合成部３００の機能構成を示す機能ブロック図である。図４に示すように、歪み補正・画像合成部３００は、位置検出用歪み補正部３０２と、繋ぎ位置検出部３０４と、テーブル修正部３０６と、テーブル生成部３０８と、画像合成用歪み補正部３１０と、画像合成部３１２を備える。

歪み補正・画像合成部３００には、２つの撮像素子２２Ａ，２２Ｂ（図１参照）によって撮像された、２つの部分画像Ｉａ（ｘ，ｙ），Ｉｂ（ｘ，ｙ）が入力される。さらに、歪み補正・画像合成部３００には、各魚眼レンズ２１Ａ，２１Ｂ（図１参照）の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成された、位置検出用変換テーブル３２０が提供される。

位置検出用歪み補正部３０２は、繋ぎ位置検出処理の前段の処理として、入力される部分画像Ｉａ（ｘ，ｙ），Ｉｂ（ｘ，ｙ）に対し、位置検出用変換テーブル３２０を用いて歪み補正を施して、位置検出用補正画像Ｊａ（θ，φ），Ｊｂ（θ，φ）を生成する。入力される部分画像Ｉａ（ｘ，ｙ），Ｉｂ（ｘ，ｙ）は、受光領域が面積エリアを成す２次元の撮像素子２２Ａ，２２Ｂで撮像されたものであり、平面座標系（ｘ，ｙ）で表現された画像データとなる。これに対して、位置検出用変換テーブル３２０を用いて歪み補正がかけられた位置検出用補正画像Ｊａ（θ，φ），Ｊｂ（θ，φ）は、撮像画像とは異なる座標系の画像データである。より具体的には、位置検出用補正画像Ｊａ（θ，φ），Ｊｂ（θ，φ）は、球面座標系（動径を１とし、２つの偏角θ，φを有する極座標系である。）で表現された全天球画像フォーマットの画像データである。なお、以下において、表記簡略化のために、部分画像Ｉａ（ｘ，ｙ），Ｉｂ（ｘ，ｙ）を、それぞれ、部分画像Ｉａ，Ｉｂと記載し、位置検出用補正画像Ｊａ（θ，φ），Ｊｂ（θ，φ）を、それぞれ、位置検出用補正画像Ｊａ，Ｊｂと記載する。

繋ぎ位置検出部３０４は、位置検出用歪み補正部３０２により変換された位置検出用補正画像Ｊａ，Ｊｂの入力を受けて、パターンマッチング処理により、位置検出用補正画像Ｊａ，Ｊｂ間の繋ぎ位置を検出し、検出結果データ３２２を生成する。

パターンマッチング処理を行う際には、マッチングの対象領域が平坦であったり、同じ模様が繰り返される領域であったりする場合、すなわち特徴が少ない場合には、繋ぎ位置を高い精度で検出するのが難しくなる。そこで、本実施形態の繋ぎ位置検出部３０４は、マッチングを行う対象領域が有する特徴の程度を表す特徴量を測定し、この測定された特徴量を用いて、対象領域の繋ぎ位置を決定する。これにより、高い特徴量を有する対象領域で優先して繋ぎ合わせを行って、生成される全天球画像の品質の向上を図る。なお、繋ぎ位置検出部３０４の詳細な構成については後述する。

テーブル修正部３０６は、検出結果データ３２２に基づいて、事前準備された位置検出用変換テーブル３２０に対して修正を施す。そして、テーブル修正部３０６は、修正した変換データをテーブル生成部３０８に渡す。

テーブル生成部３０８は、テーブル修正部３０６により修正された変換データから、回転座標変換に基づき、画像合成用変換テーブル３２４を生成する。なお、画像合成用変換テーブル３２４は、位置検出用変換テーブル３２０（図８（ａ）参照）を修正したものであり、形式的には位置検出用変換テーブル３２０と同じである。

画像合成用歪み補正部３１０は、全天球画像合成処理の前段の処理として、部分画像Ｉａ，Ｉｂに対し、画像合成用変換テーブル３２４を用いて歪み補正をかけ、画像合成用補正画像Ｋａ（θ，φ），Ｋｂ（θ，φ）を生成する。生成される画像合成用補正画像Ｋａ（θ，φ），Ｋｂ（θ，φ）は、位置検出用補正画像Ｊａ，Ｊｂと同様に、球面座標系で表現されている一方で、上記回転座標変換により、位置検出用補正画像Ｊａ，Ｊｂとは座標軸の定義が異なったものとなる。なお、以下において、表記簡略化のために、画像合成用補正画像Ｋａ（θ，φ），Ｋｂ（θ，φ）を、それぞれ、画像合成用補正画像Ｋａ，Ｋｂと記載する。

画像合成部３１２は、得られた画像合成用補正画像Ｋａ，Ｋｂを合成し、全天球画像フォーマットの合成画像Ｌ（θ，φ）を生成する。なお、繋ぎ位置検出部３０４、テーブル修正部３０６、テーブル生成部３０８、画像合成用歪み補正部３１０および画像合成部３１２が実行する処理については後述する。

図５は、繋ぎ位置検出部３０４の機能構成を示す機能ブロック図である。図５に示すように、繋ぎ位置検出部３０４は、テンプレート生成部３３０と、テンプレート特徴量算出部３３２と、速度算出部３３４と、テンプレートサイズ設定部３３６と、マッチング計算部３３８と、スコア補正部３４０と、繋ぎ位置決定部３４２と、検出結果生成部３４４を備える。

テンプレート生成部３３０は、テンプレート・マッチングにおけるテンプレート用画像として、例えば位置検出用補正画像Ｊｂを用い、後述する重複領域Ｒ（図９参照）において、位置検出用補正画像Ｊｂと重複する位置検出用補正画像Ｊａを探索用画像（図１４参照）とする。そして、テンプレート生成部３３０は、テンプレート用画像とした位置検出用補正画像Ｊｂの内部に、複数のテンプレート画像を設定する。テンプレート・マッチングによる繋ぎ位置検出処理では、位置検出用補正画像Ｊｂの一部分である各テンプレート画像に対して、位置検出用補正画像Ｊａとの繋ぎ位置が求められる。なお、テンプレート生成部３３０が行う処理について、詳しくは後述する（図１１参照）。

テンプレート特徴量算出部３３２は、テンプレート生成部３３０により生成された複数のテンプレート画像の各々に対して、特徴量Ｆ（図５に非図示）を算出する。ここで、特徴量Ｆとは、テンプレート画像が有する特徴の大きさを定量化するための指標値であり、本実施形態において、特徴量Ｆが大きいとは、画像に大きな特徴が認められることを意味し、特徴量Ｆが小さいとは、画像の特徴が少ないことを意味する。特徴量Ｆとしては、テンプレート画像から抽出されるエッジ量、テンプレート画像から算出される分散および標準偏差等の少なくとも１つを用いることができるが、特に限定されるものではない。なお、テンプレート特徴量算出部３３２は、検出手段の一例である。

速度算出部３３４は、テンプレート特徴量算出部３３２が算出した特徴領域Ｑ（図１３参照）の移動速度ｖを算出する。具体的には、速度算出部３３４は、異なる時刻に撮像された複数の位置検出用補正画像Ｊｂの中から、同一の物体を示す特徴領域Ｑの移動量と、２枚の位置検出用補正画像Ｊｂにそれぞれ対応する、補正前の２枚の部分画像Ｉｂを撮像した時間間隔と、に基づいて、特徴領域Ｑの移動速度ｖを算出する。なお、速度算出部３３４は、算出手段の一例である。

テンプレートサイズ設定部３３６は、テンプレート・マッチングを行う範囲を規定するテンプレート画像を設定する。具体的には、テンプレートサイズ設定部３３６は、テンプレート生成部３３０が生成したテンプレート画像を、特徴領域Ｑの移動速度ｖに応じたサイズに変更する。なお、テンプレートサイズ設定部３３６は、特徴領域Ｑの移動速度ｖが大きいほど、面積の大きいテンプレート画像を設定する。このテンプレートサイズ設定部３３６は、設定手段の一例である。テンプレートサイズ設定部３３６が行う処理について、詳しくは後述する（図１４参照）。

マッチング計算部３３８は、注目したテンプレート画像に対して、テンプレート・マッチング方式により、テンプレートサイズ設定部３３６が設定したテンプレート画像と、探索用画像内の各部分とのマッチング度合いを計算する。なお、マッチング計算部３３８は、探索手段の一例である。マッチング度合いの計算は、探索用画像内の所定の探索範囲で、テンプレートサイズ設定部３３６が設定したテンプレート画像の対応領域を移動させながら、各位置での画像の類似度に基づく評価値であるマッチング・スコアを計算することによって行う。なお、マッチング計算部３３８が算出したマッチング・スコアは、探索用画像内に設定した、テンプレート画像の対応領域の中心位置を仮位置として、当該仮位置におけるマッチング・スコアとする。そして、マッチング計算部３３８は、探索範囲で最もマッチング・スコアが高くなる仮位置を検出することによって、特徴領域Ｑと対応する領域の位置を決定する。

スコア補正部３４０は、注目したテンプレート画像について、マッチング計算部３３８により算出された画像の類似度に基づくマッチング・スコアに対し、算出された仮位置を中心として優先的にスコアが高くなるようなオフセット補正を行う。これにより、テンプレート画像間の特徴量Ｆの相対的な関係に基づいて算出された仮位置を加味したスコアが計算される。

繋ぎ位置決定部３４２は、注目したテンプレート画像に対して、位置検出用補正画像Ｊａ上で上記補正されたスコアが最大化される位置を繋ぎ位置に決定する。このとき決定される繋ぎ位置は、注目したテンプレート画像よりも特徴量Ｆが大きい周辺テンプレート画像の繋ぎ位置が加味されたものとなる。上述した速度算出部３３４、テンプレートサイズ設定部３３６、マッチング計算部３３８、スコア補正部３４０および繋ぎ位置決定部３４２による処理が、複数のテンプレート画像の各々について行われると、テンプレート画像の各々に対応した位置検出用補正画像Ｊａ上の繋ぎ位置が求められる。

検出結果生成部３４４は、各テンプレート画像に対応する繋ぎ位置のデータ・セットに基づいて、全天球フォーマットの各画素（θ，φ）の繋ぎ位置を計算し、検出結果データ３２２を生成する。なお、検出結果生成部３４４は、合成手段の一例である。

（部分画像の繋ぎ処理の説明）
次に、図６から図１０を用いて、全天球撮像装置１（図３参照）が行う部分画像（第１の撮像画像Ｉａと第２の撮像画像Ｉｂ）の繋ぎ処理について説明する。図６は、本実施形態による全天球撮像装置１において、撮像装置１０で撮像を行う際の、入射光線と生成される画像との射影関係を説明する図である。すなわち、魚眼レンズ２１Ａで撮像された画像は、撮像地点から概ね半球分の範囲を撮像したものとなる。そして、図６（ａ）に示すように、魚眼レンズ２１Ａは、光軸Ａ１に対して入射角度φの方向からの入射光線を、撮像素子２２Ａ上の、入射角度φに対応した像高ｈの位置に画像化する。像高ｈと入射角度φとは、所定の投影モデルに応じた射影関数に基づく関係を有する。また、本実施形態では、画像対角線よりもイメージサークル径が小さい、いわゆる円周魚眼レンズ（または全周魚眼レンズ）の構成を採用するものとし、図６（ｂ）に示すように、得られる部分画像Ｉｉ（ｉ＝ａ，ｂ）は、撮像範囲の概ね半球分が投影されたイメージサークルＣｉ（ｉ＝ａ，ｂ）全体を含む画像となる。なお、部分画像Ｉａは、結像光学系２０Ａ（図１参照）で結像して撮像素子２２Ａで撮像された部分画像を表す。また、部分画像Ｉｂは、結像光学系２０Ｂで結像して撮像素子２２Ｂで撮像された部分画像を表す。

図７は、本実施形態で用いる、全天球画像フォーマットの画像データのデータ構造を説明する図である。図７（ａ）は、撮像装置１０が撮像を行う際の撮像地点を中心とした、全方位を表す球面座標の一例である。すなわち、撮像装置１０で撮像された画像の各画素は、全方位を表す球面座標の経度θ（０〜３６０度）と、緯度φ（０〜１８０度）によって一意に表すことができる。

図７（ｂ）は、前記した部分画像Ｉｉ（ｉ＝ａ，ｂ）をθφ平面に変換することによって生成した位置検出用補正画像Ｊ（θ，φ）の一例である。図７（ｂ）に示すように、位置検出用補正画像Ｊ（θ，φ）は、光軸Ａ１，Ａ２（図１参照）に対する入射角度φ（緯度）に対応するφ軸と、φ軸周りの回転角θ（経度）に対応するθ軸とを座標とした画素値の配列で表現される。そして、位置検出用補正画像Ｊ（θ，φ）の座標値（θ，φ）は、図６で説明した射影関数に基づいて、撮像地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上にマッピングされる。

図８は、本実施形態による位置検出用歪み補正部３０２が参照する変換テーブルを説明する図である。図８（ａ）に示す位置検出用変換テーブル３２０は、平面座標系で表現される部分画像Ｉｉ（ｘ，ｙ）（ｉ＝ａ，ｂ）と、球面座標系で表現される位置検出用補正画像Ｊ（θ，φ）との関係を規定する。位置検出用変換テーブル３２０は、図８（ｂ）に示すように、魚眼レンズ２１毎に、位置検出用補正画像Ｊ（θ，φ）の座標値（θ，φ）と、該座標値（θ，φ）にマッピングされる部分画像Ｉｉ（ｘ，ｙ）の座標値（ｘ，ｙ）とを対応付ける情報を保持している。図８の例では、１画素が担当する角度は、φ方向およびθ方向いずれも１／１０度であり、位置検出用変換テーブル３２０は、各魚眼レンズ２１について、３６００×１８００の対応関係を示す情報を有する。なお、位置検出用変換テーブル３２０は、製造元等において、予め理想的なレンズモデルからの歪みを補正した上で計算されて、テーブル化される。

図９は、本実施形態による繋ぎ位置検出処理における、魚眼レンズ２１Ａ，２１Ｂ（図１参照）で撮像された部分画像Ｉａ，Ｉｂの、位置検出用補正画像Ｊａ，Ｊｂへのマッピングを説明する図である。撮像装置１０（図１参照）で撮像された２枚の部分画像Ｉａ，Ｉｂは、それぞれ、図９に示すように、前記した位置検出用変換テーブル３２０（図８参照）に基づいて、球面座標系で記述される位置検出用補正画像Ｊａ，Ｊｂに変換される。このとき、魚眼レンズ２１の画角が１８０度を超えるため、位置検出用補正画像Ｊａ，Ｊｂの一部は、撮像範囲が重複する重複領域Ｒを形成する。この重複領域Ｒは、図９に示すように、部分画像Ｉａ，Ｉｂにおいて、イメージサークルＣａ，Ｃｂの周縁領域に対応する。

繋ぎ位置検出部３０４は、位置検出用補正画像Ｊａ，Ｊｂの入力を受けて、パターンマッチング処理により、位置検出用補正画像Ｊａ，Ｊｂ間の繋ぎ位置を検出する。本実施形態における位置検出用変換テーブル３２０（図８参照）では、図９に示すように、結像光学系２０Ａ，２０Ｂ各々の光軸Ａ１，Ａ２を、それぞれ球面の２つの極に射影するとともに、画像間の重複領域を球面の赤道近傍に射影するように作成される。球面座標系θ−φでは、入射角度φが０度または１８０度である極に近接するほど歪みが大きくなり、繋ぎ位置検出精度が劣化してしまう。これに対し、前記したような射影を行うことによって、繋ぎ位置検出精度を向上させることができる。なお、図９は、２つの魚眼レンズ２１Ａ，２１Ｂで撮像された２枚の部分画像Ｉａ，Ｉｂの球面座標系θ−φへのマッピングを説明する図であるが、３枚以上の部分画像であっても、同様に繋ぎ合わせることができる。

図１０は、本実施形態において、繋ぎ位置検出部３０４により生成される検出結果データ３２２のデータ構造を示す図である。検出結果データ３２２は、図１０に示すように、変換後の各座標値（θ，φ）に対して、繋ぎのためのずらし量（Δθ，Δφ）が対応付けられた情報を全座標値について保持している。なお、繋ぎ位置検出部３０４は、前記した繋ぎ位置検出処理により求められたテンプレート画像毎のずらし量（Δθ，Δφ）を、各テンプレート画像の中心座標の値として設定し、補間して計算する。

（テンプレート生成部の作用の説明）
次に、図１１を用いて、テンプレート生成部３３０（図５参照）の作用について説明する。図１１は、テンプレート生成部３３０が行うテンプレート画像の初期設定について説明する図である。

図１１において、テンプレート用画像５００は、位置検出用補正画像Ｊｂの重複領域Ｒ内の画像である。テンプレート生成部３３０は、テンプレート用画像５００の内部に、指定された縦サイズＨ，横サイズＷ、最初のテンプレート画像の生成開始座標（ｓｘ，ｓｙ）および生成間隔Ｔで、複数のテンプレート画像３０ａ，３０ｂ，…を生成する。なお、テンプレート生成部３３０は、初期値として、同じ大きさの複数のテンプレート画像３０ａ，３０ｂ，…を生成する。これらのテンプレート画像３０ａ，３０ｂ，…は、重複領域Ｒにおいて、θ方向に一列、一周分、生成されるものとする。なお、テンプレート生成部３３０は、位置検出用補正画像Ｊｂの代わりに、位置検出用補正画像Ｊａの重複領域Ｒ内にテンプレート画像３０ａ，３０ｂ，…を生成してもよい。

（速度算出部の作用の説明）
次に、速度算出部３３４（図５参照）の作用について説明する。速度算出部３３４は、前記したように、画像の中の特徴領域Ｑの移動速度ｖを算出する。速度算出部３３４は、所定の時間間隔で撮像された複数の部分画像Ｉａ，Ｉｂの歪を補正した、複数の位置検出用補正画像Ｊａ，Ｊｂを利用して、特徴領域Ｑの移動速度ｖを算出する。

速度算出部３３４の作用について説明する前に、移動速度ｖの算出に用いる具体的な画像情報について説明する。速度算出部３３４が利用する画像情報は、前記した画像記憶部２１０（図３参照）に記憶されている。撮像画像記憶部２１０ａには、時系列で生成された複数の位置検出用補正画像Ｊａ，Ｊｂが、元になる部分画像Ｉａ，Ｉｂが撮像された時刻ｔとともに記憶されている。配信画像記憶部２１０ｂには、時系列で合成された複数の合成画像Ｌ（θ，φ）が、合成元の位置検出用補正画像Ｊａ，Ｊｂに対応付いた時刻ｔとともに記憶される。すなわち、撮像画像記憶部２１０ａに記憶された画像情報と、配信画像記憶部２１０ｂに記憶された画像情報とは、時刻ｔを介して互いに対応付けられている。

なお、配信画像記憶部２１０ｂに記憶する合成画像Ｌ（θ，φ）は、少なくとも輝度情報を有していればよい。すなわち、合成画像Ｌ（θ，φ）がカラー画像であって、輝度情報と色情報を共に有している場合には、画像配信部２７０（図３参照）からはカラー画像を配信するが、配信画像記憶部２１０ｂには、合成画像Ｌ（θ，φ）の、少なくとも輝度情報のみを記憶すればよい。これによって、配信画像記憶部２１０ｂの記憶容量を減らすことができる。なお、カラー画像から輝度情報を抽出する処理は、コンポジット映像信号を輝度信号（Ｙ）と色度信号（Ｃ）に分離する、よく知られたＹ／Ｃ分離処理によって行えばよい。

また、配信画像記憶部２１０ｂには、全てのフレームの合成画像Ｌ（θ，φ）を記憶する必要はない。すなわち、所定のフレーム間隔（例えば２フレーム毎、４フレーム毎等）で生成した合成画像Ｌ（θ，φ）を記憶すればよい。これによって、配信画像記憶部２１０ｂの記憶容量を減らすことができる。なお、所定のフレーム間隔は、部分画像Ｉａ，Ｉｂに含まれる特徴領域Ｑの移動速度ｖ等を考慮して適宜決定すればよい。例えば、移動速度ｖの大きい物体が存在することが予想される場合には、当該物体を複数のフレームに亘って撮像できるように、所定のフレーム間隔を短く設定するのが望ましい。

さらに、配信画像記憶部２１０ｂには、合成画像Ｌ（θ，φ）を圧縮して記憶してもよい。すなわち、例えば合成画像Ｌ（θ，φ）が４Ｋサイズであった場合、これを２Ｋサイズに圧縮して記憶してもよい。これによって、配信画像記憶部２１０ｂの記憶容量を低減させることができる。

図１２は、２枚の位置検出用補正画像Ｊａ，Ｊｂを繋ぎ合わせる処理を説明する図である。繋ぎ目である重複領域Ｒの内部に設定された複数のテンプレート画像３０ａ〜３０ｊは、それぞれ、位置検出用補正画像Ｊａと位置検出用補正画像Ｊｂとの間でマッチング処理を行う際に設定される。そして、位置検出用補正画像Ｊａ，Ｊｂの重複領域Ｒのうち、テンプレート画像３０ａ〜３０ｊが設定された側の画像が、前記したテンプレート用画像である。一方、位置検出用補正画像Ｊａ，Ｊｂの重複領域Ｒのうち、テンプレートが設定されていない側の画像を探索用画像（図１４参照）と呼ぶ。なお、前記した図１１では、隣接するテンプレート画像３０ａ，３０ｂ，…は互いに離れた位置に生成するものとして説明したが、テンプレートの生成間隔Ｔ（図１１参照）の設定によっては、図１２に示すように、隣接するテンプレート画像３０ａ，３０ｂ，…が互いに接触するように設定してもよい。

図１３は、本実施形態において、特徴領域Ｑの類似領域を探索する際に、テンプレート画像を設定する方法の概要を説明する図である。図１３に示す合成画像Ｌ（θ，φ）は、配信画像記憶部２１０ｂに記憶された画像の一例である。図１３に示す物体Ｏ１〜物体Ｏ４は、配信画像記憶部２１０ｂに蓄えられた、過去の複数の合成画像Ｌ（θ，φ）の比較によって検出された、重複領域Ｒを横切ると考えられる物体を示す。また、特徴領域Ｑ１〜特徴領域Ｑ４は、物体Ｏ１〜物体Ｏ４にそれぞれ対応する特徴領域を示す。すなわち、特徴領域Ｑｉ（ｉ＝１〜４）は、物体Ｏｉ（ｉ＝１〜４）を特徴付ける特徴量Ｆを有する領域である。なお、図１３に示すように、特徴領域Ｑｉは、必ずしも物体Ｏｉを包含している必要はなく、物体Ｏｉの一部に重複した状態であってもよい。

図１３において、物体が重複領域Ｒを横切るとは、位置検出用補正画像Ｊｂ（図１２参照）に映っていた当該物体が、時間の経過とともに重複領域Ｒを横切って、位置検出用補正画像Ｊａ（図１２参照）に移動することを示す。また、逆に、位置検出用補正画像Ｊａに映っていた物体が、時間の経過とともに重複領域Ｒを横切って、位置検出用補正画像Ｊｂに移動する場合もある。

このように、時間の経過とともに移動する物体は、テンプレート特徴量算出部３３２（図５参照）が、動きのある物体として検出する。そして、速度算出部３３４は、検出した物体の移動速度ｖを算出する。すなわち、時間間隔Δｔを有する２枚の位置検出用補正画像Ｊａから検出した同一物体を示す特徴領域Ｑｉの位置座標が、画素数ｐだけ移動していた場合、当該物体の移動速度ｖは、画素数ｐを時間間隔Δｔで除した値として算出することができる。

（テンプレートサイズ設定部の作用の説明）
次に、図１４を用いて、テンプレートサイズ設定部３３６（図５参照）の作用について説明する。図１４は、テンプレートサイズ設定部３３６が行うテンプレート画像のサイズ設定について説明する図である。

前記した、物体Ｏｉを表す特徴領域Ｑｉの移動速度ｖｉに基づいて、移動速度ｖｉが所定値よりも大きい場合、当該特徴領域Ｑｉのθ座標の位置に設定するテンプレート画像は、テンプレートサイズ設定部３３６が設定した、デフォルトのテンプレート画像のサイズをθ軸方向に拡大して設定する。例えば、図１２に示したテンプレート画像３０ｂ，３０ｃに対応するθ座標の位置に、移動速度ｖｉが所定値を超える特徴領域Ｑｉが検出されて、当該特徴領域Ｑｉが重複領域Ｒを横切ると判断された場合には、テンプレートサイズ設定部３３６は、テンプレート生成部３３０（図５参照）が生成したテンプレート画像３０ｂ，３０ｃを結合して、図１４に示すテンプレート画像３１ｂとする。これによって、図１２のテンプレート画像３０ａ，３０ｂ，３０ｃ，…は、図１４に示すテンプレート画像３１ａ，３１ｂ，…に変更される。なお、テンプレート画像３０ａ，３０ｄ，３０ｅ，…は変更せず、符号のみが変更されて、テンプレート画像３１ａ，３１ｃ，３１ｄ，…となる。

この後、マッチング計算部３３８（図５参照）は、図１４に示した探索用画像５１０の内部で、各テンプレート画像３１ａ，３１ｂ，３１ｃ，…と同じ濃淡分布を有する領域を探索する。具体的には、マッチング計算部３３８は、位置検出用補正画像Ｊａの重複領域Ｒ、すなわち探索用画像５１０内に設定された探索範囲４０ａ，４０ｂ，４０ｃ，…の内部で、各テンプレート画像３１ａ，３１ｂ，３１ｃ，…の対応領域３２ａ，３２ｂ，３２ｃ，…を移動させながら探索を行う。なお、全天球画像フォーマットのθ座標の両端（θ＝０度，３６０度）は繋がっているため、テンプレート画像の生成やテンプレート・マッチングの際は、右端（θ＝３６０度）の右隣は左端（θ＝０度）として取り扱う。

再び図１３に戻って、速度算出部３３４（図５参照）が、物体Ｏ１の移動速度ｖ１（図１５参照）と、物体Ｏ４の移動速度ｖ４（図１５参照）が所定値よりも大きいことを検出した場合のテンプレート画像の設定方法について説明する。テンプレートサイズ設定部３３６（図５参照）は、移動速度ｖ１，ｖ４に基づいて、物体Ｏ１が重複領域Ｒを横切る箇所、および物体Ｏ４が重複領域Ｒを横切る箇所については、テンプレート画像をより広く設定した方が、マッチング処理の精度が向上すると判断する。図１３に示すテンプレート画像Ｓ１が、物体Ｏ１を示す特徴領域Ｑ１の位置を探索するために、テンプレートサイズ設定部３３６が設定したテンプレート画像である。また、テンプレート画像Ｓ４が、物体Ｏ４を示す特徴領域Ｑ４の位置を探索するために、テンプレートサイズ設定部３３６が設定したテンプレート画像である。このように、テンプレートサイズ設定部３３６は、物体Ｏｉが重複領域Ｒを横切ると予測される位置に、物体Ｏｉの移動速度ｖｉに応じたサイズのテンプレート画像Ｓｉを設定する。その場合、図１４で説明したように、隣接するテンプレート画像を結合して新たなテンプレート画像としてもよいし、テンプレート生成部３３０（図５参照）が行うように、テンプレート画像の諸元を再設定してもよい。

なお、図１３において、速度算出部３３４は、物体Ｏ２の移動速度ｖ２（図１５参照）、および物体Ｏ３の移動速度ｖ３（図１５参照）が、ともに所定値よりも小さいと判断したとする。この場合、テンプレートサイズ設定部３３６は、テンプレート生成部３３０（図５参照）が設定したテンプレート（図１２のテンプレート画像３０ａ〜３０ｊ）のサイズを変更しなくても、マッチング処理の精度には影響が無いと判断する。

次に、図１３に示す物体Ｏ１〜物体Ｏ４が、重複領域Ｒを横切ると判断する過程について説明する。なお、物体Ｏ１は、１メートル先を横切る鳥（すずめ）であるとする。物体Ｏ２は、２メートル先を横切る鳥（すずめ）であるとする。そして、物体Ｏ３は、２メートル先を横切る人間であるとする。さらに、物体Ｏ４は、１メートル先を横切る人間であるとする。

計算を簡単にするため、物体Ｏ１〜物体Ｏ４は、撮影点から同じ距離の位置を移動していると仮定する。すなわち、物体Ｏ１は、撮影点から半径Ｒが１メートルの円周上を移動していると考える。すずめが飛ぶ速度は５６ｋｍ／ｈ、人間の歩く速度は速い人で１．６ｍ／ｓといわれているため、速度としてはこの値を用いる。このとき、撮影点から繋ぎ目部を０度として、±９０度の範囲に物体Ｏ１〜物体Ｏ４が、連続何フレームに亘って出現するかを計算する。なお、動画の速度は毎秒６０フレームとする。

まず、物体Ｏ１の速度ｖ１を計算する。半径Ｒ＝１ｍ,速度ｖ１＝５６ｋｍ／ｈ＝１５．５６ｍ／ｓとしたとき、９０度の範囲を移動する時間は２Ｒπ／４／ｖ１で算出される。そして、動画が毎秒６０フレームの場合、９０度の範囲に物体Ｏ１が連続して出現するフレーム数は、２Ｒπ／（３６０度／９０度）／ｖ１＊６０＝６フレームとなる。

そして、物体Ｏ２〜物体Ｏ４について、物体Ｏ１と同様に計算すると、９０度の範囲に物体Ｏ２が連続して出現するフレーム数は、１２フレームである。同様にして、９０度の範囲に物体Ｏ３が連続して出現するフレーム数は、５９フレームであり、９０度の範囲に物体Ｏ４が連続して出現するフレーム数は、１１８フレームである。これらの条件から、時速５６ｋｍ／ｈ以下で移動する物体を撮像する場合には、配信画像記憶部２１０ｂに記憶する合成画像Ｌ（θ，φ）は、最大６フレーム分あれば、部分画像Ｉａと部分画像Ｉｂを繋ぎ合わせる処理を行う上で実用上十分といえる。

次に、図１５を用いて、物体Ｏｉの移動速度ｖｉに基づくテンプレート画像Ｓｉの設定方法を説明する。図１５は、物体の移動速度ｖｉに基づくテンプレート画像Ｓｉの設定方法を説明する図であり、配信画像記憶部２１０ｂに蓄えられている配信後の合成画像Ｌ（θ，φ）の一例を示す。なお、時刻ｔに得た合成画像Ｌ（θ，φ）を、便宜上、合成画像Ｌ（ｔ）で表すものとする。そして、図１５（ａ）は、現在の時刻ｔに対して、２フレーム前に生成された合成画像Ｌ（ｔ−２Δｔ）を表す。また、図１５（ｂ）は、４フレーム前の合成画像Ｌ（ｔ−４Δｔ）を表し、図１５（ｃ）は、６フレーム前の合成画像Ｌ（ｔ−６Δｔ）を表すものとする。これらの画像は、同時に配信画像記憶部２１０ｂ（図３参照）に存在し得るものである。

図１５の各図の破線で囲まれた領域が、物体Ｏｉを検索するための領域である。図１５（ｃ）において、１眼あたりの画像領域１に対して、重複領域Ｒの位置から上下方向にそれぞれ０．５の割合の領域を画像検索範囲Ｕａ（ｔ−６Δｔ），Ｕｂ（ｔ−６Δｔ）とする。そして、図１５（ａ）では、０．１７の領域を画像検索範囲Ｕａ（ｔ−２Δｔ），Ｕｂ（ｔ−２Δｔ）とする。また、図１５（ｂ）では、０．３３の領域を画像検索範囲Ｕａ（ｔ−４Δｔ），Ｕｂ（ｔ−４Δｔ）とする。すなわち、重複領域Ｒから離れた位置にある物体が、時間の経過とともに重複領域Ｒに近づき、重複領域Ｒを横切るため、時間的に過去に配信した画像ほど、広い範囲を検索して、時間的に現在に近い画像ほど、検索する範囲を狭くする。なお、このように検索範囲を制限して全画像領域の検索を行わないのは、処理時間を短くするためである。

なお、図１５に示す各合成画像Ｌ（ｔ）に設定した画像検索範囲Ｕａ（ｔ），Ｕｂ（ｔ）は、撮影点から１ｍ先を飛んでいる鳥を、撮影点から上下９０度以内で捕らえることを想定した範囲である。検索する一番過去の画像、図１５の例は、６フレーム前の検索範囲を０．５（１眼あたりの画像領域の５０％）と設定し、現在のフレームに近くなるほどフレーム数に比例して、範囲を狭くする。記憶した合成画像のフレーム間隔に対して、画像検索範囲Ｕａ（ｔ），Ｕｂ（ｔ）をどの程度に設定するかは、適宜決定すればよい。

図１５（ｃ）は、繋ぎ位置検出部３０４（図５参照）が、画像検索範囲Ｕａ（ｔ−６Δｔ），Ｕｂ（ｔ−６Δｔ）内で、物体Ｏ１〜物体Ｏ６を、それぞれ特徴領域Ｑ１〜特徴領域Ｑ６として検出したことを示す。ここで用いる検出技術は、単眼カメラによる測距システムなどで使われる既存技術であるので、説明は割愛する。

次に、繋ぎ位置検出部３０４は、図１５（ｃ）で検出した物体Ｏ１〜物体Ｏ６が、図１５（ｂ）の画像検索範囲Ｕａ（ｔ−４Δｔ），Ｕｂ（ｔ−４Δｔ）に含まれているかを検索する。矢印を付した物体は、図１５（ｃ）で検出した物体Ｏｉの移動速度ｖｉを示す。なお、矢印の長さは、物体Ｏｉの移動速度ｖｉの大きさに対応している。説明を簡単にするために、矢印は繋ぎ目に対して直交する方向に描いているが、合成画像Ｌ（ｔ）は、全天球画像を平面にした画像であるため、移動量は歪んだ画像上を動いたことになる。図１５（ｂ）では、物体Ｏ５，物体Ｏ６は移動していない物体であると判断される。なお、ある画像の特徴量Ｆと一致する特徴量Ｆを有する領域を、別の画像データから抽出する際に行う処理は、例えば監視カメラシステム等で、複数の画像に亘って同一物体の追跡を行う際に、画像間の対応する領域を検出する処理と同様である。

最後に、図１５（ａ）について説明する。繋ぎ位置検出部３０４は、図１５（ａ）の画像検索範囲Ｕａ（ｔ−２Δｔ），Ｕｂ（ｔ−２Δｔ）内に、図１５（ｂ）で検出された物体Ｏｉが含まれるかを検索する。図１５（ａ）は、物体Ｏ１〜物体Ｏ４が検出され、２フレーム後には繋ぎ目を通過すると判断されたことを示す。また、テンプレート画像Ｓ１，Ｓ４は、テンプレートサイズ設定部３３６（図５参照）が、物体Ｏ１の移動速度ｖ１と物体Ｏ４の移動速度ｖ４に基づいて、特徴領域Ｑ１，特徴領域Ｑ４の探索範囲をそれぞれ変更すべきと判断した箇所を示す。

繋ぎ位置検出部３０４は、上記結果に基づいて、テンプレート画像Ｓ１，Ｓ４の設定等の処理を行うとともに、マッチング処理が終了した後で、テンプレート画像Ｓ１，Ｓ４を変更前の状態に戻す処理を行う。以上の動作により、図１３に示した、繋ぎ目である重複領域Ｒの画像に対して、ミスマッチを防止して適切なマッチング処理を行うためのテンプレート画像Ｓｉを決定することができる。

（全天球画像合成処理の流れの説明）
次に、図１６を用いて、全天球撮像装置１が実行する全天球画像合成処理の流れを説明する。図１６は、本実施形態において全天球撮像装置１が実行する全天球画像合成処理の全体的な流れを示すフローチャートである。図１６に示す処理は、例えば、シャッター・ボタン１８（図１参照）の押下により２つの撮像光学系での撮像が指示されて、ＣＰＵ１１２（図２参照）から指令が発行されたことに応答して、ステップＳ１００から開始される。

ステップＳ１０１では、全天球撮像装置１は、位置検出用歪み補正部３０２により、２つの撮像素子２２Ａ，２２Ｂによって取得された部分画像Ｉａと部分画像Ｉｂに対して、それぞれ位置検出用変換テーブル３２０を用いて歪み補正を行う。これによって、位置検出用補正画像Ｊａと位置検出用補正画像Ｊｂが得られる。

ステップＳ１０２では、全天球撮像装置１は、繋ぎ位置検出部３０４により、２枚の位置検出用補正画像Ｊａ，Ｊｂの重複領域Ｒにおいて、画像間の繋ぎ位置検出を行う。そして、繋ぎ位置検出部３０４は、繋ぎ位置の検出結果に基づいて、検出結果データ３２２（図１０参照）を生成する。なお、繋ぎ位置検出処理の流れについては後述する。

ステップＳ１０３では、全天球撮像装置１は、テーブル修正部３０６により、ステップＳ１０２で生成した検出結果データ３２２を用いて、位置検出用変換テーブル３２０を、画像が球面座標上で位置合わせされるように修正する。ステップＳ１０２の繋ぎ位置検出処理によって、図１０に示した検出結果データ３２２のように、全天球画像フォーマットの座標値毎に、ずらし量（Δθ，Δφ）が求まるので、ステップＳ１０３では、部分画像Ｉａの歪み補正に用いた位置検出用変換テーブル３２０（図８参照）において、入力座標値（θ，φ）に対して、修正前には座標値（θ＋Δθ，φ＋Δφ）に対応付けられていた座標値（ｘ，ｙ）を対応付けるように修正する。

ステップＳ１０４では、全天球撮像装置１は、テーブル生成部３０８の作用によって、修正された位置検出用変換テーブル３２０から画像合成用変換テーブル３２４を生成する。

ステップＳ１０５では、全天球撮像装置１は、画像合成用歪み補正部３１０により、画像合成用変換テーブル３２４を用いて、部分画像Ｉａおよび部分画像Ｉｂに対して歪み補正を行い、画像合成用補正画像Ｋａおよび画像合成用補正画像Ｋｂを得る。これにより、画像合成用歪み補正部３１０による処理の結果、魚眼レンズ２１Ａ，２１Ｂで撮像された２つの部分画像Ｉａ，Ｉｂは、図９に示すように、全天球画像フォーマット上に展開される。

ステップＳ１０６では、画像合成部３１２により、画像合成用補正画像Ｋａおよび画像合成用補正画像Ｋｂを合成する。合成処理では、画像間で重複する重複領域Ｒについては、ブレンド処理等が行われ、片方しか画素値が存在しない領域については、存在するそのままの画素値が採用されることになる。画像合成部３１２は、このような合成処理を行うことによって、魚眼レンズ２１Ａ，２１Ｂにより撮像された２枚の部分画像Ｉａ，Ｉｂから、１枚の全天球画像である合成画像Ｌ（θ，φ）を生成する。そして、ステップＳ１０７で全天球画像合成処理を終了する。

（繋ぎ位置検出処理の流れの説明）
次に、図１７を用いて、全天球撮像装置１が実行する繋ぎ位置検出処理の流れを説明する。図１７は、本実施形態において全天球撮像装置１が実行する繋ぎ位置検出処理の流れを示すフローチャートである。

図１７に示す処理は、図１６に示したステップＳ１０２で呼び出されて、ステップＳ１５０から開始される。まず、ステップＳ１５１では、全天球撮像装置１は、配信画像記憶部２１０ｂから、繋ぎ位置を検出するために使用する複数の合成画像Ｌ（ｔ）を読み出す。

ステップＳ１５２では、テンプレート生成部３３０（図５参照）が、テンプレート用画像の初期設定、探索される探索用画像の初期設定、テンプレート画像のブロック・サイズ、テンプレート画像を生成する開始座標、テンプレート画像の生成間隔および全ブロック数の初期設定等を行う。

ステップＳ１５３では、テンプレート特徴量算出部３３２（図５参照）が、画像検索範囲Ｕａ（ｔ−ｉΔｔ），Ｕｂ（ｔ−ｉΔｔ）（ｉ＝２，４，６）（図１３参照）内に存在する物体Ｏｉを特徴付ける特徴領域Ｑｉを検出する。

ステップＳ１５４では、速度算出部３３４（図５参照）が、各特徴領域Ｑｉの移動速度ｖｉを算出する。

ステップＳ１５５では、速度算出部３３４が、重複領域Ｒを横切る可能性のある物体Ｏｉを選出する。

ステップＳ１５６では、テンプレートサイズ設定部３３６（図５参照）が、ステップＳ１５２で設定されたテンプレート画像のサイズを、重複領域Ｒを横切る可能性のある物体Ｏｉの移動速度ｖｉに応じて変更する。

ステップＳ１５７では、マッチング計算部３３８（図５参照）が、テンプレート・マッチングを行い、重複領域Ｒを横切る可能性のある物体Ｏｉを示す特徴領域Ｑｉの対応領域を決定する。

ステップＳ１５８では、繋ぎ位置決定部３４２（図５参照）が、位置検出用補正画像Ｊａと位置検出用補正画像Ｊｂの繋ぎ位置を算出する。

ステップＳ１５９では、マッチング計算部３３８が、全てのテンプレート画像に対するマッチング処理が完了したかを判定する。ステップＳ１５９で、全てのテンプレート画像に対するマッチング処理が完了していないと判定された場合（ステップＳ１５９：Ｎｏ）は、ステップＳ１５７へループさせて、次のテンプレート画像に対してマッチング計算を行う。一方、ステップＳ１５９で、全てのテンプレート画像に対するマッチング処理が終了したと判定された場合（ステップＳ１５９：Ｙｅｓ）は、ステップＳ１６０へ処理を分岐させる。

ステップＳ１６０では、検出結果生成部３４４（図５参照）が、検出結果データ３２２（図１０参照）を生成する。

ステップＳ１６１では、全天球撮像装置１は繋ぎ位置検出処理を終了させて、図１６に示す処理に戻る。

以上説明したように、本実施の形態に係る全天球撮像装置１（画像処理装置）によれば、テンプレート特徴量算出部３３２（検出手段）が、撮像装置１０（撮像手段）が同時に撮像した、重複領域Ｒを含む複数の部分画像Ｉａ，Ｉｂ（画像）のうち、部分画像Ｉｂ（第２の撮像画像）の中から、所定の特徴量を有する特徴領域Ｑｉを検出する。そして、速度算出部３３４（算出手段）が、特徴領域Ｑｉの移動速度ｖｉを算出して、テンプレートサイズ設定部３３６（設定手段）が、部分画像Ｉｂ（ｘ，ｙ）の重複領域Ｒの中に、特徴領域Ｑｉの移動速度ｖｉに応じたサイズのテンプレート画像Ｓｉ（テンプレート）を設定する。そして、マッチング計算部３３８（探索手段）が、部分画像Ｉａ（第１の撮像画像）の重複領域Ｒの中から、移動速度ｖｉに応じた探索範囲において、テンプレート画像Ｓｉと対応する領域を探索する。そして、検出結果生成部３４４（合成手段）が、マッチング計算部３３８による探索結果に基づいて、同時に撮像された部分画像Ｉａと部分画像Ｉｂとを繋ぎ合わせた合成画像Ｌ（θ，φ）を生成する。したがって、第１の撮像画像Ｉａと第２の撮像画像Ｉｂの繋ぎ合わせを、少ない演算量で行うことができるため、画像を繋ぎ合わせて出力する際のフレーム遅延を抑制することができる。

また、本実施の形態に係る全天球撮像装置１は、検出結果生成部３４４（合成手段）が合成した合成画像Ｌ（θ，φ）を、ネットワーク回線等を介して外部に配信する画像配信部２７０（配信手段）を更に備える。したがって、フレーム遅延が抑制された合成画像Ｌ（θ，φ）を外部に配信することができる。

また、本実施の形態に係る全天球撮像装置１は、撮像装置１０が撮像した複数の部分画像Ｉａ（ｘ，ｙ），Ｉｂ（ｘ，ｙ）、および検出結果生成部３４４が生成した複数の合成画像Ｌ（θ，φ）をそれぞれ記憶する画像記憶部２１０（記憶手段）を更に備える。したがって、過去の部分画像Ｉａ（ｘ，ｙ），Ｉｂ（ｘ，ｙ）および過去の合成画像Ｌ（θ，φ）を参照することによって、特徴領域Ｑｉの移動速度ｖｉを容易かつ正確に算出することができる。

また、本実施の形態に係る全天球撮像装置１において、画像記憶部２１０（記憶手段）は、部分画像Ｉａ（ｘ，ｙ），Ｉｂ（ｘ，ｙ）の一部の領域を記憶する。したがって、撮像した部分画像Ｉａ（ｘ，ｙ），Ｉｂ（ｘ，ｙ）を全て記憶しておく必要がないため、記憶容量を低減させることができる。

また、本実施の形態に係る全天球撮像装置１は、テンプレートサイズ設定部３３６（設定手段）は、特徴領域Ｑｉの移動速度ｖｉが大きいほど、当該特徴領域Ｑｉを検出するテンプレート画像Ｓｉ（テンプレート）のサイズを大きく設定する。したがって、テンプレート画像Ｓｉのサイズを少ない演算量で設定することができるため、特徴領域Ｑｉの移動速度ｖｉによらずに、テンプレート・マッチングを少ない演算量で実行することができる。

また、本実施の形態に係る全天球撮像装置１において、撮像装置１０（撮像手段）が撮像する複数の部分画像Ｉａ（ｘ，ｙ），Ｉｂ（ｘ，ｙ）は、それぞれ画角１８０度以上の範囲を撮像したものである。したがって、全天球撮像装置１は、全天球を網羅した合成画像Ｌ（θ，φ）を生成することができる。

以上、本発明の実施の形態について説明したが、上述した実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能である。また、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、この実施の形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、実施の形態で説明した制御プログラムＰは、予めＲＯＭ１１４（図２参照）に記憶されて提供される以外に、インストール可能な形式、または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、制御プログラムＰをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、制御プログラムＰをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、前記した実施の形態では、撮像装置１０は、撮像を行っている間は静止しているものと仮定して動作の説明を行った。しかし、実際は、撮像装置１０は操作者が手に持った状態で撮像を行うため、撮像装置１０の向きは絶えず変動する。したがって、繋ぎ位置検出部３０４（図５参照）が繋ぎ位置を算出する際には、撮像装置１０自体の動き成分を考慮するのが望ましい。そのため、撮像装置１０の内部に３軸加速度センサを内蔵して、撮像装置１０自身の移動方向を検出してもよい。

そして、繋ぎ位置検出部３０４が繋ぎ位置を算出する際には、撮像装置１０自身の移動方向と移動量を考慮して、特徴領域Ｑｉの移動速度ｖｉの算出を行うのが望ましい。例えば、異なる時刻ｔ，ｔ＋Δｔに、それぞれ部分画像Ｉａ，Ｉｂを撮像した場合を考える。すなわち、時刻ｔにおける部分画像Ｉａ，Ｉｂと、時刻ｔ＋Δｔにおける部分画像Ｉａ，Ｉｂを撮像したとする。このとき、同時に、３軸加速度センサによって、時間間隔Δｔにおける撮像装置１０自身の移動量（並進運動量と回転運動量）を計測することができる。このような場合に、繋ぎ位置検出部３０４は、撮像装置１０の移動量が０となるように、時刻ｔ＋Δｔにおける部分画像Ｉａ，Ｉｂを補正する。そして、その後、前記した繋ぎ位置検出処理を行うことによって、撮像装置１０自身の移動を考慮した合成画像Ｌ（θ，φ）を生成してもよい。

１ 全天球撮像装置（画像処理装置）
１０ 撮像装置（撮像手段）
２０（２０Ａ，２０Ｂ） 結像光学系
２１（２１Ａ，２１Ｂ） 魚眼レンズ
２２（２２Ａ，２２Ｂ） 撮像素子
３０ｉ，３１ｉ，Ｓｉ（ｉ＝１，２，…） テンプレート画像
３２ｉ（ｉ＝ａ，ｂ，…） 対応領域
２１０ 画像記憶部（記憶手段）
２７０ 画像配信部（配信手段）
３０４ 繋ぎ位置検出部
３２０ 位置検出用変換テーブル
３２２ 検出結果データ
３２４ 画像合成用変換テーブル
３３０ テンプレート生成部
３３２ テンプレート特徴量算出部（検出手段）
３３４ 速度算出部（算出手段）
３３６ テンプレートサイズ設定部（設定手段）
３３８ マッチング計算部（探索手段）
３４４ 検出結果生成部（合成手段）
Ａ１，Ａ２ 光軸
Ｐ 制御プログラム
Ｑ，Ｑｉ 特徴領域
Ｒ 重複領域
ｖ，ｖｉ 移動速度
Ｉａ（ｘ，ｙ），Ｉａ 部分画像（第１の撮像画像、画像）
Ｉｂ（ｘ，ｙ），Ｉｂ 部分画像（第２の撮像画像、画像）
Ｊａ（θ，φ），Ｊｂ（θ，φ），Ｊａ，Ｊｂ 位置検出用補正画像
Ｋａ（θ，φ），Ｋｂ（θ，φ），Ｋａ，Ｋｂ 画像合成用補正画像
Ｌ（θ，φ），Ｌ（ｔ） 合成画像
Ｕａ（ｔ−ｉΔｔ），Ｕａ（ｔ−ｉΔｔ） 画像検索範囲

特許第４７７２４９４号公報

Claims (8)

1. 重複領域を含む複数の画像を同時に撮像する撮像手段と、
   前記撮像手段が撮像した第１の撮像画像の中から、所定の特徴量を有する特徴領域を検出する検出手段と、
   前記特徴領域の移動速度を算出する算出手段と、
   前記第１の撮像画像の前記重複領域の中に、前記特徴領域の移動速度に応じたサイズのテンプレートを設定する設定手段と、
   前記撮像手段が前記第１の撮像画像と同時に撮像した第２の撮像画像の前記重複領域の中から、前記テンプレートと対応する領域を探索する探索手段と、
   前記探索手段の探索結果に基づいて、前記第１の撮像画像と前記第２の撮像画像とを繋ぎ合わせた合成画像を生成する合成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記合成手段が合成した前記合成画像を、ネットワークを介して外部に配信する配信手段を更に備える
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像手段が異なる時間に撮像した前記複数の画像、および前記合成手段が生成した複数の前記合成画像を、それぞれ記憶する記憶手段を更に備える
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記記憶手段は、前記複数の画像の一部の領域を記憶する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記設定手段は、前記特徴領域の移動速度が大きいほど、当該特徴領域を検出する前記テンプレートのサイズを大きく設定する
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記撮像手段が撮像する前記複数の画像は、それぞれ画角１８０度以上の範囲を撮像したものである
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 重複領域を含む複数の画像を同時に撮像する撮像ステップと、
   前記撮像ステップで撮像した第１の撮像画像の中から、所定の特徴量を有する特徴領域を検出する検出ステップと、
   前記特徴領域の移動速度を算出する算出ステップと、
   前記第１の撮像画像の前記重複領域の中に、前記特徴領域の移動速度に応じたサイズのテンプレートを設定する設定ステップと、
   前記撮像ステップにおいて前記第１の撮像画像と同時に撮像した第２の撮像画像の前記重複領域の中から、前記テンプレートと対応する領域を探索する探索ステップと、
   前記探索ステップの探索結果に基づいて、前記第１の撮像画像と前記第２の撮像画像とを繋ぎ合わせた合成画像を生成する合成ステップと、
   を備えた画像処理方法。
8. コンピュータに対して、
   重複領域を含む複数の画像を同時に撮像する撮像手段と、
   前記撮像手段が撮像した第１の撮像画像の中から、所定の特徴量を有する特徴領域を検出する検出手段と、
   前記特徴領域の移動速度を算出する算出手段と、
   前記第１の撮像画像の前記重複領域の中に、前記特徴領域の移動速度に応じたサイズのテンプレートを設定する設定手段と、
   前記撮像手段が前記第１の撮像画像と同時に撮像した第２の撮像画像の前記重複領域の中から、前記テンプレートと対応する領域を探索する探索手段と、
   前記探索手段の探索結果に基づいて、前記第１の撮像画像と前記第２の撮像画像とを繋ぎ合わせた合成画像を生成する合成手段と、
   を機能させるプログラム。

Images