JP2021117924A - 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 画像処理装置を提供すること。【解決手段】 本画像処理装置１０は、第１の画像および第２の画像が入力される画像入力手段と、画像入力手段に入力される画像間の複数の箇所各々のつなぎ位置を記憶する記憶手段２１０とを含む。画像処理装置１０は、また、複数の箇所各々について、記憶手段２１０に記憶された過去のつなぎ位置の有効性を評価する評価手段２０７と、有効性が基準を満たした箇所の記憶手段２１０に記憶された過去のつなぎ位置に基づいて、画像入力手段に入力される第１の画像および第２の画像に基づく合成処理を実行する画像合成処理手段２６０とをさらに含む。【選択図】 図５

Description

本発明は、画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラムに関する。

従来、全方位を撮像する撮像装置においては、複数の広角レンズまたは魚眼レンズを用いて撮像し、複数の画像に対して歪み補正および射影変換を行い、各レンズにより撮像された部分画像をつなぎ合わせて１枚の全天球画像とする処理が行われる。画像をつなぎ合わせる処理においては、複数の部分画像が重なる重複領域について、パターンマッチング手法などを用いて、撮影されている物体が重なる位置を検出し、画像がつなぎ合わせられる。

被写体距離に応じて画像をつなぎ合わせる処理の負荷が大きいため、つなぎ位置を固定してリアルタイム配信を行うこともできる。しかしながら、つなぎ位置を固定して処理すると、つなぎ合わせ境界において被写体がつながらず、画像の品質が劣化する可能性がある。また、処理能力の高いシステムを使用することで、リアルタイムにつなぎ位置の検出およびつなぎ合わせ処理を行うこともできる。しかしながら、上述したつなぎ位置の検出およびつなぎ合わせ処理を常に行う場合、頻繁につなぎ位置の変更が発生すると、フレーム間の連続性が損なわれ、つなぎ合わせ箇所で画像が不自然に動いてしまい、動画の品質の劣化を生じさせる場合があった。例えば、会議を撮影している場合に、撮像装置も被写体もあまり動いていないにも関わらず、つなぎ合わせ部分の画像情報の小さな変化に起因して、検出されるつなぎ位置が変動することがある。この変動に対応して、頻繁につなぎ位置が変わってしまうと、不自然な動きとして画像に顕れてしまう。

動画像のつなぎ合わせに関連して、特許第４５７７７６５号公報（特許文献１）が知られている。特許文献１は、複数の移動カメラからの動画像であっても、それらの動画像から１つのパノラマ動画像を高速に生成することを目的とした技術を開示する。特許文献１では、先頭フレームについては、複数の動画像間で位置ずれを求め、次フレーム以降でフレーム間の位置ずれを求めることで、複数の動画像間の位置ずれを高速に求める技術が開示される。しかしながら、頻繁につなぎ位置が変更されると、つなぎ合わせ箇所で画像が不自然に動いてしまい、動画の品質の劣化を生じさせるという観点では開示されていない。

本開示は、上記点に鑑みてなされたものであり、複数の画像を合成した合成画像において、つなぎ合わせ箇所近傍で画像が不自然に動く等、つなぎ位置の変更に起因する動画の品質の劣化を抑制することが可能な画像処理装置を提供することを目的とする。

本開示では、上記課題を解決するために、下記特徴を有する画像処理装置を提供する。本画像処理装置は、第１の画像および第２の画像が入力される画像入力手段と、画像入力手段に入力される画像間の複数の箇所各々のつなぎ位置を記憶する記憶手段とを含む。本画像処理装置は、さらに、複数の箇所各々について、記憶手段に記憶された過去のつなぎ位置の有効性を評価する評価手段と、有効性が基準を満たした箇所の記憶手段に記憶された過去のつなぎ位置に基づいて、画像入力手段に入力される第１の画像および第２の画像に基づく合成処理を実行する画像合成処理手段とを含む。

上記構成により、複数の画像を合成した合成画像において、つなぎ位置の変更に起因する動画の品質の劣化を抑制することができる。

図１は、本実施形態による全天球撮像デバイスを示す外観図である。 図２は、本実施形態による全天球撮像デバイスを示す断面図である。 図３は、本実施形態による全天球撮像デバイスのハードウェア構成を示す。 図４は、本実施形態による全天球撮像デバイスを制御する情報端末のハードウェア構成図である。 図５は、本実施形態による全天球撮像デバイス上に実現される全天球動画像合成処理の主要な機能ブロック図である。 図６は、本実施形態による全天球撮像デバイスが実行する全天球動画像合成処理の全体的な流れを示すフローチャートである。 図７は、本実施形態による全天球撮像デバイスにおける射影関係を説明する図である。 図８は、本実施形態で用いられる全天球画像フォーマットの画像データのデータ構造を説明する図である。 図９は、本実施形態による位置検出用歪み補正部および画像合成用歪み補正部が参照する変換データを説明する図である。 図１０は、本実施形態による位置検出処理の際における、２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図である。 図１１は、本実施形態によるつなぎ位置検出処理におけるテンプレート画像および探索画像の生成方法を説明する図である。 図１２は、（Ａ）テンプレート画像と、（Ｂ）パターンマッチングにより探索範囲でテンプレート画像を探索する処理を説明する図である。 図１３は、本実施形態において、位置検出用変換テーブルを修正するための各画素毎のつなぎ位置を含むつなぎ位置テーブルのデータ構造を示す図である。 図１４は、本実施形態において、位置検出用変換テーブルを修正するためのつなぎ位置テーブルを生成する処理を説明する図である。 図１５は、本実施形態による画像合成処理の際における、２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図である。 図１６は、本実施形態における、全天球撮像デバイスおよび情報端末を含み構成されるビデオ会議システムを示した概略図である。 図１７は、会議室への全天球撮像デバイス１０の設置の仕方を例示する図である。 図１８は、ビデオ会議システムでネットワークサーバ上に配信されている全天球フォーマットの映像を例示する図である。 図１９は、１または複数の実施形態による全天球撮像デバイスが実行する全天球動画像合成処理のメイン処理のフローチャートである。 図２０は、本実施形態による全天球撮像デバイスが実行するつなぎ位置評価処理のフローチャートである。 図２１は、本実施形態において、つなぎ位置情報記憶部に格納されるつなぎ位置情報のデータ構造を示す図。 図２２は、本実施形態による全天球撮像デバイスが実行するつなぎ位置検出処理のフローチャートである。 図２３は、本実施形態による全天球撮像デバイスにおいてテーブル更新のタイミングを説明するタイミングチャートである。 図２４は、変形例の実施形態による全天球撮像デバイスが実行するつなぎ位置評価処理のフローチャートである。 図２５は、変形例の実施形態において、つなぎ位置情報記憶部２１０に格納されるつなぎ位置情報のデータ構造を示す図。 図２６は、変形例の実施形態による全天球撮像デバイスが実行するつなぎ位置検出処理のフローチャートである。 図２７は、本実施形態による、被写体距離に応じたつなぎ位置の違いを説明する図である。 図２８は、特定の実施形態において（Ａ）基本のつなぎ位置および（Ｂ）被写体距離に応じてつなぎ位置の検出の際の探索範囲を制限する技術を説明する図である。

以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、画像処理装置、画像処理システムおよび該画像処理装置を含む撮像装置の一例として、２つの魚眼レンズを光学系に含む撮像体を備えるとともに、２つの魚眼レンズで自身が撮像した２つの部分画像に対し歪曲補正および射影変換を行い、画像つなぎ合わせを行って、全天球画像を生成する画像処理機能を備えた全天球撮像デバイス１０を用いて説明する。

＜全体構成＞
以下、図１〜図３を参照しながら、本実施形態による全天球撮像デバイス１０の全体構成について説明する。図１（Ａ）は、本実施形態による全天球撮像デバイス１０の側面から見た外観図を示している。図１（Ａ）に示す全天球撮像デバイス１０は、撮像体１２と、撮像体１２に組み込まれた２つの結像光学系２０Ａ，２０Ｂと、上記撮像体１２およびコントローラ１５やバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられた操作ボタン１８とを備える。

図１（Ｂ）は、本実施形態による全天球撮像デバイス１０の撮像体１２を筐体１４内に格納した状態の外観図を示している。全天球撮像デバイス１０は、２つの結像光学系２０Ａ，２０Ｂの埃などによる汚れを防止するために、撮像体１２が上下に移動可能に構成されており、使用しない場合は、図１（Ｂ）に示すように、撮像体１２が筐体１４内に格納可能となっている。図１（Ｃ）は、本実施形態による全天球撮像デバイス１０の上面図を示している。図１（Ｃ）に示すように、撮像体１２の上部には、切り込み部（把手）１３が設けられている。これにより、全天球撮像デバイス１０のユーザは、切り込み部１３に指をかけることで、撮像体１２を上下に手動で移動することができる。

図２は、本実施形態による全天球撮像デバイス１０の断面図を示している。図２（Ａ）は、撮像体１２を筐体１４から展開した場合の状態を示し、図２（Ｂ）は、撮像体１２を筐体１４内に格納した状態を示す。図２に示す撮像体１２は、２つの結像光学系２０Ａ，２０Ｂと、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの固体撮像素子２２Ａ，２２Ｂとを含む。結像光学系２０と固体撮像素子２２とを１個ずつ組み合わせたものを撮像光学系と参照する。結像光学系２０各々は、例えば６群７枚の魚眼レンズとして構成することができる。上記魚眼レンズは、図１および図２に示す実施形態では、１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、固体撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。位置決めは、結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する固体撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように行われる。固体撮像素子２２各々は、受光領域が面積エリアを成す２次元の固体撮像素子であり、組み合わせられる結像光学系２０により集光された光を画像信号に変換する。

図２に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。固体撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換して、コントローラ１５上の画像処理手段に出力する。画像処理手段では、詳細は後述するが、固体撮像素子２２Ａ，２２Ｂからそれぞれ入力される部分画像をつなぎ合わせて合成し、立体角４πラジアンの画像（以下「全天球画像」と参照する。）を生成する。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。ここで、図２に示す実施形態では、全天球画像を生成しているが、水平面のみ３６０度を撮影した３６０°パノラマ画像であってもよし、これらの一部であってもよい。

全天球撮像デバイス１０の筐体１４内には、操作ボタン１８からの制御情報の入力、固体撮像素子２２Ａ，２２Ｂの画像信号から画像処理の実施、処理結果の入出力などを行うコントローラ１５を備える。図２に示す実施形態では、コントローラ１５は、複数のコントローラ基板１５Ａ，１５Ｂに分かれており、コントローラ基板（１５Ａ，１５Ｂ）上にはコネクタ１７（１７Ａ，１７Ｂ，１７Ｃ）が設けられている。コントローラ１５Ａ，１５Ｂの間、および、コントローラ１５Ｂと固体撮像素子２２Ａ，２２Ｂとの間は、それぞれ、ケーブル１６Ａ，１６Ｂにより、対応するコネクタ１７を介して接続される。ここで、ケーブル１６は、ＦＦＣ（Flexible Flat Cable）やＦＰＣ（Flexible Printed Circuit）などである。

また、筐体１４には、図２（Ｂ）に示すように、ゴムやスポンジといった弾性部材１９が備えられている。弾性部材１９は、撮像体１２を筐体１４内に格納する際または撮像体１２を筐体１４内から展開する際に、２つの結像光学系２０Ａ，２０Ｂに傷が付くことを防止するとともに、筐体１４内への埃の進入を防止する。

図３は、本実施形態による全天球撮像デバイス１０のハードウェア構成を示す。全天球撮像デバイス１０は、デジタル・スチルカメラ・プロセッサ（以下、単にプロセッサと参照する。）１００と、鏡胴ユニット１０２と、プロセッサ１００に接続される種々のコンポーネントから構成される。鏡胴ユニット１０２は、上述した２組のレンズ光学系２０Ａ，２０Ｂと、固体撮像素子２２Ａ，２２Ｂとを有する。固体撮像素子２２は、プロセッサ１００内の後述するＣＰＵ１３０からの制御指令により制御される。

プロセッサ１００は、ＩＳＰ（Image Signal Processor）１０８と、ＤＭＡＣ（Direct Memory Access Controller）１１０と、メモリアクセスの調停のためのアービタ（ＡＲＢＭＥＭＣ）１１２と、メモリアクセスを制御するＭＥＭＣ（Memory Controller）１１４と、歪曲補正・画像合成ブロック１１８とを含む。ＩＳＰ１０８Ａ，１０８Ｂは、それぞれ、固体撮像素子２２Ａ，２２Ｂの信号処理を経て入力された画像データに対し、ホワイト・バランス設定やガンマ設定を行う。ＭＥＭＣ１１４には、ＳＤＲＡＭ１１６が接続される。ＳＤＲＡＭ１１６には、ＩＳＰ１０８Ａ，１８０Ｂおよび歪曲補正・画像合成ブロック１１８において処理を施す際にデータが一時的に保存される。歪曲補正・画像合成ブロック１１８は、２つの撮像光学系から得られた２つの部分画像に対し、３軸加速度センサ１２０やジャイロセンサ、電子コンパスなどのセンサからの情報を利用して、歪曲補正とともに天地補正を施し、画像合成する。

プロセッサ１００は、さらに、ＤＭＡＣ１２２と、画像処理ブロック１２４と、ＣＰＵ１３０と、画像データ転送部１２６と、ＳＤＲＡＭＣ１２８と、メモリカード制御ブロック１４０と、ＵＳＢブロック１４６と、ペリフェラル・ブロック１５０と、音声ユニット１５２と、シリアルブロック１５８と、ＬＣＤ（Liquid Crystal Display）ドライバ１６２と、ブリッジ１６８とを含む。

ＣＰＵ１３０は、当該全天球撮像デバイス１０の各部の動作を制御する。画像処理ブロック１２４は、リサイズブロック１３２、静止画圧縮ブロック１３４、動画圧縮ブロック１３６などを用いて、画像データに対し各種画像処理を施す。リサイズブロック１３２は、画像データのサイズを補間処理により拡大または縮小するためのブロックである。静止画圧縮ブロック１３４は、静止画をＪＰＥＧ（Joint Photographic Experts Group）やＴＩＦＦ（Tagged Image File Format）などの静止画フォーマットに圧縮および伸張を行うコーデック・ブロックである。動画圧縮ブロック１３６は、動画をＭＰＥＧ（Moving Picture Experts Group）−４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。画像データ転送部１２６は、画像処理ブロック１２４で画像処理された画像を転送する。ＳＤＲＡＭＣ１２８は、プロセッサ１００に接続されるＳＤＲＡＭ１３８制御し、ＳＤＲＡＭ１３８には、プロセッサ１００内で画像データに各種処理を施す際に、画像データを一時的に保存する。

メモリカード制御ブロック１４０は、メモリカードスロット１４２に挿入されたメモリカードおよびフラッシュＲＯＭ１４４に対する読み書きを制御する。メモリカードスロット１４２は、全天球撮像デバイス１０にメモリカードを着脱可能に装着するためのスロットである。ＵＳＢブロック１４６は、ＵＳＢコネクタ１４８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。ペリフェラル・ブロック１５０には、電源スイッチ１６６が接続される。音声ユニット１５２は、ユーザが音声信号を入力するマイク１５６と、記録された音声信号を出力するスピーカ１５４とに接続され、音声入出力を制御する。シリアルブロック１５８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１６０が接続される。ＬＣＤドライバ１６２は、ＬＣＤモニタ１６４を駆動するドライブ回路であり、ＬＣＤモニタ１６４に各種状態を表示するための信号に変換する。

フラッシュＲＯＭ１４４には、ＣＰＵ１３０が解読可能なコードで記述された制御プログラムや各種パラメータが格納される。電源スイッチ１６６の操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされる。ＣＰＵ１３０は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをＳＤＲＡＭ１３８と、図示しないローカルＳＲＡＭとに一時的に保存する。

図４は、本実施形態による全天球撮像デバイス１０を制御する情報端末１７０のハードウェア構成を示す。図４に示す情報端末１７０は、ＣＰＵ１７２と、ＲＡＭ１７４と、ＨＤＤ（Hard Disk Drive）１７６と、入力装置１７８と、外部ストレージ１８０と、ディスプレイ１８２と、無線ＮＩＣ１８４と、ＵＳＢコネクタ１８６と、ＨＤＭＩ（High-Definition Multimedia Interface，ＨＤＭＩは登録商標である。）コネクタ１８８とを含み構成される。

ＣＰＵ１７２は、情報端末１７０の各部の動作および全体動作を制御する。ＲＡＭ１７４は、ＣＰＵ１７２の作業領域を提供する。ＨＤＤ１７６は、ＣＰＵ１７２が解読可能なコードで記述された、オペレーティング・システム、本実施形態による情報端末１７０側の処理を担うアプリケーションなどのプログラムを格納する。

入力装置１７８は、マウス、キーボード、タッチパッド、タッチスクリーンなどの入力装置であり、ユーザ・インタフェースを提供する。外部ストレージ１８０は、メモリカードスロットなどに装着された着脱可能な記録媒体であり、動画形式の画像データや静止画データなどの各種データを記録する。無線ＮＩＣ１８４は、全天球撮像デバイス１０などの外部機器との無線ＬＡＮ通信の接続を確立する。ＵＳＢコネクタ１８６は、全天球撮像デバイス１０などの外部機器とのＵＳＢ接続を確立する。なお、一例として、無線ＮＩＣ１８４およびＵＳＢコネクタ１８６を示すが、特定の規格に限定されるものではなく、Ｂｌｕｅｔｏｏｔｈ（登録商標）やワイヤレスＵＳＢなどの他の無線通信、有線ＬＡＮ（Local Area Network）などの有線通信で外部機器と接続されてもよい。

ディスプレイ１８２は、ユーザが操作するための操作画面の表示、撮影前または撮影中の全天球撮像デバイス１０による撮像画像のモニタ画像の表示、保存された動画や静止画の再生、閲覧のための表示を行う。ディスプレイ１８２および入力装置１７８により、ユーザは、操作画面を介して全天球撮像デバイス１０に対する撮影指示や各種設定変更を行うことが可能となる。また、ＨＤＭＩコネクタ１８８により、これらの映像を外部ディスプレイやプロジェクターなどの表示装置へ出力することができる。なお、一例としてＨＤＭＩコネクタ１８８を示すが、特定の規格に限定されるものではなく、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）やＤＶＩ（Digital Visual Interface）を用いた構成としても良い。

情報端末１７０に電源が投入され電源がオン状態になると、ＲＯＭやＨＤＤ１７６からプログラムが読み出され、ＲＡＭ１７４にロードされる。ＣＰＵ１７２は、ＲＡＭ１７４に読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、情報端末１７０の後述する各機能部および処理が実現される。

＜つなぎ処理の基本的な流れ＞
以下、図５〜図１５を参照しながら、全天球撮像デバイス１０が備える全天球動画像合成機能について詳細を説明する。図５は、全天球撮像デバイス１０上に実現される全天球動画像合成処理の主要な機能ブロックを示す。画像処理ブロック２００は、図５に示すように、フレーム記憶部２０２と、位置検出用歪み補正部２０４と、つなぎ位置検出処理部２０６と、つなぎ位置情報記憶部２１０と、テーブル修正部２１２と、テーブル生成部２１４と、画像合成用歪み補正部２１６と、画像合成部２１８とを含み構成される。

また、画像処理ブロック２００には、２つの固体撮像素子２２Ａ，２２Ｂから、各種画像信号処理を経て、各フレーム毎に２つの部分画像が入力される。この各フレーム毎に２つの部分画像の入力を受ける手段が、本実施形態における画像入力手段を構成する。ここで、固体撮像素子２２Ａをソースとするフレームの画像を「部分画像０」のように参照し、固体撮像素子２２Ｂをソースとするフレームの画像を「部分画像１」のように参照する。画像処理ブロック２００には、さらに、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成された、位置検出用変換テーブル２３０が提供される。この変換テーブル２３０は、魚眼レンズの歪みを補正するという意味合いを有することから、歪み補正テーブルと参照される場合がある。

位置検出用歪み補正部２０４は、つなぎ位置検出処理の前段の処理として、入力される部分画像０および部分画像１に対し、位置検出用変換テーブル２３０を用いて歪み補正を施し、位置検出用補正画像（以下、単に補正画像と参照する場合がある。）０および位置検出用補正画像１を生成する。入力される部分画像０，１は、平面座標系（ｘ，ｙ）で表現された画像データであり、これに対し、位置検出用変換テーブル２３０を用いて歪み補正がかけられた補正画像は、球面座標系（動径を１とし、２つの偏角θ，φを有する極座標系である。）で表現された全天球画像フォーマットの画像データとなる。

＜射影方式＞
図７は、本実施形態による全天球撮像デバイス１０における射影関係を説明する図である。本実施形態において、１つ魚眼レンズで撮影された画像は、撮影地点から概ね半球分の方位を撮影したものとなる。また、魚眼レンズでは、図７（Ａ）に示すように、光軸に対する入射角度φに対応した像高ｈで画像生成される。像高ｈと、入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。射影関数は、魚眼レンズの性質によって異なるが、上記投影モデルとしては、等距離射影方式（ｈ＝ｆ×φ）、中心投影方式（ｈ＝ｆ・ｔａｎφ）、立体射影方式（ｈ＝２ｆ・ｔａｎ（φ／２））、等立体角射影方式（ｈ＝２ｆ・ｓｉｎ（φ／２））および正射影方式（ｈ＝ｆ・ｓｉｎφ）を挙げることができる。いずれの方式においても、光軸からの入射角度φと焦点距離ｆとに対応して結像の像高ｈが決定される。また、説明する実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図７（Ｂ）に示すように、撮影範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。

＜全天球画像フォーマット＞
図８は、本実施形態で用いられる全天球画像フォーマットの画像データのデータ構造を説明する図である。図８に示すように、全天球画像フォーマットの画像データは、所定の軸に対するなす角度に対応する垂直角度φと、上記軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。水平角度θは、０〜３６０度（−１８０度〜＋１８０度とも表現できる。）の範囲となり、垂直角度φは、０〜１８０度（同様に−９０度〜＋９０度とも表現できる。）の範囲となる。各座標値（θ，φ）は、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上にマッピングされる。魚眼レンズで撮影された画像の平面座標と、全天球画像フォーマットの球面上の座標との関係は、図７で説明したような射影関数を用いることによって対応付けることができる。

＜変換テーブル＞
図９は、本実施形態による位置検出用歪み補正部２０４および画像合成用歪み補正部２１６が参照する変換データを説明する図である。変換テーブル２３０，２３２は、平面座標系で表現される部分画像から、球面座標系で表現される画像への射影を規定する。変換テーブル２３０，２３２は、図９（Ａ）および（Ｂ）に示すように、各魚眼レンズ毎に、補正後画像の座標値（θ,φ）と、該座標値（θ,φ）にマッピングされる補正前の部分画像の座標値（ｘ、ｙ）とを対応付ける情報を、全座標値（θ，φ）（θ＝０，・・・３６０度，φ＝０，・・・，１８０度）に対して保持する。図９の例示では、１画素が担当する角度は、φ方向およびθ方向いずれも１／１０度であり、変換テーブル２３０，２３２は、各魚眼レンズについて、３６００×１８００の対応関係を示す情報を有している。

つなぎ位置検出の際に用いられる位置検出用変換テーブル２３０は、事前に製造元等で理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものである。これとは対照的に、画像合成用変換テーブル２３２は、詳細は後述するが、位置検出用変換テーブル２３０から所定の変換処理よって生成されるものである。

＜位置検出用補正画像＞
図１０は、本実施形態による位置検出処理の際における、２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図である。位置検出用歪み補正部２０４による処理の結果、魚眼レンズで撮像された２つの部分画像０，１は、図１０に示すように、全天球画像フォーマット上に展開される。魚眼レンズ０により撮影された部分画像０は、典型的には、全天球のうちの概ね上半球にマッピングされ、魚眼レンズ１により撮影された部分画像１は、全天球のうちの概ね下半球にマッピングされる。全天球フォーマットで表現された補正画像０および補正画像１は、魚眼レンズの全画角が１８０度を超えるため、それぞれ半球からはみ出し、その結果、補正画像０および補正画像１を重ね合わせると、画像間で撮影範囲が重複する重複領域が発生する。

事前処理として、全天球フォーマットへの変換を行うことで、その後は、図１０に示す重複領域においてつなぎ検出を行える。図５に示す実施形態では、位置合わせ用の球面画像とは異なる画像合成用の球面画像を別途生成する方式を採用している。以下、図５を参照しながら、かかる方式について説明を続ける。

位置検出用歪み補正部２０４による補正後は、つなぎ位置検出処理部２０６により、上記重複領域において、設定された複数の箇所各々について、画像間のつなぎ位置が検出されることになる。本実施形態による位置検出用変換テーブル２３０では、図１０に示すように、２つのレンズ光学系各々の光軸を球面の２つの極（φ＝０度，１８０度）に射影するとともに、画像間の重複領域を球面の赤道近傍（φ＝９０度±（（全画角−１８０度）／２））に射影するように作成される。

球面座標系では、垂直角度φが０度または１８０度である極に近接するほど、歪みが大きくなり、つなぎ位置検出精度が劣化してしまう。これに対し、上述したような射影とすることによって、θ方向にずれたときの歪み量が小さな垂直角度９０度付近に、重複領域を位置させて、つなぎ位置検出が行われることになり、つなぎ位置検出精度を向上させることができる。ひいては、歪みの大きなレンズ光学系で撮像された画像あっても、高い精度でつなぎ位置を検出することが可能となる。

ここで、つなぎ位置検出処理部２０６は、位置検出用歪み補正部２０４により変換された補正画像０，１の入力を受けて、パターンマッチング処理により、複数の箇所各々について、入力された補正画像０，１間のつなぎ位置を検出し、各箇所毎のつなぎ位置情報を生成する。つなぎ位置情報記憶部２１０は、つなぎ位置検出処理部２０６により検出された各箇所毎のつなぎ位置情報を一時記憶する。つなぎ位置情報記憶部２１０は、本実施形態における記憶手段を構成する。

本実施形態によるつなぎ位置検出処理部２０６は、すべてのフレームに対し、複数の箇所すべてでのつなぎ位置を検出するのではなく、所定の条件を満たした箇所についてはつなぎ位置の検出を行う一方で、不要な箇所のつなぎ位置の検出を省略するよう構成されている。図５に示すつなぎ位置検出処理部２０６は、より詳細には、評価部２０７と、検出部２０８とを含み構成される。評価部２０７、検出部２０８、およびこれらを用いて効率的につなぎ位置を求める処理については、詳細を後述する。

＜つなぎ位置に応じた変換テーブルの更新＞
テーブル修正部２１２は、複数の箇所各々について求められたつなぎ位置情報に基づいて、事前準備された位置検出用変換テーブル２３０に対して修正を施し、テーブル生成部２１４に渡す。テーブル生成部２１４は、上記テーブル修正部２１２により修正された変換データから、回転座標変換に基づき、画像合成用変換テーブル２３２を生成する。

＜画像合成用画像＞
画像合成用歪み補正部２１６は、画像合成処理の前段の処理として、元の部分画像０および部分画像１に対し、画像合成用変換テーブル２３２を用いて歪み補正をかけ、画像合成用補正画像０および画像合成用補正画像１を生成する。なお、ここで処理の対象となる部分画像０，１は、フレーム記憶部２０２に記憶されたフレームに対応するものである。

生成される画像合成用補正画像０，１は、位置検出用補正画像と同様に、球面座標系で表現されている一方で、上記回転座標変換により、位置検出用補正画像とは座標軸の定義が異なったものとなる。

図１５は、本実施形態による画像合成処理の際における、２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図である。上記回転座標変換により、図１０に示すような、一方のレンズ光学系の光軸を軸とした水平角度および垂直角度の座標軸の定義から、図１５に示すような、光軸に垂直な軸を基準とした水平角度および垂直角度の定義に変換される。これにより、画像合成用歪み補正部２１６による処理の結果、魚眼レンズで撮像された２つの部分画像０，１は、図１５に示すように、全天球画像フォーマット上に展開される。魚眼レンズ０により撮影された部分画像０は、典型的には、全天球のうちの概ね左半球にマッピングされ、魚眼レンズ１により撮影された部分画像１は、全天球のうちの概ね右半球にマッピングされる。

図１５を図１０と比較すると明らかであるが、画像合成用では、位置補正用の全天球フォーマットに対し、異なった位置に部分画像０および部分画像１がマッピングされており、シーンの天頂方向が画像の上下方向となるφ方向に一致している。部分画像０，１の中心部が、より歪みの少ない赤道上にマッピングされ、補正画像０および補正画像１間の重複領域になる周辺部が、垂直角度０度および１８０度付近、並びに、水平角度０度および１８０度の近傍領域にマッピングされる。

画像合成部２１８は、得られた画像合成用補正画像０および画像合成用補正画像１を合成し、全天球画像フォーマットの合成画像のフレームを生成する。

＜画像表示・保存＞
図５に示す画像処理ブロック２００は、さらに、表示画像生成部２２０を含むことができる。上記生成された合成画像は、全天球画像フォーマットで表現されるため、そのまま、ディスプレイなどの平面表示デバイスに表示させると、垂直角度０度および１８０度に近づくほど画像が歪んで表示されることになる。表示画像生成部２２０は、全天球画像を平面表示デバイスに投影するための画像処理を実行する手段である。

表示画像生成部２２０は、例えば、全天球画像フォーマットの合成画像から、球面座標系から特定方向および特定画角の平面座標系への順次変換し、ユーザが指定する特定の視野方向の一定画角の画像に投影する処理を行うことができる。これにより、視聴者は、所定の視点および視野で観察した場合に相当する動画像を視聴することができるようになる。

図５に示す画像処理ブロック２００は、さらに、画像圧縮部２２２を含むことができる。画像圧縮部２２２には、合成された複数の全天球画像の合成フレームからなる画像列が入力されており、画像圧縮部２２２は、これらを動画圧縮し、画像列を構成する各合成フレームをコマとする動画像を生成し、動画の画像データ２４０を書き出すことができる。あるいは、画像圧縮部２２２は、全天球画像の合成フレームを静止画の画像データ２４０として書き出すこともできる。画像圧縮部２２２は、静止画として保存する場合には、静止画圧縮ブロック１３４でＪＰＥＧ、ＴＩＦＦなどの静止画フォーマットへ圧縮を行い、動画の場合は、動画圧縮ブロック１３６でＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などの動画フォーマットへ圧縮を行う。生成された画像データ２４０は、メモリカードスロット１４２からメモリカードなど外部ストレージの記憶領域に保存される。

なお、図５において破線２６０で示された、部分画像０，１を入力とし、かつ、つなぎ位置情報記憶部２１０に記憶された各箇所のつなぎ位置情報を入力とし、最終的な合成された全天球画像を出力するための、テーブル修正部２１２、テーブル生成部２１４、画像合成用歪み補正部２１６および画像合成部２１８を合わせたものが、本実施形態における画像合成処理手段を構成する。

＜全天球動画合成フロー＞
以下、図６および図１１〜図１４を参照しながら、本実施形態による全天球動画像合成処理の流れを説明する。図６は、本実施形態による全天球撮像デバイス１０が実行する全天球動画像合成処理の全体的な流れを示すフローチャートである。図６に示す処理は、例えば、全天球撮像デバイス１０の操作ボタン１８の押下や外部装置上のアプリケーションからの通信を介した指令によりＣＰＵから撮像（撮影）指令が発行されたことに応答して、ステップＳ１００から開始される。

ステップＳ１０１では、全天球撮像デバイス１０は、部分画像０用フレーム記憶部２０２ａおよび部分画像１用フレーム記憶部２０２ｂに、入力された部分画像０および部分画像１の画像データを記憶する。

ステップＳ１０２では、全天球撮像デバイス１０は、位置検出用歪み補正部２０４により、２つの固体撮像素子２２Ａ，２２Ｂによって取得された部分画像０および部分画像１に対し、位置検出用変換テーブル２３０を用いて歪み補正を行う。これによって、図１０に示すような全天球画像フォーマットの位置検出用補正画像０および位置検出用補正画像１が得られる。

ステップＳ１０３では、全天球撮像デバイス１０は、つなぎ位置検出処理部２０６で、位置検出用部分画像０および位置検出用部分画像１の重複領域でつなぎ位置を検出し、つなぎ位置情報を生成する。説明する実施形態では、つなぎ位置情報は、テンプレート・マッチングにより、一方の１以上の画像から切り出されたテンプレート画像に対し他方の対応する探索範囲の画像との間でマッチングスコアが最大となる位置の基準位置からのずれ量として計算される。

＜つなぎ位置検出の詳細＞
図１１は、本実施形態によるつなぎ位置検出処理におけるテンプレート画像および探索画像の生成方法を説明する図である。説明する実施形態では、テンプレート生成用画像５００は、位置検出用補正画像１の重複領域の部分の画像であり、探索用画像５１０は、位置検出用補正画像０の重複領域の部分の画像である。ここで、テンプレート画像を構成する画素サイズである所定のブロック・サイズが指定され、隣接するテンプレート画像が生成される間隔である所定の生成間隔が指定されるものとする。また、最初のテンプレート画像を切り出す座標である生成開始座標も与えられるものとする。なお、ブロック・サイズおよび生成間隔は、つなぎ合わせの所望の精度および処理量を勘案して定めればよい。

ブロック・サイズをＷ画素×Ｈ画素とし、生成開始座標を（ｓｘ，ｓｙ）とし、生成間隔をｓｔｅｐ画素とすると、図１１に示すような態様で複数のテンプレート画像５０２−１〜５０２−＃が生成される。生成されるテンプレートのブロック数＃は、テンプレート生成用画像５００の水平方向サイズ（説明する実施形態で全天球フォーマットの幅サイズ＝３６００画素）を生成間隔（ｓｔｅｐ）で割った値の整数値となる。

生成された複数のテンプレート画像５０２−１〜５０２−＃に対し、探索用画像５１０上での対応部分５１４が所定の探索範囲５１２内で探索されることになる。

以下、図１２を参照して、テンプレート・マッチングの一例として、ゼロ平均正規化相互相関（Zero-mean Normalized Cross-Correlation）法およびＺＳＳＤ（Zero-mean Sum of Squared Differences）法について説明する。図１２は、（Ａ）テンプレート画像と、（Ｂ）パターンマッチングにより探索範囲でテンプレート画像を探索する処理を説明する図である。テンプレートの全画素数をＮ（＝Ｗ画素×Ｈ画素）とし、探索範囲上での探索位置を（ｋｘ，ｋｙ）で表す。探索位置（ｋｘ，ｋｙ）を基準座標（０，０）とした場合の座標（ｉ，ｊ）におけるテンプレート画像の輝度値をＴ（ｉ，ｊ）とし、探索用画像上の輝度値をＳ（ｋｘ＋ｉ，ｋｙ＋ｊ）とすると、ＺＮＣＣ法によるマッチングスコアＺＮＣＣ（ｋｘ，ｋｙ）は、下記式（１）で求めることができる。なお、図１２では、探索位置（ｋｘ，ｋｙ）をテンプレート画像の左上に設定しているが、座標の取り方は、特に限定されるものではなく、テンプレート画像の中心に設定してもよい。

マッチングスコアＺＮＣＣ（ｋｘ，ｋｙ）は、類似度を表し、１のときは、完全一致となり、−１のときはネガポジ反転となる。すなわち、マッチングスコアＺＮＣＣ（ｋｘ，ｋｙ）が高い方が、テンプレート画像との類似度が高いことを示す。図１２（Ｂ）に示すように探索範囲内でテンプレート画像を縦横に位置をずらしながら、テンプレート・マッチングが行われ、各探索位置におけるマッチングスコアＺＮＣＣ（ｋｘ，ｋｙ）が算出される。

これに対して、ＺＳＳＤ法による相違度ＺＳＳＤ（ｋｘ，ｋｙ）は、下記式（２）で求めることができる。なお、ＺＳＳＤ法では、同じ位置の画素の輝度値の差の２乗和が求められるので、ＺＳＳＤの値は、いわゆる相違度であり、値が大きい方が類似していないことを意味する。そのため、類似度に基づくスコアとするために、負の符号を付けて、−ＺＳＳＤ（ｋｘ，ｋｙ）をマッチングスコアとする。

マッチングスコア−ＺＳＳＤ（ｋｘ，ｋｙ）は、各画素値を８ビット値とすると、取りうる値の範囲は、−（２５５×２５５）〜０がとなり、０のときは、完全一致となる。マッチングスコア−ＺＳＳＤ（ｋｘ，ｋｙ）が高い方が、テンプレート画像との類似度が高いことを示す。

上述したＺＮＣＣ法は、画像のゲインの変動を吸収することができ、また、画像の平均明るさの変動を吸収することができる点、また、類似度のマッチングの堅牢性も高い点で好適なものである。ＺＮＣＣ法は、特に、画像の輝度が充分に広がって分布し、特徴量が大きい場合に好適に適用することができる。これに対して、ＺＳＳＤ法は、画像の平均明るさの変動を吸収することができる点で、ＳＳＤと比較して優れており、ＳＳＤ（Sum of Squared Differences）に比較して計算コストがかかるが、ＺＮＣＣよりも計算か簡素である。ＺＳＳＤ法は、特に、特徴量が小さくぼけた画像に対しても好適に適用することができる。なお、ＺＳＳＤに代えてＺＳＡＤ（Zero-mean Sum of Absolute Differences）を用いても良い。

なお、全天球画像フォーマットのθ座標の両端（０度および３６０度）はつながっているため、テンプレート画像の生成やテンプレート・マッチングの際は、右端の隣は左端として、左端の隣は右端として取り扱うことができる。上述したステップ１０３では、この各テンプレート画像５０２−１〜５０２−＃に対して、それぞれの箇所に対し、マッチングスコアが最大となる位置の基準位置からのずらし量が検出される。

図１１では、テンプレート用画像５００を位置検出用補正画像１で作成し、探索用画像５１０を位置検出用補正画像０で作成したとすると、探索用画像５１０上でテンプレート用画像５００をφで０度側に探索すると、全天球撮像デバイス１０と被写体との距離が離れる遠距離方向となる。これとは逆に、テンプレート用画像を位置検出用補正画像０で作成し、探索用画像を位置検出用補正画像１で作成した場合は、探索用画像上でテンプレート用画像をφで１８０度側に探索すると、全天球撮像デバイス１０と被写体との距離が遠距離方向となる。図１１に示すΔφ＝０が位置検出用変換テーブル２３０で設定されている素のつなぎ位置を指している。

＜全天球動画合成フローの続き＞
ステップＳ１０４では、全天球撮像デバイス１０は、つなぎ位置情報記憶部２１０に対し、検出した各テンプレート画像（箇所）毎のつなぎ位置情報を記憶する。ステップＳ１０５では、全天球撮像デバイス１０は、テーブル修正部２１２により、各テンプレート画像毎のつなぎ位置情報を用いて、位置検出用変換テーブル２３０を修正する。

図１３は、本実施形態において、位置検出用変換テーブル２３０を修正するために生成される各画素毎のつなぎ位置を含むつなぎ位置テーブルのデータ構造を示す図である。ここで、テンプレート画像毎のつなぎ位置情報に基づき、図１３に示すような、変換後の各座標値（θ，φ）に対して、ずらし量（Δθ，Δφ）が対応付けられた情報を全座標値について保持するテーブルを生成する。このとき、上記つなぎ位置検出および補正処理により求められたテンプレート・ブロック（ｉ）（箇所）毎のずらし量（Δθ_ｉ，Δφ_ｉ）を、テンプレート・ブロックの中心座標の値として設定し、各座標値（θ，φ）に対応するずらし量（Δθ，Δφ）を補間して、つなぎ位置を計算することができる。なお、説明する実施形態では、各画素毎のつなぎ位置をテーブル形式で保持する構成としたが、特に限定されるものではない。

具体的には、まず、図１４（Ａ）に示すように、上記テンプレート・ブロック各々に対するずらし量（Δθ_ｉ，Δφ_ｉ）に加えて、θがテンプレート・ブロックの中心座標の値と等しく、かつ、上端（φ＝０）および下端（幅が３６００画素の場合はφ＝３５９９である。）に位置する座標において、ずらし量（Δθ，Δφ）を（０，０）として設定する。その他のずらし量未設定の座標については、図１４（Ｂ）に示すように、近傍の設定済み４点（図ではＡ〜Ｄである。）からなる格子を考え、その中でずらし量を、２次元線形補間演算により算出する。

なお、説明する実施形態では、全天球フォーマットにおける上端（φ＝０）および下端（φ＝３５９９）に対しずらし量（０，０）を設定するようにした。しかしながら、より内側（φ＞０およびφ＜３５９９）にずらし量（０，０）とする座標を設定して上記２次元線形補間演算をしてもよい。この場合、その座標よりφ方向が外側である座標においては、すべてずらし量（０，０）を設定するようにすればよい。

再び図６を参照すると、ステップＳ１０６では、全天球撮像デバイス１０は、テーブル生成部２１４により、修正された位置検出用変換テーブル２３０から、回転座標変換することによって、画像合成用変換テーブル２３２を生成する。ステップＳ１０７では、全天球撮像デバイス１０は、フレーム記憶部２０２ａ，２０２ｂから、部分画像０および部分画像１を読み出す。ステップＳ１０８では、全天球撮像デバイス１０は、つなぎ位置情報に基づいて修正および生成された画像合成用変換テーブル２３２を用いて、部分画像０および部分画像１に対して歪み補正をし、合成用補正画像０および合成用補正画像１を生成する。

画像合成用歪み補正部２１６による処理の結果、魚眼レンズで撮像された２つの部分画像０，１は、図１５に示すように、全天球画像フォーマット上に展開される。画像合成用変換テーブル２３２が既につなぎ位置情報に基づいて生成されたものであるため、この段階で、合成用補正画像０および合成用補正画像１は、そのまま重ね合わせればよいようにつなぎ補正が反映されている。ステップＳ１０９では、全天球撮像デバイス１０は、画像合成部２１８で、合成用補正画像０および合成用補正画像１を合成する。

ステップＳ１１０では、全天球撮像デバイス１０は、入力されたものが最終フレームであるか否かを判断する。ステップＳ１１０で、最終フレームではないと判定された場合（ＮＯ）は、ステップＳ１０１へループされ、画像合成処理を継続する。これに対して、ステップＳ１１０で、それ以上のフレームが入力されず、最終フレームであると判定された場合（ＹＥＳ）は、ステップＳ１１１へ処理を分岐させて、本画像合成処理を終了する。

図６に示す処理により生成された全天球画像の合成フレームからなる合成画像列は、順次、画像圧縮部２２２に出力され、画像圧縮部２２２でさらに動画圧縮されて、動画の画像データ２４０として書き出されることになる。

＜会議システム＞
以上のような全天球撮像デバイス１０および情報端末１７０を用いて、以下、より具体的な実施形態について説明する。以下に説明する実施形態では、複数の拠点（例えば会議室）の参加者がネットワークを介してビデオ会議を行うビデオ会議システムを一例として説明するが、これに限定されるものではない。例えば、映像および音声のみを用いて通話を行うビデオ通話システムであってもよい。

図１６は、本実施形態による全天球撮像デバイス１０および情報端末１７０を用いたビデオ会議システムの概略を示した図である。全天球撮像デバイス１０および情報端末１７０は、設置空間である会議室３００のテーブル３０２上に設置され、互いにＵＳＢケーブル１９０で接続されている。

図１６に示す情報端末１７０には、ビデオ会議支援アプリケーションがインストールされている。ビデオ会議支援アプリケーションは、遠隔地を含む複数の拠点間で、会議映像や音声の送受信、会議に必要となる資料などの情報をリアルタイムに共有することを可能とするソフトウェアである。ビデオ会議支援アプリケーションが導入された情報端末１７０は、全天球撮像デバイス１０の制御（例えば、動作開始や終了）、全天球撮像デバイス１０からの映像信号の受信、ネットワークサーバへの接続およびネットワークサーバへの映像信号の配信（配信手段）の役割を担う。

会議開始の事前準備として、ユーザは、操作ボタン１８を押下することで全天球撮像デバイス１０を起動する。また、ユーザは、情報端末１７０上でビデオ会議支援アプリケーションを起動し、ビデオ会議支援アプリケーション上で情報端末１７０と全天球撮像デバイス１０との接続設定を行う。会議開始の際には、ユーザは、情報端末１７０のビデオ会議支援アプリケーションから会議開始の操作を行う。

アプリケーションが会議開始の操作を受付けると、情報端末１７０は、ネットワークサーバへ接続し、全天球撮像デバイス１０から受信した会議室内の全天球映像や音声の映像信号の配信を開始する。また、ユーザが、ビデオ会議支援アプリケーションで資料共有の操作を行うと、情報端末１７０またはネットワークサーバ上の会議で必要となる資料データなどを共有することが可能となる。

なお、複数の拠点は、会議室に限られない。パーソナルコンピュータやスマートフォンなどの携帯型情報端末と該携帯型情報端末上で実行されるビデオ会議支援アプリケーションとを用いることで、ネットワーク環境があれば、任意の場所で会議に参加することができる。これにより、各拠点の参加者は、会議室内の任意の方向の映像を取得することができ、会議室内の複数の会議参加者やインタラクティブボード３１０やホワイトボード３２０などに表示される情報を閲覧することが可能となる。

また、各拠点から映像や音声などの映像信号を配信することもでき、例えば、複数拠点各々で全天球撮像デバイス１０および情報端末１７０を用いれば、互いの会議室の様子を全天球映像で相互に確認することが可能となる。

なお、説明する実施形態では、全天球画像であるものとするが、会議支援やビデオ通話などの用途では、全天球画像に限定されず、水平３６０度かつ垂直１８０度未満の３６０°パノラマ画像であってもよい。

＜会議システムにおける課題＞
図１７は、会議室への全天球撮像デバイス１０の設置例を示している。会議室３００には、インタラクティブボード３１０とホワイトボード３２０とが備え付けられているものとする。ホワイトボード３２０は、ホワイトボード用のペンを用いて手書きで文字や図形を記載して、会議を効率的に運営するために用いられる。また、インタラクティブボード３１０は、会議参加者のＰＣなどの端末から映像の表示や、ホワイトボードと同様に画面上に専用ペンを用いて手書きで文字や図形を書き込んだりすることが可能なデバイスである。

上述したように、全天球撮像デバイス１０は、２つの結像光学系２０Ａ，２０Ｂを用いているため、全天球撮像デバイス１０により撮像される映像においては、２つの撮像光学系から得られた２つの部分画像をつなぎ合わせたときのつなぎ境界が発生する。図１７では、全天球撮像デバイス１０が撮影する全天球画像におけるつなぎ境界３３０に対応する部分を会議室に備え付けられたインタラクティブボード３１０の方に向けている。インタラクティブボード３１０には、会議資料が表示されたり、場合によっては表示資料に手書きで文字や図形が書き込まれることがある。また、図１７で円弧の矢印で示すように、例えば参加者Ｄが、席に座っている場合もあるし、インタラクティブボード３１０の前に移動して、会議資料を説明する場合もある。その場合、全天球画像のつなぎ境界上に、参加者Ｄが含まれたり、含まれなかったりといった状況が発生する。

図１８は、ビデオ会議システムでネットワークサーバ上に配信されている全天球フォーマットの映像の例示する。図１８（Ａ）は、参加者Ｄ４０２がインタラクティブボード３１０の前に移動していて、参加者Ｄ４０２によってインタラクティブボード３１０が隠されている状況を示す。図１８（Ｂ）は、参加者Ｄ４０２が席に座ってインタラクティブボード３１０が隠されていない状況を示している。参加者Ｄ４０２が移動することで全天球撮像デバイス１０と被写体との距離が変化するため、全天球撮像デバイス１０は、適応的につなぎ位置を変更すること、つまり、全天球撮像デバイス１０と被写体との距離の変化に応じてつなぎ位置を変更することが望ましい。

適応的につなぎ位置変更するためには、フレーム毎に各箇所でのつなぎ位置を検出すること求められるところ、適応的につなぎ位置を変更する場合、（１）フレーム間の非連続性が目立ってくる点、（２）つなぎ位置検出が、比較的に高い処理負荷となるため、消費電力が増大し、より高価なコントローラが必要となる点で、改善の余地がある。

ここで、上述したフレーム間の非連続性とは、頻繁なつなぎ位置の変更に起因して、フレーム間で、つなぎ合わせ箇所で画像が不自然に動いてしまい、動画の品質の劣化を生じさせるものである。例えば、会議を撮影している場合に、全天球撮像デバイス１０も撮影環境中の被写体も動きがあまりないにも関わらず、つなぎ合わせ部分の画像情報のわずかな変化（例えば、ノイズによる輝度値の変化等）に起因して、検出されるつなぎ位置が変化することがある。この変化に対応して、頻繁につなぎ位置を変えてしまうと、不自然な動きとして映像に顕れてしまう。

本実施形態による全天球撮像デバイス１０においては、図５に示すつなぎ位置検出処理部２０６は、評価部２０７と、検出部２０８とを含み構成されている。位置検出処理部２０６は、つなぎ位置情報記憶部２１０に記憶しておいた各箇所の過去に検出されたつなぎ位置を評価部２０７によって評価し、過去のつなぎ位置を活用するとともに、所定の条件を満たした箇所については検出部２０８によって改めてつなぎ位置の検出を行う。このように、本実施形態によるつなぎ位置検出処理部２０６は、動的につなぎ位置の検出を行うとともに、不要な箇所のつなぎ位置の検出を省略するよう構成されている。

フレーム毎につなぎ位置を動的に検出する方式を「動的つなぎ」と参照し、上述した必要な箇所のつなぎ位置の検出を行う一方で不要な箇所のつなぎ位置の検出を省略する方式を、以下、「間欠的つなぎ」と参照する。説明する実施形態では、「間欠的つなぎ」を行うものとして説明するが、「動的つなぎ」、「間欠的つなぎ」およびその他のつなぎ方式のいずれを実行するかを、アプリケーション上での操作や全天球撮像デバイス１０の操作ボタン１８の押下によって設定可能に構成することもできる。

つなぎ位置情報記憶部２１０は、入力される部分画像０および部分画像１の間の複数の箇所各々のつなぎ位置を記憶する。より好ましくは、つなぎ位置情報記憶部２１０は、前回フレームでの各箇所のつなぎ位置を記憶する。上述したように、各箇所のつなぎ位置は、部分画像０および部分画像１から変換された位置検出用補正画像０および位置検出用補正画像１間のものであるため、全天球フォーマット上の座標における各箇所に対して、その座標系での基準からのずれ量として記録される。

評価部２０７は、複数の箇所各々について、つなぎ位置情報記憶部２１０に記憶された前回フレームでのつなぎ位置の現フレームでの有効性を評価する。ここで、有効性の評価は、過去のつなぎ位置を用いて現フレームで所期の精度でつなぎ合わせが可能であるかを評価するものである。評価部２０７は、より具体的には、前回のつなぎ位置を現フレームの画像に適用した場合の適合度を、有効性を示す評価値として計算する。適合度は、上述したＺＮＣＣやＺＳＳＤなどのマッチングスコアを用いることができるが、特に限定されるものではない。評価部２０７は、本実施形態における評価手段および計算手段を構成する。有効性が所定の基準を満たした箇所については、改めてのつなぎ位置の検出は行われず、つなぎ位置情報記憶部２１０に記憶された前回のつなぎ位置が用いられる。

検出部２０８は、有効性が所定の基準を満たさない箇所について、所定の探索範囲を設定し、現在の画像間のつなぎ位置を検出する。パターンマッチング等によるつなぎ位置の検出自体は、上述した通りである。検出部２０８は、本実施形態における検出手段を構成する。

テーブル修正部２１２は、有効性が基準を満たした箇所については前回のつなぎ位置を用いて、有効性が基準を満たさない箇所については、改めて検出されたつなぎ位置を用いて、位置検出用変換テーブル２３０に対して修正を施す。テーブル生成部２１４は、テーブル修正部２１２から渡された変換データから、画像合成用変換テーブル２３２を生成する。画像合成用歪み補正部２１６は、部分画像０および部分画像１に対し、画像合成用変換テーブル２３２を用いて歪み補正をかける。画像合成部２１８は、歪み補正により得られた画像合成用補正画像０および画像合成用補正画像１を合成する。したがって、本実施形態における画像合成処理手段は、有効性が基準を満たした箇所については、前回のつなぎ位置に基づいて合成処理を実行することになる。

特定の実施形態においては、すべての箇所で有効性が基準を満たす場合には、すべての箇所のつなぎ位置は前回のまま変化せず、前回のテーブルをそのまま用いることができるため、上述した変換テーブルの更新（修正および生成）が省略される。一方で、複数の箇所のうちの１以上の箇所でつなぎ位置の変更があった場合は、変換テーブルの更新（再生成）が行われることになる。なお、説明する実施形態では、１以上の箇所でつなぎ位置の変更があった場合に変換テーブルの全体の更新が行われるものとして説明するが、これに限定されるものではない。

ブロック（箇所）毎にまたはブロック（箇所）のグループ毎に変換テーブルの一部を部分的に更新できるような実施形態では、有効性が基準を満たさないブロック（箇所）を含む単位で更新が行われてもよい。しかしながら、変換テーブルを生成する処理自体の計算負荷は、パターンマッチングなどでつなぎ位置を検出するための処理の計算負荷と比較して高くはないため、上述したように、１以上の箇所のつなぎ位置の変化に応答して一律に変換テーブル全体の更新が行われても大きな負荷の増加にはつながらない。

＜間欠的つなぎ＞
以下、図１９〜図２２を参照しながら、本実施形態による間欠的つなぎを行う場合の全天球動画像合成処理について、より詳細に説明する。図１９は、本実施形態による全天球撮像デバイス１０が実行する全天球動画像合成処理のメイン処理のフローチャートである。図１９に示す処理は、例えば、ビデオ会議支援アプリケーションからの配信開始の指示に応答して、ステップＳ２００から開始される。

ステップＳ２０１では、全天球撮像デバイス１０は、評価部２０７により、記憶されている過去のつなぎ位置の評価を行う。図２０は、本実施形態による全天球撮像デバイス１０が実行するつなぎ位置評価処理のフローチャートである。図２０に示す処理は、図１９に示すステップＳ２０１で呼び出されて、ステップＳ３００から開始される。なお、図２０に示すつなぎ位置評価処理は、全天球撮像デバイス１０の評価部２０７が処理を担当する。

ステップＳ３０１では、全天球撮像デバイス１０は、つなぎ位置評価の初期化を行う。なお、つなぎ位置評価は、各箇所についてつなぎ位置の検出が必要（つなぎ位置検出「要」：ＬＶ０）であるか否（つなぎ位置検出「不要」：ＬＶ１）かの判定結果を格納する。初期化の際は、つなぎ位置評価は、すべての箇所について、つなぎ位置検出が必要（つなぎ位置検出「要」：ＬＶ０）であるとして初期化される。

ステップＳ３０２では、全天球撮像デバイス１０は、現フレームが先頭フレームであるか否かに応じて処理を分岐させる。ステップＳ３０２で、先頭フレームであると判定された場合（ＹＥＳ）は、つなぎ位置評価が初期値のまま、ステップＳ３１０で本つなぎ位置評価処理が終了する。

一方、ステップＳ３０２で、先頭フレームではないと判定された場合（ＮＯ）は、ステップＳ３０３へ処理が進められる。ステップＳ３０３〜ステップＳ３０９のループは、ブロック（ｉ）毎に行われる。

ステップＳ３０４では、全天球撮像デバイス１０は、つなぎ位置情報記憶部２１０から、当該ブロック（ｉ）についての前回のつなぎ位置を取得する。ステップＳ３０５では、全天球撮像デバイス１０は、当該ブロック（ｉ）についての前回のつなぎ位置に対し、現フレームでの評価値（例えばマッチングスコア）を計算し、つなぎ位置情報記憶部２１０に記録する。ステップＳ３０６では、全天球撮像デバイス１０は、当該ブロック（ｉ）について計算された評価値が、基準として設けられた閾値以上であるか否かを判定する。

上述したように、マッチングスコアは、類似度を表し、大きい方が類似度が高い、つまり、位置合わせの精度が良いことを意味している。このため、ここでは、評価値が閾値以上であるかを判定している。しかしながら、評価値が非類似度を表しており、小さい方が類似度が高いという場合は、閾値以下であるかを判定することとしてよい。なお、比較対象となる閾値は、予め定められた値を用いてもよいし、前回フレームでのつなぎ位置検出時または評価時のマッチングスコアに対して所定のマージン分を減算した値を用いてもよい。

また、マッチングスコア（適合度）は、つなぎ位置を検出する際に計算されるものと同一のものに限定されず、より簡潔な、計算負荷が小さな評価式（例えば画素値や輝度の差分の和（総和、二乗和など））を用いることを妨げるものではない。また、リソースを削減する観点からは、現フレームにおける、テンプレート画像５０２と、探索用画像５１０内の前回のつなぎ位置での対応部分５１４との間のマッチングスコア、画素値や輝度の差分の和（総和、二乗和など）などを用いることが好ましい。しかしながら、これに限定されるものではなく、他の実施形態では、前回フレームのテンプレート画像などを保持することになるが、現フレームおよび前回フレーム間のテンプレート画像の画素値の差分の和や輝度差の和を評価値としてもよい。閾値などの基準を用いた判定を行うことにより、微小な変化ではつなぎ位置検出を行わないようにして、フレーム間の不連続性の発生を抑止することができる。

ステップＳ３０６で、評価値が閾値以上であると判定された場合（ＹＥＳ）は、ステップＳ３０７へ処理が分岐される。ステップＳ３０７では、全天球撮像デバイス１０は、当該ブロック（ｉ）について、つなぎ位置検出が不要であるという評価判定（つなぎ位置検出「不要」：ＬＶ１）を記憶する。一方、ステップＳ３０６で、評価値が閾値未満であると判定された場合（ＮＯ）は、ステップＳ３０８へ処理が分岐される。ステップＳ３０８では、全天球撮像デバイス１０は、つなぎ位置検出が必要であるという評価判定（つなぎ位置検出「要」：ＬＶ０）を記憶する。

すべてのブロックについてステップＳ３０３〜ステップＳ３０９の処理が完了すると、ステップＳ３１０で、本つなぎ評価処理は終了し、制御は、図１９に示すメイン処理に戻される。

図２１は、本実施形態において、つなぎ位置情報記憶部２１０に格納されるつなぎ位置情報のデータ構造を示す。図２１（Ａ）は、評価対象の前回のつなぎ位置を格納するテーブルを示し、図２１（Ｂ）は、ブロック毎に図２０に示すつなぎ位置評価処理による評価判定を格納するテーブルを示す。図２１（Ｂ）に示すように、図２０に示すつなぎ位置評価処理によって、対象のフレームについて、ブロック毎に、前回のつなぎ位置の有効性を示す評価値とその評価判定とが記録される。

再び図１９を参照すると、ステップＳ２０２では、全天球撮像デバイス１０は、検出部２０８により、図２１（Ｂ）に示す評価判定テーブルを参照して、必要な箇所のつなぎ位置の検出を行う。図２２は、本実施形態による全天球撮像デバイス１０が実行するつなぎ位置検出処理のフローチャートである。図２２に示す処理は、図１９に示すステップＳ２０２で呼び出されて、ステップＳ４００から開始される。なお、図２２に示すつなぎ位置検出処理は、全天球撮像デバイス１０の検出部２０８が担当する。

ステップＳ４０１では、全天球撮像デバイス１０は、検出カウンタの初期化を行う。ここで、検出カウンタは、当該フレームについて、つなぎ位置検出を行ったブロックを計数するために用いるものであり、ステップＳ４０１では、０に初期化される。

ステップＳ４０２〜ステップＳ４０８のループは、ブロック（ｉ）毎に行われる。ステップＳ４０３では、全天球撮像デバイス１０は、図２１（Ｂ）に示すテーブル中の当該ブロック（ｉ）の評価判定を参照し、つなぎ位置検出「要」であるか否かを判定する。

ステップＳ４０３で、つなぎ位置検出「不要」であると判定された場合（ＮＯ）は、処理をステップＳ４０４へ分岐させる。ステップＳ４０４では、全天球撮像デバイス１０は、当該ブロックについて、前回のつなぎ位置を用いることとして、検出部２０８によるつなぎ位置の検出を省略し、ステップＳ４０８へ処理を進める。

一方、ステップＳ４０３で、つなぎ位置検出「要」であると判定された場合（ＹＥＳ）は、ステップＳ４０５に処理が分岐させる。ステップＳ４０５では、全天球撮像デバイス１０は、当該ブロックについて、パターンマッチングなどにより、つなぎ位置の検出を行う。ステップＳ４０６では、全天球撮像デバイス１０は、検出カウンタをインクリメントする。ステップＳ４０７では、全天球撮像デバイス１０は、検出されたつなぎ位置で、つなぎ位置情報記憶部２１０の図２１（Ａ）に示すテーブルにおいて、当該ブロックの前回のつなぎ位置の値を上書きして更新し、ステップＳ４０８へ処理を進める。

すべてのブロックについてステップＳ４０２〜ステップＳ４０８の処理が完了すると、ステップＳ４０９で、本つなぎ検出処理は終了し、図１９に示すメイン処理に戻される。

再び図１９を参照すると、ステップＳ２０３では、全天球撮像デバイス１０は、つなぎ位置の更新が有ったか否かを判定する。現在の処理対象のフレームについて、上述した検出カウンタが１以上であった場合は、つなぎ位置の更新が有ったと判定される。ステップＳ２０３で、つなぎ位置の更新があったと判定された場合（ＹＥＳ）は、ステップＳ２０４へ処理が分岐される。

ステップＳ２０４では、全天球撮像デバイス１０は、新たに検出されたつなぎ位置を含むつなぎ位置データに基づいて、変換テーブルの作成および更新を行い、ステップＳ２０５へ処理を進める。ステップＳ２０４の処理は、図６に示したステップＳ１０５およびステップＳ１０６の処理が対応する。一方、ステップＳ２０３で、つなぎ位置の更新が行われていないと判定された場合（ＮＯ）は、ステップＳ２０５へと直接処理を進める。

ステップＳ２０５では、全天球撮像デバイス１０は、現在の変換テーブルを用いて、部分画像０および部分画像１に対し歪み補正および画像合成を行い、ステップＳ２０６へ処理を進める。ステップＳ２０５の処理は、図６に示したステップＳ１０７〜ステップＳ１０９の処理が対応する。

ステップＳ２０６では、全天球撮像デバイス１０は、入力されたものが最終フレームであるか否かを判断する。ステップＳ２０６で、最終フレームではないと判定された場合（ＮＯ）は、ステップＳ２０１へループされ、処理を継続する。これに対して、ステップＳ２０６で、最終フレームであると判定された場合（ＹＥＳ）は、ステップＳ２０７へ処理を分岐させて、本画像合成処理を終了する。

図２３は、本実施形態による全天球撮像デバイスにおいてテーブル更新のタイミングを説明するタイミングチャートである。図２３に示すように、先頭フレーム（フレーム１）では、全ブロックでつなぎ位置検出が行われ、変換テーブルが更新される。そして、つなぎ位置更新判定で、つなぎ位置更新が必要であると判定された場合に変換テーブルが更新される（フレーム６、１４）。一方、つなぎ位置更新判定で、つなぎ位置更新が不要であると判定された場合（フレーム２〜５、７〜１３、１５〜１８）。には、テーブル更新が発生せず、前回のフレームで用いられた変換テーブルが使用される。

上記構成によれば、各箇所の過去のつなぎ位置が現フレームでも充分に高いつなぎ精度を示し有効である場合に、改めてつなぎ位置の検出を行わずに過去のつなぎ位置を活用することができる。そのため、仮に改めてつなぎ位置の検出を行った場合に、大きくマッチングスコアが改善しないが別の最適なつなぎ位置が検出されるようなときに、その不必要なつなぎ位置の更新を抑制することができ、ひいては、フレーム間の不連続性の発生を抑制することが可能となる。

また、不必要な箇所でのつなぎ位置の検出が省略されるので、つなぎ検出のための計算負荷を削減することができる。計算負荷が削減されるので、デバイスに対するハードウェア要件（ＣＰＵ、ＧＰＵ、メモリなど）も緩和することができ、低コスト化することができ、発熱を抑制し、消費電力も低減することもできる。本実施形態による全天球撮像デバイス１０は、特にライブストリーミングやリアルタイムの動画記録を行う場合において有用である。

＜間欠的つなぎの変形例＞
上述した実施形態による間欠的つなぎは、前回のつなぎ位置のみを用いるものであった。一方で、会議やビデオ通話の用途においては、屋内で設置空間が仕切られていることが多く、被写体までの距離は、通常、会議室などの設置空間の壁などの位置が限界となる。以下、図１９、図２４〜図２６を参照しながら、前回のつなぎ位置に加えて、所定期間内で検出された最遠のつなぎ位置（以下、基本のつなぎ位置と参照する。）を保持する変形例の実施形態について説明する。この変形例の実施形態では、前回のつなぎ位置が有効ではない場合でも、基本のつなぎ位置が有効である場合には、基本のつなぎ位置を用いることで、つなぎ位置の検出を省略することが可能となる。

変形例の実施形態では、機能ブロックや全天球動画像合成処理のメイン処理は大きく変更はないため、図５に示す機能ブロックおよび図１９に示すフローチャートをそのまま参照する。変形例の処理も、例えばビデオ会議支援アプリケーションからの配信開始の指示に応答して、ステップＳ２００から開始される。

ステップＳ２０１では、全天球撮像デバイス１０は、評価部２０７により、記憶されている前回および基本の一方または両方のつなぎ位置の評価を行う。図２４は、変形例の実施形態による全天球撮像デバイスが実行するつなぎ位置評価処理のフローチャートである。図２４に示す処理は、図１９に示すステップＳ２０１で呼び出されて、ステップＳ５００から開始される。なお、図２４に示すつなぎ位置評価処理は、同様に、図５に示す評価部２０７が処理を担当する。

ステップＳ５０１では、全天球撮像デバイス１０は、つなぎ位置評価の初期化を行う。初期化の際は、つなぎ位置評価は、すべての箇所について、つなぎ位置の検出が必要（つなぎ位置検出「要」：ＬＶ０）として初期化される。

ステップＳ５０２では、全天球撮像デバイス１０は、現フレームが先頭フレームであるか否かに応じて処理を分岐させる。ステップＳ５０２で、先頭フレームであると判定された場合（ＹＥＳ）は、つなぎ位置評価が初期値のまま、ステップＳ５１４で本つなぎ位置評価処理が終了する。

一方、ステップＳ５０２で、先頭フレームではないと判定された場合（ＮＯ）は、ステップＳ５０３へ処理が進められる。ステップＳ５０３〜ステップＳ５１３のループは、ブロック（ｉ）毎に行われる。

ステップＳ５０４では、全天球撮像デバイス１０は、つなぎ位置情報記憶部２１０から前回のつなぎ位置を取得する。ステップＳ５０５では、全天球撮像デバイス１０は、前回のつなぎ位置に対し、現フレームでの第１の評価値（例えばマッチングスコア）を計算し、つなぎ位置情報記憶部２１０に記録する。ステップＳ５０６では、全天球撮像デバイス１０は、第１の評価値が第１の閾値以上であるか否かを判定する。

ステップＳ５０６で、第１の評価値が第１の閾値以上であると判定された場合（ＹＥＳ）は、ステップＳ５０７へ処理が分岐される。ステップＳ５０７では、全天球撮像デバイス１０は、つなぎ位置検出が不要で、前回のつなぎ位置を用いるという評価判定（つなぎ位置検出「不要」「前回のつなぎ位置」使用：ＬＶ１）を記憶する。

一方、ステップＳ５０６で、第１の評価値が第１の閾値未満であると判定された場合（ＮＯ）は、ステップＳ５０８へ処理が分岐される。ステップＳ５０８では、全天球撮像デバイス１０は、つなぎ位置情報記憶部２１０から基本のつなぎ位置を取得する。第２フレーム以降、最初に記憶される基本のつなぎ位置は、初回に検出したつなぎ位置となる。また、基本のつなぎ位置の更新については後述するが、撮影開始から現在まで、または、少なくとも所定継続フレーム数前から現在までの最遠側のつなぎ位置を保持する。

ステップＳ５０９では、全天球撮像デバイス１０は、基本のつなぎ位置に対し、現フレームでの第２の評価値（例えばマッチングスコア）を計算し、つなぎ位置情報記憶部２１０に記録する。なお、ここで、第１の評価値が第１の閾値未満である場合に、基本のつなぎ位置に対する第２の評価値を算出するよう構成しているのは、可能な限り評価値の計算負荷を削減するためである。ステップＳ５１０では、全天球撮像デバイス１０は、第２の評価値が第２の閾値以上であるか否かを判定する。

ステップＳ５１０で、第２の評価値が第２の閾値以上であると判定された場合（ＹＥＳ）は、ステップＳ５１１へ処理が分岐される。ステップＳ５１１では、全天球撮像デバイス１０は、つなぎ位置検出が不要で、基本のつなぎ位置を用いるという評価判定（つなぎ位置検出「不要」「基本のつなぎ位置」使用：ＬＶ２）を記憶する。

一方で、ステップＳ５１０で、第２の評価値が第２の閾値未満であると判定された場合（ＮＯ）は、ステップＳ５１２へ処理が分岐される。ステップＳ５１２では、全天球撮像デバイス１０は、つなぎ位置検出が必要であるという評価判定（つなぎ位置検出「要」：ＬＶ０）を記憶する。

すべてのブロックについてステップＳ５０３〜ステップＳ５１３の処理が完了すると、ステップＳ５１４で、本つなぎ評価処理は終了し、制御は、図１９に示すメイン処理に戻される。

図２５は、変形例の実施形態において、つなぎ位置情報記憶部２１０に格納されるつなぎ位置情報のデータ構造を示す。図２５（Ａ）は、評価対象の過去のつなぎ位置を格納するテーブルを示し、図２５（Ｂ）は、図２４に示すつなぎ位置評価処理による評価判定を格納するテーブルを示す。図２５（Ａ）に示すように、つなぎ位置格納テーブルは、ブロック毎に、前回のつなぎ位置の座標値に加えて、基本のつなぎ位置の座標値を記録する。また、図２５（Ｂ）に示すように、図２４に示すつなぎ位置評価処理によって、対象のフレームについてブロック毎に、前回のつなぎ位置の有効性を示す第１評価値と、基本のつなぎ位置の有効性を示す第２評価値と、これらに基づく評価判定とが記録される。

再び図１９を参照すると、ステップＳ２０２では、全天球撮像デバイス１０は、検出部２０８により、図２５（Ｂ）に示す評価判定テーブルを参照して、必要な箇所のつなぎ位置の検出を行う。図２６は、変形例の実施形態による全天球撮像デバイスが実行するつなぎ位置検出処理のフローチャートである。図２６に示す処理は、図１９に示すステップＳ２０２で呼び出されて、ステップＳ６００から開始される。なお、図２６に示すつなぎ位置検出処理は、図５に示す検出部２０８が担当する。

ステップＳ６０１では、全天球撮像デバイス１０は、検出カウンタの初期化を行う。ステップＳ６０２〜ステップＳ６２１のループは、ブロック（ｉ）毎に行われる。ステップＳ６０３では、全天球撮像デバイス１０は、図２５（Ｂ）に示すテーブル中の当該ブロック（ｉ）の評価判定を参照し、評価判定に応じて処理を分岐させる。

ステップＳ６０３で、つなぎ位置検出「要」であると判定された場合（ＬＶ０）は、処理をステップＳ６０４へ分岐させる。ステップＳ６０４では、全天球撮像デバイス１０は、当該ブロックについて、パターンマッチングにより、つなぎ位置の検出を行う。ステップＳ６０５では、全天球撮像デバイス１０は、検出カウンタをインクリメントする。ステップＳ６０６では、全天球撮像デバイス１０は、当該ブロックについての非更新継続カウンタをリセット（１とする）する。ここで、非更新継続カウンタは、当該ブロックについて、つなぎ位置を更新しないフレームが何フレーム継続しているかを計数するために用いられる。ステップＳ６０７では、全天球撮像デバイス１０は、つなぎ位置情報記憶部２１０の図２５（Ａ）に示すテーブルにおいて、当該ブロックの前回のつなぎ位置の値を検出されたつなぎ位置で更新する。

ステップＳ６０８では、全天球撮像デバイス１０は、既に基本のつなぎ位置が記憶されているか否かを判定する。先頭フレームの場合は、基本のつなぎ位置が未だ格納されていないので、ここでは、基本のつなぎ位置が存在しないと判定される。ステップＳ６０８で、基本のつなぎ位置が存在しないと判定された場合（ＹＥＳ）は、ステップＳ６１０へ処理が分岐され、つなぎ位置情報記憶部２１０の図２５（Ａ）に示すテーブルにおいて、当該ブロックの基本のつなぎ位置の値を検出されたつなぎ位置で更新し、ステップＳ６２１へ処理が進められる。

一方、ステップＳ６０８で、基本のつなぎ位置が記憶済みであると判定された場合（ＹＥＳ）は、ステップＳ６０９へ処理が分岐される。ステップＳ６０９では、全天球撮像デバイス１０は、新たに検出されたつなぎ位置が、基本のつなぎ位置よりも遠距離であるか否かを判定する。ステップＳ６０８で、基本のつなぎ位置よりも遠距離であると判定された場合（ＹＥＳ）は、ステップＳ６１０へ処理が分岐され、つなぎ位置情報記憶部２１０の図２５（Ａ）に示すテーブルにおいて、当該ブロックの基本のつなぎ位置の値を検出されたつなぎ位置で更新し、ステップＳ６２１へ処理が進められる。一方、ステップＳ６０８で、基本のつなぎ位置よりも遠距離ではないと判定された場合（ＮＯ）は、そのままステップＳ６２１へ処理が進められる。

ここで、遠距離とは、図１１を参照して説明した通りの意味である。図２７は、本実施形態による、被写体距離に応じたつなぎ位置の違いを説明する図である。図２７に示す距離Ａおよび距離Ｂは、全天球撮像デバイス１０（その光学系の中心）からの被写体距離を示している。図２７に示すように、つなぎ境界に対応する同じ方位にある被写体であっても、被写体からの距離に応じて、つなぎ位置がずれる。距離Ａが、図１１に示す遠距離側のつなぎ位置を示しており、距離Ｂが、図１１に示す近距離側のつなぎ位置を示している。被写体距離が遠距離になるほど、部分画像において被写体が周辺から中心へ移動することになる。

一方、ステップＳ６０３で、つなぎ位置検出「不要」かつ「前回のつなぎ位置」使用と判定された場合（ＬＶ１）は、処理をステップＳ６１１へ分岐させる。ステップＳ６１１では、全天球撮像デバイス１０は、当該ブロックについて、前回のつなぎ位置を用いることとして、検出部２０８によるつなぎ位置の検出は省略し、ステップＳ６１２へ処理を進める。ステップＳ６１２では、全天球撮像デバイス１０は、前回のつなぎ位置がもう一度使われることになるので、当該ブロックについての非更新継続カウンタをインクリメントする。

ステップＳ６１３では、全天球撮像デバイス１０は、前回のつなぎ位置が、基本のつなぎ位置よりも近距離であるか否かを判定する。ステップＳ６１３で、基本のつなぎ位置よりも近距離ではないと判定された場合（ＮＯ）は、そのままステップＳ６２１へ処理が進められる。一方、ステップＳ６１３で、基本のつなぎ位置よりも近距離であると判定された場合（ＹＥＳ）は、ステップＳ６１４へ処理が分岐される。

ステップＳ６１４では、全天球撮像デバイス１０は、当該ブロックでの非更新継続カウンタが所定の閾値を超えているか否かを判定する。ステップＳ６１４で、非更新継続カウンタが所定の閾値を超えていないと判定された場合（ＮＯ）は、そのままステップＳ６２１へ処理が進められる。

一方、ステップＳ６１４で、非更新継続カウンタが所定の閾値以上であると判定された場合（ＹＥＳ）は、ステップＳ６１５へと処理が進められ、つなぎ位置情報記憶部２１０の図２５（Ａ）に示すテーブルにおいて、当該ブロックの基本のつなぎ位置の値を前回のつなぎ位置で更新し、ステップＳ６１６で、当該ブロックの非更新継続カウンタをリセットし、ステップＳ６２１へ処理が進められる。

再びステップＳ６０３を参照すると、ステップＳ６０３で、つなぎ位置検出「不要」かつ「基本のつなぎ位置」使用と判定された場合（ＬＶ２）は、処理をステップＳ６１７へ分岐させる。ステップＳ６１７では、全天球撮像デバイス１０は、当該ブロックについて、基本のつなぎ位置を用いることとし、検出部２０８によるつなぎ位置の検出は省略し、ステップＳ６１８へ処理を進める。ステップＳ６１８では、全天球撮像デバイス１０は、全天球撮像デバイス１０は、検出カウンタをインクリメントする。新たにつなぎ位置を検出せず基本のつなぎ位置を用いるとはいえ、前回のつなぎ位置とは異なるためである。

ステップＳ６１９では、全天球撮像デバイス１０は、当該ブロックについての非更新継続カウンタをリセット（１とする）する。ステップＳ６２０では、全天球撮像デバイス１０は、つなぎ位置情報記憶部２１０の図２５（Ａ）に示すテーブルにおいて、当該ブロックの前回のつなぎ位置の値を基本のつなぎ位置で更新する。この場合は、前回のつなぎ位置と基本のつなぎ位置とが一致することになる。

この基本のつなぎ位置は、改めて、記憶される基本のつなぎ位置と比較して遠距離側で新たなつなぎ位置が検出されるか、近距離側で新たにつなぎ位置が検出され、その同一のつなぎ位置の継続期間が所定の基準を満たす場合（更新継続カウンタが所定の閾値以上となる場合）に、そのつなぎ位置で更新される。

すべてのブロックについてステップＳ６０２〜ステップＳ６２１の処理が完了すると、ステップＳ６２２で、本つなぎ検出処理は終了し、図１９に示すメイン処理に戻される。

再び図１９を参照すると、ステップＳ２０３では、全天球撮像デバイス１０は、つなぎ位置の更新が有ったか否かを判定する。ステップＳ２０３で、つなぎ位置の更新があったと判定された場合（ＹＥＳ）は、ステップＳ２０４へ処理が分岐される。ステップＳ２０４では、全天球撮像デバイス１０は、変換テーブルの作成および更新を行い、ステップＳ２０５へ処理を進める。一方、ステップＳ２０３で、つなぎ位置の更新が行われていないと判定された場合（ＮＯ）は、ステップＳ２０５へと直接処理を進める。ステップＳ２０５では、全天球撮像デバイス１０は、現在の変換テーブルを用いて、部分画像０および部分画像１に対し歪み補正および画像合成を行い、ステップＳ２０６へ処理を進める。図６に示したステップＳ１０７〜ステップＳ１０９の処理が対応する。

ステップＳ２０６では、全天球撮像デバイス１０は、入力されたものが最終フレームであるか否かを判断する。ステップＳ２０６で、最終フレームではないと判定された場合（ＮＯ）は、ステップＳ２０１へループされ、処理を継続する。これに対して、ステップＳ２０６で、最終フレームであると判定された場合（ＹＥＳ）は、ステップＳ２０７へ処理を分岐させて、本画像合成処理を終了する。

上記構成によれば、各箇所の前回または基本のつなぎ位置が現フレームでも充分なつなぎ精度を示して有効である場合に、改めてつなぎ位置の検出を行わずに、前回または基本いずれかのつなぎ位置を活用することができる。そのため、フレーム間の不連続性の発生を抑制することが可能となる。また、不必要な箇所でのつなぎ位置の検出が省略されるので、つなぎ検出のための計算負荷を削減することができる。計算負荷が削減されるので、デバイスに対するハードウェア要件も緩和することができ、発熱を抑制し、消費電力も低減することもできる。

ここで、基本のつなぎ位置は、所定期間において、最も遠距離側のつなぎ位置を保持することを目的としている。特に、会議室等の区切られた室内空間内では、遠距離側は無限遠などは必要なく、距離を限定することができる。基本のつなぎ位置で保持された位置よりも遠距離側につなぎ位置が検出される場合、物体（例えば、ホワイトボード）が動かされたことにより、物体に隠れていた遠距離の被写体（例えば壁）が現れた状況が考えられ、この場合は、遠距離側が更新されたと判定し、基本のつなぎ位置を更新する。反対に、物体が動かされて今まで見えていた遠距離の被写体が隠される場合があり、その対応としては、上述した非更新継続カウンタを用いて一定時間更新がなければ、遠距離側が変更されたと判定し、近距離側に基本のつなぎ位置を更新する。非更新継続カウンタを用いるのは、会議支援など全天球撮像デバイス１０が静置されるような用途では、遠距離側は、あまり動かないが、近距離側では、人が横切るなどの一時的に近距離側のつなぎ位置が検出される可能性があるため、一定期間固定されたことを待って、基本のつなぎ位置を更新している。本変形例の実施形態は、会議支援など、屋内のような、壁などの遮蔽物で区切られた設置空間で、全天球撮像デバイス１０が静置されるような用途において、特に有用である。

図２６のステップＳ６０４では、有効性が基準を満たさない箇所について、パターンマッチングにより、つなぎ位置の検出が行われる。この際に、所定の探索範囲が設定されることになるが、上記基本のつなぎ位置を用いることで、探索範囲を限定し、計算負荷をより一層低減することができる。

図２８（Ａ）は、特定の実施形態において、基本のつなぎ位置に応じてつなぎ位置の検出の際の探索範囲を制限する技術を説明する図である。上述したように、つなぎ位置検出は、探索範囲を全域（−ｓｙ〜＋ｓｙ）で行う場合は、処理時間が増大する。基本のつなぎ位置は、上述したように、会議室３００の遠距離端の位置を示しているため、基本のつなぎ位置から近距離方向に向けて探索範囲を限定する（−ｍｙ〜＋ｓｙ）ことで高速につなぎ位置を検出することが可能となる。ここで、−ｍｙは、基本のつなぎ位置としてもよいし、基本のつなぎ位置に所定のマージンを加えて遠距離側の位置としてもよい。なお、先頭フレームでは、遠距離側の探索範囲は限定せず、全域（−ｓｙ〜＋ｓｙ）でつなぎ位置検出を行う。

図２８（Ｂ）は、特定の実施形態において、上述した基本のつなぎ位置に代えて、別途検出された被写体距離情報に応じてつなぎ位置の検出の際の探索範囲を制限する技術を説明する図である。

図２８（Ｂ）に示すように、予め被写体距離に対応する探索位置を設定し、被写体距離情報から、事前に設定した探索範囲を呼び出して、その探索範囲で探索を行うことで高速につなぎ位置の検出を行うことができる。例えば、図２８（Ｂ）のように、被写体距離情報が０．５ｍの場合、０．５ｍ付近の領域（灰色領域）でつなぎ位置検出を行うことができる。ここで、被写体距離情報は、画像における被写体の大きさから推定してもよいし、測距センサによる測定結果など公知の技術で取得できる。

以上説明したように、上述した実施形態によれば、複数の画像を合成した合成画像において、つなぎ合わせ箇所近傍で画像が不自然に動く等、つなぎ位置の変更に起因する動画の品質の劣化を抑制することが可能な画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラムを提供することができる。

以上説明した実施形態では、全天球撮像デバイス１０が、本実施形態における画像処理装置、画像処理システムおよび撮像装置を構成していた。しかしながら、画像処理装置、画像処理システムおよび撮像装置の構成は、上述した構成に限定されるものではない。他の実施形態では、上述した部分画像撮像処理を除く画像処理を、情報端末１７０、その他の画像処理装置（例えばパーソナル・コンピュータやサーバ、クラウド上の仮想コンピュータなど）上で分散実装してもよい。このような実施形態では、全天球撮像デバイス１０は、複数の部分画像を取得して出力し、情報端末１７０や他の画像処理装置は、全天球撮像デバイス１０から出力された複数の部分画像の入力を受け、間欠的つなぎを行う画像合成処理を行い、出力画像を生成し、モニタ画像を表示したり、画像データを保存したりすることができる。

また、上述した実施形態では、全天球撮像デバイス１０と情報端末１７０とを組み合わせて会議支援システムを構成しているが、全天球撮像デバイス１０に情報端末１７０の機能を組み込んで、映像の撮像からサーバへの配信を行う単一のデバイスを構成してもよい。

なお、上述までの実施形態では、つなぎ位置の有効性を評価する具体的な指標としてマッチングスコアを挙げた。マッチングスコアは、計算コストが低く、高速に行えるため、比較的厳しいハードウェア制約が課せられるデバイス側の実装にも適している。しかしながら、つなぎ位置の有効性を評価する方法は、マッチングスコアに限定されない。例えば、画像から顔などの被写体を認識する物体認識器などが知られている。ある場所に写ってた被写体が変化すると、つなぎ位置もそれに合わせて変更しなければならないことが通常である。そのため、マッチングスコアおよび閾値に代えて、つなぎ位置での、前回フレームでの認識結果を基準として、現フレームでの認識結果を評価値として、つなぎ位置の検出の要否を判定することもできる。例えば、前回フレームでは「顔」が認識された箇所で、現フレームでは「壁」として認識されれたりあるいは認識不能であった場合に、つなぎ位置の検出「要」と判定するよう構成してもよい。

また、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０…全天球撮像デバイス、１２…撮像体、１３…切り込み部（把手）、１４…筐体、１５Ａ，１５Ｂ…コントローラ基板、１６Ａ，１６Ｂ…ケーブル、１７Ａ〜１７Ｃ…コネクタ、１８…操作ボタン、２０…結像光学系、２２…固体撮像素子、１００…プロセッサ、１０２…鏡胴ユニット，１０８…ＩＳＰ、１１０，１２２…ＤＭＡＣ、１１２…アービタ（ＡＲＢＭＥＭＣ）、１１４…ＭＥＭＣ、１１６，１３８…ＳＤＲＡＭ、１１８…歪曲補正・画像合成ブロック、１２０…３軸加速度センサ、１２４…画像処理ブロック、１２６…画像データ転送部、１２８…ＳＤＲＡＭＣ、１３０…ＣＰＵ、１３２…リサイズブロック、１３４…静止画ブ圧縮ロック、１３６…動画圧縮ブロック、１４０…メモリカード制御ブロック、１４２…メモリカードスロット、１４４…フラッシュＲＯＭ、１４６…ＵＳＢブロック、１４８…ＵＳＢコネクタ、１５０…ペリフェラル・ブロック、１５２…音声ユニット、１５４…スピーカ、１５６…マイク、１５８…シリアルブロック、１６０…無線ＮＩＣ、１６２…ＬＣＤドライバ、１６４…ＬＣＤモニタ、１６６…電源スイッチ、１７０…情報端末、１７２…ＣＰＵ、１７４…ＲＡＭ、１７６…ＨＤＤ、１７８…入力装置、１８０…外部ストレージ、１８２…ディスプレイ、１８４…無線ＮＩＣ、１８６…ＵＳＢコネクタ、１８８…バス、１９０‥ケーブル、２００…機能ブロック、２０２…フレーム記憶部、２０４…位置検出用歪み補正部、２０６…つなぎ位置検出処理部、２０８…評価部、２０９…検出部、２１０…つなぎ位置情報記憶部、２１２…テーブル修正部、２１４…テーブル生成部、２１６…画像合成用歪み補正部、２１８…画像合成部、２２０…表示画像生成部、２２２…画像圧縮部、２３０…位置検出用変換テーブル、２３２…画像合成用変換テーブル、２４０…画像データ、３００…会議室、３０２…テーブル、３１０…インタラクティブボード、３２０…ホワイトボード、３３０…つなぎ境界、５００…テンプレート用画像、５０２…テンプレート画像、５１０…探索用画像、５１２…探索範囲、５１４…対応部分

特許第４５７７７６５号公報

Claims (15)

1. 第１の画像および第２の画像が入力される画像入力手段と、
   前記画像入力手段に入力される画像間の複数の箇所各々のつなぎ位置を記憶する記憶手段と、
   前記複数の箇所各々について、前記記憶手段に記憶された過去のつなぎ位置の有効性を評価する評価手段と、
   前記有効性が基準を満たした箇所の前記記憶手段に記憶された過去のつなぎ位置に基づいて、前記画像入力手段に入力される第１の画像および第２の画像に基づく合成処理を実行する画像合成処理手段と
   を含む、画像処理装置。
2. 前記記憶手段に記憶されるつなぎ位置は、前記複数の箇所各々について、前回のつなぎ位置を含み、
   前記画像処理装置は、前記前回のつなぎ位置を前記第１の画像および第２の画像に適用した場合の適合度を前記有効性とし、該有効性が前記基準を満たす場合に、前記前回のつなぎ位置が前記過去のつなぎ位置として前記合成処理に用いられる、請求項１に記載の画像処理装置。
3. 前記記憶手段に記憶されるつなぎ位置は、前記複数の箇所各々について、前回のつなぎ位置と、所定期間内で検出されたもののうちの遠距離側に位置する基本のつなぎ位置とを含む、請求項１に記載の画像処理装置。
4. 前記画像処理装置は、
   前記前回のつなぎ位置を前記第１の画像および第２の画像に適用した場合の適合度を、前記有効性を示す第１の評価値とし、前記基本のつなぎ位置を前記第１の画像および第２の画像に適用した場合の適合度を、前記有効性を示す第２の評価値とし、
   前記基準は、第１の基準と第２の基準とを含み、前記第１の評価値が前記第１の基準を満たさず、かつ、前記第２の評価値が前記第２の基準を満たす場合に、前記基本のつなぎ位置が前記過去のつなぎ位置として前記合成処理に用いられる、請求項３に記載の画像処理装置。
5. 前記複数の箇所各々について、前記記憶手段に記憶される基本のつなぎ位置と比較して、前記合成処理に用いられるつなぎ位置が、より遠距離側に位置する場合に、前記記憶手段の前記基本のつなぎ位置を、前記合成処理に用いられるつなぎ位置で更新する手段を含む、請求項３または４に記載の画像処理装置。
6. 前記複数の箇所各々について、前記記憶手段に記憶される基本のつなぎ位置と比較して、前記合成処理に用いられるつなぎ位置がより近距離側に位置し、かつ、前記合成処理に用いられる略同一のつなぎ位置の継続期間が所定の基準を満たす場合に、前記記憶手段の前記基本のつなぎ位置を、前記合成処理に用いられるつなぎ位置で更新する手段を含む、請求項３〜５のいずれか１項に記載の画像処理装置。
7. 前記有効性が基準を満たさない箇所について、前記基本のつなぎ位置に基づいて探索範囲を設定し、前記画像入力手段に入力される第１の画像および第２の画像間のつなぎ位置を検出する検出手段
   をさらに含む、請求項３〜６のいずれか１項に記載の画像処理装置。
8. 被写体距離情報を取得する手段と、
   前記有効性が基準を満たさない箇所について、前記被写体距離情報に基づいて探索範囲を設定し、前記画像入力手段に入力される第１の画像および第２の画像間のつなぎ位置を検出する検出手段と
   をさらに含む、請求項１〜６のいずれか１項に記載の画像処理装置。
9. 前記合成処理は、前記複数の箇所各々のつなぎ位置に基づき生成される変換テーブルを用いて行われ、前記変換テーブルは、前記複数の箇所のうちの基準以上の箇所で採用するつなぎ位置の変更に応答して更新が行われ、基準以上の箇所で前記有効性が基準を満たす場合に、前記変換テーブルの前記更新が省略される、請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記第１の画像、前記第２の画像、および、前記合成処理により合成された合成画像は、それぞれ、動画における１フレーム分の画像を構成し、前記合成画像は、全天球画像、３６０°パノラマ画像またはこれらの一部である、請求項１〜９のいずれか１項に記載の画像処理装置。
11. 第１の画像および第２の画像が入力される画像入力手段と、
    前記画像入力手段に入力される画像間の複数の箇所各々のつなぎ位置を記憶する記憶手段と、
    前記複数の箇所各々について、前記記憶手段に記憶された過去のつなぎ位置の有効性を評価する評価手段と、
    前記有効性が基準を満たした箇所の前記記憶手段に記憶された過去のつなぎ位置に基づいて、前記画像入力手段に入力される第１の画像および第２の画像に基づく合成処理を実行する画像合成処理手段と
    を含む、画像処理システム。
12. 前記合成処理により生成された合成画像を配信する配信手段
    をさらに含む、請求項１１に記載の画像処理システム。
13. 複数の光学系と、
    前記複数の光学系各々を通して複数の部分画像を撮像する撮像手段と、
    請求項１〜１０のいずれか１項に記載の画像処理処理と
    を含み、前記画像入力手段に入力される第１の画像および第２の画像は、異なる光学系を通して撮像された第１の部分画像および第２の部分画像に基づく、撮像装置。
14. 画像処理方法であって、コンピュータが、
    画像間の複数の箇所各々の過去のつなぎ位置を読み出すステップと、
    第１の画像および第２の画像の入力を受けるステップと、
    前記複数の箇所各々について、読み出した過去のつなぎ位置の有効性を評価するステップと、
    入力される第１の画像および第２の画像に基づく合成処理を実行するステップであって、前記有効性が基準を満たした箇所について読み出した過去のつなぎ位置に基づいて、前記合成処理が行われる、当該実行するステップと
    を実行する、画像処理方法。
15. コンピュータを、
    第１の画像および第２の画像が入力される画像入力手段、
    前記画像入力手段に入力される画像間の複数の箇所各々のつなぎ位置を記憶する記憶手段、
    前記複数の箇所各々について、前記記憶手段に記憶された過去のつなぎ位置の有効性を評価する評価手段、および
    前記有効性が基準を満たした箇所の前記記憶手段に記憶された過去のつなぎ位置に基づいて、前記画像入力手段に入力される第１の画像および第２の画像に基づく合成処理を実行する画像合成処理手段
    として機能させるためのプログラム。

Images