JP2020004121A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】複数の画像においてそれぞれの画像中心に写る被写体の撮影位置からの方角を、撮影位置を結ぶ方角に一致させることが可能な情報処理装置等を提供する。【解決手段】情報処理装置は、空間内の撮影位置で撮影した複数のパノラマ画像を取得する。また、情報処理装置は、複数のパノラマ画像中の特徴点を取得する。そして、情報処理装置は、複数のパノラマ画像とパノラマ画像中の特徴点とに基づいて、それぞれのパノラマ画像について、撮影位置を結ぶ直線上の極点を特定する。情報処理装置は、特定した極点に基づいて、それぞれのパノラマ画像の方位角方向を補正する。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

１８０度より広い画角のパノラマ画像を取得するカメラを用いて、撮影位置を移動しつつ撮影を行い、得られた複数のパノラマ画像を適宜切り替えることにより、任意の視点から見た状態の画像を提供するシステムが提案されている（特許文献１）。特許文献１に開示されたシステムでは、隣り合う撮影位置で撮影した２つのパノラマ画像を切り替える際に、表示中のパノラマ画像と次に表示されるパノラマ画像との合成比率を徐々に変化させることにより次のパノラマ画像の表示に遷移する。

特開２０１３−８４３０７号公報

２つのパノラマ画像を切り替えて表示する場合、又は２つのパノラマ画像を合成する場合、２つのパノラマ画像において、それぞれの画像中心に写る被写体の撮影位置からの方角が、２つの撮影位置を結ぶ方角と一致していることが望ましい。撮影位置からの方角が２つの撮影位置を結ぶ方角と異なる被写体がそれぞれ画像中心に写っているパノラマ画像を切り替えて表示する場合、撮影方向が異なるパノラマ画像が切り替えられるので、画像の遷移を滑らかに行うことができない。また、撮影位置からの方角が２つの撮影位置を結ぶ方角と異なる被写体がそれぞれ画像中心に写っているパノラマ画像を合成した場合、合成後のパノラマ画像に横方向（方位角方向）のブレが生じる。２つのパノラマ画像において、画像中心に写る被写体の撮影位置からの方角を２つの撮影位置を結ぶ方角に一致させるために、例えば、それぞれの撮影位置で撮影する際にカメラの撮影方向を、２つの撮影位置を結ぶ方角に一致させることが考えられる。しかし、カメラの撮影方向は撮影者によって調整されるので、撮影方向を正確に一致させることは困難である。また、２つのパノラマ画像を目視で比較しながら手作業で調整することによって、２つのパノラマ画像の画像中心に写る被写体を、２つの撮影位置を結ぶ方角の被写体に調整することも考えられる。しかし、手作業による調整では作業負担が大きく、目視による確認では正確に一致させることは困難である。従って、２つのパノラマ画像において画像中心に写る被写体の撮影位置からの方角をそれぞれ、２つの撮影位置を結ぶ方角に一致させることは難しい。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、複数の画像において画像中心に写る被写体の撮影位置からの方角を、撮影位置を結ぶ方角に一致させることが可能な情報処理装置等を提供することにある。

本開示の一態様に係る情報処理装置は、空間内の撮影位置で撮影した複数のパノラマ画像を取得する画像取得部と、前記複数のパノラマ画像中の特徴点を取得する特徴点取得部と、前記複数のパノラマ画像及び前記特徴点取得部が取得した特徴点に基づいて、前記パノラマ画像のそれぞれについて、前記撮影位置を結ぶ直線上の極点を特定する極点特定部と、特定した前記極点に基づいて前記パノラマ画像の方位角方向を補正する補正部とを備える。

本開示の一態様によれば、カメラの撮影方向を考慮せずに撮影されたパノラマ画像であっても、複数のパノラマ画像において、それぞれの画像中心に写る被写体を、撮影位置を結ぶ方角の被写体とすることができる。それぞれのパノラマ画像の画像中心に写る被写体の撮影位置からの方角を自動的に、撮影位置を結ぶ方角に一致させるので、煩雑な手作業が不要となり、正確に一致させることができる。

情報処理装置の構成例を示すブロック図である。 カメラの構成例を示すブロック図である。 カメラの外観を示す模式図である。 撮影画像の構成を説明するための模式図である。 カメラの撮影位置の例を示す模式図である。 パノラマ画像の例を示す模式図である。 撮影方向が異なる状態での撮影を説明するための模式図である。 撮影方向が異なる状態での撮影を説明するための模式図である。 情報処理装置の制御部によって実現される機能を示すブロック図である。 共通軸極座標系の説明図である。 共通軸極座標系の説明図である。 極点候補を説明するための模式図である。 座標系の関係を説明するための模式図である。 極点候補と特徴点との位置関係を示す模式図である。 関数φ_C （ｘ_I ）を示す図である。 極点候補の特定処理を説明するための模式図である。 パノラマ画像における極点候補の組合せを示す模式図である。 ２つの特徴点の例を示す模式図である。 ２つの特徴点に基づく関数φ_C （ｘ_I ）を示す図である。 ２つの特徴点に基づくパノラマ画像における極点候補の組合せを示す模式図である。 情報処理装置が行う処理の手順を示すフローチャートである。

以下に、本開示の情報処理装置、情報処理方法及びプログラムについて、その実施形態を示す図面に基づいて具体的に説明する。

図１は情報処理装置の構成例を示すブロック図である。情報処理装置１０は、パーソナルコンピュータ、サーバコンピュータ、大型計算機上で動作する仮想マシン等である。情報処理装置１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit ）、ＭＰＵ（Micro-Processing Unit ）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含み、本実施形態にかかるプログラムを実行する演算制御装置である。制御部１１は、記憶部１２に記憶してある制御プログラムを実行すると共に、バスを介して情報処理装置１０を構成するハードウェア各部の動作を制御する。これにより、制御部１１は、情報処理装置１０が行うべき種々の制御処理及び情報処理を行う。

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive ）等を含む。記憶部１２は、制御部１１が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。記憶部１２に記憶される制御プログラムには、本開示のプログラムである方位補正プログラムＰが含まれ、記憶部１２に記憶されるデータには、後述するカメラ２０によって撮影されたパノラマ画像を蓄積するパノラマ画像ＤＢ１２ａが含まれる。

記憶部１２に記憶される方位補正プログラムＰ及びパノラマ画像ＤＢ１２ａは、例えば通信部１３を介して外部装置から取得されて記憶部１２に記憶される。情報処理装置１０が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、記憶部１２に記憶される方位補正プログラムＰ及びパノラマ画像ＤＢ１２ａは、可搬型記憶媒体から読み出されて記憶部１２に記憶されてもよい。なお、パノラマ画像ＤＢ１２ａは、情報処理装置１０に接続された外部の記憶装置に記憶されてもよく、ネットワークＮを介して情報処理装置１０と通信可能な記憶装置に記憶されてもよい。

通信部１３は、有線通信又は無線通信によって、インターネット、公衆通信回線又はＬＡＮ（Local Area Network）等のネットワークＮに接続するためのインターフェイスであり、ネットワークＮを介して外部装置との間で情報の送受信を行う。入力部１４は、キーボード及びマウス等を含み、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４及び表示部１５は一体として構成されたタッチパネルとすることもできる。

以下に、本実施形態の情報処理装置１０によって処理されるパノラマ画像及びパノラマ画像を撮影するカメラ２０について説明する。カメラ２０は、撮影装置の一例である。カメラ２０は、１回のシャッターで前後左右上下の撮影を行う全天球カメラを使用する。図２はカメラ２０の構成例を示すブロック図である。カメラ２０は、制御部２１、記憶部２２、通信部２３、シャッターボタン２４、撮影部２５等を含み、これらの各部はバスを介して相互に接続されている。制御部２１は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の１又は複数のプロセッサを含み、本実施形態にかかるプログラムを実行する演算制御装置である。制御部２１は、記憶部２２に記憶してある制御プログラムを実行すると共に、バスを介してカメラ２０を構成するハードウェア各部の動作を制御する。これにより、制御部２１は、カメラ２０が行うべき種々の制御処理及び情報処理を行う。

記憶部２２は、ＲＡＭ、フラッシュメモリ、ハードディスク、磁気テープ等を含む。記憶部２２は、制御部２１が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部２２は、制御部２１が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。

通信部２３は、有線通信又は無線通信によってネットワークＮに接続するためのインターフェイスであり、ネットワークＮを介して外部装置との間で情報の送受信を行う。シャッターボタン２４は、静止画を撮影する指示を受け付けるボタンである。なお、制御部２１は、ネットワークＮを通じてシャッターボタン２４の操作を受け付けてもよい。撮影部２５は、撮影を行う光学系と撮像素子とを含む。制御部２１は、シャッターボタン２４から受け付けた指示に基づいて撮像素子が取得したデータに対して、各種画像処理を行い、撮影画像を生成する。

図３はカメラ２０の外観を示す模式図である。本実施形態のカメラ２０は、略長方形板状の板状部２８を有する。以後の説明において、板状部２８の長辺方向を上下方向に向けた状態で説明する。なお、板状部２８の長辺方向を上下方向に向けた状態のカメラ２０において、板状部２８の第１広面２８１側をカメラ２０の前側、第２広面２８２側をカメラ２０の後側、板状部２８の短辺方向をカメラ２０の左右方向とそれぞれ記載する。第１広面２８１の上寄りに、ドーム状の第１レンズ２７１が設けられている。第２広面２８２の上寄りに、ドーム状の第２レンズ２７２が設けられている。第１レンズ２７１及び第２レンズ２７２の内側には、図示しない複数のレンズ及びプリズム等の光学部品が配置されており、１８０度以上の視野角を有する光学系を形成している。以後の説明では、第１レンズ２７１側の光学系の光軸を第１光軸、第２レンズ２７２側の光学系の光軸を第２光軸とそれぞれ記載する。第１光軸と第２光軸とは、同一の直線上に配置されている。また、第１広面２８１にシャッターボタン２４が配置されている。

図４は撮影画像の構成を説明するための模式図である。図４Ａは、全天球画像を示す模式図である。図４Ｂは、図４Ａの全天球画像を正距円筒図法により展開した画像を示す模式図である。カメラ２０の制御部２１は、シャッターボタン２４から受け付けた指示に基づいて撮影部２５による撮影を行った場合、第１光軸側で撮影した画像と第２光軸側で撮影した画像とを合成することにより、図４Ａに示すように撮影位置を撮影中心Ｃ点とする全天球画像を生成する。

全天球画像上の各画素の位置を定める座標系について説明する。図３を用いて説明したように、カメラ２０は板状部２８の長辺方向を上下方向に向けた状態で撮影する。以後の説明では、カメラ２０の前後左右方向を含む面を水平面と記載する。全天球画像上の画素の位置は、直交座標系及びローカル極座標系により表現することができる。直交座標系は、図３に示した右方向をＸ軸の正側、上方向をＹ軸の正側、後ろ方向をＺ軸の正側とする右手系の直交座標系を用いる。ローカル極座標系は、方位角φ及び天頂角θ、並びに撮影中心Ｃ点からの距離ｒによって座標が示される座標系を用いる。ローカル極座標系の方位角は、第２光軸側（Ｚ軸の正側）を基準として、水平面内の反時計回りの角度φを示す。第１光軸（Ｚ軸の負側）は、方位角φがπラジアンの位置に存在する。ここでπは円周率を意味する。第２光軸は、方位角φが０ラジアンかつ２πラジアンの位置に存在する。ローカル極座標系の天頂角は、撮影中心Ｃ点から天頂への上方向（Ｙ軸の正側）を基準として、撮影中心Ｃ点を中心として下に向かう角度θを示す。上方向は、天頂角θが０ラジアンの位置に存在する。下方向（Ｙ軸の負側）は、天頂角θがπラジアンの位置に存在する。全天球画像上の任意の画素ａの位置は、直交座標系で表した座標（ｘ_a ，ｙ_a ，ｚ_a ）と、ローカル極座標系で表した座標（ｒ_La，θ_La，φ_La）とによって表現することができる。なお、座標（ｘ，ｙ，ｚ）及び座標（ｒ_L ，θ_L ，φ_L ）は以下の（１）式及び（２）式によって相互に変換可能である。

カメラ２０の制御部２１は、全天球画像を方位角φ＝０の線に沿って切断して、正距円筒図法により図４Ｂに示すように横軸を方位角φとし縦軸を天頂角θとする平面に展開した長方形の撮影画像（以下では、パノラマ画像という）を生成する。このパノラマ画像を構成する各画素には、全天球画像における各画素の輝度（画素値）が割り当てられる。なお、図４Ｂに示すように、長方形（平面）のパノラマ画像は、左下を原点（０，０）とし、原点（０，０）は、方位角φが２πラジアンで天頂角θがπラジアンの位置の画素を示す。また、パノラマ画像は、右方向に方位角φが小さくなり、パノラマ画像の右端は方位角φが０ラジアンの位置の画素であり、上方向に天頂角θが小さくなり、パノラマ画像の上端は天頂角θが０ラジアンの位置の画素である。

カメラ２０の制御部２１は、撮影処理を行った場合、撮影中心Ｃ点（撮影位置）の位置情報と、図４Ｂに示すパノラマ画像とを通信部２３から情報処理装置１０へ送信する。情報処理装置１０の制御部（画像取得部）１１は、カメラ２０から送信されたパノラマ画像及び位置情報を通信部１３にて取得する。なお、カメラ２０の制御部２１は、図４Ａに示す全天球画像の撮影画像を情報処理装置１０へ送信し、情報処理装置１０が、全天球画像から、図４Ｂに示すパノラマ画像を生成する処理を行ってもよい。情報処理装置１０の制御部１１は、カメラ２０から取得した撮影中心Ｃ点の位置情報とパノラマ画像とを対応付けてパノラマ画像ＤＢ１２ａに記録する。カメラ２０は、Ｅｘｉｆ（Exchangeable image file format）形式を使用することにより、撮影中心Ｃ点の位置情報と撮影画像とを一つのファイルで送信することが可能である。

カメラ２０は撮影によって画像データ（撮影画像データ）を取得するが、以下では画像データを単に画像という場合がある。従って、撮影画像は撮影画像データを意味する場合があり、パノラマ画像はパノラマ画像データを意味する場合がある。撮影画像は、複数の画素を含み、撮影画像データは、各画素の撮影画像中の位置（座標）を示す位置情報と各画素の輝度（画素値）とを対応付けて有する。撮影位置の情報は、例えば矩形の部屋の任意の位置を基準とした位置の情報であり、カメラ２０に内蔵されているセンサにより測定されてもよく、他のセンサ等により測定されてカメラ２０又は情報処理装置１０へ送信されてもよい。

本実施形態では、カメラ２０を用いて、賃貸住宅及び販売住宅等の不動産物件の部屋、ホテル及び民宿等の宿泊施設の部屋等を撮影する。カメラ２０を用いて撮影する空間は、博物館、美術館、テーマパーク、アミューズメント施設、観光地、商業施設等であってもよい。以下では、矩形の部屋を撮影対象の空間として説明する。

図５はカメラ２０の撮影位置の例を示す模式図であり、撮影対象の部屋を天井側から見た状態を示している。図５に示す撮影対象の部屋にはベッド、ソファー、テーブル、椅子、テレビ等が設置されている。本実施形態では、例えば図５中の黒丸で示す２箇所で撮影を行い、窓側の撮影位置を前側撮影位置とし、部屋の入口側の撮影位置を後側撮影位置とする。撮影位置は図５に示す例に限らず任意の２箇所とすればよく、また３箇所以上としてもよい。また本実施形態では、複数の撮影位置において、床面からの撮影高さは同じとし、例えば１ｍ程度とするが、これに限定しない。立った状態の大人の目線の高さ、又は椅子に座った状態の大人の目線の高さ等の任意の高さから撮影を行ってもよい。カメラ２０が撮影を行う位置及び高さは、カメラ２０に内蔵されたセンサ又はカメラ２０を外部から監視するセンサにより測定される。カメラ２０を特定の位置及び高さに固定する治具等を利用して撮影を行ってもよい。

なお、それぞれの撮影位置において床面からの高さが異なる状態で撮影した場合、撮影後のパノラマ画像における天頂角方向（上下方向）を補正して、同じ高さから撮影した状態のパノラマ画像を生成してもよい。例えば、撮影後のパノラマ画像において、同一の被写体が、それぞれの画像中の上下方向における同じ位置となるように、パノラマ画像の各画素を上下方向に移動させる補正を行ってもよい。また、例えばカメラ２０に設けられた加速度センサを用いて重力加速度を検出することにより、撮影時にカメラ２０が重力方向（即ち、鉛直方向の下向き）からどれだけ傾いていたかを検知できる。この情報を用いて撮影後のパノラマ画像における鉛直方向の傾きを補正（天頂補正）することにより、それぞれの撮影位置で撮影したパノラマ画像を、画像の上下方向が撮影空間の鉛直方向に一致する画像に補正してもよい。

図６は、パノラマ画像の例を示す模式図である。図６Ａは前側撮影位置で撮影したパノラマ画像の例であり、図６Ｂは後側撮影位置で撮影したパノラマ画像の例である。撮影を行う場合、撮影位置（カメラ２０）の床面からの高さ、カメラ２０の上下方向をそれぞれの撮影位置で一致させる。図６Ａ，Ｂに示すパノラマ画像は、それぞれの撮影位置において、後側撮影位置から前側撮影位置への方向（図５中の矢符ｔで示す方向）にカメラ２０の前側を向けて（第１光軸を一致させて）撮影された画像である。以下では、カメラ２０の前側（正面方向）をカメラ２０の撮影方向という。カメラ２０は、カメラ２０の正面方向の景色が画像中の左右方向の中央部に写り、カメラ２０の後側（背面方向）の景色が画像中の左右端部に写るパノラマ画像を生成する。またカメラ２０は、撮影空間の鉛直方向が画像の上下方向に一致し、撮影位置（撮影高さ）が画像の上下方向の中央に一致するパノラマ画像を生成する。よって、それぞれの撮影位置において同じ撮影方向（図５中の矢符ｔで示す方向）で撮影を行った場合、図５及び図６Ａ，Ｂに示すように、撮影位置と同じ高さの被写体は、図６Ａ，Ｂ中の実線で示すように、それぞれのパノラマ画像の上下方向の中央部に写る。また、矢符ｔで示す方向（撮影方向）に存在する被写体ＦＰは、それぞれのパノラマ画像の中央部に写り、矢符ｔで示す方向の反対方向（カメラ２０の背面方向）に存在する被写体ＲＰは、それぞれのパノラマ画像の左右端部に写る。

図７及び図８は、撮影方向が異なる状態での撮影を説明するための模式図である。本実施形態の情報処理装置１０によって処理されるパノラマ画像は、それぞれの撮影位置でカメラ２０の撮影方向が一致していなくてもよい。即ち、それぞれの撮影位置において、カメラ２０の前後方向及び左右方向は一致していなくてもよい。図７には、それぞれの撮影位置での撮影方向を破線矢符で示す。図７に示すように、前側撮影位置において、所定の高さにおける水平面上で矢符ＳＤ１で示す方向を撮影方向として撮影を行った場合、図８Ａに示すようなパノラマ画像が得られる。また、後側撮影位置において、所定の高さにおける水平面上で矢符ＳＤ２で示す方向を撮影方向として撮影を行った場合、図８Ｂに示すようなパノラマ画像が得られる。図８Ａ，Ｂのパノラマ画像から分かるように、それぞれの撮影位置において異なる撮影方向で撮影を行った場合、同じ被写体が画像中の方位角方向（左右方向）の異なる位置に写るパノラマ画像が得られる。

図８Ａ，Ｂに示すように、それぞれの画像中心に写る被写体が、撮影位置を結ぶ方角の被写体でないパノラマ画像を切り替えて表示する場合、画像の遷移を滑らかに行うことができない。また、このようなパノラマ画像を合成して表示する場合、合成後のパノラマ画像に方位角方向のブレが生じ、鮮明なパノラマ画像を提供できない。よって、本実施形態の情報処理装置１０は、図８Ａ，Ｂに示す画像のように画像中心に写る被写体の撮影位置からの方角が、撮影位置を結ぶ方角に一致していないパノラマ画像に対して補正処理を行い、図６Ａ，Ｂに示す画像のように画像中心に写る被写体の撮影位置からの方角が、撮影位置を結ぶ方角に一致しているパノラマ画像を生成する。なお、本実施形態の情報処理装置１０は、図８Ａ，Ｂに示すようなパノラマ画像を、図６Ａ，Ｂに示すように、後側撮影位置から前側撮影位置への方向（図５中の矢符ｔの方向）を撮影方向とし、それぞれの画像中心に写る被写体が、後側撮影位置から前側撮影位置への方向にある被写体であるパノラマ画像にそれぞれ補正する。従って、情報処理装置１０は、図８Ａ，Ｂのパノラマ画像において、後側撮影位置から前側撮影位置への方向に存在する被写体ＦＰが写っている位置を特定する必要があり、この被写体ＦＰの画像中の位置を、以下では極点という。

次に、情報処理装置１０において制御部１１が方位補正プログラムＰを実行することによって実現される機能について説明する。図９は、情報処理装置１０の制御部１１によって実現される機能を示すブロック図である。情報処理装置１０の制御部１１は、記憶部１２に記憶してある方位補正プログラムＰを実行した場合、特徴点取得部３１、方位角変化特定部３２、極点候補特定部３３、極点特定部３４、補正部３５の各機能を実現する。なお、本実施形態では、これらの各機能を制御部１１が方位補正プログラムＰを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。

以下、図７に示す撮影対象の空間において、２箇所の前側撮影位置及び後側撮影位置においてそれぞれ異なる撮影方向で撮影した２つのパノラマ画像に対して、後側撮影位置から前側撮影位置に向かう方向に存在する被写体ＦＰが画像の中央に位置するパノラマ画像に補正する処理について説明する。なお、以下では、前側撮影位置で撮影した図８Ａに示すパノラマ画像を前側パノラマ画像といい、後側撮影位置で撮影した図８Ｂに示すパノラマ画像を後側パノラマ画像という。

特徴点取得部３１は、前側パノラマ画像及び後側パノラマ画像において、同じ被写体が写っている位置を特徴点のペアとして取得する。例えば、図８Ａ，Ｂに示すパノラマ画像において、部屋の天井に取り付けられている火災報知器の位置を特徴点Ｆのペアとして取得する。特徴点取得部３１は、２つのパノラマ画像間で対応付けるべき特徴点を、例えばユーザ入力によって取得してもよい。この場合、例えば特徴点取得部３１は、情報処理装置１０の表示部１５に２つのパノラマ画像を表示し、特徴点とすべき箇所（画素）を入力部１４にて受け付ける。ユーザは、表示された２つのパノラマ画像において同じ被写体の同じ部分を特徴点として入力部１４を介して指定する。特徴点取得部３１は、入力部１４を介して受け付けた２つのパノラマ画像中の特徴点の座標値を取得する。また、特徴点取得部３１は、２つのパノラマ画像間で対応付けるべき特徴点を、コンピュータビジョン技術等を用いて自動的に抽出してもよい。この場合、特徴点取得部３１は、２つのパノラマ画像間で類似する画素を自動的に抽出し、抽出した画素の座標値を同じ被写体の特徴点として取得する。特徴点取得部３１は、例えば２組の特徴点のペアを取得する。

方位角変化特定部３２、極点候補特定部３３及び極点特定部３４は、特徴点取得部３１が取得した特徴点のペアに基づいて、前側パノラマ画像及び後側パノラマ画像のそれぞれにおける極点の位置を特定する。即ち、２つのパノラマ画像において、後側撮影位置から前側撮影位置への方向に存在する被写体（図７では被写体ＦＰ）が写っている位置（極点）を特定する。なお、パノラマ画像ＤＢ１２ａに記憶されている２つのパノラマ画像は、画像の上下方向が撮影空間の鉛直方向に一致し、撮影高さが画像の上下方向の中央に一致するパノラマ画像である。また、２つのパノラマ画像は、それぞれの撮影位置において床面から同じ高さで撮影したものであるので、極点は、画像の上下方向の中央のいずれかに存在する。即ち、前側パノラマ画像及び後側パノラマ画像において直線ＣＬ上のいずれかの位置に極点がある。

ここで、前側パノラマ画像及び後側パノラマ画像において、それぞれの極点は、直線ＣＬ上の異なる位置に存在する。また、後側撮影位置から前側撮影位置に向かう方向（図７中の矢符ｔの方向）を共通軸の正方向とし、共通軸の正方向を天頂方向とした共通軸極座標系を用いた場合、それぞれのパノラマ画像において、対応する特徴点は共通軸極座標系の同じ方位角方向に存在する。よって、方位角変化特定部３２、極点候補特定部３３及び極点特定部３４は、前側パノラマ画像及び後側パノラマ画像において、直線ＣＬ上に存在する極点であって、その極点に基づく共通軸極座標系における特徴点の方位角方向が同じとなるような極点を決定する。

図１０及び図１１は共通軸極座標系の説明図である。図１０には、前側パノラマ画像及び後側パノラマ画像のイメージを球体で示している。共通軸極座標系における共通軸は、図４Ａに示した直交座標系のＺ軸の負方向（−Ｚ軸方向）であり、共通軸極座標系の天頂角には、共通軸の正方向を基準として、撮影位置を中心として共通軸の負方向に向かう角度θ_C を用いる。天頂角θ_C は０ラジアン〜πラジアンの範囲の値を有する。また共通軸極座標系の方位角には、図４Ａに示す直交座標系のＸ軸の負方向を基準として、共通軸の正方向から見て共通軸を中心に反時計回りの角度φ_C を用いる。方位角φ_C は−πラジアン〜πラジアンの範囲の値を有する。なお、図１０に示すように共通軸はそれぞれのパノラマ画像と２箇所Ｐ１及びＰ２，Ｐ３及びＰ４で交差するが、共通軸の正方向側での交差点Ｐ１，Ｐ３が、それぞれのパノラマ画像における極点となる。

図１０及び図１１に複数の線種で示した各曲線は、図１０に球体で示したパノラマ画像の表面上の曲線であり、それぞれの曲線は、それぞれのパノラマ画像が共通軸と交差する２点Ｐ１及びＰ２，Ｐ３及びＰ４を通る。またそれぞれの曲線は、図４Ａに示す直交座標系における水平面であるＸＺ平面を基準として、共通軸を中心に、共通軸極座標系における方位角方向に回転させたものである。図１０に示す共通軸極座標系で表した各曲線は、正距円筒図法により展開することにより、図１１Ａ，Ｂに示すように矩形のパノラマ画像上に表すことができる。図１１Ａ，Ｂに示すパノラマ画像は、図６Ａ，Ｂと同様に、それぞれの撮影位置において、共通軸の正方向を撮影方向として撮影された画像である。よって、図１１Ａ，Ｂに示すパノラマ画像における極点Ｐ１，Ｐ３は共に画像の中央位置に存在する。図１１Ａ，Ｂ中の各曲線は、共通軸極座標系において天頂角θ_C 方向に並ぶ画素列であり、図１１Ａ，Ｂに示すパノラマ画像では、同じ被写体ＴＰは、上から４番目の二点破線で示した曲線上に存在しているので、同じ被写体ＴＰは共通軸極座標系の同じ方位角を有することが分かる。

従って、本実施形態の情報処理装置１０は、前側パノラマ画像及び後側パノラマ画像において、直線ＣＬ上に存在する極点であって、この極点を通る共通軸を用いた共通軸極座標系において特徴点の方位角がパノラマ画像間で同じとなるような極点を決定する。
方位角変化特定部３２は、前側パノラマ画像及び後側パノラマ画像のそれぞれについて、極点候補の位置を画像中の直線ＣＬ上で移動させた場合に、特徴点取得部３１が取得した特徴点Ｆの共通軸極座標系における方位角の変化を特定する。図１２は極点候補を説明するための模式図である。図１２には前側パノラマ画像を示す。ここで、パノラマ画像中の各画素を、画像の左上を原点（０，０）とし、原点から右方向をＸ軸とし下方向をＹ軸とした画像座標系の座標（ｘ_I ，ｙ_I ）で表すとする。なお、パノラマ画像の高さ（上下方向の長さ）はＨとし、幅（左右方向の長さ）はＷとする。この場合、直線ＣＬ上の極点候補は、画像座標系の座標（ｘ_I ，Ｈ／２）（０≦ｘ_I ≦Ｗ）で表される。

ここで、仮にパノラマ画像中の直線ＣＬ上のｘ座標値ｘ₀ の位置が極点であったとすると、後述する補正部３５は、極点（ｘ₀ ，Ｈ／２）が画像の中央（Ｗ／２，Ｈ／２）に位置するように左右方向に各画素を平行移動させる。なお、補正部３５は、パノラマ画像中の全ての画素を左右方向に平行移動させるので、特徴点Ｆも同様に移動する。特徴点Ｆの画像座標系の座標値を（ｘ_F ，ｙ_F ）とした場合、特徴点Ｆは座標（ｘ_F −ｘ₀ ＋Ｗ／２，ｙ_F ）の位置に移動される。平行移動後の特徴点Ｆのｘ座標値をｘ_F ´＝ｘ_F −ｘ₀ ＋Ｗ／２で表すと、平行移動後の特徴点Ｆの画像座標系の座標（ｘ_F ´，ｙ_F ）から、以下の（３）式によって、特徴点Ｆのローカル極座標系における座標（θ_L ，φ_L ）が算出できる。なお、ローカル極座標系における座標値は、画像座標系における座標値と１対１で対応しているので、以下の（３）式により変換可能であり、ここではローカル極座標系における半径を便宜上１としている。

よって、方位角変化特定部３２は、前側パノラマ画像及び後側パノラマ画像において、直線ＣＬ上のそれぞれの極点候補に対して、特徴点Ｆのローカル極座標系における座標（θ_L ，φ_L ）を算出する。次に方位角変化特定部３２は、特徴点Ｆのローカル極座標系における座標（θ_L ，φ_L ）を共通軸極座標系の座標（ｒ_C ，θ_C ，φ_C ）に変換する。なお、ローカル極座標系の座標（ｒ_L ，θ_L ，φ_L ）を共通軸極座標系の座標（ｒ_C ，θ_C ，φ_C ）に変換する場合、一旦直交座標系の座標に変換した後に共通軸極座標系の座標に変換する。ここでの直交座標系を、図４Ａに示した直交座標系と区別するためにワールド直交座標系と呼び、ワールド直交座標系の座標を（ｘ_W ，ｙ_W ，ｚ_W ）で示す。

図１３は、座標系の関係を説明するための模式図である。図１３Ａはローカル極座標系及びワールド直交座標系の関係を示し、図１３Ｂはワールド直交座標系及び共通軸極座標系の関係を示す。ワールド直交座標系には、鉛直上方向をＹ_W 軸の正側、水平面をＸ_W 軸及びＺ_W 軸で表す３次元の右手系の直交座標系を用いる。よって、空間内の任意の位置Ｐは、ワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）で表すことができる。図１３Ａに示すようにローカル極座標系は、鉛直上方向（Ｙ_W 軸の正側）を基準とした天頂角θ_L と、鉛直上方向から見てＺ_W 軸の正側を基準として水平面であるＸ_W Ｚ_W 平面内の反時計回りの方位角φ_L と、原点０からの距離ｒ_L とによって表される。よって、３次元空間中の任意の位置Ｐは、ワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）とローカル極座標系の座標（ｒ_L ，θ_L ，φ_L ）とで表すことができ、以下の（４）式及び（５）式によって相互に変換可能である。

図１３Ｂに示すように共通軸極座標系は、ワールド直交座標系のＺ_W 軸の負方向を基準とした天頂角θ_C と、Ｚ_W 軸の負方向から見てＸ_W 軸の負側を基準としてＸ_W Ｙ_W 平面内の反時計回りの方位角φ_C と、原点０からの距離ｒ_C とによって表される。よって、３次元空間中の任意の位置Ｐは、ワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）と共通軸極座標系の座標（ｒ_C ，θ_C ，φ_C ）とで表すことができ、以下の（６）式及び（７）式によって相互に変換可能である。

上述した演算処理により、方位角変化特定部３２は、それぞれのパノラマ画像において、直線ＣＬ上のそれぞれの極点候補に対して、特徴点Ｆの共通軸極座標系の座標（ｒ_C ，θ_C ，φ_C ）を取得する。図１４は極点候補と特徴点Ｆとの位置関係を示す模式図である。図１４Ａに示す例では、前側パノラマ画像において直線ＣＬ上の点ｘ₁ が極点であった場合、極点ｘ₁ に基づく共通軸極座標系における特徴点Ｆの方位角がφ_C （ｘ₁ ）で表される。図１４Ｂに示す例では、前側パノラマ画像において直線ＣＬ上の点ｘ₂ が極点であった場合、極点ｘ₂ に基づく共通軸極座標系における特徴点Ｆの方位角がφ_C （ｘ₂ ）で表される。よって、上述した演算処理により得られるφ_C （特徴点Ｆの共通軸極座標系における方位角）は、極点候補の画像座標系のｘ座標値を変数とした関数φ_C （ｘ_I ）で表現できる。

図１５は関数φ_C （ｘ_I ）を示す図である。図１５Ａには、前側パノラマ画像において、極点候補の画像座標系におけるｘ座標値ｘ_I と特徴点Ｆの共通軸極座標系における方位角φ_C との関係を示す関数φ_C （ｘ_I ）を示す。図１５Ａに示す関数φ_C （ｘ_I ）は、横軸を画像座標系のＸ座標軸Ｘ_I とし、縦軸を共通軸極座標系の方位角φ_C として、極点候補の画像座標系におけるｘ座標値の変化に応じた、特徴点Ｆの共通軸極座標系における方位角φ_C の変化を示す。図１５Ａから分かるように、極点候補の画像座標系におけるｘ座標値の変化に応じた、特徴点Ｆの共通軸極座標系における方位角φ_C の変化は、一定の範囲内で増減する曲線として描かれる関数φ_C （ｘ_I ）で表される。パノラマ画像では、画像座標系のｘ座標値が０の画素とＷの画素とは撮影位置からの方位が同じであるので、共通軸極座標系における方位角φ_C も同じ値となる。即ち、関数φ_C （ｘ_I ）は、ローカル極座標系における３６０°の方位角変化に対して、１周期の増減を行う周期関数と言える。

方位角変化特定部３２は、後側パノラマ画像についても、直線ＣＬ上の極点候補の画像座標系におけるｘ座標値の変化に応じた、特徴点Ｆの共通軸極座標系における方位角φ_C の変化を示す関数φ_C （ｘ_I ）を算出する。これにより、方位角変化特定部３２は、前側パノラマ画像と後側パノラマ画像とにおいて、特徴点取得部３１が取得した特徴点Ｆについての関数φ_C （ｘ_I ）を算出する。図１５Ｂには、図１５Ａに示した前側パノラマ画像における関数φ_C （ｘ_I ）に、後側パノラマ画像における関数φ_C （ｘ_I ）を破線で追加して示す。図１５Ｂから分かるように、前側パノラマ画像及び後側パノラマ画像において、同じ被写体である特徴点Ｆについて算出した関数φ_C （ｘ_I ）は、振幅（方位角φ_C の範囲）及び位相が異なる周期関数となる。

極点候補特定部３３は、前側パノラマ画像及び後側パノラマ画像の特徴点Ｆについて方位角変化特定部３２が算出した関数φ_C （ｘ_I ）に基づいて、前側パノラマ画像及び後側パノラマ画像における極点候補を特定する。図１６は極点候補の特定処理を説明するための模式図である。ここで、仮に前側パノラマ画像において画像座標系のｘ座標値ｘ_A の位置が極点であったとすると、この極点に基づく共通軸極座標系における特徴点Ｆの方位角はφ_C （ｘ_A ）となる。前側パノラマ画像及び後側パノラマ画像において、極点に基づく共通軸極座標系における特徴点Ｆの方位角は同一であるので、後側パノラマ画像においても、特徴点Ｆの共通軸極座標系における方位角はφ_C （ｘ_A ）となる。図１６中に破線の曲線で示す後側パノラマ画像における関数φ_C （ｘ_I ）において、共通軸極座標系の方位角がφ_C （ｘ_A ）となる画像座標系のｘ座標値はｘ_B1及びｘ_B2の２つがある。即ち、前側パノラマ画像の極点が画像座標系のｘ座標値ｘ_A の位置とした場合、後側パノラマ画像の極点は、画像座標系のｘ座標値がｘ_B1又はｘ_B2の位置であることが分かる。ここで、前側パノラマ画像及び後側パノラマ画像における特徴点Ｆの共通軸極座標系における方位角φ_C を媒介変数とした場合、前側パノラマ画像及び後側パノラマ画像における極点候補の画像座標系のｘ座標値ｘ_A ，ｘ_B の組合せを抽出する（絞り込む）ことができる。

図１６に示す例では、前側パノラマ画像における関数φ_C （ｘ_I ）の振幅が、後側パノラマ画像における関数φ_C （ｘ_I ）の振幅よりも大きくなっている。従って、前側パノラマ画像の一部のｘ座標値ｘ_A については、後側パノラマ画像において、共通軸極座標系において同じ方位角φ_C となるｘ座標値ｘ_B が存在しないことになる。即ち、前側パノラマ画像のｘ座標値ｘ_A と共通軸極座標系において同じ方位角φ_C となる後側パノラマ画像のｘ座標値ｘ_B は、振幅が小さい後側パノラマ画像で取り得る方位角φ_C の範囲で存在し、前側パノラマ画像の共通軸極座標系における方位角φ_C が、後側パノラマ画像の共通軸極座標系の方位角φ_C の最大値を超えるか最小値未満である範囲では存在しない。

また、図１６に示すように、前側パノラマ画像において、特徴点Ｆの共通軸極座標系の方位角がφ_C （ｘ_A ）となる画像座標系のｘ座標値はｘ_A だけでなくｘ_A ´もある。関数φ_C （ｘ_I ）は周期関数であるので、値域の範囲内の方位角がφ_C （ｘ）となる画像座標系のｘ座標値は２つ存在する。従って、前側パノラマ画像及び後側パノラマ画像における特徴点Ｆの共通軸極座標系における方位角φ_C を媒介変数として、前側パノラマ画像及び後側パノラマ画像における極点候補の画像座標系のｘ座標値ｘ_A ，ｘ_B の組合せを抽出する場合、ある方位角φ_C について２つのパノラマ画像からそれぞれｘ座標値ｘ_A ，ｘ_B が２つずつ抽出されるので、４組の組合せ（ｘ座標値ｘ_A ，ｘ_B ）を抽出できる。

そこで、極点候補特定部３３は、前側パノラマ画像及び後側パノラマ画像における特徴点Ｆの共通軸極座標系における方位角φ_C を媒介変数として、前側パノラマ画像及び後側パノラマ画像における極点候補の画像座標系におけるｘ座標値ｘ_A ，ｘ_B の組合せを特定する。図１７は、パノラマ画像における極点候補の組合せを示す模式図である。図１７では、横軸を前側パノラマ画像におけるＸ座標軸Ｘ_A とし、縦軸を後側パノラマ画像におけるＸ座標軸Ｘ_B とする。図１７には、前側パノラマ画像の横幅（左右方向の長さ）をＷ_A とし、後側パノラマ画像の横幅をＷ_B としたＷ_A ×Ｗ_B のサイズの２次元空間に、極点候補特定部３３が特定した、前側パノラマ画像及び後側パノラマ画像における極点候補の画像座標系のｘ座標値ｘ_A ，ｘ_B の組合せをプロットした図を示す。これは、特徴点取得部３１が取得した１つの特徴点Ｆに基づいて、極点候補特定部３３が、前側パノラマ画像及び後側パノラマ画像における極点候補の組合せとして、Ｗ_A ×Ｗ_B の２次元空間内の各候補から、図１７に実線で示す曲線上の各候補に絞り込んだことを示す。

図１７から分かるように、関数φ_C （ｘ_I ）の振幅が小さい方の後側パノラマ画像については、画像座標系の全てのｘ座標値ｘ_B が極点候補となる一方で、関数φ_C （ｘ_I ）の振幅が大きい方の前側パノラマ画像については、極点候補は画像座標系の一部のｘ座標値ｘ_A に限定される。

特徴点取得部３１は、例えば２組の特徴点のペアを取得しており、方位角変化特定部３２及び極点候補特定部３３は、それぞれの特徴点について上述した演算処理を行う。図１８は２つの特徴点の例を示す模式図であり、図１９は２つの特徴点に基づく関数φ_C （ｘ_I ）を示す図であり、図２０は２つの特徴点に基づくパノラマ画像における極点候補の組合せを示す模式図である。図１８に示すように、図８に示した特徴点Ｆと同様の特徴点Ｆ１と、他の特徴点Ｆ２とを特徴点取得部３１が取得したとする。図１９において、下側の実線は、図１５Ｂと同様に特徴点Ｆ１に基づく前側パノラマ画像における関数φ_C （ｘ_I ）を示し、下側の破線は、図１５Ｂと同様に特徴点Ｆ１に基づく後側パノラマ画像における関数φ_C （ｘ_I ）を示す。また、図１９において、上側の実線は、特徴点Ｆ２に基づく前側パノラマ画像における関数φ_C （ｘ_I ）を示し、上側の破線は、特徴点Ｆ２に基づく後側パノラマ画像における関数φ_C （ｘ_I ）を示す。

図１８及び図１９から分かるように、特徴点Ｆ１は直線ＣＬ（撮影位置の高さに相当）よりも鉛直方向の上側にあるので、特徴点Ｆ１の共通軸極座標系における方位角φ_C （ｘ_I ）は常に正の値をとる。また、特徴点Ｆ２は直線ＣＬよりも鉛直方向の下側にあるので、特徴点Ｆ２の共通軸極座標系における方位角φ_C （ｘ_I ）は常に負の値をとる。図２０は、２つの特徴点Ｆ１，Ｆ２によって絞り込まれた、前側パノラマ画像及び後側パノラマ画像における極点候補の画像座標系のｘ座標値ｘ_A ，ｘ_B の組合せをプロットした図である。なお、図２０では、図１７に示した特徴点Ｆ１に基づく前側パノラマ画像及び後側パノラマ画像における極点候補の画像座標系のｘ座標値ｘ_A ，ｘ_B の組合せに、特徴点Ｆ２に基づく前側パノラマ画像及び後側パノラマ画像における極点候補の画像座標系のｘ座標値ｘ_A ，ｘ_B の組合せを破線の曲線でプロットしている。

ここで、図２０において、特徴点Ｆ１に基づいて絞り込まれた極点候補の画像座標系のｘ座標値ｘ_A ，ｘ_B の組合せと、特徴点Ｆ２に基づいて絞り込まれた極点候補の画像座標系のｘ座標値ｘ_A ，ｘ_B の組合せとの交点のいずれかが、真の極点の画像座標系のｘ座標値ｘ_A ，ｘ_B の組合せとなる。図２０では、４つの交点Ｑ₁ ，Ｑ₂ ，Ｑ₁ ´，Ｑ₂ ´が存在する。即ち、極点候補特定部３３が、前側パノラマ画像及び後側パノラマ画像における極点候補の組合せとして、４つの候補に絞り込んだことを示す。ここで、交点Ｑ₁ 及びＱ₁ ´は、前側パノラマ画像における画像座標系のｘ座標値がＷ_A ／２ずれており、後側パノラマ画像における画像座標系のｘ座標値がＷ_B ／２ずれている。また、交点Ｑ₂ 及びＱ₂ ´は、前側パノラマ画像における画像座標系のｘ座標値がＷ_A ／２ずれており、後側パノラマ画像における画像座標系のｘ座標値がＷ_B ／２ずれている。これは、交点Ｑ₁ が前側パノラマ画像及び後側パノラマ画像における極点のｘ座標値ｘ_A ，ｘ_B の組合せであった場合に、交点Ｑ₁ ´は極点の反対側（共通軸の負方向）の点のｘ座標値ｘ_A ，ｘ_B の組合せであることを意味する。交点Ｑ₂ 及びＱ₂ ´についても同様である。

極点特定部３４は、極点候補特定部３３が絞り込んだ４つの極点候補（交点Ｑ₁ ，Ｑ₂ ，Ｑ₁ ´，Ｑ₂ ´）から真の極点を特定する。例えば、前側パノラマ画像及び後側パノラマ画像において、極点の近傍には、共通軸の正方向にある同じ被写体が写っている。従って、極点特定部３４は、それぞれの極点候補について、前側パノラマ画像及び後側パノラマ画像における極点候補近傍の色成分を比較し、色成分の差異がより小さい極点候補を真の極点に特定する。また、極点特定部３４は、それぞれの極点候補について、前側パノラマ画像及び後側パノラマ画像に対して後述する補正部３５による補正処理を行い、補正後の前側パノラマ画像及び後側パノラマ画像を表示部１５に表示し、ユーザの目視確認によって真の極点を特定してもよい。この場合、極点特定部３４は、それぞれの極点候補について表示部１５に表示された補正後の前側パノラマ画像及び後側パノラマ画像に対して、適切な補正が行われた画像の選択を入力部１４にて受け付ける。

また、特徴点取得部３１が共通軸に対して同じ側（左側又は右側）にある２つの特徴点を取得したか、又は共通軸に対して異なる側にある２つの特徴点を取得したかに応じて、極点特定部３４は、極点候補から真の極点を特定してもよい。例えば、特徴点取得部３１が共通軸に対して左側（又は右側）にある２つの特徴点を取得していた場合、極点特定部３４は、それぞれの極点候補について補正部３５による補正処理を行い、補正後の前側パノラマ画像及び後側パノラマ画像において、２つの特徴点が画像の左側（又は右側）にあった場合、このときの極点候補を真の極点に特定する。また、特徴点取得部３１は共通軸に対して左側及び右側にそれぞれ１つずつの特徴点を取得していた場合、極点特定部３４は、それぞれの極点候補について補正部３５による補正処理を行い、補正後の前側パノラマ画像及び後側パノラマ画像において、２つの特徴点がそれぞれ画像の左側及び右側にあった場合、このときの極点候補を真の極点に特定する。更に、特徴点取得部３１が３つ目の特徴点のペアを取得し、方位角変化特定部３２及び極点候補特定部３３が、３つ目の特徴点について上述した演算処理を行うことによって、極点候補特定部３３は極点候補を更に絞り込むことができ、極点特定部３４は、極点候補特定部３３による絞り込みによって真の極点を特定してもよい。

なお、図２０に示した４つの極点候補Ｑ₁ ，Ｑ₂ ，Ｑ₁ ´，Ｑ₂ ´において、極点候補Ｑ₁ 及びＱ₁ ´と、極点候補Ｑ₂ 及びＱ₂ ´とは、一方が真の極点のｘ座標値ｘ_A ，ｘ_B の組合せであった場合に、他方は極点の反対側（共通軸の負方向）の点のｘ座標値ｘ_A ，ｘ_B の組合せとなる。即ち、真の極点を、図５及び図７中に矢符ｔで示す共通軸の正方向の被写体が写っている画像中の位置とした場合、極点の反対側の点は、共通軸の負方向の被写体が写っている画像中の位置となる。前側パノラマ画像及び後側パノラマ画像における方位角方向を一致させることを目的とする場合、極点は、共通軸の正方向の被写体が写っている画像中の位置であっても、共通軸の負方向の被写体が写っている画像中の位置であっても問題ない。よって、この場合、極点特定部３４は、極点候補Ｑ₁ 及びＱ₁ ´のいずれを特定してもよく、極点候補Ｑ₂ 及びＱ₂ ´のいずれを特定してもよい。従って、この場合、極点特定部３４は、極点候補特定部３３が特定した、図２０に示す４つの極点候補のうちの２つの極点候補Ｑ₁ ，Ｑ₂ から真の極点を特定すればよい。

なお、極点候補Ｑ₁ 及びＱ₁ ´並びに極点候補Ｑ₂ 及びＱ₂ ´をそれぞれ区別して真の極点を特定する必要がある場合、極点特定部３４は例えば以下の処理を行う。極点特定部３４は、それぞれの極点候補について補正部３５による補正処理が行われた前側パノラマ画像及び後側パノラマ画像において、いずれかの特徴点の共通軸極座標系における天頂角θ_C を算出する。そして、極点特定部３４は、前側パノラマ画像において算出した天頂角θ_C が後側パノラマ画像において算出した天頂角θ_C よりも大きくなる極点候補を、真の極点に特定する。これは、同じ被写体は、同じ共通軸極座標系での方位角方向において、前側パノラマ画像よりも後側パノラマ画像で中央部に写るので、共通軸極座標系における天頂角θ_C の値が前側パノラマ画像よりも後側パノラマ画像で小さくなるからである。

補正部３５は、前側パノラマ画像及び後側パノラマ画像に対して、極点特定部３４が前側パノラマ画像及び後側パノラマ画像に対して特定した極点に基づいて、画像の方位角方向を補正する処理を行う。具体的には、補正部３５は、前側パノラマ画像において、極点特定部３４が特定した極点が画像の中央に移動するように、前側パノラマ画像中の各画素を左右方向に平行移動させる。また、補正部３５は、後側パノラマ画像において、極点特定部３４が特定した極点が画像の中央に移動するように、後側パノラマ画像中の各画素を左右方向に平行移動させる。なお、例えば画像中の各画素を右方向へ平行移動させた場合、画像の右端からはみ出した画素は、画像の左側に移動させる。また、画像中の各画素を左方向へ平行移動させた場合、画像の左端からはみ出した画素は、画像の右側に移動させる。これにより、図８Ａに示す前側パノラマ画像が、図６Ａに示す前側パノラマ画像に補正され、図８Ｂに示す後側パノラマ画像が、図６Ｂに示す後側パノラマ画像に補正され、補正後の前側パノラマ画像及び後側パノラマ画像において、同じ被写体の画像中の方位角方向を一致させることができる。

次に、情報処理装置１０が行う補正処理をフローチャートに基づいて説明する。図２１は、情報処理装置１０が行う処理の手順を示すフローチャートである。以下の処理は、情報処理装置１０の記憶部１２に記憶してある方位補正プログラムＰを含む制御プログラムに従って制御部１１によって実行される。

情報処理装置１０の制御部１１は、補正処理を行うべきパノラマ画像をパノラマ画像ＤＢ１２ａから読み出す（Ｓ１）。補正処理を行うべきパノラマ画像は、入力部１４又は外部装置を介して指定される。処理対象のパノラマ画像は、例えば同じ撮影空間内の異なる撮影位置で撮影されたパノラマ画像であり、以下では、図７に示す撮影空間における２箇所の撮影位置で撮影されたパノラマ画像（前側パノラマ画像及び後側パノラマ画像）とする。なお、ここでのパノラマ画像は、画像の上下方向が撮影空間の鉛直方向に一致し、撮影高さが画像の上下方向の中央に一致する画像である。

制御部１１は、読み出した２つのパノラマ画像に対して、同じ被写体が写っている位置を１組の特徴点として取得する（Ｓ２）。制御部１１は、前側パノラマ画像について、画像の上下方向の中央の直線ＣＬ上の各位置を極点候補とし、それぞれの極点候補を極点とした場合に、各極点に基づく共通軸極座標系において、取得した特徴点の方位角の変化を示す関数φ_C （ｘ_I ）を算出する（Ｓ３）。制御部１１は、後側パノラマ画像についても、画像の上下方向の中央の直線ＣＬ上の各位置を極点候補とし、それぞれの極点候補を極点とした場合に、各極点に基づく共通軸極座標系において、取得した特徴点の方位角の変化を示す関数φ_C （ｘ_I ）を算出する（Ｓ４）。図１８Ａに示すような前側パノラマ画像において特徴点Ｆ１を取得した場合、制御部１１は、図１９の下側の実線で示すような関数φ_C （ｘ_I ）を算出する。また、図１８Ｂに示すような後側パノラマ画像において特徴点Ｆ１を取得した場合、制御部１１は、図１９の下側の破線で示すような関数φ_C （ｘ_I ）を算出する。

制御部１１は、前側パノラマ画像について算出した関数φ_C （ｘ_I ）と、後側パノラマ画像について算出した関数φ_C （ｘ_I ）とに基づいて、前側パノラマ画像及び後側パノラマ画像における極点候補の画像座標系のｘ座標値の組合せを特定する（Ｓ５）。制御部１１は、前側パノラマ画像及び後側パノラマ画像において共通である、特徴点Ｆの共通軸極座標系における方位角φ_C を媒介変数として、前側パノラマ画像及び後側パノラマ画像における極点候補のｘ座標値ｘ_A ，ｘ_B の組合せを特定する。これにより、図２０に実線で示した曲線上の各点が、前側パノラマ画像及び後側パノラマ画像における極点候補の組合せ（ｘ座標値ｘ_A ，ｘ_B ）として特定される。

制御部１１は、２つのパノラマ画像に対して、もう１組の特徴点を取得する（Ｓ６）。制御部１１は、もう１組の特徴点についてもステップＳ３〜Ｓ５と同様の処理を行う。具体的には、制御部１１は、前側パノラマ画像について、直線ＣＬ上の各位置を極点とした場合に、各極点に基づく共通軸極座標系において、新たに取得した特徴点の方位角の変化を示す関数φ_C （ｘ_I ）を算出する（Ｓ７）。また制御部１１は、後側パノラマ画像についても、直線ＣＬ上の各位置を極点とした場合に、各極点に基づく共通軸極座標系において、新たに取得した特徴点の方位角の変化を示す関数φ_C （ｘ_I ）を算出する（Ｓ８）。図１８Ａに示すような前側パノラマ画像において特徴点Ｆ２を取得した場合、制御部１１は、図１９の上側の実線で示すような関数φ_C （ｘ_I ）を算出する。また、図１８Ｂに示すような後側パノラマ画像において特徴点Ｆ２を取得した場合、制御部１１は、図１９の上側の破線で示すような関数φ_C （ｘ_I ）を算出する。

制御部１１は、特徴点Ｆ２に基づいて前側パノラマ画像について算出した関数φ_C （ｘ_I ）と、後側パノラマ画像について算出した関数φ_C （ｘ_I ）とに基づいて、前側パノラマ画像及び後側パノラマ画像における極点候補の画像座標系のｘ座標値の組合せを特定する（Ｓ９）。これにより、図２０に破線で示した曲線上の各点が、前側パノラマ画像及び後側パノラマ画像における極点候補の組合せ（ｘ座標値ｘ_A ，ｘ_B ）として特定される。そして、制御部１１は、ステップＳ２で取得した特徴点Ｆ１に基づいてステップＳ５で特定した極点候補の組合せと、ステップＳ６で取得した特徴点Ｆ２に基づいてステップＳ９で特定した極点候補の組合せとに基づいて、前側パノラマ画像及び後側パノラマ画像における極点の画像座標系のｘ座標値の組合せを特定する（Ｓ１０）。

制御部１１は、ステップＳ１０で特定した前側パノラマ画像及び後側パノラマ画像における極点の画像座標系のｘ座標値の組合せに基づいて、ステップＳ１で読み出した前側パノラマ画像及び後側パノラマ画像をそれぞれ補正し（Ｓ１１）、処理を終了する。具体的には、制御部１１は、前側パノラマ画像において、特定した極点が画像の中央に移動するように、前側パノラマ画像中の各画素を左右方向に平行移動させる。また制御部１１は、後側パノラマ画像において、特定した極点が画像の中央に移動するように、後側パノラマ画像中の各画素を左右方向に平行移動させる。これにより、図８Ａ，Ｂに示すように撮影方向が異なる状態で撮影された前側パノラマ画像及び後側パノラマ画像が、図６Ａ，Ｂに示すように、同じ被写体が画像中の同じ方位角方向に写っているパノラマ画像に補正される。

本実施形態の情報処理装置１０では、それぞれの撮影位置において異なる撮影方向で撮影を行った場合であっても、撮影後のパノラマ画像を、同じ被写体が画像中の方位角方向（左右方向）の同じ位置に写るパノラマ画像に補正できる。よって、複数のパノラマ画像において、同じ被写体の画像中の方位角方向を一致させることができる。このようなパノラマ画像を用いることにより、複数のパノラマ画像を切り替えて表示する場合に画像の遷移を滑らかに行うことができる。また、このようなパノラマ画像を合成して表示する場合、合成後のパノラマ画像に方位角方向（横方向）のブレが生じず、鮮明なパノラマ画像を提供できる。

本実施形態において、撮影対象の部屋における撮影位置は３箇所以上としてもよい。この場合、それぞれ２箇所の撮影位置間で、撮影したパノラマ画像における方位角方向の補正処理を行えばよい。これにより、撮影対象の部屋の任意の位置で撮影されたパノラマ画像間において、同じ被写体の画像中の方位角方向を一致させることができる。
本実施形態において、カメラ２０は、全天球カメラに限定しない。たとえば、半球型の範囲を撮影可能なカメラであってもよい。通常の平面画像撮影用のカメラでもよい。

各実施形態で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ 情報処理装置
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
２０ カメラ
２１ 制御部
２２ 記憶部
２３ 通信部
２４ シャッターボタン
２５ 撮影部
３１ 特徴点取得部
３２ 方位角変化特定部（変化特定部）
３３ 極点候補特定部（候補特定部）
３４ 極点特定部
３５ 補正部
１２ａ パノラマ画像ＤＢ

Claims (7)

1. 空間内の撮影位置で撮影した複数のパノラマ画像を取得する画像取得部と、
   前記複数のパノラマ画像中の特徴点を取得する特徴点取得部と、
   前記複数のパノラマ画像及び前記特徴点取得部が取得した特徴点に基づいて、前記パノラマ画像のそれぞれについて、前記撮影位置を結ぶ直線上の極点を特定する極点特定部と、
   特定した前記極点に基づいて前記パノラマ画像の方位角方向を補正する補正部と
   を備える情報処理装置。
2. 前記極点特定部は、前記パノラマ画像のそれぞれについて、前記撮影位置を結ぶ直線を中心とした方位角方向における、前記特徴点取得部が取得した特徴点の方位角が同一となる前記極点を特定する
   請求項１に記載の情報処理装置。
3. 前記パノラマ画像のそれぞれについて、撮影高さに対応する線上の各位置に応じた、前記撮影位置を結ぶ直線を中心とした方位角方向における前記特徴点の方位角の変化を特定する変化特定部と、
   前記変化特定部が特定した変化に基づいて、前記パノラマ画像のそれぞれについて、前記撮影位置を結ぶ直線上の極点の候補を特定する候補特定部とを更に備え、
   前記極点特定部は、前記特徴点取得部が取得した複数の特徴点に対して前記候補特定部が前記パノラマ画像のそれぞれについて特定した極点の候補に基づいて、前記パノラマ画像における極点を特定する
   請求項１又は２に記載の情報処理装置。
4. 前記補正部は、前記極点特定部が特定した極点がそれぞれの前記パノラマ画像の同一位置となるように、前記パノラマ画像の方位角方向を補正する
   請求項１から３までのいずれかひとつに記載の情報処理装置。
5. 前記パノラマ画像は、前記空間の鉛直方向を上下方向とする画像である
   請求項１から４までのいずれかひとつに記載の情報処理装置。
6. 情報処理装置が、
   空間内の撮影位置で撮影した複数のパノラマ画像を取得し、
   前記複数のパノラマ画像中の特徴点を取得し、
   前記複数のパノラマ画像及び取得した前記特徴点に基づいて、前記パノラマ画像のそれぞれについて、前記撮影位置を結ぶ直線上の極点を特定し、
   特定した前記極点に基づいて前記パノラマ画像の方位角方向を補正する
   処理を行う情報処理方法。
7. コンピュータに、
   空間内の撮影位置で撮影した複数のパノラマ画像を取得し、
   前記複数のパノラマ画像中の特徴点を取得し、
   前記複数のパノラマ画像及び取得した前記特徴点に基づいて、前記パノラマ画像のそれぞれについて、前記撮影位置を結ぶ直線上の極点を特定し、
   特定した前記極点に基づいて前記パノラマ画像の方位角方向を補正する
   処理を実行させるプログラム。
   

Images