JP2023110454A - 画像処理装置、プログラム及び画像処理方法 - Google Patents

Abstract

【課題】パノラマ画像に対する幾何学的な演算によって、撮影対象の空間の３Ｄモデルを適切に生成することが可能な画像処理装置等を提供する。【解決手段】画像処理装置は、閉鎖された実空間内で撮影されたパノラマ画像を取得し、前記実空間の高さ及び平面視での多角形の角数を取得する。また、画像処理装置は、パノラマ画像上で、前記実空間の鉛直方向の辺に対応する位置を特定し、取得した前記実空間の高さを用いて前記実空間の多角柱の形状を推定し、推定した多角柱を構成する３Ｄモデルを生成する。【選択図】図３

Description

本発明は、画像処理装置、プログラム及び画像処理方法に関する。

特許文献１では、部屋を撮影したパノラマ画像から部屋の形を示すＶＲ立体画像を生成し、家具と部屋の実際の縮尺と同様の条件で、家具の３Ｄ画像をＶＲ立体画像内に配置する技術が開示されている。特許文献１に開示された技術では、パノラマ画像内の基準線の長さと、前記基準線の実測値及び家具の寸法の比率とに基づいて、家具のモデリングデータの大きさを調整し、モデリングデータに基づいてＶＲ立体画像内に家具が配置された状態を描画することができる。

特許第６８７２６６０号公報

特許文献１では、深層学習のアルゴリズムを用いてパノラマ画像からＶＲ立体画像を自動生成することが開示されている。即ち、特許文献１に開示された技術は、パノラマ画像に対する幾何学的な演算によってＶＲ立体画像を生成する構成ではない。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、パノラマ画像に対する幾何学的な演算によって、撮影対象の空間の３Ｄモデルを適切に生成することが可能な画像処理装置等を提供することにある。

本開示の一態様に係る画像処理装置は、閉鎖された実空間内で撮影されたパノラマ画像を取得する画像取得部と、前記実空間の高さ及び平面視での多角形の角数を取得する空間情報取得部と、前記パノラマ画像上で、前記実空間の鉛直方向の辺に対応する位置を特定し、取得した前記実空間の高さを用いて前記実空間の多角柱の形状を推定する推定部と、推定した前記多角柱を構成する３Ｄモデルを生成する生成部とを備える。

本開示の一態様によれば、実写画像に対する幾何学的な演算によって、撮影対象の空間の３Ｄモデルを適切に生成できる。よって、適切に生成された３Ｄモデルをユーザに提供することができる。

画像処理システムの構成例を示す模式図である。 カメラ及び登録用端末の構成例を示すブロック図である。 サーバ及び閲覧用端末の構成例を示すブロック図である。 サーバに記憶されるＤＢの構成例を示す模式図である。 カメラの外観例を示す模式図である。 撮影画像の構成例の説明図である。 撮影画像の登録処理手順の一例を示すフローチャートである。 登録画面例を示す模式図である。 閲覧用画像の生成処理手順の一例を示すフローチャートである。 閲覧用画像の生成処理の説明図である。 閲覧用画像の生成処理の説明図である。 天頂補正の処理手順の一例を示すフローチャートである。 天頂補正に含まれる回転軸の特定処理手順の一例を示すフローチャートである。 天頂補正に含まれる回転軸の特定処理手順の一例を示すフローチャートである。 天頂補正に含まれる回転量の特定処理手順の一例を示すフローチャートである。 天頂補正の説明図である。 極座標系及びワールド直交座標系の関係を示す模式図である。 撮影空間の推定処理手順の一例を示すフローチャートである。 撮影空間の推定処理の説明図である。 撮影空間の推定処理の説明図である。 ポリゴンデータの説明図である。 テクスチャ画像の説明図である。 テクスチャ画像の説明図である。 パノラマ画像の再生処理手順の一例を示すフローチャートである。 パノラマ画像の表示画面例を示す模式図である。 実施形態２の閲覧用画像の生成処理手順の一例を示すフローチャートである。 実施形態２の閲覧用画像の生成処理の説明図である。 実施形態２の撮影空間の推定処理手順の一例を示すフローチャートである。 実施形態３の画像処理システムの構成例を示す模式図である。

以下に、本開示の画像処理装置、プログラム及び画像処理方法について、その実施形態を示す図面に基づいて詳述する。

（実施形態１）
図１は、画像処理システムの構成例を示す模式図である。本実施形態の画像処理システム１００は、サーバ１０（画像処理装置）、登録用端末２０、カメラ３０及び閲覧用端末４０を含む。サーバ１０、登録用端末２０及び閲覧用端末４０は、インターネット、公衆通信回線又はＬＡＮ（Local Area Network）等のネットワークＮに接続可能であり、ネットワークＮ経由で情報の送受信を行う。登録用端末２０及びカメラ３０は例えば無線通信可能であり、無線通信にて情報の送受信を直接行う。なお、カメラ３０がネットワークＮに接続可能である場合、カメラ３０及び登録用端末２０はネットワークＮ経由で情報の送受信を行う構成でもよい。

サーバ１０は、サーバコンピュータ又はパーソナルコンピュータ等の情報処理装置であり、複数台設けられてもよく、大型計算機等の１台の装置内に設けられた複数の仮想マシンによって実現されてもよく、クラウドサーバを用いて実現されてもよい。登録用端末２０は、パーソナルコンピュータ又はタブレット端末等であり、複数台設けられてもよい。カメラ３０は、撮影装置の一例である。本実施形態においては、カメラ３０を用いて、賃貸住宅及び販売住宅等の不動産物件の部屋、ホテル及び民宿等の宿泊施設の部屋等の空間内（実空間内）の任意の位置で撮影を行う。カメラ３０を用いて撮影する空間は、博物館、美術館、テーマパーク、アミューズメント施設、観光地、商業施設等であってもよいが、本実施形態では、撮影空間は閉鎖された略多角柱形状の部屋とする。カメラ３０は、１回のシャッターで前後左右上下の撮影を行う全天球カメラを使用する。

本実施形態では、例えば不動産物件の管理会社の従業員等（パノラマ画像の登録者）が、カメラ３０を用いて不動産物件の室内（空間内）で撮影を行う。カメラ３０によって撮影された撮影画像（パノラマ画像）は、登録用端末２０を介してサーバ１０へ送信され、サーバ１０の撮影画像ＤＢ１２ａ（図３参照）に記録される。なお、カメラ３０は撮影によって画像データ（撮影画像データ）を取得するが、以下では画像データを単に画像という場合がある。従って、撮影画像は撮影画像データを意味する場合があり、パノラマ画像はパノラマ画像データを意味する場合がある。撮影画像は、複数の画素を含み、撮影画像データは、各画素の撮影画像中の位置（座標）を示す位置情報と各画素の輝度（画素値）とを対応付けて有する。

サーバ１０は、撮影画像ＤＢ１２ａに登録されたパノラマ画像をネットワークＮ経由で公開しており、不動産物件の部屋を内見したいユーザ（閲覧者）は、閲覧用端末４０を用いてサーバ１０にアクセスし、所望の部屋のパノラマ画像を閲覧できる。なお、サーバ１０は、撮影画像ＤＢ１２ａに登録されたパノラマ画像から、閲覧用端末４０で再生するための閲覧用画像を生成し、閲覧用画像を閲覧用端末４０に提供する。閲覧用端末４０は、スマートフォン、タブレット端末又はパーソナルコンピュータ等の汎用の情報処理装置であり、複数台設けられてもよい。閲覧用端末４０は、例えば入力部４４（図３参照）を介して撮影空間内の任意の位置（仮想位置）と仮想位置から室内を見た方向との入力を受け付け、受け付けた仮想位置から、受け付けた方向（仮想位置からの視線方向）を見た状態の３Ｄモデル（仮想画像）を生成して表示する。なお、閲覧用端末４０は、閲覧者が装着して使用するＨＭＤ（Head Mounted Display）型の情報処理装置であってもよい。この場合、閲覧用端末４０には、各種センサが内蔵され、装着した閲覧者の頭部の位置及び向き（視線方向）を検出し、検出した閲覧者の頭部の位置及び向きに基づいて３Ｄモデルを生成する。また、閲覧用端末４０は、汎用の情報処理装置とＨＭＤ等の表示装置との組合せでもよく、スマートフォン等の軽量の携帯型情報処理装置と、携帯型情報処理装置を閲覧者の目の前に固定する固定部材との組合せでもよい。

このような構成により、閲覧者は、撮影対象となった部屋の中を仮想的に歩き回り、任意の向きを向いて、部屋の広さ、家具の配置、窓の外の景色等を感覚的に把握することができる。なお、閲覧者は回転可能な椅子に着席した状態で、ジョイスティック等を操作することで仮想視点（仮想位置）及び仮想視点からの向きを移動させてもよい。この場合、転倒及び衝突のおそれなく、部屋の中を仮想的に歩き回り、あるいは飛翔し、任意の向きを向いて、室内空間を把握することができる。

図２は、カメラ３０及び登録用端末２０の構成例を示すブロック図である。カメラ３０は、制御部３１、記憶部３２、通信部３３、シャッターボタン３４、撮影部３５等を含み、これらはバスを介して相互に接続されている。制御部３１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部３１は、記憶部３２に記憶してある制御プログラムを実行すると共に、バスを介してカメラ３０を構成するハードウェア各部の動作を制御する。これにより、制御部３１は、カメラ３０が行うべき種々の制御処理及び情報処理を実行する。記憶部３２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク等を含む。記憶部３２は、制御部３１が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部３２は、制御部３１が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。

通信部３３は、例えばBluetooth（登録商標）又はWi-Fi等の無線通信を行うためのインタフェースであり、無線通信によって外部装置（例えば登録用端末２０）との間で情報の送受信を直接行う。なお、通信部３３は、ケーブルを介した有線通信によって外部装置との間で情報の送受信を行うためのインタフェースであってもよい。また通信部３３は、無線通信又は有線通信によってネットワークＮに接続するためのインタフェースであってもよく、この場合、ネットワークＮ経由で外部装置との間で情報の送受信を行う。

シャッターボタン３４は、静止画を撮影する指示を受け付けるためのボタンである。なお、制御部３１は、無線通信によって、又はネットワークＮを通じてシャッターボタン３４の操作を受け付けてもよい。撮影部３５は、撮影を行う光学系及び撮像素子等を有する撮像装置である。制御部３１は、シャッターボタン３４から受け付けた指示に基づいて撮影部３５による撮影を行い、光学系を介して入射した光が撮像素子にて光電変換されて得られたデータに対して各種の画像処理を行い、撮影画像を取得する。カメラ３０は、上述した構成のほかに、液晶ディスプレイ等による表示部、ユーザによる各種の操作入力を受け付ける入力部等を有する構成でもよい。

登録用端末２０は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、読み取り部２６等を含み、これらはバスを介して相互に接続されている。制御部２１は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の１又は複数のプロセッサを含む。制御部２１は、記憶部２２に記憶してある制御プログラム２２Ｐを実行すると共に、バスを介して登録用端末２０を構成するハードウェア各部の動作を制御する。これにより、制御部２１は、登録用端末２０が行うべき種々の制御処理及び情報処理を実行する。記憶部２２は、ＲＡＭ、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部２２は、制御部２１が実行する制御プログラム２２Ｐ（プログラム製品）及び制御プログラム２２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部２２は、制御部２１が制御プログラム２２Ｐを実行する際に発生するデータ等を一時的に記憶する。また記憶部２２は、ネットワークＮ経由で公開されているウェブサイトを閲覧するためのウェブブラウザ２２ａを記憶している。

通信部２３は、有線通信又は無線通信によってネットワークＮに接続するためのインタフェースであり、ネットワークＮ経由で外部装置との間で情報の送受信を行う。また通信部２３は、無線通信又は有線通信によって外部装置（例えばカメラ３０）との間で情報の送受信を直接行うためのインタフェースを有する構成でもよい。入力部２４は、マウス及びキーボード等を含み、ユーザ（登録者）による操作入力を受け付け、操作内容に対応した制御信号を制御部２１へ送出する。表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部２１からの指示に従って各種の情報を表示する。入力部２４及び表示部２５は一体として構成されたタッチパネルであってもよい。

読み取り部２６は、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体２ａに記憶された情報を読み取る。記憶部２２に記憶される制御プログラム２２Ｐ及びデータは、制御部２１が読み取り部２６を介して可搬型記憶媒体２ａから読み取って記憶部２２に記憶してもよい。また、記憶部２２に記憶される制御プログラム２２Ｐ及びデータは、制御部２１が通信部２３を介してネットワークＮ経由で外部装置からダウンロードして記憶部２２に記憶してもよい。更に、制御部２１が半導体メモリ２ｂから制御プログラム２２Ｐ及びデータを読み出してもよい。

図３は、サーバ１０及び閲覧用端末４０の構成例を示すブロック図である。サーバ１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を含み、これらはバスを介して相互に接続されている。これらの各部１１～１６は、登録用端末２０の各部２１～２６と同様の構成を有するので、構成についての詳細な説明は省略する。なお、サーバ１０の記憶部１２は、制御プログラム１２Ｐ（プログラム製品）のほかに、後述する撮影画像ＤＢ１２ａ及び閲覧用画像ＤＢ１２ｂを記憶する。撮影画像ＤＢ１２ａ及び閲覧用画像ＤＢ１２ｂは、サーバ１０に接続された外部の記憶装置に記憶されてもよく、ネットワークＮを介してサーバ１０が通信可能な外部の記憶装置に記憶されてもよい。なお、サーバ１０の入力部１４及び表示部１５は必須ではなく、サーバ１０は、接続されたコンピュータを通じて操作を受け付ける構成でもよく、表示すべき情報を外部の表示装置へ出力する構成でもよい。

閲覧用端末４０は、制御部４１、記憶部４２、通信部４３、入力部４４、表示部４５等を含み、これらはバスを介して相互に接続されている。これらの各部４１～４５は、登録用端末２０の各部２１～２５と同様の構成を有するので、構成についての詳細な説明は省略する。なお、閲覧用端末４０がＨＭＤ型の情報処理装置である場合、閲覧用端末４０を装着した閲覧者の頭部の位置及び向きを検出するセンサ部（図示せず）を有する。センサ部は、例えば地磁気センサ、傾きセンサ、ＧＰＳ（Global Positioning System ）センサ等の複数のセンサの組合せであり、閲覧用端末４０の位置及び向きを検出する。例えばＧＰＳセンサによって閲覧用端末４０の現在位置を検出し、地磁気センサによって閲覧用端末４０の向きを検出し、傾きセンサによって閲覧用端末４０の重力方向（即ち、鉛直方向の下向き）に対する傾きを検出する。センサ部は、閲覧用端末４０の位置及び向きを検出することにより、閲覧用端末４０を頭部に装着しているユーザの頭部の位置及び向きを検出する。

図４は、サーバ１０に記憶されるＤＢ１２ａ，１２ｂの構成例を示す模式図であり、図４Ａは撮影画像ＤＢ１２ａを、図４Ｂは閲覧用画像ＤＢ１２ｂをそれぞれ示す。撮影画像ＤＢ１２ａは、カメラ３０を用いて撮影されたパノラマ画像（撮影画像）を記憶する。図４Ａに示す撮影画像ＤＢ１２ａは、画像ＩＤ列、撮影位置情報列、撮影画像列等を含み、画像ＩＤに対応付けて撮影場所の情報及び撮影画像（パノラマ画像）を記憶する。画像ＩＤ列は、撮影画像に割り当てられた識別情報を記憶する。撮影位置情報列は、撮影画像を撮影した場所、部屋、空間に関する情報を記憶し、例えば撮影した部屋の住所、建物名及び部屋番号、ランドマーク名、緯度及び経度等を用いることができる。撮影画像列は、カメラ３０を用いて撮影されたパノラマ画像のデータ（撮影画像データ）を記憶する。なお、パノラマ画像のデータ（撮影画像データ）は、撮影画像ＤＢ１２ａに記憶されずに、記憶部１２の所定領域又はサーバ１０に接続された外部記憶装置に記憶されてもよい。この場合、撮影画像列は、撮影画像（パノラマ画像）のデータを読み出すための情報（例えばデータの記憶場所を示すファイル名）を記憶する。撮影画像ＤＢ１２ａに記憶される画像ＩＤは、サーバ１０が新たなパノラマ画像を通信部１３にて取得した場合に、制御部１１によって発行されて記憶される。撮影情報ＤＢ１２ａに記憶される他の情報は、制御部１１が通信部１３を介して登録用端末２０から取得した場合に、制御部１１によって記憶される。なお、撮影位置情報は、登録用端末２０からパノラマ画像と共にサーバ１０へ送信される。撮影画像ＤＢ１２ａの記憶内容は図４Ａに示す例に限定されず、例えば撮影日時、撮影者の情報、撮影対象の空間（部屋）に関する情報等が記憶されてもよい。

閲覧用画像ＤＢ１２ｂは、サーバ１０がネットワークＮ経由で提供する閲覧用のパノラマ画像（閲覧用画像）を記憶する。なお、閲覧用画像は、撮影画像ＤＢ１２ａに登録された撮影画像を、サーバ１０が所定の画像処理を行うことによって得られたデータであり、具体的にはポリゴンデータ及びテクスチャ画像データを含む。図４Ｂに示す閲覧用画像ＤＢ１２ｂは、撮影画像ＤＢ１２ａと同様の構成を有し、撮影画像ＤＢ１２ａにおける撮影画像の代わりに、撮影画像から生成された閲覧用画像を記憶する。なお、閲覧用画像のデータも、閲覧用画像ＤＢ１２ｂに記憶されずに、記憶部１２の所定領域又はサーバ１０に接続された外部記憶装置に記憶されてもよい。この場合、閲覧用画像列は、閲覧用画像のデータ（ポリゴンデータ及びテクスチャ画像データ）を読み出すための情報（例えばデータの記憶場所を示すファイル名）を記憶する。閲覧用画像ＤＢ１２ｂに記憶される画像ＩＤ及び撮影位置情報は、サーバ１０が撮影画像から閲覧用画像を生成した場合に、この撮影画像に対応する画像ＩＤ及び撮影位置情報が制御部１１によって撮影画像ＤＢ１２ａから読み出されて記憶される。閲覧用画像ＤＢ１２ｂに記憶される閲覧用画像は、制御部１１が撮影画像から閲覧用画像を生成した場合に、制御部１１によって記憶される。閲覧用画像ＤＢ１２ｂの記憶内容は図４Ｂに示す例に限定されず、例えば処理前の撮影画像の撮影日時、撮影者の情報、撮影対象の空間（部屋）に関する情報等が記憶されてもよい。また、撮影画像ＤＢ１２ａ及び閲覧用画像ＤＢ１２ｂを１つのＤＢで構成してもよく、撮影画像ＤＢ１２ａに閲覧用画像を記憶する構成としてもよい。

以下に、本実施形態の画像処理システム１００におけるカメラ３０及びカメラ３０によって撮影されるパノラマ画像について説明する。図５は、カメラ３０の外観例を示す模式図である。本実施形態のカメラ３０は、略長方形板状の板状部３８を有する。本実施形態のカメラ３０は、図５に示すように板状部３８の長辺方向を上下方向に向けた状態で撮影するので、以後の説明においては、板状部３８の長辺方向をカメラ３０の上下方向と記載する。また、板状部３８の長辺方向を上下方向に向けた状態のカメラ３０において、板状部３８の第１広面３８１側をカメラ３０の前側（正面側）、第２広面３８２側をカメラ３０の後側（背面側）、板状部３８の短辺方向をカメラ３０の左右方向とそれぞれ記載する。

カメラ３０は、第１広面３８１の上寄りに、ドーム状の第１レンズ３７１が設けられている。第２広面３８２の上寄りに、ドーム状の第２レンズ３７２が設けられている。第１レンズ３７１及び第２レンズ３７２の内側には、図示しない複数のレンズ及びプリズム等の光学部品が配置されており、１８０度以上の視野角を有する光学系を形成している。以後の説明では、第１レンズ３７１側の光学系の光軸を第１光軸、第２レンズ３７２側の光学系の光軸を第２光軸とそれぞれ記載する。第１光軸と第２光軸とは、同一の直線上に配置されている。第１広面３８１にシャッターボタン３４が配置されている。

上述した構成のカメラ３０が撮影時に行う処理について説明する。図６は撮影画像の構成例の説明図である。図６Ａは、全天球画像を示す模式図である。図６Ｂは、図６Ａの全天球画像を正距円筒図法により展開した画像を示す模式図である。カメラ３０の制御部３１は、シャッターボタン３４から受け付けた指示に基づいて撮影部３５による撮影を行った場合、第１光軸側で撮影した画像と第２光軸側で撮影した画像とを合成することにより、図６Ａに示すように撮影位置を撮影中心Ｃとする全天球画像を生成する。

全天球画像上の各画素の位置を定める座標系について説明する。全天球画像上の画素の位置は、直交座標系及び極座標系により表現することができる。直交座標系は、図５に示した右方向をＸ軸の正側、上方向をＹ軸の正側、後ろ方向をＺ軸の正側とする右手系の直交座標系を用いる。極座標系は、方位角φ及び天頂角θ、並びに撮影中心Ｃからの距離ｒによって座標が示される座標系を用いる。極座標系の方位角は、第２光軸側（Ｚ軸の正側）を基準として、ＸＺ面（カメラ３０の前後左右方向を含む平面）内の反時計回りの角度φを示す。第１光軸（Ｚ軸の負側）は、方位角φがπラジアンの位置に存在する。ここでπは円周率を意味する。第２光軸は、方位角φが０ラジアンかつ２πラジアンの位置に存在する。極座標系の天頂角は、撮影中心Ｃから天頂への上方向（Ｙ軸の正側）を基準として、撮影中心Ｃを中心として下に向かう角度θを示す。上方向は、天頂角θが０ラジアンの位置に存在する。下方向（Ｙ軸の負側）は、天頂角θがπラジアンの位置に存在する。全天球画像上の任意の画素ａの位置は、直交座標系で表した座標（ｘ_a ，ｙ_a ，ｚ_a ）と、極座標系で表した座標（ｒ，θ_a ，φ_a）とによって表現することができる。なお、直交座標系の座標（ｘ，ｙ，ｚ）及び極座標系の座標（ｒ，θ，φ）は以下の（１）式及び（２）式によって相互に変換可能である。

カメラ３０の制御部３１は、全天球画像を方位角φ＝０の線に沿って切断して、正距円筒図法により図６Ｂに示すように横軸を方位角φとし縦軸を天頂角θとする平面に展開した長方形の撮影画像（以下では、パノラマ画像という）を生成する。このパノラマ画像を構成する各画素には、全天球画像における各画素の輝度（画素値）が割り当てられる。なお、図６Ｂに示すように、長方形（平面）のパノラマ画像は、左下を原点（０，０）とし、原点（０，０）は、方位角φが２πラジアンで天頂角θがπラジアンの位置の画素を示す。また、パノラマ画像は、右方向に方位角φが小さくなり、パノラマ画像の右端は方位角φが０ラジアンの位置の画素であり、上方向に天頂角θが小さくなり、パノラマ画像の上端は天頂角θが０ラジアンの位置の画素である。

例えば登録者は、カメラ３０を用いて撮影対象の空間内で撮影を行い、取得したパノラマ画像を登録用端末２０に取り込む。このとき、カメラ３０の制御部３１は、図６Ｂに示すようなパノラマ画像を通信部３３から登録用端末２０へ送信する。なお、カメラ３０の制御部３１は、図６Ｂに示すパノラマ画像の代わりに、図６Ａに示すような全天球画像の撮影画像を登録用端末２０へ送信してもよく、この場合、登録用端末２０が、全天球画像から、図６Ｂに示すパノラマ画像を生成する処理を行ってもよい。また、全天球画像からパノラマ画像を生成する処理は、パノラマ画像を記憶するサーバ１０で行ってもよい。この場合、カメラ３０によって撮影された全天球画像が、登録用端末２０によってサーバ１０へ送信され、サーバ１０が、全天球画像からパノラマ画像を生成する処理を行う。なお、カメラ３０は、パノラマ画像と共に撮影中心Ｃの位置情報（撮影位置の情報）を登録用端末２０へ送信してもよく、例えばＥｘｉｆ（Exchangeable image file format）形式を使用することにより、撮影位置の情報と撮影画像とを一つのファイルで送信することが可能である。撮影位置の情報は、例えばカメラ３０に内蔵されているＧＰＳセンサを用いて取得される。

以下に、本実施形態の画像処理システム１００における各装置が行う処理について説明する。図７は、撮影画像の登録処理手順の一例を示すフローチャート、図８は登録画面例を示す模式図である。図７では左側に登録用端末２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。登録者はまず、撮影対象の部屋内部でカメラ３０を用いて撮影を行い、パノラマ画像（撮影画像）を取得する。このとき、カメラ３０は、撮影画像と共に撮影位置の情報を取得してもよい。カメラ３０の制御部３１は、シャッターボタン３４からの指示に基づいて撮影部３５による撮影を行い、図６Ａに示すような全天球画像を生成し、更に全天球画像から図６Ｂに示すような平面のパノラマ画像を生成する。制御部３１は、例えば登録用端末２０からの要求に応じて、取得した撮影画像を登録用端末２０へ送信する。なお、撮影位置の情報がカメラ３０に内蔵されたセンサによって測定される場合、制御部３１は、測定した撮影位置の情報も撮影画像と共に登録用端末２０へ送信する。

登録用端末２０の制御部２１は、カメラ３０によって取得した撮影画像を取得しておく（Ｓ１１）。なお、カメラ３０が撮影位置の情報も取得している場合、制御部２１は、撮影画像と共に撮影位置の情報も取得しておく。登録者は、撮影画像の登録を行う場合、サーバ１０が提供するウェブサイトに登録用端末２０を用いてアクセスし、ウェブサイトを介してサーバ１０に撮影画像の登録を要求する。なお、サーバ１０はウェブサーバとしての機能を有しており、撮影画像の登録指示を受け付けるためのウェブサイトをネットワークＮ経由で公開している。登録用端末２０の制御部２１は、サーバ１０にアクセスし、撮影画像の登録を要求する（Ｓ１２）。

サーバ１０の制御部１１は、撮影画像の登録を要求された場合、図８に示すような登録画面を登録用端末２０へ送信する（Ｓ１３）。登録用端末２０の制御部２１は、サーバ１０が送信した登録画面を受信し、受信した登録画面を表示部２５に表示する（Ｓ１４）。図８に示す登録画面は、登録対象の撮影画像（パノラマ画像）を指定するための入力欄２５ａと、撮影位置（撮影場所）の情報を入力するための入力欄２５ｂ，２５ｃとを有する。なお、入力欄２５ｂは、撮影した部屋の住所、建物名及び部屋番号を入力する入力欄を含み、入力欄２５ｃは、撮影位置の緯度及び経度を入力する入力欄を含む。登録画面は、入力欄２５ａにファイル名が入力されて登録対象の撮影画像が指定された場合、指定された撮影画像が表示され、指定された撮影画像に撮影位置の情報（緯度及び経度）が含まれる場合、撮影位置の緯度及び経度が入力欄２５ｃに表示される。なお、登録用端末２０がカメラ３０から受信した撮影画像に撮影位置の情報が付加されていない場合、入力欄２５ｃに撮影位置の情報（緯度及び経度）は表示されない。このとき、入力欄２５ｃは空欄でもよく、例えば登録者が入力部２４を介して撮影位置の緯度及び経度を入力してもよい。登録者は、登録画面において、撮影場所の住所、建物名及び部屋番号を入力部２４から入力欄２５ｂに入力する。登録画面は、画面を介して入力された各情報の登録を指示するための登録ボタンを有する。登録画面の構成は図８に示す例に限定されず、撮影位置の情報は住所等のほかに、ランドマーク名、店舗名等が入力される構成としてもよい。

制御部２１は、登録画面において入力欄２５ａに対して撮影画像の指定を受け付け、入力欄２５ｂに対して撮影位置の情報（住所等）の入力を受け付ける（Ｓ１５）。制御部２１は、登録画面中の登録ボタンが操作されたか否かに応じて、登録画面を介して入力された情報の登録指示を受け付けたか否かを判断する（Ｓ１６）。制御部２１は、登録指示を受け付けていないと判断した場合（Ｓ１６：ＮＯ）、ステップＳ１５の処理に戻り、登録画面を介した各情報の受付を継続する。登録指示を受け付けたと判断した場合（Ｓ１６：ＹＥＳ）、即ち、登録画面中の登録ボタンが操作された場合、制御部２１は、登録画面を介して受け付けた撮影画像及び撮影位置の情報を対応付けてサーバ１０へ送信する（Ｓ１７）。

サーバ１０の制御部１１（画像取得部）は、登録用端末２０が送信した撮影画像及び撮影位置の情報を受信（取得）し、受信した情報を対応付けて登録する（Ｓ１８）。具体的には、制御部１１は、受信した撮影画像に画像ＩＤを発行し、画像ＩＤに対応付けて、受信した撮影位置の情報及び撮影画像を撮影画像ＤＢ１２ａに記憶する。上述した処理により、撮影対象の部屋で撮影されたパノラマ画像（撮影画像）が、撮影位置の情報と共にサーバ１０に登録される。なお、撮影画像は、１つの部屋において異なる複数の撮影位置で撮影してもよいが、それぞれの撮影画像について上述した処理を行うことによって、それぞれの撮影画像をサーバ１０に登録する。

次に、上述した処理によってサーバ１０の撮影画像ＤＢ１２ａに登録された撮影画像から閲覧用の画像（閲覧用画像）を生成する処理について説明する。図９は、閲覧用画像の生成処理手順の一例を示すフローチャート、図１０及び図１１は、閲覧用画像の生成処理の説明図である。サーバ１０は、以下の処理を記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行するが、処理の一部を専用のハードウェア回路で実現する構成でもよい。サーバ１０の制御部１１は、例えば登録用端末２０から撮影画像を受信した場合に、受信した撮影画像を撮影画像ＤＢ１２ａに登録すると共に以下の処理を行う。また制御部１１は、定期的に、又は撮影画像ＤＢ１２ａにある程度の撮影画像が登録された後に以下の処理を行ってもよい。

サーバ１０の制御部１１は、例えば入力部１４を介したユーザによる操作によって、閲覧用画像の生成処理の実行指示を受け付けた場合、図１０Ａに示すような閲覧用画像の生成画面を表示部１５に表示する（Ｓ２１）。図１０Ａに示す画面は、閲覧用画像の生成対象のパノラマ画像を指定するための入力欄１５ａと、このパノラマ画像の撮影対象の部屋の床面から天井までの高さを入力するための入力欄１５ｂと、撮影対象の部屋の平面視での多角形の角数（辺数）を入力するための入力欄１５ｃとを有する。各入力欄１５ａ～１５ｃは、任意の文字及び数字を入力できる構成でもよく、複数の選択肢から任意の１つを選択できるプルダウンメニューが設けられていてもよい。また、図１０Ａに示す画面は、入力された各情報に基づいて閲覧用画像の生成処理の実行を指示するためのＯＫボタンを有する。

制御部１１は、生成画面中の入力欄１５ａにファイル名が入力された場合、処理対象の撮影画像の指定を受け付ける（Ｓ２２）。処理対象の撮影画像の指定を受け付けた場合、制御部１１は、指定された撮影画像を撮影画像ＤＢ１２ａから読み出し、読み出した撮影画像を、図１０Ａに示すように表示中の生成画面に表示する（Ｓ２３）。また、制御部１１（空間情報取得部）は、画面中の入力欄１５ｂ，１５ｃを介して、撮影対象の部屋の高さ及び平面視での多角形の角数の入力を受け付け、入力された高さ及び角数をそれぞれの入力欄１５ｂ，１５ｃに表示する（Ｓ２４）。以下では、平面視での形状が凸字状の多角形である略８角柱の部屋で撮影されたパノラマ画像を処理対象として閲覧用画像を生成する処理について説明する。従って、図１０Ａに示す画面中の入力欄１５ｃには「８」が入力されている。

なお、サーバ１０による閲覧用画像の生成処理の実行を、例えば登録用端末２０を介して指示できる構成でもよい。この場合、サーバ１０は、閲覧用画像の生成画面を登録用端末２０へ送信して登録用端末２０の表示部２５に表示し、登録用端末２０の入力部２４を介して、閲覧用画像の生成処理に必要な情報の入力を受け付けてもよい。

制御部１１は、図１０Ａに示す画面中のＯＫボタンが操作されたか否かを判断しており（Ｓ２５）、ＯＫボタンが操作されていないと判断した場合（Ｓ２５：ＮＯ）、ステップＳ２２の処理に戻り、生成画面を介した各情報の受付を継続する。ＯＫボタンが操作されたと判断した場合（Ｓ２５：ＹＥＳ）、制御部１１は、生成画面を介して受け付けた情報に基づく閲覧用画像の生成処理を実行する。まず制御部１１（線分表示部）は、ステップＳ２３で撮影画像ＤＢ１２ａから読み出した撮影画像（パノラマ画像）を表示し、撮影画像上に重ねて、撮影画像の上下方向の線分であって、生成画面を介して入力された角数（ここでは８個）の線分を表示する（Ｓ２６）。図１０Ｂは、撮影画像の上下方向に伸びる８本の線分が表示された撮影画像の例を示しており、図１０Ｂに示す例では、撮影画像の左右方向に等間隔の位置に８本の線分が表示され、各線分の上端及び下端はそれぞれ撮影画像の左右方向の線分で接続されている。なお、撮影画像の上下方向に伸びる線分のみが表示されればよく、また、各線分の表示箇所は撮影画像中のどこでもよく、更に画面中の撮影画像の表示領域以外の領域に表示されてもよい。

制御部１１（受付部）は、撮影画像上に表示した８本の線分に対して、撮影空間の８隅で実空間上の鉛直方向に存在する８本の線分（鉛直線）への移動指示を受け付ける（Ｓ２７）。そして制御部１１は、受け付けた移動指示に従って、撮影画像上に表示した８本の線分を移動させる（Ｓ２８）。図１１Ａは、図１０Ｂに示した上下方向の８本の線分を、撮影画像中の８本の鉛直線Ｌ０～Ｌ８に移動させた後の状態を示している。登録用端末２０のユーザ（登録者）又はサーバ１０のユーザは、入力部２４，１４を用いた所定の操作（例えばマウスによるドラッグ操作）によって、図１０Ｂに示す画面に表示された８本の線分のそれぞれの端点（上下端部）を、図１１Ａに示す画面に表示された撮影画像上の８本の鉛直線Ｌ０～Ｌ７のそれぞれの端点に移動させる指示を行う。なお、各鉛直線Ｌ０～Ｌ７の上端点は鉛直線Ｌ０～Ｌ７が天井に接する位置であり、各鉛直線Ｌ０～Ｌ７の下端点は鉛直線Ｌ０～Ｌ７が床面に接する位置である。これにより、図１１Ａに示すように、撮影画像において、撮影空間の８隅に対応する８本の鉛直線Ｌ０～Ｌ７が設定される。

制御部１１は、図１１Ａに示す画面中のＯＫボタンが操作されたか否かを判断しており（Ｓ２９）、ＯＫボタンが操作されていないと判断した場合（Ｓ２９：ＮＯ）、ステップＳ２７の処理に戻り、撮影画像上に表示した線分に対する移動指示の受付を継続する。ＯＫボタンが操作されたと判断した場合（Ｓ２９：ＹＥＳ）、制御部１１は、移動後の８本の鉛直線Ｌ０～Ｌ７を取得する（Ｓ３０）。具体的には、制御部１１は、８本の鉛直線Ｌ０～Ｌ７のそれぞれの両端点（上下端点）、即ち、合計１６頂点の座標値を取得する。

ここで、図１１Ｂに示すように、撮影画像中の各画素の位置を、画像の左上を原点（０，０）とし、原点から右方向をＸ軸とし下方向をＹ軸とした画像座標系の座標（ｘ_I ，ｙ_I ）で表すとする。なお、撮影画像の高さ（上下方向の長さ）はＨとし、幅（左右方向の長さ）はＷとする。よって、鉛直線Ｌ０～Ｌ７のそれぞれの両端点（各頂点）の座標値は、画像座標系の座標値（ｘ_I ，ｙ_I ）によって表される。これにより、制御部１１は、撮影画像上で、撮影空間（実空間）の８隅で鉛直方向に存在する８本の線分（鉛直線）を特定できる。制御部１１は、取得した１６頂点の座標値を記憶部１２に記憶しておく。

なお、制御部１１は、撮影画像ＤＢ１２ａから読み出した撮影画像に基づいて、画像認識処理によって撮影空間上で鉛直方向に存在する８隅の鉛直線（８本の鉛直線）を自動的に特定してもよい。例えば、撮影空間（実空間）の隅で鉛直方向に伸びる鉛直線に対応する撮影画像中の線分（鉛直線）の特徴量を予め抽出して記憶部１２に記憶しておき、制御部１１は、記憶した特徴量を有する箇所を撮影画像から自動的に抽出することによって、撮影画像中の鉛直線を特定してもよい。

また制御部１１は、撮影画像（パノラマ画像）が入力された場合に、撮影画像中の各画素を、鉛直線（撮影空間上の鉛直線に対応する線分）の領域又は他の領域に分類するように学習された学習済みモデルを用いて、撮影画像中の鉛直線を特定してもよい。ここでの学習済みモデルは、ＳｅｇＮｅｔモデル、ＦＣＮ（Fully Convolutional Network ）モデル、Ｕ－Ｎｅｔモデル等のセグメンテーションＤＮＮ（Deep Neural Network ）を用いて構成することができる。セグメンテーションＤＮＮは、入力画像（撮影画像）と、入力画像中の各画素に対して、鉛直線であるか否かを示す情報（クラスラベル）が対応付けられたラベル画像とを含む教師データを用いて学習する。セグメンテーションＤＮＮは、教師データに含まれる入力画像が入力された場合に、教師データに含まれるラベル画像を出力するように学習する。学習処理においてセグメンテーションＤＮＮは、入力値に対して行う所定の演算を規定する各種の関数の係数や閾値等のデータを、最急降下法、誤差逆伝播法等を用いて最適化する。これにより、撮影画像（パノラマ画像）が入力された場合に、入力画像中の各画素を、鉛直線の領域、又は他の領域にそれぞれ分類するように学習したセグメンテーションＤＮＮが得られる。

制御部１１が撮影画像に基づいて自動的に撮影画像中の鉛直線を特定する場合、制御部１１は、撮影画像ＤＢ１２ａから読み出した撮影画像を表示部１５，２５に表示させる必要がなく、図１０Ｂに示すような８本の線分を表示させる必要もない。よって、この場合、制御部１１は、ステップＳ２６～Ｓ２９の処理をスキップし、ステップＳ３０で、撮影画像に基づいて撮影画像中の８本の鉛直線を特定して取得する。

次に制御部１１（補正部）は、ステップＳ３０で取得した８本の鉛直線に基づいて、ステップＳ２３で読み出した撮影画像に対して天頂補正を行う（Ｓ３１）。図１２は天頂補正の処理手順の一例を示すフローチャート、図１３及び図１４は天頂補正に含まれる回転軸の特定処理手順の一例を示すフローチャート、図１５は天頂補正に含まれる回転量の特定処理手順の一例を示すフローチャート、図１６は天頂補正の説明図である。

ここで天頂補正処理について説明する。図１６Ａは天頂補正前の撮影画像の例を示し、図１６Ｂは天頂補正後の撮影画像の例を示す。カメラ３０の上下方向（板状部３８の長辺方向）が実空間上の鉛直方向に対して傾斜している場合、カメラ３０の第１光軸及び第２光軸は、実空間上の水平方向に対して傾斜を有する。このような状態で撮影した場合、カメラ３０の前後左右方向を含む平面（以下では撮影時平面という）が、実空間上の水平面に対して傾斜を有するので、実空間上の撮影位置を含む水平面上にある被写体が、撮影画像中の上下方向の中央部に写らず、歪みが生じたパノラマ画像が得られる。そこで、図１６Ａに示すように歪みが生じたパノラマ画像を、図１６Ｂに示すように実空間上の撮影位置を含む水平面上にある被写体が、撮影画像中の上下方向の中央部に写るパノラマ画像に補正する天頂補正を行う。なお、図１６Ｂから分かるように、天頂補正後のパノラマ画像では、８本の鉛直線Ｌ０～Ｌ７は画像の上下方向に配置される。

天頂補正処理において、制御部１１はまず、ステップＳ３０で取得した８本の鉛直線の両端点である１６頂点の座標を取得する（Ｓ４１）。具体的には制御部１１は、記憶部１２に記憶した１６頂点の座標値を読み出す。そして制御部１１は、読み出した１６頂点の座標値に基づいて、８本の鉛直線のそれぞれを表すパラメータを算出する（Ｓ４２）。ここでは、それぞれの鉛直線を画像の原点（例えば左下端）からの距離ρ及び傾きθで表すパラメータを算出する。よって、制御部１１は、８本の鉛直線のそれぞれについて、各鉛直線を表すパラメータ（θ，ρ）を算出する。なお、傾きθは例えば０～πラジアンの範囲の値とし、距離ρは０～Ｌ（Ｌは画像の対角線の長さ）の範囲の値とする。

次に制御部１１は、８本の鉛直線に基づいて、図１６Ａに示すようなパノラマ画像を、図１６Ｂに示すようなパノラマ画像に補正するための補正量を特定する。ここでは、撮影画像中の鉛直線のそれぞれが、図１６Ｂに示すように、補正後の撮影画像（パノラマ画像）において上下方向に配置されるために行うべき天頂補正における補正量を特定する。具体的には、制御部１１は、撮影時におけるカメラ３０の前後左右方向を含む撮影時平面が、実空間上の水平面に対して傾斜する中心軸（回転軸）及び回転角度（回転量）をそれぞれ特定する。即ち、制御部１１は、実空間上の水平面を基準として撮影時平面が回転する中心軸及び回転角度を天頂補正における補正量として特定する。

図１１Ｂから分かるように、それぞれの鉛直線の傾きは、パノラマ画像の左右方向の画像幅を１周期とする増減関数で表現でき、画像の上下方向の中央を通る中央ライン上で傾きが最大となる位置が回転の中心（回転軸）であり、その傾きが回転量（回転角度）とすることができる。そこで、それぞれの鉛直線の傾きを正弦波で近似することを考える。ここでの正弦波の周期はパノラマ画像の画像幅に一致するため、正弦波は位相φ及び振幅Ａの２つのパラメータで特定できる。また、それぞれの鉛直線の傾きは、各鉛直線を表すパラメータθ（０≦θ≦π）としてステップＳ４２で算出されている。よって、推定する正弦波は、ｙ＝Ａ・sin（ｘ＋φ）と表現でき、各鉛直線に基づいて、位相φ及び振幅Ａの各組合せに対して投票法を用いて最小二乗法で正弦波を推定する（１回目の推定処理）。なお、θ＝０及びθ＝πは共に鉛直方向を示すので、後の演算のためにθ＞π／２の場合は、θ:＝θ－πとし、－π／２≦θ≦π／２の範囲とする。

補正量の特定において、制御部１１はまず、撮影時平面が実空間上の水平面に対して傾斜する中心軸（回転軸）の位置を特定する（Ｓ４３）。具体的には、制御部１１は、８本の鉛直線に基づいて、補正後のパノラマ画像において各鉛直線が画像の上下方向に配置されるために、実空間上の水平面に一致するように撮影時平面を回転すべき回転軸の位置を特定する。図１３及び図１４に示す回転軸の特定処理において、制御部１１はまず、各鉛直線の傾きを近似する正弦波を表す振幅Ａ及び位相φの２つのパラメータを各軸とした２次元配列（投票空間）を設定し、配列中の各要素を全て０に初期化する（Ｓ５１）。具体的には、制御部１１は、投票空間である２次元配列を例えば記憶部１２に定義し、配列の各軸に振幅Ａ及び位相φを割り当て、振幅Ａ及び位相φで表される配列（Ａ，φ）中の各要素を全て０に初期化する。なお、配列の分割数Ｓは例えば、振幅Ａについては０～π／２の範囲を１０００等分し、位相φについてはパノラマ画像の画像幅０～Ｗ（Ｗは画像の左右方向の長さ）の範囲をＷ等分（１画素単位）する。配列（Ａ，φ）の各要素には、ｙ＝Ａ・sin（ｘ＋φ）に対する、各鉛直線の傾きθの誤差（差異）の二乗が累積されて記憶される。

次に制御部１１は、推定する正弦波における振幅Ａの候補値を０に設定し（Ｓ５２）、位相φの候補値を０に設定する（Ｓ５３）。制御部１１は、ステップＳ４２でパラメータを算出した鉛直線のうちの１つを取得し（Ｓ５４）、取得した鉛直線について、設定した振幅Ａ及び位相φによって表される正弦波に基づく値と、ステップＳ４２で算出された傾きθ（パラメータ）との誤差を算出する（Ｓ５５）。鉛直線の横位置ｘ_C （画像座標系のＸ座標値）を、各鉛直線がパノラマ画像の中央ラインと交差する位置のＸ座標値とし、各鉛直線の横位置ｘ_C は既知であるから、０～２πに正規化するために、ｘ＝２π×ｘ_C ／Ｗとする。また投票空間においてφ方向（φ軸）のｉ番目の位相は２π×ｉ／Ｓ（ただし、Ｓは分割数であり、ここではＷ）で表される。これらより、配列（Ａ，φ）の要素に対応する鉛直線の横位置ｘ_C における正弦波の値は、ｙ＝Ａ・sin（２π×ｘ_C ／Ｗ－２π×ｉ／Ｓ）となる。従って、制御部１１は、このように算出した正弦波の値ｙと、既にこの鉛直線について算出した傾きθとの差異（誤差）を算出する。

制御部１１は、算出した差異（誤差）の二乗（ｙ－θ）² を算出し、算出した誤差の二乗を配列（Ａ，φ）の要素に加算する（Ｓ５６）。制御部１１は、ステップＳ４２でパラメータを算出した全ての鉛直線に対してステップＳ５５～Ｓ５６の処理を終了したか否かを判断する（Ｓ５７）。終了していないと判断した場合（Ｓ５７：ＮＯ）、制御部１１はステップＳ５４の処理に戻り、未処理の鉛直線を１つ取得し（Ｓ５４）、取得した鉛直線についてステップＳ５５～Ｓ５６の処理を繰り返す。これにより、配列（Ａ，φ）の１つの要素に対して、位相φ及び振幅Ａに基づく正弦波による各鉛直線の関数値と、算出された各鉛直線の傾きとの誤差の二乗が累積される。

制御部１１は、ステップＳ４２で算出した全ての鉛直線に対してステップＳ５５～Ｓ５６の処理を終了したと判断した場合（Ｓ５７：ＹＥＳ）、この時点の位相φにＷ／Ｓ（Ｗは画像の左右方向の幅、Ｓは配列の分割数）を加算し（Ｓ５８）、加算後の位相φがＷ（画像幅）以上であるか否かを判断する（Ｓ５９）。加算後の位相φがＷ未満であると判断した場合（Ｓ５９：ＮＯ）、制御部１１はステップＳ５４の処理に戻る。そして制御部１１は、この時点の位相φ及び振幅Ａに基づいて、ステップＳ４２でパラメータを算出した全ての鉛直線に対してステップＳ５４～Ｓ５７の処理を繰り返す。

加算後の位相φがＷ以上であると判断した場合（Ｓ５９：ＹＥＳ）、制御部１１は、この時点の振幅Ａにπ／２Ｓ（Ｓは配列の分割数）を加算し（Ｓ６０）、加算後の振幅Ａがπ／２以上であるか否かを判断し（Ｓ６１）、加算後の振幅Ａがπ／２未満であると判断した場合（Ｓ６１：ＮＯ）、ステップＳ５３の処理に戻る。そして制御部１１は、この時点の振幅Ａに基づいて、ステップＳ５３～Ｓ５９の処理を繰り返す。このように制御部１１は、位相φの候補値をＷ／Ｓずつ増加させ、振幅Ａの候補値をπ／２Ｓずつ増加させつつ、ステップＳ５４～Ｓ５７の処理を行うことにより、配列（Ａ，φ）の各要素に対して、位相φの候補値及び振幅Ａの候補値に基づく正弦波による各鉛直線の関数値と、算出された各鉛直線の傾きとの誤差の二乗を累積する。

ステップＳ６０で加算後の振幅Ａがπ／２以上であると判断した場合（Ｓ６１：ＹＥＳ）、即ち、配列（Ａ，φ）の全ての要素に対して全ての鉛直線についての誤差の二乗の累積が完了した場合、制御部１１は、配列（Ａ，φ）の要素の中から最小値を特定し、最小値の要素に対応する振幅Ａ及び位相φを、８本の鉛直線の傾きを近似した正弦波を表す仮パラメータ（Ａ_t ，φ_t ）に特定する（Ｓ６２）。なお、ここで特定した仮パラメータ（Ａ_t ，φ_t ）が１回目の推定結果である。制御部１１は、１回目の推定結果を用いて、ロバスト推定と呼ばれる手法によって正弦波を表すパラメータを精査する（２回目の推定処理）。ロバスト推定では、各鉛直線が正弦波の推定に与える影響を、仮パラメータの推定結果（Ａ_t ，φ_t ）との差異に基づいた重みを用いて表現する。例えば、仮パラメータ（Ａ_t ，φ_t ）において各鉛直線の横位置ｘ_C における正弦波の関数値ｙ＝Ａ_t ・sin（２π×ｘ_C ／Ｗ－φ_t ）と、ステップＳ４２で算出した各鉛直線の傾きθ（パラメータ）との差異ｄ＝ｙ－θに対する重みωを、所定の許容値Ωを用いて以下の（３）式のように設定する。なお、許容値Ωは例えば、全鉛直線における差異ｄの中央値の１．２５倍とすることができる。そして制御部１１は、以下の（３）式を用いて特定した重みωを用いて、２回目の正弦波の推定処理を行う。

よって、制御部１１は、１回目の推定処理と同様に、ステップＳ５１～Ｓ５４と同様の処理を行い（Ｓ６３～Ｓ６６）、取得した鉛直線について、仮パラメータが示す正弦波に基づく関数値と、ステップＳ４２で算出された傾きθとの差異に応じた重みを特定する（Ｓ６７）。また制御部１１は、ステップＳ５５と同様の処理を行い（Ｓ６８）、算出した誤差の二乗に、ステップＳ６７で特定した重みを乗じた値を算出し、配列（Ａ，φ）の対応する要素に加算する（Ｓ６９）。よって、２回目の推定処理では配列（Ａ，φ）の各要素に対して、各鉛直線について、正弦波の関数ｙ＝Ａ・sin（ｘ＋φ）と各鉛直線について算出された傾きθとの誤差（差異）の二乗を累積するが、このとき、上記（３）式で表される重みωを掛けた後に加算する。これにより、１回目の推定結果である仮パラメータ（Ａ_t ，φ_t ）で表される正弦波から許容値Ωよりも離れている鉛直線が正弦波の推定に与える影響を小さくすることができ、より精度の高い正弦波の推定が可能となる。

制御部１１は、ステップＳ４２でパラメータを算出した全ての鉛直線に対してステップＳ６７～Ｓ６９の処理を終了したか否かを判断する（Ｓ７０）。終了していないと判断した場合（Ｓ７０：ＮＯ）、制御部１１はステップＳ６６の処理に戻り、未処理の鉛直線を１つ取得し（Ｓ６６）、取得した鉛直線についてステップＳ６７～Ｓ６９の処理を繰り返す。制御部１１は、ステップＳ４２でパラメータを算出した全ての鉛直線に対してステップＳ６７～Ｓ６９の処理を終了したと判断した場合（Ｓ７０：ＹＥＳ）、ステップＳ５８～Ｓ６１と同様の処理を行い（Ｓ７１～Ｓ７４）、位相φの候補値をＷ／Ｓずつ増加させ、振幅Ａの候補値をπ／２Ｓずつ増加させつつ、ステップＳ６６～Ｓ７０の処理を行う。これにより、配列（Ａ，φ）の各要素に対して、位相φの候補値及び振幅Ａの候補値に基づく正弦波による各鉛直線の関数値と、算出された各鉛直線の傾きとの誤差の二乗に、この鉛直線に設定された重みを乗じた値を累積できる。ステップＳ７３で加算後の振幅Ａがπ／２以上であると判断した場合（Ｓ７４：ＹＥＳ）、即ち、配列（Ａ，φ）の全ての要素に対して、全ての鉛直線についての誤差の二乗に重みωを乗じた値の累積が完了した場合、制御部１１は、配列（Ａ，φ）の要素の中から最小値を特定し、最小値の要素に対応する振幅Ａ及び位相φを、各鉛直線の傾きを近似した正弦波を表すパラメータ（Ａ，φ）に特定する（Ｓ７５）。

図１６Ａは、上述の処理によって推定された正弦波の例を示しており、図１６Ａ中の破線は１回目の推定処理によって推定された正弦波を示し、実線は２回目の推定処理によって推定された正弦波を示し、一点破線は画像の中央ラインを示す。上述した処理により、各鉛直線の傾きθを近似した正弦波を推定することができる。なお、２回目の推定処理において、１回目の推定結果である仮パラメータで表される正弦波から離れている鉛直線が正弦波の推定に与える影響を小さくすることにより、信頼性の高い推定結果が得られる。なお、回転軸の特定処理において、制御部１１は、ロバスト推定（２回目の推定処理）を行わずに、１回目の推定処理によって得られた正弦波を、各鉛直線の傾きθを近似した正弦波としてもよい。この場合、１回目の推定処理で得られたパラメータである位相φを、天頂補正に用いる補正量（回転軸の位置）としてもよい。

ここで、上述のように算出（推定）した正弦波の位相φは、画像の中央ラインにおいて、正弦波の関数値ｙが０となる位置（鉛直線の傾きが０である位置）を示しているので、回転軸は、位相φの位置から中央ライン上でπ／２ずれた位置となる。これは、鉛直線の傾きが最大となる中央ライン上の位置が回転軸となるためである。よって、制御部１１は、上述のように算出（推定）した正弦波の位相φにπ／２を加算する（φ:＝φ＋π／２）ことにより、回転軸の位置（位相φ）を特定する。なお、ここまでパノラマ画像の左端をφ＝０とし、右端をφ＝２πとして扱ってきたが、ステップＳ４５で行う天頂補正で扱う極座標系ではパノラマ画像の左端がφ＝２πとなり、右端がφ＝０となる。よって、制御部１１は、特定した位相（φ:＝φ＋π／２）を２πから減算して位相φ（φ:＝３π／２－φ）を算出し、算出した位相φを、ステップＳ４５で行う天頂補正に用いる補正量（回転軸の位置を示す位相φ）に特定する（Ｓ７６）。制御部１１は、回転軸の特定処理を終了し、図１２の処理に戻る。

次に制御部１１は、ステップＳ４３で特定した回転軸の位置（位相φ）に基づいて、ステップＳ４５で行う天頂補正に用いる回転量（回転角度）αを特定する（Ｓ４４）。具体的には、制御部１１は、補正後のパノラマ画像において各鉛直線が上下方向に配置されるために、特定した回転軸を中心に撮影時平面を回転すべき回転量を特定する。なお、回転量αの推定においても、投票法を用いて最小二乗法を利用する。即ち、制御部１１は、ステップＳ４３で特定した正弦波を基準とした各鉛直線の誤差を算出し、算出した誤差に応じて、上記（３）式に従って各鉛直線に対する重みωを設定する。具体的には、ステップＳ４３で特定した正弦波のパラメータ（Ａ，φ）において各鉛直線の横位置ｘ_C における正弦波の関数値ｙ＝Ａ・sin（２π×ｘ_C ／Ｗ－φ）と、ステップＳ４２で算出された鉛直線の傾きθとの差異ｄ＝ｙ－θに応じて、各鉛直線に対する重みωを設定する。回転量αを推定（特定）する際の最小二乗法による投票処理は、１次元配列を用いること以外は、正弦波を推定する際に用いた投票処理と同様である。

図１５に示す回転量の特定処理において、制御部１１は、回転量αをパラメータとした１次元配列を設定し、配列α中の各要素を全て０に初期化する（Ｓ８１）。具体的には、制御部１１は、投票空間として１次元配列を例えば記憶部１２に定義し、配列α中の各要素を全て０に初期化する。なお、配列の要素数Ｓを例えば１０００とし、±３０°（±π／６ラジアン）の範囲の回転量を１０００等分する。配列に用いる±３０°の範囲は、カメラ３０を用いた撮影時に生じる傾きがせいぜい３０°以内であるとの前提に基づいて設定しており、この範囲に限定されず、例えば±４５°の範囲を用いてもよい。投票空間における配列αにおいて、ｉ番目の回転量αは、α＝（ｉ／１０００）×（π／３）－（π／６）で表される。配列の各要素には、ステップＳ４３で特定した位相φを中心軸としてそれぞれの回転量αを回転させたときの各鉛直線の回転後（天頂補正後）のパノラマ画像における傾きの二乗に、先に設定しておいた各鉛直線に対する重みωを乗じた値が累積されて記憶される。特定した位相φが示す軸を中心軸として適切な回転量だけ回転させた場合、各鉛直線は天頂補正後のパノラマ画像上で上下方向に配置されるはずであるから、配列の要素の中の最小値に対応する回転量αが、ステップＳ４５で行われる天頂補正に用いる回転量とすることができる。

制御部１１は、回転量αの候補値を－π／６に設定する（Ｓ８２）。制御部１１は、ステップＳ４２でパラメータを算出した鉛直線のうちの１つを取得し（Ｓ８３）、取得した鉛直線について、回転軸の特定処理によって特定したパラメータ（振幅Ａ及び位相φ）が示す正弦波に基づく関数値と、ステップＳ４２で算出された傾きとの差異に応じた重みを特定する（Ｓ８４）。

制御部１１は、取得した鉛直線に対して、ステップＳ４３で特定した回転軸φ及びステップＳ８２で設定した回転量αに基づく天頂補正（回転）を行い（Ｓ８５）、補正後の鉛直線における傾きを算出する（Ｓ８６）。具体的には、制御部１１は、処理対象の鉛直線の両端点に対応する画素Ｐ１，Ｐ２を特定し、位相φを回転軸として回転量αだけ回転した回転後（天頂補正後）のパノラマ画像において、端点Ｐ１，Ｐ２が移動した写像先の画素Ｐ１´，Ｐ２´の位置を算出する。なお、位相φ及び回転量αに基づく天頂補正（回転）をパノラマ画像に行う場合、パノラマ画像中の端点Ｐ１，Ｐ２の座標値を画像座標系から、撮影位置を原点としたワールド直交座標系に変換し、ワールド直交座標系において天頂補正を行う。画像座標系からワールド直交座標系に変換する場合、一旦極座標系に変換した後にワールド直交座標系に変換する。

よって、制御部１１は、パノラマ画像中の端点Ｐ１，Ｐ２のそれぞれの画像座標系の座標（ｘ_I ，ｙ_I ）を以下の（４）式によって極座標系の座標（ｒ，θ，φ）に変換する。極座標系における座標値は、画像座標系における座標値と１対１で対応しているので、以下の（４）式により変換可能であり、極座標系における半径ｒは便宜上１とする。そして制御部１１は、端点Ｐ１，Ｐ２のそれぞれの極座標系の座標（ｒ，θ，φ）を以下の（５）式によってワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）に変換する。

図１７は極座標系及びワールド直交座標系の関係を示す模式図である。ワールド直交座標系には、実空間上の鉛直上方向をＹ_W 軸の正側、実空間上の水平面をＸ_W 軸及びＺ_W 軸で表す３次元の右手系の直交座標系を用いる。図１７に示すように極座標系は、実空間上の鉛直上方向（Ｙ_W 軸の正側）を基準とした天頂角θと、鉛直上方向から見てＺ_W 軸の正側を基準として水平面であるＸ_W Ｚ_W 平面内の反時計回りの方位角φと、原点０からの距離ｒとによって表される。よって、３次元空間中の任意の位置Ｐは、ワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）と極座標系の座標（ｒ，θ，φ）とで表すことができる。なお、ワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）は、以下の（６）式によって極座標系の座標（ｒ，θ，φ）に変換可能である。

そして制御部１１は、変換したワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）に基づいて、パノラマ画像（端点Ｐ１，Ｐ２）に天頂補正（回転）処理を行う。なお、制御部１１は、位相φ及び回転量αに基づく天頂補正を行う場合、まずワールド直交座標系のＹ_W 軸を中心に時計回りにφだけ回転させて、位相φに基づく回転軸を一旦ワールド直交座標系のＺ_W 軸に一致させ、その後、ワールド直交座標系のＺ_W 軸を中心に回転量αだけ回転させる。そして制御部１１は、最初のＹ_W 軸を中心とした回転を戻すために、ワールド直交座標系のＹ_W 軸を中心に反時計回りにφだけ回転させ、回転後のパノラマ画像中の端点（画素）Ｐ１´，Ｐ２´の座標値を再び、座標変換により極座標系を経由して画像座標系の座標値に戻す。これにより、位相φ及び回転量αに基づく天頂補正によって、補正前のパノラマ画像中の端点Ｐ１，Ｐ２が移動する補正後のパノラマ画像中の画素Ｐ１´，Ｐ２´の位置が算出される。なお、ワールド直交座標系のＹ_W 軸を中心とした角度θの回転、及びＺ_W 軸を中心とした角度θの回転は、３×３の行列を用いて、以下の（７）式のように表される。よって、回転前のワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）から、以下の（８）式により回転後の座標（ｘ_W ´，ｙ_W ´，ｚ_W ´）が得られる。また、ワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）は、上記の（６）式によって極座標系の座標（ｒ，θ，φ）に変換され、極座標系の座標（ｒ，θ，φ）は、以下の（９）式により画像座標系の座標（ｘ_I ，ｙ_I ）に変換される。これにより、回転軸φ及び回転量αに基づく天頂補正（回転）によって、補正前のパノラマ画像中の端点Ｐ１，Ｐ２が移動する補正後のパノラマ画像中の位置Ｐ１´，Ｐ２´が算出される。

制御部１１は、上述したように算出した天頂補正後のパノラマ画像中の画素Ｐ１´，Ｐ２´の座標値に基づいて、線分Ｐ１´Ｐ２´の傾きを算出する。そして制御部１１は、算出した線分Ｐ１´Ｐ２´の傾きの二乗に、ステップＳ８４で特定した重みを乗じた値を、配列αの対応する要素に加算する（Ｓ８７）。制御部１１は、ステップＳ４２でパラメータを算出した全ての鉛直線に対してステップＳ８４～Ｓ８７の処理を終了したか否かを判断する（Ｓ８８）。終了していないと判断した場合（Ｓ８８：ＮＯ）、制御部１１はステップＳ８３の処理に戻り、未処理の鉛直線を１つ取得し（Ｓ８３）、取得した鉛直線についてステップＳ８４～Ｓ８７の処理を繰り返す。これにより、配列αの１つの要素に対して、ステップＳ４３で特定した回転軸φ及びここでの回転量αに基づく天頂補正を行った後の各鉛直線の傾きの二乗に、各鉛直線に設定された重みを乗じた値が累積される。ステップＳ４２でパラメータを算出した全ての鉛直線に対してステップＳ８４～Ｓ８７の処理を終了したと判断した場合（Ｓ８８：ＹＥＳ）、制御部１１は、この時点の回転量αにπ／３Ｓ（Ｓは配列の分割数）を加算し（Ｓ８９）、加算後の回転量αがπ／６以上であるか否かを判断する（Ｓ９０）。

回転量αがπ／６未満であると判断した場合（Ｓ９０：ＮＯ）、制御部１１は、ステップＳ８３の処理に戻る。そして制御部１１は、この時点の回転量αに基づいて、ステップＳ４２でパラメータを算出した全ての鉛直線に対してステップＳ８３～Ｓ８８の処理を繰り返す。制御部１１は、回転量αの候補値をπ／３Ｓずつ増加させつつ、ステップＳ８３～Ｓ８８の処理を行うことにより、配列αの各要素に対して、ステップＳ４３で特定した回転軸φ及び回転量αの各候補値に基づく天頂補正を行った後のそれぞれの鉛直線の傾きの二乗に、それぞれの鉛直線に設定された重みを乗じた値を累積できる。ステップＳ８９で加算後の回転量αがπ／６以上であると判断した場合（Ｓ９０：ＹＥＳ）、即ち、配列αの各要素に対して全ての鉛直線について補正後の傾きの二乗に重みωを乗じた値の累積を完了した場合、制御部１１は、配列αの要素の中から最小値を特定し、最小値の要素に対応する回転量αを、ステップＳ４５で行う天頂補正に用いる補正量（回転量α）に特定する（Ｓ９１）。制御部１１は、回転量の特定処理を終了し、図１２の処理に戻る。

制御部１１は、ステップＳ４３で特定した回転軸の位置（位相φ）と、ステップＳ４４で特定した回転量αとに基づく天頂補正を、ステップＳ２３で読み出したパノラマ画像に対して行う（Ｓ４５）。ここでは、制御部１１は、図１５中のステップＳ８５の天頂補正と同様の処理をパノラマ画像に対して行う。具体的には、制御部１１は、補正前のパノラマ画像中の各画素の画像座標系における座標（ｘ_I ，ｙ_I ）を上記の（４）式によって極座標系の座標（ｒ，θ，φ）に変換し、更に上記の（５）式によってワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）に変換する。そして制御部１１は、各画素のワールド直交座標系における座標（ｘ_W ，ｙ_W ，ｚ_W ）を、ワールド直交座標系のＹ_W 軸を中心に時計回りにφ回転させて、位相φに基づく回転軸をＺ_W 軸に一致させた後、各画素を、ワールド直交座標系のＺ_W 軸を中心に回転角度α回転させ、回転量αに基づく天頂補正（回転）を行う。その後、制御部１１は、最初のＹ_W 軸を中心とした回転を戻すために、天頂補正後の各画素を、ワールド直交座標系のＹ_W 軸を中心に反時計回りにφ回転させ、更に天頂補正後の各画素の座標値を、座標変換により極座標系を経由して画像座標系の座標値に戻す。これにより、位相φ及び回転量αに基づく天頂補正によって補正前のパノラマ画像中の各画素が移動する補正後のパノラマ画像中の画素位置が算出される。

そして制御部１１は、補正前のパノラマ画像中の各画素の輝度を、それぞれ算出した補正後のパノラマ画像における各位置にコピーし、補正後のパノラマ画像を生成する。なお、パノラマ画像はデジタル画像であるため、上述のように算出した補正後の座標値によっては、補正後のパノラマ画像中の画素の位置を特定できない可能性がある。従って、例えばバイリニア法等の補間演算を行うことによって、補正後のパノラマ画像中の各画素の輝度を、演算によって算出された周囲の画素の輝度に基づいて算出してもよい。また、補正後のパノラマ画像中の各画素の位置から、対応する補正前のパノラマ画像中の各画素の位置を算出し、補正前後での各画素の位置（座標値）を対応付けてもよい。この場合、算出した補正前の画素位置の輝度を、補正後の画素位置にコピーすることにより、補正後のパノラマ画像が得られる。

制御部１１は、ステップＳ４５と同様の天頂補正を、ステップＳ３０で取得した８本の鉛直線に対して行い（Ｓ４６）、補正前のパノラマ画像中の各鉛直線の両端点が、天頂補正によって移動する天頂補正後のパノラマ画像中の画素位置を算出する。その後、制御部１１は天頂補正処理を終了し、図９の処理に戻る。上述した天頂補正により、図１６Ａに示すように歪んだパノラマ画像が、図１６Ｂに示すようなパノラマ画像に補正される。また、図１１Ｂに示すように設定された８本の鉛直線Ｌ０～Ｌ７は、図１６Ｂに示すパノラマ画像ではそれぞれ上下方向に伸びる状態となる。

撮影画像及び鉛直線に対して天頂補正を行った場合、制御部１１（推定部）は、天頂補正後の撮影画像に基づいて、天頂補正後の鉛直線を高さとする撮影空間の形状を推定する（Ｓ３２）。ここでは制御部１１は８角柱の形状を推定する。図１８は撮影空間の推定処理手順の一例を示すフローチャート、図１９及び図２０は撮影空間の推定処理の説明図である。図１８に示す撮影空間の推定処理において、制御部１１は、ステップＳ３１の天頂補正処理によって得られた天頂補正後の撮影画像と、天頂補正後の鉛直線とを取得する（Ｓ１０１）。具体的には、制御部１１は、天頂補正後の撮影画像と、天頂補正後の各鉛直線における両端点の撮影画像中の位置（画像座標系の座標値）とを取得する。なお、これらの情報は、天頂補正を行った後に記憶部１２に記憶されている。

図１９Ａは天頂補正後の撮影画像及び８本の鉛直線Ｌ０～Ｌ７を示している。図１９Ａ中の一点破線は撮影画像の中央ラインを示しており、中央ラインには、撮影位置と同じ高さにある被写体が写っている。即ち、撮影画像中の各鉛直線Ｌ０～Ｌ７において、中央ラインから上端までの長さ（画像上での長さ）は、撮影位置から天井までの距離（実空間での距離）に相当し、中央ラインから下端までの長さは、撮影位置から床面までの距離に相当する。従って、制御部１１は、１つの鉛直線における中央ラインから上端までの長さと、中央ラインから下端までの長さとの比率に基づいて、撮影位置の高さを算出する（Ｓ１０２）。

例えば制御部１１は、図１９Ａに示す鉛直線Ｌ０に基づいて撮影位置の高さを算出する。具体的には、制御部１１は、ステップＳ１０１で取得した鉛直線Ｌ０の上下端の画像座標系の座標値に基づいて、鉛直線Ｌ０の長さＬと、中央ラインから鉛直線Ｌ０の上端までの長さＬ_Ｃと、中央ラインから鉛直線Ｌ０の下端までの長さＬ_Ｆとを算出する。図１９Ｂは実空間内で鉛直線Ｌ０に対応する部屋の隅（鉛直方向に伸びる隅）と撮影位置との関係を示しており、当該隅の長さは、床面から天井までの部屋の高さＨとなり、当該隅において、撮影位置の高さから天井までの距離Ｈ_Ｃと、撮影位置の高さから床面までの距離Ｈ_Ｆとの比率は、図１９Ａに示す長さＬ_Ｃと長さＬ_Ｆとの比率に一致する。従って、制御部１１（撮影位置算出部）は、画像上での長さＬ_Ｃと長さＬ_Ｆとの比率に基づいて、撮影空間の高さＨを、撮影位置から天井までの距離と、撮影位置から床面までの距離とに按分し、撮影位置の高さを算出する。具体的には、制御部１１は、以下の（１０）式を用いて、撮影位置から天井までの距離Ｈ_Ｃと、撮影位置から床面までの距離Ｈ_Ｆとを算出する。ここでの高さＨは、図９中のステップＳ２４で入力された撮影対象の部屋の高さである。なお、制御部１１は、撮影位置から天井までの距離Ｈ_Ｃと、撮影位置から床面までの距離Ｈ_Ｆとのいずれか１つを算出すればよい。

次に制御部１１は、撮影位置から各鉛直線Ｌ０～Ｌ７までの実空間上での距離を算出する。図１９Ｂに示すように、実空間上での撮影位置から鉛直線（部屋の隅）までの距離ｄは、撮影位置から天井までの距離Ｈ_Ｃと、撮影位置を含む水平方向を基準として撮影位置と鉛直線の上端とを結ぶ線分の仰角θ_Ｃとに基づいて、例えば以下の（１１）式を用いて算出できる。なお、撮影位置と鉛直線の上端とを結ぶ線分の仰角θ_Ｃは、図６Ｂに示すように正距円筒図法で表されたパノラマ画像において、縦軸で示す天頂角θから求められる。よって、制御部１１は、ステップＳ１０１で取得した天頂補正後の撮影画像から、当該鉛直線の上端に対応する画素の画像座標系の座標（ｘ_I ，ｙ_I ）を抽出し、上記の（４）式によって極座標系の座標（ｒ，θ，φ）に変換することによって、当該鉛直線の上端に対応する画素の天頂角θを取得し、θ_Ｃ＝π／２－θを計算することによって仰角θ_Ｃを取得できる。なお、撮影位置から鉛直線までの距離ｄは、撮影位置から床面までの距離Ｈ_Ｆと、撮影位置を含む水平方向を基準として撮影位置と鉛直線の下端とを結ぶ線分の俯角θ_Ｆとに基づいて同様に算出することができる。

制御部１１は、撮影画像中の１つの鉛直線の情報として、上端位置の画素又は下端位置の画素の天頂角θを取得する（Ｓ１０３）。具体的には、制御部１１は、１つの鉛直線の上端位置の画素又は下端位置の画素の画像座標系の座標（ｘ_I ，ｙ_I ）を抽出し、上記の（４）式によって極座標系の座標（ｒ，θ，φ）に変換し、上端位置の画素又は下端位置の画素の天頂角θを取得する。そして制御部１１（距離算出部）は、算出した天頂角θと、撮影位置の高さとに基づいて、撮影位置から当該鉛直線までの距離を、上記の（１１）式によって算出する（Ｓ１０４）。

制御部１１は、撮影画像中の鉛直線のうちで、上述した距離の算出処理が行われていない鉛直線（未処理の鉛直線）があるか否かを判断する（Ｓ１０５）。未処理の鉛直線があると判断した場合（Ｓ１０５：ＹＥＳ）、制御部１１はステップＳ１０３の処理に戻り、未処理の鉛直線についてステップＳ１０３～Ｓ１０４の処理を繰り返す。これにより、撮影画像中の各鉛直線について、撮影位置からの距離ｄを算出することができる。未処理の鉛直線がないと判断した場合（Ｓ１０５：ＮＯ）、制御部１１（平面推定部）は、撮影空間の平面視での形状（ここでは８角形の形状）を推定する（Ｓ１０６）。撮影空間の平面視での形状は、図２０Ａに示すように、撮影位置を原点としたワールド直交座標系において実空間上の鉛直方向を示すＹ_W 軸の正側から撮影空間を見たＸ_W Ｚ_W 平面で表すことができる。Ｙ_W 軸の正側から各鉛直線を見た場合、それぞれの鉛直線は点と見なすことができ、図２０Ａに示すように各鉛直線Ｌ０～Ｌ７のそれぞれは頂点Ｐ０～Ｐ７で表すことができる。よって、制御部１１は、各鉛直線Ｌ０～Ｌ７の方位角φ_０～φ_７と、撮影位置から各鉛直線Ｌ０～Ｌ７までの距離ｄ_０～ｄ_７とに基づいて、各頂点Ｐ０～Ｐ７をＸ_W Ｚ_W 平面上にプロットすることにより撮影空間の平面形状を推定する。なお、図２０Ｂに示すように撮影画像中の各鉛直線Ｌ０～Ｌ７において、例えば画像の右端（カメラ３０の背面方向）を基準とする方位角φ_０～φ_７は既知である。

制御部１１は、Ｘ_W Ｚ_W 平面上にプロットした各頂点Ｐ０～Ｐ７の座標値（ワールド直交座標系の座標値）を算出することによって、撮影空間の平面形状（Ｘ_W Ｚ_W 平面での断面）を推定する。具体的には、制御部１１は、各鉛直線Ｌ０～Ｌ７の方位角φ_０～φ_７と、撮影位置から各鉛直線Ｌ０～Ｌ７までの距離ｄ_０～ｄ_７とに基づいて、以下の（１２）式に従って、各頂点Ｐ０～Ｐ７のワールド直交座標系の座標値を算出する。なお、ここでは、（１２）式中のｋは０～７となる。

なお、各鉛直線Ｌ０～Ｌ７は厳密には画像の上下方向に配置されていない場合があるので、例えば各鉛直線Ｌ０～Ｌ７の両端点のＸ座標値（画像座標系のＸ座標値）の平均値から、各鉛直線Ｌ０～Ｌ７の方位角φ₀ ～φ₇ を特定（算出）してもよい。具体的には、制御部１１は、天頂補正後の各鉛直線について、鉛直線の両端点のＸ座標値（画像座標系のＸ座標値ｘ_I ）の平均値を算出し、算出したＸ座標値の平均値を上記の（４）式によって極座標系の座標値φに変換する。制御部１１は、鉛直線Ｌ０～Ｌ７のそれぞれについて極座標系の座標値φ₀ ～φ₇ を算出することにより、Ｘ_W Ｚ_W 平面において、各鉛直線Ｌ０～Ｌ７に対応する頂点Ｐ０～Ｐ７についてＺ_W 軸の正方向を基準とした方位角φ₀ ～φ₇ を特定できる。制御部１１は、撮影空間の形状を推定した後、図９の処理に戻る。

次に制御部１１は、ステップＳ３２の撮影空間の形状推定で算出した８角柱の１６頂点に対するワールド直交座標系の座標（Ｘ_W ，Ｙ_W ，Ｚ_W ）に基づいて、８角柱を構成する１０面について、各面の頂点の座標値と各頂点の接続関係とを規定するポリゴンデータを生成する（Ｓ３３）。なお、８角柱を構成する１０面において、８個の側面は矩形であるので、制御部１１は、各側面の４頂点の座標値と各頂点の接続関係とを規定するポリゴンデータを生成する。天井面及び床面は凸字状の８角形であるので、天井面及び床面については、制御部１１は、図２１Ｂに示すように８角形を包含する外接矩形の４頂点の座標値と各頂点の接続関係とを規定するポリゴンデータを生成する。

図２１はポリゴンデータの説明図である。図２１Ａは、ワールド直交座標系における８角柱を示しており、図２１Ｂは、撮影空間をワールド直交座標系のＹ_W 軸正側から見た平面図を示している。制御部１１は、図２１Ｃに示す頂点データ及びポリゴンデータを生成する。まず制御部１１（座標値取得部）は、図２１Ａに示すように、推定した８角柱の各頂点にそれぞれ頂点ＩＤ（Ｖ０～Ｖ１５）を割り当て、各頂点のワールド直交座標系の座標（Ｘ_W ，Ｙ_W ，Ｚ_W ）を取得して、頂点ＩＤに対応付けて記憶する。また制御部１１は、図２１Ｂに示すように天井面を包含する外接矩形を特定し、特定した外接矩形の４頂点にそれぞれ頂点ＩＤ（Ｖ１６～Ｖ１９）を割り当て、各頂点のワールド直交座標系の座標を頂点ＩＤに対応付けて記憶する。同様に制御部１１は、床面を包含する外接矩形を特定し、特定した外接矩形の４頂点にそれぞれ頂点ＩＤを割り当て、各頂点のワールド直交座標系の座標を頂点ＩＤに対応付けて記憶する。なお、本実施形態では、天井面及び床面が凸字状であるので、図２１Ｂに示すように、天井面及び床面の外接矩形の４頂点のうちの２頂点（図２１Ｂに示す天井面では頂点ＩＤがＶ１８，Ｖ１９の２頂点）は、８角柱の頂点と共通となる。よって、本実施形態では、制御部１１は、８角柱の１６頂点に加えて、天井面の外接矩形の４頂点のうちで８角柱の頂点と共通ではない２頂点（図２１Ｂでは頂点ＩＤがＶ１６，Ｖ１７の２頂点）と、床面の外接矩形の４頂点のうちで８角柱の頂点と共通ではない２頂点とに頂点ＩＤを割り当て、各頂点のワールド直交座標系の座標を頂点ＩＤに対応付けて記憶する。なお、天井面の外接矩形において８角柱の頂点と共通ではない２頂点の座標値は、天井面上の他の頂点の座標から算出することができ、床面の外接矩形において８角柱の頂点と共通ではない２頂点の座標値は、床面上の他の頂点の座標から算出することができる。これにより、図２１Ｃに示すような頂点データが生成される。次に制御部１１は、８角柱の各面にそれぞれポリゴンＩＤ（Ｐｏ０～Ｐｏ９）を割り当て、ポリゴンＩＤに対応付けて、各面の４頂点の頂点ＩＤ（第１頂点ＩＤ～第４頂点ＩＤ）を対応付けて記憶する。なお、本実施形態では、天井面及び床面のポリゴンを、８角形の天井面及び床面を包含する外接矩形状とするが、８角形のポリゴンでポリゴンデータを生成してもよい。制御部１１は、ポリゴンＩＤに対応付けて、後述するテクスチャ画像に割り当てられるテクスチャＩＤを記憶する。これにより、図２１Ｃに示すようなポリゴンデータが生成される。

次に制御部１１（テクスチャ画像生成部）は、８角柱の各面（各ポリゴン）にパノラマ画像の各画素を割り当ててテクスチャ画像（テクスチャ画像データ）を生成する（Ｓ３４）。図２２及び図２３はテクスチャ画像の説明図である。図２２Ａは、ステップＳ３１で天頂補正が行われた撮影画像を示す。制御部１１は、図２２Ａに示す撮影画像（パノラマ画像）を、各ポリゴンの頂点の座標値に基づいて各ポリゴンに写像変換することにより、１０面分のテクスチャ画像を生成する。なお、本実施形態では、それぞれのテクスチャ画像を正方形とするが、長方形のテクスチャ画像であってもよい。また、本実施形態では、側面の８個のテクスチャ画像は同じ大きさとするが、撮影空間の各側面の大きさに応じてテクスチャ画像の大きさを異ならせてもよい。

制御部１１はまず、処理対象のポリゴンについて、頂点データ及びポリゴンデータから、４頂点のワールド直交座標系の座標値を取得する。次に制御部１１は、４頂点の座標値に基づいて、このポリゴンを縦方向及び横方向のそれぞれに均等に分割し、例えば１０２４画素×１０２４画素を設定し、各画素の座標値（ワールド直交座標系）を算出する。次に制御部１１は、各画素のワールド直交座標系の座標値（Ｘ_W ，Ｙ_W ，Ｚ_W ）をそれぞれ、上記の（６）式を用いて極座標系の座標値（θ，φ）に変換し、極座標系の座標値（θ，φ）をそれぞれ、上記の（９）式を用いて画像座標系の座標値（Ｘ_I ，Ｙ_I ）に変換し、得られた撮影画像中の各座標値（Ｘ_I ，Ｙ_I ）の画素の画素値（輝度値）をポリゴンの各画素にコピーする。これにより、１つのポリゴンに対するテクスチャ画像が生成され、生成されたテクスチャ画像は、ポリゴンデータに記憶されたテクスチャＩＤに対応付けて記憶部１２に記憶される。例えば図２２Ｂ中に太線矩形で示す手前側の側面（ポリゴン）内の各画素が、図２２Ａ中に太線の閉領域で示す撮影画像中の領域内の各画素に対応する場合、図２２Ａ中の太線閉領域内の各画素をコピーすることによって、図２２Ｃに示すようなテクスチャ画像が生成できる。

なお、パノラマ画像はデジタル画像であるため、上述のように算出した画像座標系の座標値によっては、パノラマ画像中の画素の位置を特定できない可能性がある。この場合、例えばバイリニア法、ニアレストネイバー法等の補間演算を行うことにより、算出した座標値の周囲の画素の画素値に基づいて、ポリゴンの各画素の輝度を算出してもよい。また、撮影画像中の各画素の位置から、対応するポリゴン中の各画素の位置を算出し、撮影画像中の各画素の画素値を、算出したポリゴン中の各画素にコピーしてもよい。制御部１１は、全てのポリゴンについて上述した処理を行うことにより、８角柱の１０面分のテクスチャ画像を生成する。図２３は１０面分のテクスチャ画像を示しており、上側に２列に並ぶ８つのテクスチャ画像は撮影空間の８個の側面に対応しており、左下側のテクスチャ画像は撮影空間の下面（床面）に対応しており、右下側のテクスチャ画像は撮影空間の上面（天井面）に対応している。

なお、天井面及び床面のポリゴンについては、例えば図２２Ｄに示すように天井面及び床面の８角形の外側の領域、図２２Ｄではハッチングで示す領域に対しては、例えば、この領域と接続している側面の画像の画素が割り当てられる。なお、この領域には、白画素又は黒画素等の任意の画素値が割り当てられてもよい。

１０個のテクスチャ画像を生成した後、制御部１１は、ステップＳ３３で生成した頂点データ及びポリゴンデータと、ステップＳ３４で生成した１０個のテクスチャ画像とを閲覧用画像として、記憶部１２の閲覧用画像ＤＢ１２ｂに記憶する（Ｓ３５）。なお、制御部１１は、生成した１０個のテクスチャ画像を表示部１５又は登録用端末２０の表示部２５に表示し、入力部１４又は２４を介してサーバ１０又は登録用端末２０のユーザからの閲覧用画像の登録指示を受け付けた後に、閲覧用画像ＤＢ１２ｂに記憶してもよい。閲覧用画像は、ＯＢＪ形式等の３Ｄモデルの既存フォーマットのファイルデータとして記憶することができる。

以上の処理により、カメラ３０で撮影された撮影画像から、閲覧用端末４０のユーザ（閲覧者）に提供するための閲覧用画像を生成して記憶部１２（閲覧用画像ＤＢ１２ｂ）に登録することができる。また本実施形態では、撮影画像に対して指定された８本の鉛直線Ｌ０～Ｌ７を、撮影空間の多角形状を推定する処理だけでなく、撮影画像に行う天頂補正でも利用するので、効率の良い処理が可能である。なお、本実施形態では、サーバ１０が、閲覧用画像を記憶しており、閲覧用端末４０からの要求に応じて、閲覧用画像を閲覧用端末４０に提供する。しかし、サーバ１０とは異なる画像提供サーバを設け、画像提供サーバが、サーバ１０から閲覧用画像を取得しておき、閲覧用端末４０からの要求に応じて、閲覧用画像を閲覧用端末４０に提供するように構成することもできる。またサーバ１０は、閲覧用画像を生成した後は、閲覧用画像の生成前の撮影画像を撮影画像ＤＢ１２ａから消去してもよい。

次に、サーバ１０の閲覧用画像ＤＢ１２ｂに登録された閲覧用画像に基づいて、カメラ３０で撮影したパノラマ画像を、閲覧用端末４０で再生（表示）する際に、サーバ１０及び閲覧用端末４０が行う処理について説明する。図２４は、パノラマ画像の再生処理手順の一例を示すフローチャート、図２５は、パノラマ画像の表示画面例を示す模式図である。図２４では左側に閲覧用端末４０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。

閲覧者は、サーバ１０に登録されているいずれかのパノラマ画像を閲覧したい場合、例えば閲覧用端末４０のウェブブラウザ（図示せず）を用いてサーバ１０にアクセスし、サーバ１０が提供するウェブサイトを介して所望のパノラマ画像（閲覧用画像）の送信を要求する。なお、サーバ１０はウェブサーバとしての機能を有しており、パノラマ画像（閲覧用画像）の要求を受け付けるためのウェブサイトをネットワークＮ経由で公開している。よって、閲覧用端末４０の制御部４１は、入力部４４を介した閲覧者からの指示に従って、サーバ１０が提供するウェブサイトを介して、パノラマ画像（閲覧用画像）を要求する（Ｓ１１１）。なお、制御部４１は、ウェブブラウザによってサーバ１０にアクセスするほかに、サーバ１０が提供するウェブサイトにアクセスするためのアプリケーションプログラムを用いてもよい。

サーバ１０の制御部１１は、閲覧用端末４０からいずれかのパノラマ画像を要求された場合、要求されたパノラマ画像（撮影画像）から生成された閲覧用画像を閲覧用画像ＤＢ１２ｂから選択して読み出す（Ｓ１１２）。なお、閲覧用端末４０の制御部４１は、閲覧者が閲覧したいパノラマ画像を撮影した部屋の指定を受け付け、指定された部屋の情報（撮影位置情報）に基づいてパノラマ画像をサーバ１０に要求してもよい。この場合、サーバ１０の制御部１１は、指定された部屋の情報（撮影位置情報）に対応付けて閲覧用画像ＤＢ１２ｂに記憶してある閲覧用画像を読み出せばよい。なお、閲覧用画像は、図２１Ｃに示す頂点データ及びポリゴンデータと、図２３に示すテクスチャ画像とを含む。

制御部１１は、閲覧用画像ＤＢ１２ｂから読み出した閲覧用画像と、閲覧用画像を再生（表示）するための閲覧プログラムとを通信部１３にて閲覧用端末４０へ送信する（Ｓ１１３）。これにより、制御部１１（送信部）は、撮影空間の形状を示す情報（頂点データ及びポリゴンデータ）とテクスチャ画像とを外部装置へ送信できる。閲覧プログラムは例えばＪａｖａＳｃｒｉｐｔとＷｅｂＧＬとで記述されており、予め記憶部１２に記憶してある。閲覧用端末４０の制御部４１は、サーバ１０が送信した閲覧用画像及び閲覧プログラムを通信部４３にて受信し、記憶部４２に記憶する（Ｓ１１４）。制御部４１は、閲覧プログラムを実行することにより、閲覧用画像に基づいて、撮影空間内の仮想位置から見た状態の３Ｄモデルを生成して表示部４５に表示することができる。

例えば制御部４１は、予め設定されたデフォルトの仮想位置及び視線方向（向き）を読み出す（Ｓ１１５）。デフォルトの仮想位置及び視線方向は例えば閲覧プログラムに設定されている。そして制御部４１は、閲覧プログラムによるレンダリング機能（テクスチャマッピング）を利用して、閲覧用画像（頂点データ、ポリゴンデータ、テクスチャ画像）に基づいて、デフォルトの仮想位置から、デフォルトの視線方向を見た状態の３Ｄモデルを生成する（Ｓ１１６）。具体的には、制御部４１（生成部）は、頂点データ及びポリゴンデータに基づいて、撮影空間の８角柱の形状を３次元（３Ｄ）の仮想空間上に生成し、生成した８角柱の各面にテクスチャ画像の各画素をマッピングして３次元の仮想画像（３Ｄモデル）を生成する。なお、制御部４１は、テクスチャ画像の各画素を、仮想位置での各画素位置に対応付けることによって、デフォルトの仮想位置からデフォルトの視線方向を見た状態の３Ｄモデルを生成する。制御部４１は、３Ｄモデルを生成した場合、生成した３Ｄモデルを表示部４５に表示する（Ｓ１１７）。

図２５は３Ｄモデルの画面例を示しており、制御部４１は、３Ｄモデルと、視線変更ボタン４４１及び移動ボタン４４２とを表示する。視線変更ボタン４４１は、上視線ボタン、下視線ボタン、左視線ボタン及び右視線ボタンの４つのボタンを有しており、それぞれのボタンに対する操作を受け付けた場合、制御部４１は、視線方向を上向き、下向き、左向き又は右向きに変更する指示を受け付ける。移動ボタン４４２は、前ボタン及び後ボタンの２つのボタンを有しており、それぞれのボタンに対する操作を受け付けた場合、制御部４１は、仮想位置を前方向又は後方向に変更する指示を受け付ける。なお、移動ボタン４４２は左方向又は右方向への移動を指示するためのボタンを有していてもよい。閲覧者は、入力部４４を介して視線変更ボタン４４１及び移動ボタン４４２のいずれかに対する操作を行うことにより、視線方向の変更及び仮想位置の変更を指示することができる。

制御部４１は、入力部４４を介して移動ボタン４４２又は視線変更ボタン４４１のいずれかに対する操作を受け付けることにより、仮想位置又は視線方向の変更指示を受け付ける。よって、制御部４１は、移動ボタン４４２又は視線変更ボタン４４１に対する操作によって、仮想位置又は視線方向の変更指示を受け付けたか否かを判断する（Ｓ１１８）。制御部４１は、仮想視点又は視線方向の変更指示を受け付けたと判断した場合（Ｓ１１８：ＹＥＳ）、受け付けた変更指示に従って、仮想位置又は視線方向を変更する（Ｓ１１９）。例えば移動ボタン４４２の前ボタン又は後ボタンが操作された場合、制御部４１は、現在の仮想位置を現在の視線方向に対して前方向又は後方向に所定距離だけ移動させた位置を仮想位置に設定する。また視線変更ボタン４４１の上視線ボタン、下視線ボタン、左視線ボタン又は右視線ボタンが操作された場合、制御部４１は、現在の視線方向を上方向、下方向、左方向又は右方向に所定角度だけ変更させた方向を視線方向に設定する。その後、制御部４１はステップＳ１１６の処理に戻り、ステップＳ１１６～Ｓ１１７の処理を行う。これにより、変更後の仮想位置から変更後の視線方向を見た状態の３Ｄモデルが生成されて表示部４５に表示される。

制御部４１は、仮想視点又は視線方向の変更指示を受け付けていないと判断した場合（Ｓ１１８：ＮＯ）、入力部４４を介してパノラマ画像の閲覧処理の終了指示を受け付けたか否かを判断する（Ｓ１２０）。例えばサーバ１０（ウェブサイト）へのアクセスの終了指示を入力部４４にて受け付けた場合、制御部４１は、パノラマ画像の閲覧処理を終了する指示を受け付けたと判断する。パノラマ画像の閲覧処理の終了指示を受け付けていないと判断した場合（Ｓ１２０：ＮＯ）、制御部４１はステップＳ１１８の処理に戻る。制御部４１は、視線変更ボタン４４１又は移動ボタン４４２に対する閲覧者からの操作を入力部４４にて受け付ける都度、ステップＳ１１９、Ｓ１１６～Ｓ１１７の処理を行うことにより、３Ｄモデルを更新して表示する。パノラマ画像の閲覧処理の終了指示を受け付けたと判断した場合（Ｓ１２０：ＹＥＳ）、制御部４１は処理を終了する。上述した処理により、カメラ３０で撮影された実写データに基づいて、撮影空間内の任意の視点から見た画像（３Ｄモデル）を閲覧者に提供することができる。よって、閲覧者は、撮影空間の部屋の中を仮想的に移動しながら、任意の方向に視線を変えることができ、部屋の広さ、家具の配置、窓の外の景色等を感覚的に把握することができる。

本実施形態では、カメラ３０で撮影したパノラマ画像に対して、撮影空間の鉛直方向に伸びる隅を示す鉛直線を入力することで、天頂補正を行うことができ、また、閲覧用端末４０で再生可能な閲覧用画像を生成することができる。よって、撮影空間の平面視での形状に関わらず、天頂補正を適切に行うことができる。また、撮影位置から各隅までの距離及び方向を算出することにより、撮影空間の平面視での形状を推定するので、どのような形状であっても撮影空間の平面形状を適切に推定することができる。よって、適切に推定された撮影空間の形状に基づいて、適切なテクスチャ画像を生成することができる。更に、適切に生成されたテクスチャ画像に基づいて、任意の位置から見た状態の３Ｄモデルを適切に生成することができる。また本実施形態では、閲覧用端末４０が、サーバ１０で生成された閲覧用画像（頂点データ及びポリゴンデータ、並びにテクスチャ画像）をダウンロードすることによって、閲覧用端末４０で再生処理が行われる。よって、サーバ１０は、登録用端末２０を介して登録されたパノラマ画像（撮影画像）から閲覧用の画像を生成し、閲覧用の画像を閲覧用端末４０に提供すればよい。なお、サーバ１０が閲覧用画像からテクスチャマッピングによって３Ｄモデルを生成し、生成した３Ｄモデルを閲覧用端末４０へ送信してもよい。この場合、閲覧用端末４０は、サーバ１０から受信した３Ｄモデルを表示部４５に表示すればよい。

本実施形態では、閲覧用端末４０として、ＨＭＤ型の情報処理装置を使用してもよく、この場合、コンピュータ等の操作に不慣れなユーザであっても容易に様々な視点から室内を見た状態の画像を確認できる画像処理システム１００を提供できる。本実施形態によると、市販の全天球カメラ等を用いて撮影したＪＰＥＧ（Joint Photographic Experts Group）形式等の汎用の形式の画像を使用して、様々な視点から室内を見た状態の画像を提供できる画像処理システム１００を提供できる。なお、カメラ３０は、全天球カメラに限定しない。たとえば、半球型の範囲を撮影可能なカメラであっても、通常の平面画像撮影用のカメラであってもよい。

（実施形態２）
実空間上の鉛直方向に存在する撮影空間の隅を示す線分（鉛直線）の上端又は下端が、撮影空間内に配置された什器によって写っていない撮影画像に基づいて閲覧用画像を生成する画像処理システム１００について説明する。本実施形態の画像処理システム１００は、図１に示す実施形態１の画像処理システム１００と同様の装置を用いて実現されるので、構成についての説明は省略する。本実施形態では、上述した実施形態１の画像処理システム１００において各装置が行う処理とは異なる内容についてのみ説明する。

図２６は、実施形態２の閲覧用画像の生成処理手順の一例を示すフローチャート、図２７は、実施形態２の閲覧用画像の生成処理の説明図、図２８は、実施形態２の撮影空間の推定処理手順の一例を示すフローチャートである。図２６に示す処理は、図９に示す処理において、ステップＳ２８，Ｓ２９の間にステップＳ１３１～Ｓ１３２を追加し、ステップＳ３０の代わりにステップＳ１３３を追加したものである。図９と同じステップについては説明を省略する。また図２６では、図９中のステップＳ３３～Ｓ３５の図示を省略している。図２８に示す撮影空間の推定処理は、図２６中のステップＳ３２の処理である。図２８に示す処理は、図１８に示す処理において、ステップＳ１０６の後にステップＳ１４１～Ｓ１４２を追加したものである。

本実施形態のサーバ１０の制御部１１は、図９中のステップＳ２１～Ｓ２８と同様の処理を行う。これにより、撮影画像において、撮影空間の８隅に対応する８本の鉛直線Ｌ０～Ｌ７が設定される。なお、本実施形態では、いずれかの鉛直線の上端又は下端が、室内に配置された什器によって撮影画像中に写っていない場合、写っていない上端又は下端を不可視点に設定する。図２７は、図１０Ｂに示した上下方向の８本の線分が、撮影画像中の８本の鉛直線Ｌ０～Ｌ７に移動され、鉛直線Ｌ５の下端が不可視点に設定された状態を示している。図２７に示す画面は、不可視点の設定を指示するための不可視点設定ボタンを有しており、例えば不可視点設定ボタンを操作した後に、撮影画像中のいずれかの鉛直線の端点（上端又は下端）を選択操作することにより、選択された端点を不可視点に設定する指示を行うことができる。なお、図２７では、不可視点に設定した鉛直線の端点が、当該端点の正確な位置に近い箇所に移動されているが、不可視点に設定された端点の位置は任意の位置でよい。

制御部１１は、ステップＳ２８の処理後、撮影画像上のいずれかの鉛直線の上端又は下端に対して不可視点に設定する指示を受け付ける（Ｓ１３１）。そして制御部１１は、画面中の撮影画像において、不可視点に設定指示された鉛直線の上端又は下端の位置に、不可視点を示すマークを表示する（Ｓ１３２）。図２７に示す例では、白い四角のマークによって不可視点の位置が示されている。その後、制御部１１は、図２７に示す画面中のＯＫボタンが操作されたと判断した場合（Ｓ２９：ＹＥＳ）、移動後の鉛直線を取得する（Ｓ１３３）。ここでは制御部１１は、８本の鉛直線Ｌ０～Ｌ７において、移動後の位置を指定された端点（上下端点）の画像座標系の座標値を取得し、不可視点に設定された端点については不可視点であることを示すラベル（移動指示できず位置が指定できない点であることを示す情報）を取得する。

その後、制御部１１は、ステップＳ３１以降の処理を実行する。本実施形態では、撮影画像中に写っていない鉛直線Ｌ０～Ｌ７の上端又は下端が不可視点に設定されているので、ステップＳ３１において制御部１１は、ステップＳ１３３で上端及び下端の両方の位置が指定された鉛直線を用いて天頂補正を行う。室内において什器は床面に設置されていることが多く、鉛直線の上端（天井側の端点）は撮影画像に移っている可視点である可能性が高く、また、室内の複数（ここでは８本）の鉛直線において、上下端の両方の位置が指定される鉛直線は複数あると考えられる。従って、制御部１１は、上下端の両方の位置が指定された複数の鉛直線に基づいて撮影画像の天頂補正を行うことができる。

具体的には、図１２に示す処理において、制御部１１は、ステップＳ４１で、上下端の両方の位置が指定された鉛直線の両端の座標値を取得し、ステップＳ４２で、取得した鉛直線の両端の座標値に基づいて、各鉛直線を表すパラメータを算出する。そして制御部１１は、算出した複数の鉛直線のパラメータ（θ，ρ）に基づいて、ステップＳ４３～Ｓ４４の処理を実行し、得られた回転軸の位置（位相φ）と回転量αとに基づく天頂補正を、撮影画像及び鉛直線に対して行う（Ｓ４５，Ｓ４６）。

また制御部１１は、図２６中のステップＳ３２において、図２８に示す処理を実行する。図２８に示す処理において、制御部１１は、図１８中のステップＳ１０１～Ｓ１０６と同様の処理を行う。なお、ステップＳ１０１において、制御部１１は、天頂補正後の撮影画像と、天頂補正後の各鉛直線における上下端の画像座標系の座標値とを取得する。ここでは、制御部１１は、不可視点に設定されている端点については、不可視点を示すラベルを対応付けておく。またステップＳ１０２において、制御部１１は、ステップＳ１０１で上下端の座標値を取得した１つの鉛直線における中央ラインから上端までの長さと、中央ラインから下端までの長さとの比率に基づいて、撮影位置の高さを算出する。またステップＳ１０３において、制御部１１は、１つの鉛直線の情報として、不可視点に設定されていない端点（上端又は下端）の画素の天頂角θを取得する。具体的には、制御部１１は、取得した端点の画素の画像座標系の座標（ｘ_I ，ｙ_I ）から、当該端点の画素の天頂角θを算出する。更に、ステップＳ１０４において、制御部１１は、算出した天頂角θと、ステップＳ１０２で算出した撮影位置の高さとに基づいて、撮影位置から当該鉛直線までの距離を算出する。

ステップＳ１０６で撮影空間の平面形状を推定した後、制御部１１は、ステップＳ１０１で取得した各鉛直線の上下端の情報（座標値又は不可視点を示すラベル）に基づいて、不可視点に設定された端点があるか否かを判断する（Ｓ１４１）。不可視点に設定された端点があると判断した場合（Ｓ１４１：ＹＥＳ）、制御部１１は、不可視点に設定された端点の座標値を算出する（Ｓ１４２）。図２７中の鉛直線Ｌ５の下端のワールド直交座標系のＸｗ座標値及びＺｗ座標値は、図２０Ａに示すように鉛直線Ｌ５の上端のワールド直交座標系のＸｗ座標値及びＺｗ座標値と同じである。また、鉛直線Ｌ５の下端のワールド直交座標系のＹｗ座標値は、他の鉛直線Ｌ０～Ｌ４，Ｌ６～Ｌ７の下端のワールド直交座標系のＹｗ座標値と同じである。従って、制御部１１（座標値算出部）は、不可視点に設定された端点のワールド直交座標系の座標値を、当該端点の近傍の他の端点の座標値から算出することができ、算出した座標値を記憶部１２に記憶する。具体的には、制御部１１は、不可視点に設定された端点に対して鉛直方向に位置する他の端点の座標値と、水平方向に位置する他の端点の座標値とに基づいて、不可視点に設定された端点の座標値を算出することができる。

不可視点に設定された端点がないと判断した場合（Ｓ１４１：ＮＯ）、制御部１１はステップＳ１４２の処理をスキップし、図２６の処理に戻る。その後、制御部１１は、図２８に示す処理によって推定した撮影空間の形状に基づいて、ステップＳ３３～Ｓ３５の処理を実行する。これにより、推定した撮影空間の形状、具体的には８角柱を示す頂点データ及びポリゴンデータと、１０面分のテクスチャ画像とを生成して記憶することができる。

上述した処理により、本実施形態においても、カメラ３０で撮影された撮影画像から閲覧用画像を生成することができる。また本実施形態では、撮影空間の隅（鉛直線）の上端又は下端が、室内に配置された什器によって撮影画像中に写っていない場合であっても、この上端又は下端の座標値を、撮影画像中に写っている他の端点（他の鉛直線の上端又は下端）の座標値に基づいて算出することができるので、撮影空間の多角形状を精度よく推定することができる。また、本実施形態においても、サーバ１０は、閲覧用画像ＤＢ１２ｂに登録してある閲覧用画像を、閲覧用端末４０からの要求に応じて提供することができる。また、閲覧用端末４０が、閲覧用画像に基づいて、撮影空間内の仮想位置から見た状態の３Ｄモデルを生成して表示部４５に表示することができる。

（実施形態３）
サーバ１０で生成された閲覧用画像を、サーバ１０とは別のサーバ（閲覧用画像提供サーバ）で閲覧用端末４０に提供する画像処理システム１００について説明する。本実施形態の画像処理システム１００は、実施形態１のサーバ１０が行っていた処理のうち、閲覧用画像を閲覧用端末４０に提供する処理を別のサーバが行うこと以外は、実施形態１と同様である。図２９は、実施形態３の画像処理システム１００の構成例を示す模式図である。本実施形態の画像処理システム１００は、実施形態１の画像処理システム１００と同様の装置に加えて、閲覧用画像をネットワークＮ経由で提供する閲覧用画像提供サーバ５０を備える。閲覧用画像提供サーバ５０は、サーバ１０と同様の構成を有しており、ネットワークＮ経由で他の装置との間で情報の送受信を行う。

本実施形態の画像処理システム１００では、サーバ１０は、図７に示す撮影画像の登録処理を行い、登録用端末２０を介して取得した撮影画像（パノラマ画像）を記憶部１２（撮影画像ＤＢ１２ａ）に登録する。またサーバ１０は、図９，１２－１５，１８に示す閲覧用画像の生成処理を行い、登録された撮影画像のそれぞれから閲覧用画像を生成する。ここで、本実施形態のサーバ１０は、撮影画像から生成した閲覧用画像を、撮影場所の情報（撮影位置情報）に対応付けて閲覧用画像提供サーバ５０へ送信する。具体的には、サーバ１０は、図４Ｂに示すような閲覧用画像ＤＢ１２ｂを閲覧用画像提供サーバ５０に送信し、閲覧用画像提供サーバ５０が、受信した閲覧用画像ＤＢ１２ｂを記憶部に記憶する。そして、本実施形態では、閲覧用画像提供サーバ５０が、図２４に示す閲覧用画像の提供処理を行い、閲覧用端末４０からの要求に応じて閲覧用画像を閲覧用端末４０に提供する。

本実施形態では、実施形態１のサーバ１０が行っていた処理を分散させることにより、サーバ１０による処理負担を軽減できる。また、例えば不動産物件を撮影したパノラマ画像を提供対象（閲覧対象）とする場合、地域毎に閲覧用画像提供サーバ５０を設け、それぞれの閲覧用画像提供サーバ５０が、各地域内の物件の閲覧用画像を管理するように構成してもよい。この場合、例えば不動産会社の従業員が撮影を行い、得られたパノラマ画像をサーバ１０に登録し、サーバ１０は、登録されたパノラマ画像から閲覧用画像を生成し、生成した閲覧用画像を、撮影対象の物件の地域に対応する閲覧用画像提供サーバ５０に登録する。このような構成とした場合、地域毎の閲覧用画像提供サーバ５０にて各物件の閲覧用画像を管理できる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ サーバ
１１ 制御部
１２ 記憶部
１３ 通信部
２０ 登録用端末
２１ 制御部
２２ 記憶部
２３ 通信部
３０ カメラ
４０ 閲覧用端末
４１ 制御部
４２ 記憶部
４３ 通信部
１００ 画像処理システム
１２ａ 撮影画像ＤＢ
１２ｂ 閲覧用画像ＤＢ

Claims (15)

1. 閉鎖された実空間内で撮影されたパノラマ画像を取得する画像取得部と、
   前記実空間の高さ及び平面視での多角形の角数を取得する空間情報取得部と、
   前記パノラマ画像上で、前記実空間の鉛直方向の辺に対応する位置を特定し、取得した前記実空間の高さを用いて前記実空間の多角柱の形状を推定する推定部と、
   推定した前記多角柱を構成する３Ｄモデルを生成する生成部と
   を備える画像処理装置。
2. 前記推定部は、画像認識により前記実空間の鉛直方向の辺に対応する位置を特定する
   請求項１に記載の画像処理装置。
3. 前記推定部は、前記パノラマ画像上で前記実空間の鉛直方向の辺の端部の位置の入力を受け付けて特定する
   請求項１に記載の画像処理装置。
4. 推定した前記多角柱を構成する各面に、前記パノラマ画像の各画素を対応付けてテクスチャ画像を生成するテクスチャ画像生成部を備え、
   前記生成部は、推定した前記多角柱の形状を３Ｄの仮想空間上に生成し、生成した形状の各面に前記テクスチャ画像の各画素をマッピングして前記３Ｄモデルを生成する
   請求項１から３までのいずれかひとつに記載の画像処理装置。
5. 推定した前記多角柱の形状を示す情報と、生成した前記テクスチャ画像とを外部装置へ送信する送信部
   を備える請求項４に記載の画像処理装置。
6. 前記パノラマ画像上に、前記パノラマ画像の上下方向の線分であって、取得した前記多角形の角数の線分を表示する線分表示部と、
   前記パノラマ画像上に表示された前記線分の上下端に対する移動指示を受け付ける受付部とを備え、
   前記推定部は、移動指示に従った移動後の前記線分の上下端の位置を受け付ける
   請求項１から３までのいずれかひとつに記載の画像処理装置。
7. 前記受付部は、前記パノラマ画像上の前記線分の上下端に対して、移動指示又は移動指示できない点であることを示す情報を受け付け、
   前記推定部は、上下端に対して移動指示を受け付けた線分の移動後の上下端の位置を受け付ける
   請求項６に記載の画像処理装置。
8. 取得した前記実空間の鉛直方向の辺に対応する線分のそれぞれがパノラマ画像の上下方向に存在するように、前記パノラマ画像を補正する補正部
   を更に備える請求項１から７までのいずれかひとつに記載の画像処理装置。
9. 撮影位置と、前記実空間の鉛直方向の辺に対応する各線分との距離を算出する距離算出部と、
   各線分について算出した距離に基づいて、前記多角形の形状を推定する平面推定部と
   を備える請求項１から８までのいずれかひとつに記載の画像処理装置。
10. 前記パノラマ画像中の１つの前記線分における前記パノラマ画像の上下方向の中央から上端までの長さと、前記中央から下端までの長さとの比率に基づいて、前記線分に対応する実空間の高さを、撮影位置から天井までの距離と、前記撮影位置から床面までの距離とに按分し、前記撮影位置の天井又は床面からの距離を算出する撮影位置算出部を備え、
    前記距離算出部は、前記撮影位置の天井からの距離と、前記撮影位置から前記線分の天井側の上端への仰角とに基づいて、前記撮影位置から前記線分までの距離を算出し、もしくは、前記撮影位置の床面からの距離と、前記撮影位置から前記線分の床面側の下端への俯角とに基づいて、前記撮影位置から前記線分までの距離を算出する
    請求項９に記載の画像処理装置。
11. 前記撮影位置算出部は、上下両端の位置を特定できる線分における前記比率に基づいて、前記撮影位置の天井又は床面からの距離を算出し、
    前記距離算出部は、前記線分の床面側の下端が位置を特定できない点である場合、前記撮影位置から天井までの距離と、前記撮影位置から前記線分の天井側の上端への仰角とに基づいて、前記撮影位置から前記線分までの距離を算出し、前記線分の天井側の上端が位置を特定できない点である場合、前記撮影位置から床面までの距離と、前記撮影位置から前記線分の床面側の下端への俯角とに基づいて、前記撮影位置から前記線分までの距離を算出する
    請求項１０に記載の画像処理装置。
12. 推定した前記多角柱を構成する複数の側面、天井面、及び床面のそれぞれについて、各面の頂点の前記パノラマ画像上の座標値を取得する座標値取得部を備え、
    前記テクスチャ画像生成部は、前記複数の側面、天井面、及び床面の各面の頂点の座標値に基づいて、各面のテクスチャ画像を生成する
    請求項４又は５に記載の画像処理装置。
13. 推定した前記多角柱を構成する複数の側面、天井面、及び床面の頂点のいずれかが位置を特定できない点である場合、前記位置を特定できない点である頂点の座標値を、他の頂点の座標値に基づいて算出する座標値算出部
    を備える請求項１２に記載の画像処理装置。
14. 閉鎖された実空間内で撮影されたパノラマ画像を取得し、
    前記実空間の高さ及び平面視での多角形の角数を取得し、
    前記パノラマ画像上で、前記実空間の鉛直方向の辺に対応する位置を特定し、取得した前記実空間の高さを用いて前記実空間の多角柱の形状を推定し、
    推定した前記多角柱を構成する３Ｄモデルを生成する
    処理をコンピュータに実行させるプログラム。
15. 閉鎖された実空間内で撮影されたパノラマ画像を取得し、
    前記実空間の高さ及び平面視での多角形の角数を取得し、
    前記パノラマ画像上で、前記実空間の鉛直方向の辺に対応する位置を特定し、取得した前記実空間の高さを用いて前記実空間の多角柱の形状を推定し、
    推定した前記多角柱を構成する３Ｄモデルを生成する
    処理をコンピュータが実行する画像処理方法。

Images