JP2020053080A - プログラムおよび記録媒体 - Google Patents

Abstract

【課題】全天球パノラマ画像に埋め込む埋込画像を歪みなく表示する。【解決手段】貼付部５８は、全方位の範囲の撮影によって得られた全天球パノラマ画像を、仮想三次元空間に配置した仮想三次元球体の内壁に沿って貼り付ける。取得部６０は、全天球パノラマ画像に埋め込む埋込画像を取得する。生成部６２は、埋込画像を二次元平面に貼り付けた平面画像を生成する。算出部６４は、仮想三次元球体の中心点から内壁へ向かう視線方向と平面画像の垂線とが平行となる姿勢で、平面画像を内壁より中心点側に配置するための配置位置を算出する。表示制御部６６は、仮想三次元球体の内壁に沿って全天球パノラマ画像を貼り付け、且つ配置位置に平面画像を配置した状態を、中心点から視線方向に視認した二次元画像に変換した表示画像を表示部に表示する。【選択図】図６

Description

本発明は、プログラムおよび記録媒体に関する。

全方位の範囲の撮影によって得た全天球パノラマ画像を、仮想三次元球体の内壁に貼り付けて表示する技術が開示されている。

また、全天球パノラマ画像に、日時、作成者、バージョンなどを示す各種画像を埋め込んで表示する技術が開示されている。

しかしながら、従来では、全天球パノラマ画像に他の画像を埋め込む場合、埋め込む埋込画像が三次元球体に沿って歪んで表示されるという問題があった。

上述した課題を解決し、目的を達成するために、本発明に係るプログラムは、複数の撮像素子によって得られた複数の画像から生成された画像を仮想三次元空間に沿って貼り付けて全天球パノラマ画像を生成する第１生成ステップと、前記全天球パノラマ画像と共に表示する平面画像を、前記仮想三次元空間の内部に配置する第２生成ステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、全天球パノラマ画像に埋め込む埋込画像を、歪みなく表示することができる、という効果を奏する。

図１は、本実施の形態の情報処理システムの概略図である。 図２Ａは、撮影装置の外観模式図である。 図２Ｂは、撮影装置の外観模式図である。 図２Ｃは、撮影装置の外観模式図である。 図３は、撮影装置の使用状況の一例を示す図である。 図４Ａは、撮影装置で撮影された画像の説明図である。 図４Ｂは、撮影装置で撮影された画像の説明図である。 図４Ｃは、撮影装置で撮影された画像の説明図である。 図５は、情報処理装置のハードウェア構成の説明図である。 図６は、情報処理装置の機能的構成を示す模式図である。 図７は、貼り付けの説明図である。 図８は、全天球パノラマ画像の一例を示す図である。 図９は、埋込画像および平面画像の一例を示す模式図である。 図１０は、配置位置の算出の説明図である。 図１１は、表示画像の一例を示す図である。 図１２は、情報処理の手順の一例を示すフローチャートである。 図１３は、配置位置算出処理の手順の一例を示すフローチャートである。

以下、本発明の実施の形態について説明する。

図１は、本実施の形態の情報処理システム１０の概略図である。

情報処理システム１０は、情報処理装置１２、表示部１６、及び操作部１８を備える。これらの情報処理装置１２、表示部１６、及び操作部１８は、ネットワーク等の無線または有線の通信部を介して通信可能に接続される。

通信部には、例えば、短距離無線技術、移動通信システムによる無線通信網、及びインターネット等を用いる。短距離無線技術は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が挙げられる。移動通信システムによる無線通信網には、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）や、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）等が挙げられる。

表示部１６は、画像を表示する一般的な表示装置である。例えば、液晶ディスプレイや、有機ＥＬディスプレイなどである。

操作部１８は、ユーザから各種操作指示を受け付ける機能を有するものである。図１に示す例では、操作部１８は、キーボード１８Ａ、マウス１８Ｂ、ＵＩ部１８Ｃを備える。

ＵＩ部１８Ｃは、ユーザからの操作入力を受け付けると共に各種画像を表示するタッチパネル機能を備えた装置である。すなわち、ＵＩ部１８Ｃは、表示部としての機能を備える。

ＵＩ部１８Ｃには、例えば、スマートフォン、タブレット端末、ノート型パソコン、デスクトップ型パソコン、またはＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔ）等のコンピュータを用いる。ＵＩ部１８Ｃと、情報処理装置１２とは、図１では有線で接続されているように示されているが、無線接続であっても良い。特に、無線接続の場合には、インターネット上に情報処理装置１２を置き、ネットワーク越しに、ＵＩ部１８Ｃが情報処理装置１２を操作し、編集がなされても良い。

本実施の形態では、ＵＩ部１８Ｃとして、スマートフォンまたはタブレット端末を用いる場合を説明するが、タッチパネル機能を備えた構成であればよい。

なお、情報処理システム１０は、キーボード１８Ａ、マウス１８Ｂ、ＵＩ部１８Ｃ以外の他の種類の操作部を備えた構成であってもよいし、更に複数の撮影装置１４を備えた構成であってもよい。

情報処理装置１２は、素材の表示や編集を実行するコンピュータである。本実施の形態では、表示部１６やＵＩ部１８Ｃへ画像を表示する制御を行う。

なお、ＵＩ部１８Ｃがスマートフォンまたはタブレット端末などのコンピュータである場合、情報処理装置１２の機能を、ＵＩ部１８Ｃへ設けた構成としてもよい。

本実施の形態では、情報処理装置１２は、全天球パノラマ画像を表示部１６またはＵＩ部１８Ｃへ表示する。

全天球パノラマ画像とは、全天球（３６０°の全方位）の範囲の撮影によって得られるパノラマ画像である。言い換えると、全天球パノラマ画像とは、４πラジアンの立体角内の像を得て、全天球の範囲の撮影によって得られるパノラマ画像である。パノラマ画像とは、画角が最終出力する表示装置のアスペクト比より広い画像である。

以下、説明を簡略化するために、情報処理装置１２は、表示部１６に全天球パノラマ画像を表示する場合を説明する。しかし、情報処理装置１２は、ＵＩ部１８Ｃへ全天球パノラマ画像を表示してもよい。また、ＵＩ部１８Ｃが情報処理装置１２の機能を備えた構成である場合、ＵＩ部１８Ｃは、ＵＩ部１８Ｃに設けられた表示部に、全天球パノラマ画像を表示すればよい。

情報処理装置１２は、例えば、全天球パノラマ画像を予め記憶部に記憶し、記憶部から全天球パノラマ画像を取得してもよい。また、情報処理装置１２は、全天球パノラマ画像を、撮影装置から取得してもよい。

全天球パノラマ画像を撮影する撮影装置について説明する。図２（図２Ａ〜図２Ｃ）は、撮影装置１４の外観模式図である。なお、図２Ａは撮影装置１４の側面図である。図２Ｂは、撮影装置１４の、図２Ａとは反対側の側面図である。図２Ｃは、撮影装置１４の平面図である。

図２Ａに示すように、撮影装置１４は、例えば、人間が片手で持つことができる大きさである。なお、撮影装置１４の大きさは、このような大きさに限られない。撮影装置１４は、全天球パノラマ画像を得る撮影装置である。

図２（図２Ａ〜図２Ｃ）に示すように、撮影装置１４の上部には、正面側（一方の面側）にレンズ２０Ａ及び背面側（他方の面側）にレンズ２０Ｂが設けられている。この各々の１８０度以上の画角を有する広角レンズを介して、像が導かれ、各々の撮像素子に像が形成される。なお、撮像素子としては、ＣＣＤや、ＣＭＯＳ等が挙げられる。また、図２Ｂに示されるように、撮影装置１４の正面側には、シャッターボタン等の操作部１４Ｃが設けられている。

全天球パノラマ画像を得る撮影装置１４としては、例えば、特開２０１４−１６５７６４号公報に示される撮影装置を用いればよい。

次に、図３を用いて、撮影装置１４の使用状況の一例を説明する。図３は、撮影装置１４の使用状況の一例を示す図である。撮影装置１４は、図３に示すように、ユーザが手に持ってユーザの周りの被写体を撮影する。この場合、レンズ２０Ａ及びレンズ２０Ｂから導かれた像を各々の撮像素子によって、ユーザの周りの被写体が撮像され、２つの半球画像が得られ、４πラジアンの立体角内の像が得られる。

次に、図４を用いて、撮影装置１４で撮影された画像を説明する。図４（図４Ａ〜図４Ｃ）は、撮影装置１４で撮影された画像の説明図である。図４Ａはレンズ２０Ａで撮影された半球画像４２Ａ、図４Ｂはレンズ２０Ｂで撮影された半球画像４２Ｂ、図４Ｃはメルカトル図法により表された全天球パノラマ画像４２を示した図である。

図４Ａに示すように、レンズ２０Ａは広角レンズの一つである魚眼レンズであるため、このレンズ２０Ａによって得られた画像は、湾曲した半球画像４２Ａとなる。また、図４Ｂに示されているように、レンズ２０Ｂは広角レンズの一つである魚眼レンズであるため、このレンズ２０Ｂによって得られた画像は、湾曲した半球画像４２Ｂとなる。そして、半球画像４２Ａと、半球画像４２Ｂとは、撮影装置１４によって合成され、図４Ｃに示される、全天球パノラマ画像４２が作成される。

図１へ戻り、撮影装置１４で得られた全天球パノラマ画像４２は、情報処理装置１２と接続されると、撮影装置１４から情報処理装置１２へ送信される。なお、本実施の形態では、撮影装置１４は、全天球パノラマ画像４２を、情報処理装置１２へ送信する。

情報処理装置１２では、全天球パノラマ画像４２を撮影装置１４から取得する。

そして、情報処理装置１２では、ＯｐｅｎＧＬ（Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ）を利用することで、取得した全天球パノラマ画像４２を表示部１６やＵＩ部１８Ｃ等へ表示する。

次に、情報処理装置１２のハードウェア構成を説明する。

図５は、情報処理装置１２のハードウェア構成の説明図である。

情報処理装置１２は、情報処理装置１２全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０、ＩＰＬ等のＣＰＵ３０の駆動に用いられるプログラムを記憶したＲＯＭ３２、ＣＰＵ３０のワークエリアとして使用されるＲＡＭ３４、情報処理装置１２用のプログラム等の各種データを記憶するＨＤ３８、ＣＰＵ３０の制御にしたがってＨＤ３８に対する各種データの読み出し又は書き込みを制御するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）３６を備える。

また、情報処理装置１２は、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、各種画像を表示するディスプレイ５０８、撮影装置１４及び操作部１８（キーボード１８Ａ、マウス１８Ｂ、ＵＩ部１８Ｃ）と通信するためのＩ／Ｆ５０９、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４、及び、上記各構成要素を電気的に接続するバスライン５１０を備える。

情報処理装置１２で実行される情報処理を実行するための情報処理プログラムは、ＲＯＭ３２やその他の不揮発性記憶媒体に予め組み込まれて提供される。また、情報処理装置１２で実行される情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体（例えば、ＣＤ−ＲＯＭ５１３）に記録し提供することも可能である。

また、情報処理装置１２で実行される情報処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供または配布するように構成してもよい。

また、情報処理装置１２で実行される情報処理プログラムを、ＲＯＭ３２等に予め組み込んで提供するように構成してもよい。

次に、情報処理装置１２の機能的構成を説明する。

図６は、情報処理装置１２の機能的構成を示す模式図である。情報処理装置１２は、制御部５２と、ＵＩ部１８Ｃ等の操作部１８と、ＨＤ（ハードディスクドライブ）３８と、を備える。制御部５２は、撮影装置１４、表示部１６、ＵＩ部１８Ｃ等の操作部１８、及びＨＤ３８に電気的に接続されている。

制御部５２は、情報処理装置１２の全体を制御し、上述したＣＰＵ３０、ＲＯＭ３２、ＲＡＭ３４等を含むコンピュータである。なお、制御部５２は、回路などで構成してもよい。

制御部５２は、接続部５４、取込部５６、貼付部５８、取得部６０、生成部６２、算出部６４、および表示制御部６６を備える。

接続部５４、取込部５６、貼付部５８、取得部６０、生成部６２、算出部６４、および表示制御部６６の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現すればよい。なお、これらの接続部５４、取込部５６、貼付部５８、取得部６０、生成部６２、算出部６４、および表示制御部６６の一部またはすべては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

具体的には、情報処理装置１２で実行される情報処理プログラムは、上述した各部（接続部５４、取込部５６、貼付部５８、取得部６０、生成部６２、算出部６４、および表示制御部６６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ３０が記憶媒体から情報処理プログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。

接続部５４は、撮影装置１４との接続を確立する。接続部５４は、例えば、情報処理装置１２に撮影装置１４が有線または無線により接続された状態で、撮影装置１４との間で予め定めた通信プロトコルに従って接続確立のための通信制御を行う。これによって、接続部５４は、撮影装置１４との接続を確立する。

取込部５６は、撮影装置１４から全天球パノラマ画像４２を取り込む。なお、撮影装置１４から取り込んだ全天球パノラマ画像４２をＨＤ３８へ記憶してもよい。この場合、取込部５６は、ＨＤ３８から全天球パノラマ画像４２を取り込んでもよい。

貼付部５８は、全方位の範囲の撮影によって得られた全天球パノラマ画像４２を、仮想三次元空間に配置した仮想三次元球体の内壁に沿って貼り付ける。図７は、貼り付けの説明図である。

貼付部５８は、仮想三次元空間に仮想三次元球体ＣＳを配置する。仮想三次元球体ＣＳは、断面が真円形状の球体であってもよいし、断面が楕円形状の楕円体であってもよい。図７には、一例として、断面が真円形状の球体の仮想三次元球体ＣＳを示した。

そして、貼付部５８は、この仮想三次元球体ＣＳの内壁Ａに全天球パノラマ画像４２を貼り付ける。貼り付けた全天球パノラマ画像４２を、全天球パノラマ画像４０と称して説明する。なお、貼付部５８は、仮想三次元球体ＣＳへの全天球パノラマ画像４２の貼り付けを、ＯｐｅｎＧＬなどの３Ｄグラフィックエンジンにより実現すればよい。

図８は、全天球パノラマ画像４０の一例を示す図である。図８に示すように、全天球パノラマ画像４０は、全天球パノラマ画像４２（図４Ｃ参照）を仮想三次元球体ＣＳの内壁Ａに貼り付けたことで得られる。なお、図８は、仮想三次元球体ＣＳ（図７参照）の中心点Ｐからある視線方向に内壁Ａを観察した状態を示す、全天球パノラマ画像４０である。

図６に戻り、取得部６０は、全天球パノラマ画像４２に埋め込む埋込画像を取得する。

埋込画像は、全天球パノラマ画像４２に埋め込む対象の画像であればよく、ユーザによる操作部１８などの操作指示によって指定される。埋込画像は、例えば、文字を示す文字画像などである。

生成部６２は、埋込画像を二次元平面に貼り付けた形状の平面画像を生成する。すなわち、生成部６２は、仮想三次元空間に二次元平面（例えば、板状部材）を配置し、この二次元平面に埋込画像を貼り付けることで、平面画像を生成する。

図９は、埋込画像４４および平面画像４６の一例を示す模式図である。図９に示すように埋込画像４４は、例えば、「○○ビル」などの文字画像である。生成部６２は、例えば、埋込画像４４を二次元平面に貼り付けた平面画像４６を生成する。

また、取得部６０は、埋込画像４４の形状を示す形状情報を更に取得してもよい。例えば、ユーザは、ＵＩ部１８Ｃを操作することで、埋め込む対象の画像、および埋込画像４４の形状を示す形状情報を入力する。取得部６０は、ＵＩ部１８Ｃから、埋め込む対象の画像である埋込画像４４と、形状情報と、を取得すればよい。また、取得部６０は、埋込画像４４のサイズを示すサイズ情報を更に取得してもよい。サイズについても、ユーザによるＵＩ部１８Ｃの操作指示によって適宜入力可能とすればよい。サイズ情報は、埋込画像４４の表示サイズを示す情報である。

平面画像４６の形状は、埋込画像４４が入る形状であればよい。取得部６０が、埋込画像４４の形状を示す形状情報を取得した場合、生成部６２は、埋込画像４４を形状情報によって示される形状の二次元平面に貼り付けた平面画像４６を生成すればよい。

このため、例えば、形状情報が四角形の矩形状を示す場合、生成部６２は、埋込画像４４を四角形の矩形状の二次元平面に貼り付けた平面画像４６を生成する。また、例えば、形状情報が楕円状を示す場合、生成部６２は、埋込画像４４を楕円形状の二次元平面に貼り付けた平面画像４６を生成すればよい。

また、取得部６０がサイズ情報を取得した場合、生成部６２は、サイズ情報によって示される表示サイズの平面画像４６を生成すればよい。

図６に戻り、算出部６４は、平面画像４６を仮想三次元球体ＣＳの内壁Ａより中心点Ｐ側に配置するための配置位置を算出する。このとき、算出部６４は、仮想三次元球体ＣＳの中心点Ｐから内壁Ａへ向かう視線方向と、平面画像４６の垂線と、が平行となる姿勢で、且つ、平面画像４６が仮想三次元球体ＣＳの内壁Ａより中心点Ｐ側に配置されるように（仮想三次元球体ＣＳ内に収まるように）、配置位置を算出する。

図１０は、配置位置の算出の説明図である。

まず、算出部６４は、中心点Ｐから内壁Ａへ向かう視線方向Ｌと、平面画像４６の垂線と、が平行となるように、平面画像４６を配置する。

そして、算出部６４は、この姿勢を維持したままで平面画像４６の全体が仮想三次元球体ＣＳ内に収まるように配置するためには、平面画像４６を視線方向Ｌに沿って内壁Ａ側から中心点Ｐ側にどのくらい移動させる必要があるかを算出する。

詳細には、算出部６４は、平面画像４６のサイズを取得する。算出部６４は、取得部６０が取得したサイズ情報によって示されるサイズを取得してもよいし、生成部６２が生成した平面画像４６からサイズを取得してもよい。

具体的には、算出部６４は、平面画像４６の最大長をサイズｄとして取得する。最大長とは、平面画像４６を構成する辺や対角線の内の最大の長さを示す。平面画像４６が矩形状である場合、算出部６４は、平面画像４６の対角線の長さをサイズｄとして取得する。また、平面画像４６が円状（真円形状）である場合、算出部６４は、平面画像４６の直径をサイズｄとして取得する。

次に、算出部６４は、仮想三次元球体ＣＳの半径ｒと、取得したサイズｄと、から、該半径ｒの２辺と、サイズｄの１辺と、の３辺からなる三角形の、中心点Ｐを中心とした半径ｒの２辺により形成される角度θを下記式（１）および式（２）から算出する。

ｃｏｓθ＝（２ｒ^２−ｄ^２）／４ｒ ・・・式（１）
θ＝ａｒｃｃｏｓ（（２ｒ^２−ｄ^２）／４ｒ） ・・・式（２）

次に、算出部６４は、仮想三次元球体ＣＳの半径ｒと、算出した角度θと、から、平面画像４６を視線方向Ｌに沿って内壁Ａ側から中心点Ｐ側に移動させる移動量ｈを、下記式（３）から算出する。

ｈ＝ｒ×（１−ｃｏｓ（θ／２）） ・・・式（３）

そして、算出部６４は、平面画像４６の垂線が視線方向Ｌに対して平行となる姿勢を維持しつつ、平面画像４６を、内壁Ａから視線方向Ｌに沿って中心点Ｐに移動量ｈ移動させた位置（すなわち、中心点Ｐから（ｒ−ｈ）の位置）を、平面画像４６の配置位置として算出する。

このため、図１０に示すように、算出した配置位置（内壁Ａから移動量ｈの位置）に配置した平面画像４６は、垂線が視線方向Ｌに対して平行で、且つ、仮想三次元球体ＣＳ内に収まった状態となる。また、平面画像４６は、仮想三次元球体ＣＳの内壁Ａより中心点Ｐ側の位置に配置された状態となる。

図６に戻り、表示制御部６６は、仮想三次元球体ＣＳの内壁Ａに全天球パノラマ画像４０を貼り付け、且つ、算出部６４で算出した配置位置に平面画像４６を配置した状態を、中心点Ｐから視線方向Ｌに視認した二次元画像に変換した表示画像を生成する。

該状態の、二次元画像への変換には、３Ｄグラフィックエンジン（ＯｐｅｎＧＬなど）を用いればよい。

そして、表示制御部６６は、生成した表示画像を表示部１６または（ＵＩ部１８Ｃ）へ表示する。

図１１は、表示画像４８の一例を示す図である。図１１に示すように、表示制御部６６は、表示画像４８を表示部１６またはＵＩ部１８Ｃへ表示する。

表示画像４８は、全天球パノラマ画像４０上に、埋込画像４４を二次元平面に貼り付けた平面画像４６を合成した画像となる。

ここで、全天球パノラマ画像４０は、仮想三次元球体ＣＳの内壁Ａに全天球パノラマ画像４２を貼り付けた画像である。このため、実際の風景に比べて歪んだ画像となっている（図１１参照）。

ここで、表示画像４８は、埋込画像４４を二次元平面に貼り付けた平面画像４６を仮想三次元球体ＣＳ内の算出された配置位置に、中心点Ｐから内壁Ａへ向かう視線方向Ｌと平面画像４６の垂線とが平行となる姿勢で配置し、中心点Ｐから視線方向Ｌに視認した状態を示す画像である。すなわち、埋込画像４４は、全天球パノラマ画像４０による三次元モデルの手前側（中心点Ｐ側）に配置されている。

このため、表示画像４８に含まれる平面画像４６は、視線方向Ｌに対して垂直に視認した状態を示す画像となる。すなわち、平面画像４６は、歪みのない状態で表示される。

次に、情報処理装置１２の制御部５２で実行する編集処理を説明する。

図１２は、情報処理装置１２の制御部５２で実行する情報処理の手順を示すフローチャートである。

まず、取込部５６が、表示部１６に表示する対象の全天球パノラマ画像４２を取得する（ステップＳ１００）。例えば、ユーザは、ＵＩ部１８Ｃを操作することで、表示対象の全天球パノラマ画像４２を指示する。取込部５６は、ＵＩ部１８Ｃから受け付けた表示対象の全天球パノラマ画像４２を、ＨＤ３８から取得する。なお、取込部５６は、撮影装置１４から全天球パノラマ画像４２を取得してもよい。

次に、貼付部５８が、ステップＳ１００で取得した全天球パノラマ画像４２を、仮想三次元空間に配置した仮想三次元球体ＣＳの内壁Ａに沿って貼り付ける（ステップＳ１０２）（図７、図８参照）。

次に、取得部６０が、全天球パノラマ画像４２に埋め込む埋込画像４４を取得する（ステップＳ１０４）。次に、生成部６２が、埋込画像４４を二次元平面に貼り付けることで、平面画像４６を生成する（ステップＳ１０６）。

次に、算出部６４が、平面画像４６を仮想三次元球体ＣＳの内壁Ａより中心点Ｐ側に配置するための配置位置を算出する（ステップＳ１０８）（詳細後述）。

次に、表示制御部６６が、仮想三次元球体ＣＳの内壁Ａに全天球パノラマ画像４０を貼り付け、且つ、ステップＳ１０８で算出した配置位置に平面画像４６を配置する（ステップＳ１１０）。そして、表示制御部６６は、この状態を、中心点Ｐから視線方向Ｌに視認した二次元画像に変換した表示画像４８を生成する。

そして、表示制御部６６は、生成した表示画像を表示部１６または（ＵＩ部１８Ｃ）へ表示する（ステップＳ１１２）。そして、本ルーチンを終了する。

次に、図１２のステップＳ１０８の配置位置算出処理を説明する。図１３は、配置位置算出処理の手順を示すフローチャートである。

まず、算出部６４は、中心点Ｐから内壁Ａへ向かう視線方向Ｌと、平面画像４６の垂線と、が平行となるように、平面画像４６を配置する。そして、算出部６４は、平面画像４６のサイズを取得する（ステップＳ２００）。例えば、算出部６４は、平面画像４６の最大長をサイズｄとして取得する。

次に、算出部６４は、仮想三次元球体ＣＳの半径ｒと、取得したサイズｄと、から、該半径ｒの２辺と、サイズｄの１辺と、の３辺からなる三角形の、中心点Ｐを中心とした半径ｒの２辺により形成される角度θを上記式（１）および上記式（２）から算出する（ステップＳ２０２）。

次に、算出部６４は、平面画像４６を内壁Ａから視線方向Ｌに沿って中心点Ｐに移動量ｈ移動させた位置（すなわち、中心点Ｐから（ｒ−ｈ）の位置）を、平面画像４６の配置位置として算出する（ステップＳ２０４）。そして、本ルーチンを終了する。

以上説明したように、本実施の形態の情報処理装置１２は、貼付部５８と、取得部６０と、生成部６２と、算出部６４と、表示制御部６６と、を備える。貼付部５８は、全方位の範囲の撮影によって得られた全天球パノラマ画像４２を、仮想三次元空間に配置した仮想三次元球体ＣＳの内壁Ａに沿って貼り付ける。取得部６０は、全天球パノラマ画像４２に埋め込む埋込画像４４を取得する。生成部６２は、埋込画像４４を二次元平面に貼り付けた平面画像４６を生成する。算出部６４は、仮想三次元球体ＣＳの中心点Ｐから内壁Ａへ向かう視線方向Ｌと平面画像４６の垂線とが平行となる姿勢で、平面画像４６を仮想三次元球体ＣＳの内壁Ａより中心点Ｐ側に配置するための配置位置を算出する。表示制御部６６は、仮想三次元球体ＣＳの内壁Ａに沿って全天球パノラマ画像４２を貼り付けて全天球パノラマ画像４０とし、且つ配置位置に平面画像４６を配置した状態を、中心点Ｐから視線方向Ｌに視認した二次元画像に変換した表示画像４８を表示部１６に表示する。

このため、表示画像４８に含まれる平面画像４６は、視線方向Ｌに対して垂直に視認した状態を示す画像となる。すなわち、全天球パノラマ画像４０に埋め込まれた平面画像４６は、歪みのない状態で表示される。

従って、本実施の形態の情報処理装置１２では、全天球パノラマ画像４２に埋め込む埋込画像４４を、歪みなく表示することができる。

ここで、従来では、仮想三次元球体ＣＳの内壁Ａに沿って配置した全天球パノラマ画像４２による全天球パノラマ画像４０上に、内壁Ａに沿って埋込画像４４を埋め込んでいた。このため、従来では、埋込画像４４は、仮想三次元球体ＣＳの内壁Ａに沿って歪んで表示されていた。

一方、本実施の形態では、情報処理装置１２は、全天球パノラマ画像４２に埋め込む埋込画像４４を、二次元平面に貼り付けた平面画像４６とし、仮想三次元球体ＣＳの内壁Ａより中心点Ｐ側に配置する。このため、全天球パノラマ画像４０に埋め込まれた平面画像４６は、歪みのない状態で表示される。

また、仮想三次元球体ＣＳは、断面が真円形状の球体、または断面が楕円形状の楕円体であることが好ましい。

また、埋込画像４４は、文字画像を含むことが好ましい。

また、取得部６０は、埋込画像４４の形状を示す形状情報を取得し、生成部６２は、埋込画像４４を形状情報によって示される形状の二次元平面に貼り付けた平面画像４６を生成してもよい。

以上、発明を実施するための実施の形態について説明を行ったが、本発明は、上述した実施の形態に限定されるものではない。本発明の主旨を損なわない範囲で変更することが可能である。

１０ 情報処理システム
１２ 情報処理装置
１６ 表示部
１８Ｃ ＵＩ部
５８ 貼付部
６０ 取得部
６２ 生成部
６４ 算出部
６６ 表示制御部

特開平１０−３３４２７２号公報

Claims (13)

1. 複数の撮像素子によって得られた複数の画像から生成された画像を仮想三次元空間に沿って貼り付けて全天球パノラマ画像を生成する第１生成ステップと、
   前記全天球パノラマ画像と共に表示する平面画像を、前記仮想三次元空間の内部に配置する第２生成ステップと、
   をコンピュータに実行させるためのプログラム。
2. 前記平面画像は、ユーザによる操作指示によって指定される画像である、
   請求項１に記載のプログラム。
3. 前記第１生成ステップは、前記複数の撮像素子によって得られた複数の画像から生成された画像を前記仮想三次元空間に配置した仮想三次元球体に沿って貼り付けて前記全天球パノラマ画像を生成する、請求項１に記載のプログラム。
4. 前記第１生成ステップは、前記複数の撮像素子によって得られた複数の画像から生成された画像を前記仮想三次元空間に配置した仮想三次元球体の内壁に沿って貼り付けて前記全天球パノラマ画像を生成する、請求項１に記載のプログラム。
5. 前記第２生成ステップは、前記平面画像を前記全天球パノラマ画像と前記仮想三次元球体の中心点との間に配置する、請求項３または請求項４に記載のプログラム。
6. 前記仮想三次元球体の中心点から前記仮想三次元球体へ向かう視線方向と前記平面画像の垂線とが平行となる姿勢で、前記平面画像を前記仮想三次元球体と前記中心点との間に配置する配置位置を算出する算出ステップ、
   をさらに備える請求項３〜請求項５の何れか１項に記載のプログラム。
7. 前記平面画像を配置した状態を、前記仮想三次元球体の中心点から視認した二次元画像に変換した表示画像を表示する表示ステップ、
   をさらに備える請求項３〜請求項６の何れか１項に記載のプログラム。
8. 前記仮想三次元球体は、断面が真円形状の球体、または断面が楕円形状の楕円体である、請求項３〜請求項７の何れか１項に記載のプログラム。
9. 前記平面画像は、文字画像を含む、請求項１〜請求項８の何れか１項に記載のプログラム。
10. 複数の撮像素子によって得られた複数の画像から生成された画像を仮想三次元空間に沿って貼り付けて全天球パノラマ画像を生成する第１生成ステップと、
    前記全天球パノラマ画像と共に表示する平面画像を、前記仮想三次元空間の内部に配置する第２生成ステップと、
    をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
11. 前記第１生成ステップは、前記複数の撮像素子によって得られた複数の画像から生成された画像を前記仮想三次元空間に配置した仮想三次元球体に沿って貼り付けて前記全天球パノラマ画像を生成する、請求項１０に記載の記録媒体。
12. 前記第２生成ステップは、前記平面画像を前記全天球パノラマ画像と前記仮想三次元球体の中心点との間に配置する、請求項１１に記載の記録媒体。
13. 前記プログラムが、
    前記平面画像を配置した状態を、前記仮想三次元球体の中心点から視認した二次元画像に変換した表示画像を表示する表示ステップ、
    をさらに備える請求項１１または請求項１２に記載の記録媒体。

Images