JP2021196805A - 画像表示方法、プログラム及びデータ生成方法 - Google Patents

Abstract

【課題】通信ネットワークを介して、建物の実際の様子をユーザに感じさせることができ、データ量を抑えながら、ユーザの臨場感を高めることができる画像表示方法、プログラム及びデータ生成方法を提供する。【解決手段】対象物を表現する画像を表示するために画像表示装置によって実行される画像表示方法は、対象物を再現した３Ｄモデルを保存するステップと、画像表示装置へのトリガー操作を検出すると、トリガー信号を発信するステップと、トリガー信号に基づいた画像コンテンツを受信するステップと、画像コンテンツに含まれている画像を３Ｄモデルに合成させ、３Ｄモデルと合成された画像を表示するステップと、を備える。３Ｄモデルの解像度は、画像の解像度より低い。【選択図】図２

Description

本発明は、建物などの対象物の内部画像を表示する技術に関し、特に画像表示方法、プログラム及びデータ生成方法に関する。

一般的に、不動産物件を選ぶ場合、間取り図を見ながら物件を選び、選んだ物件を内覧することなどにより、所望の物件を選んでいる。また、購入者や賃貸者などの対象者の好感度を高めるために、モデルルームの展示などが行われている。

近年、インターネットなどの通信ネットワークを介して所望する物件の画像や間取り図などをコンピュータに表示させ、物件を案内する技術が望まれている。いわゆる不動産の紹介サービスに使われる遠隔案内技術といわれている。

従来の遠隔案内技術では、物件の構造を再現した３Ｄモデルを作成して、作成した３Ｄモデルをネットで表示する３Ｄモデル技術と、建物や物件の複数のパノラマ画像を一枚ずつ表示するパノラマ技術に分けられている。

３Ｄモデル技術では、建物の構造のすべてが立体的に再現されており、利用者が、実際の建物の中にいて、その内部を移動しているかのように、画像の表示が変更される。そのため、３Ｄモデルのデータ量は、非常に大きくなる。また、臨場感を高めるため、画面の解像度が高いほうが望ましい。しかし、解像度が高ければ高いほど、データ量は、さらに大きくなる。そのため、３Ｄモデルは、スマートフォンなどのモバイル機器で再生する時、通信の遅延問題があり、モバイル機器での使用感が悪い。

パノラマ技術では、解像度の高い画像を用いても、３Ｄモデルと比べて、データ量が大きくない。しかし、パノラマ画像を一枚ずつ見ることができても、利用者は室内を移動するような体感を得ることはできない。また、室内を部分的に表示するため、空間に居る臨場感が落ちる。

本発明は、上記した課題を解決するためになされたものであり、通信ネットワークを介して、建物の実際の様子をユーザに感じさせることができ、データ量を抑えながらユーザの臨場感を高められる画像表示方法、画像表示プログラム及びデータ生成方法を提供することを目的とする。

上記課題を解決するために、本発明の第１態様は、対象物を表現する画像を表示するために画像表示装置によって実行される画像表示方法であって、対象物を再現した３Ｄモデルを保存するステップと、画像表示装置へのトリガー操作を検出すると、トリガー信号を発信するステップと、トリガー信号に基づいた画像コンテンツを受信するステップと、画像コンテンツに含まれている画像を３Ｄモデルに合成させ、３Ｄモデルと合成された画像を表示するステップと、を備え、３Ｄモデルの解像度は、画像の解像度より低い。

本態様によれば、画像表示装置は、解像度の低い３Ｄモデルと解像度の高い画像とを合成させることで、データ量を抑えながら、画質の高い表示ができる。また、対象物における画像の位置を３Ｄモデルで把握できるため、画像表示装置は、対象物の奥行きや立体感を表現しやすくなる。これにより、ユーザの臨場感が確保できる。

本発明の第２の態様は、第１の態様の画像表示方法において、画像は、平面図とパノラマ画像とを含み、平面図と３Ｄモデルとは、複数の観察点を有し、パノラマ画像は、自らの観察点と違う他の観察点を一つ以上有し、各観察点は、パノラマ画像とそれぞれ関連付けられており、各観察点へのトリガー操作が検出されると、トリガー操作された観察点に対応するパノラマ画像を表示する。

本態様において、平面図とパノラマ画像は、画像表示装置に送信してきたら、３Ｄモデルと合成される。本態様によれば、表示している平面図やパノラマ画像における観察点がトリガー操作されて別のパノラマ画像へと切り替え表示する際に、平面図やパノラマ画像が３Ｄモデルと合成されているため、ただの表示する画像の切り替えではなく、３Ｄモデルの空間に飛んで入り、該当する観察点に立つようになった臨場感がある。また、３Ｄモデルと表示する画像とを合成させることで、表示する画像に空間の奥行き感を表現しやすくなり、より臨場感を高めることができる。また、パノラマ画像同士の切り替えでは、切り替え表示前後の奥行き感が変化するので、インパクトがあり、臨場感をより高められる。

本発明の第３の態様は、第２の態様の画像表示方法において、表示されている画像へのトリガー操作が検出されると、トリガー操作を受け取った位置が、観察点のないところであれば、画像表示装置は、トリガー操作を受け取った位置の最接近観察点の位置情報を取得して、トリガー信号に含ませる。

本態様によれば、表示画像の任意点にトリガー操作しても、トリガー操作として検出されるようになり、使いやすい。

本発明の第４の態様は、第２又は第３の態様の画像表示方法において、画像は、３Ｄモデルへの切り替えのための３Ｄアイコンを含み、３Ｄアイコンへのトリガー操作が検出されると、表示されている画像を３Ｄモデルの表示に切り替え、表示されている画像がパノラマ画像である場合、パノラマ画像の一部分に、対象物の簡略図を表示し、簡略図は、対象物内での位置と観察角度とを示す模擬移動表示を含み、模擬移動表示は、表示されているパノラマ画像の位置と観察角度とに応じて、簡略図において移動するように表示される。本態様によれば、ユーザが建物などの対象物内のどこに観覧しているかを直観的に感じさせることができ、臨場感が高められる。

本発明の第５の態様は、第２から第４の態様のいずれかの画像表示方法において、パノラマ画像、又は３Ｄモデルから、次のパノラマ画像に切り替え表示する際に、切り替え後に表示されるパノラマ画像は、切り替え前に表示されていたパノラマ画像、又は３Ｄモデルと同じ観察角度で表示される。本態様によれば、切り替え表示前後の画像が同じ観察角度で切り替えられるため、前の観察点から後の観察点へ「直行」する感覚で表示できる。ユーザへのインパクトが高く、臨場感を高めることができる。

本発明の第６の態様は、第２から第５の態様のいずれかの画像表示方法において、表示されているパノラマ画像において、カーソルの移動に従って移動するポインターを表示し、ポインターの形状と大きさが、カーソルが触ったところの構造と奥行きに応じて変化する。

本態様によれば、ユーザがパノラマ画像を見ている間に、カーソルを移動させると、ポインターの形状と大きさとが変化することで、空間内のオブジェクトや物理的に存在している構造などを触っている感じが得られる。これによって、空間の奥行き感や、オブジェクトと構造との立体感が感じられ、より臨場感が高められる。

本発明の第７の態様は、第１から第６の態様のいずれかの画像表示方法において、３Ｄモデルが表示されている状態で、３Ｄモデル以外の部分へのトリガー操作が検出されると、３Ｄモデルを回転させる。

本態様によれば、３Ｄモデルを回転させることで、様々な観察角度から建物の外観と全体構造を確認できる。

本発明の第８の態様は、第１から第７の態様のいずれかの画像表示方法において、サーバから３Ｄモデルをダウンロードするステップをさらに備え、画像コンテンツを受信するステップは、３Ｄモデルをダウンロードするステップとは別に、トリガー操作に応じて実行される。

本態様によれば、表示する用の画像コンテンツは、３Ｄモデルと一緒に送信されるのではなく、３Ｄモデルが保存されることと別に、トリガー信号により画像表示装置に送信される。これにより、一時に送信するデータ量が抑えられ、通信の遅延が抑えられる。また、３Ｄモデルは解像度が低く、対象物の詳細を画質高く表示できないが、トリガー操作に応じて解像度の高い画像は送信され表示されるため、画質の高い表示が確保できると共に、データ量が抑えられる。

本発明の第９の態様は、第１から第８の態様いずれかに記載の画像表示方法をコンピュータに実行させるための画像表示プログラムである。

本発明の第１０の態様は、対象物のパノラマ画像を画像表示装置に表示するためのデータ生成方法であって、対象物を再現した３Ｄモデルを作成する３Ｄモデル作成ステップと、３Ｄモデルをレンダリングするレンダリングステップと、対象物を表現するパノラマ画像を生成する画像生成ステップと、レンダリング後の３Ｄモデルを圧縮し、圧縮済み３Ｄモデルを生成する３Ｄモデル圧縮ステップと、圧縮済み３Ｄモデル内にある観察点と観察点の位置情報とを、パノラマ画像に関連付けさせるパノラマ画像マッチングステップと、を備える。

本発明の第１１の態様は、第１０の態様のデータ生成方法において、パノラマ画像の解像度は、圧縮済み３Ｄモデルの解像度よりも高い。

本発明の第１２の態様は、第１０又は第１１態様のデータ生成方法において、画像生成ステップは、レンダリング後の３Ｄモデルからパノラマ画像をピックアップすることを含む。

本態様のデータ生成方法によれば、圧縮済み３Ｄモデルは、データ量が少ないが、対象物を再現している。そのため、３Ｄモデルと合成しているパノラマ画像を表示する際に、空間内の奥行きや寸法が容易に表現できる。また、圧縮後３Ｄモデルと各観察点のパノラマ画像は、別々に画像表示装置に送信されることが可能となるため、送信する際のデータ量が抑えられる。

本発明によれば、通信ネットワークを介して、建物の実際の様子をユーザに感じさせることができ、データ量を抑えながら、ユーザの臨場感を高めることができる。

画像表示システムの構成を示す模式図である。 画像表示方法の処理を示すフローチャートである。 建物の３Ｄモデルを表示する図である。 図３の３Ｄモデルを時計回りに回転させた図である。 観察点Ｐ１でのパノラマ画像を表示している図である。 観察点Ｐ２でのパノラマ画像を表示している図である。 観察点Ｐ２でのパノラマ画像を表示している図である。 建物の平面図を表示している図である。 パノラマ画像でのカーソルの移動によるポインターの変化を示す図である。

以下、図面を参照して、本発明の実施形態について説明する。図１は、実施形態に係る画像表示システムの構成を示す模式図である。本実施形態の画像表示システムは、サーバ１と画像表示装置２とを含む。

サーバ１は、通信ネットワーク１００を介して、画像表示装置２とデータ転送可能に接続されている。サーバ１は、情報処理部１１とコンテンツ記憶部１２とを含む。情報処理部１１は、ＣＰＵなどのプロセッサと、ＲＡＭ，ＲＯＭなどのメモリとを含む。情報処理部１１は、画像表示装置２からの信号に応じて、コンテンツ記憶部１２に保存されている画像コンテンツを要求する。コンテンツ記憶部１２は、画像の表示に要する画像コンテンツを記憶しており、情報処理部１１からの要求に応じて、画像表示装置に画像コンテンツを送信する。

画像コンテンツとは、２次元画像、パノラマ画像、３Ｄモデル、画像や３Ｄモデルと共に出力される効果音等の音声データや紹介用テキストや動画等が挙げられる。

２次元画像とは、写真等の平面画像をいう。パノラマ画像とは、対象物の水平方向３６０度垂直方向１８０度の範囲の全ての景観のイメージを含む画像である。パノラマ画像を撮影する場合、撮影地点を中心として、所定角度ごとに別々に撮った一群の写真を取得し、隣接し且つ重なり合う領域のある写真を、ＣＧ用ソフトウエアなどによりシームレスにつなぎ、それらを球体パノラマ画像に結合する。パノラマ画像は、カメラで撮影した写真で生成した球形パノラマ画像だけではなく、ＣＧ技術で生成した画像を使って作成したパノラマ画像でもよい。全観察角度パノラマ画像は、空間内を確認するために、前後、左右の３６０度と上下１８０度の範囲内の状況を確認できる画像であるが、コンピュータの表示画面（スクリーンなど）が二次元であるため、表示する展示角度（観察角度）により、パノラマ画像の一部分だけが表示される。

本実施形態の３Ｄモデルとは、対象物である建物などの空間内の要素を比例的に再現した３Ｄモデルである。建物の空間内の要素とは、対象となる建物の全体構造、内部構造、全体空間、壁などで全体空間から区画された各子空間、各子空間と全体空間との関係、空間の奥行き、寸法、空間の内部のオブジェクトなど、目で確認できる物理的な存在である。３Ｄモデルは、コンピュータグラフィックス（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ、略称：ＣＧ）で通常の３Ｄ技術用の座標系を配置して構成される。３Ｄモデルは、コンピュータで読み取って、表示できるデータである。３Ｄモデルとして、ＯＢＪファイルデータやＭＴＬファイルデータなど、数多くのポリゴンで構成されているデータが例として挙げられる。ＯＢＪファイルデータとは、３Ｄモデルフォーマットの１つであり、頂点、法線などの情報が格納されている「．ｏｂｊ」ファイルと、モデル色やテクスチャ情報を格納している「．ｍｔｌ」ファイルとで構成されている。「．ｍｔｌ」ファイルがなくても、「．ｏｂｊ」ファイルさえあれば３Ｄモデルの形状を描画することは可能である。

ポリゴンとは、ＣＧ技術において、三角形や四角形等の多角形の組み合わせにより物体を再現する際に用いられる要素のことである。ポリゴンの数を減らすことで、データ量が小さくなり、解像度が低くなる。

対象物となる建物がマンションのように各部屋を有している場合には、その３Ｄモデルとしては、各部屋と、各部屋で構成された住戸ごとの全体構造と、を表現してもよい。図３に示しているのは、二階建ての戸建て住宅の３Ｄモデルである。図３の３Ｄモデルでは、外壁と天井がないため、外壁と天井が透明であるように表示することで、壁で区画された各部屋、各部屋で構成された住宅の全体構造、内部にある家具、家電などすべての存在を確認することができる。

画像表示装置２は、ユーザ端末として、通信ネットワーク１００を介してサーバ１と通信可能であり、画像を表示できるコンピュータである。画像表示装置２は、例えばスマートフォンやタブレットなどの携帯端末、或いはパーソナルコンピュータである。なお、図１には、１台の画像表示装置２が図示されているが、画像表示装置の数は限定されない。

画像表示装置２は、表示制御部２１と、表示部２２と、操作検出部２３とを含む。表示制御部２１は、ＣＰＵなどのプロセッサと、ＲＡＭ，ＲＯＭなどのメモリとを含む。表示制御部２１は、コンテンツ記憶部１２から送信してきた画像コンテンツを読み取り、トリガー信号により、表示用のデータを合成し、表示すべき画像を表示部２２に表示させる。表示部２２は、スクリーンのような２次元の表示画面であり、２次元画像と３次元のパノラマ画像とを含む画像を表示することができる。また、表示部２２は、タッチパネルなどの入力手段であってもよい。

操作検出部２３は、タッチパネル、キーボード、マウス、マイクなどを経由して外部からの入力を受け取る手段である。操作検出部２３がトリガー操作を受けると、トリガー操作を受けたことを示すトリガー信号を情報処理部１１に送信する。情報処理部１１がトリガー信号に含んでいる情報に基づいて、表示すべき画像を判断し、判断結果により画像コンテンツをサーバ１のコンテンツ記憶部１２に要求する。

トリガー操作は、クリックに限らず、マウスやタッチパネルなどによるタップ、スライド、ドラッグ（ｄｒａｇ−ａｎｄ−ｄｒｏｐ）、予め設定された認識可能なジェスチャー操作、音声操作などの入力でもよい。

操作検出部２３は、トリガー操作された位置やアイコンなどにより、トリガー操作の意味を読み取り、その位置情報、観察角度情報、画像データ情報などをトリガー信号に含ませる。

画像データ情報は、２次元画像、パノラマ画像、平面図などの画像の情報である。位置情報は、３Ｄモデル自身の座標系により３Ｄモデル内の各位置を示す情報である。３Ｄモデル内の各位置は、物理的な建物の空間内の各位置と対応している。観察角度は、ユーザが対象物としての建物を観察する際の角度（表示部で表示する角度）である。上記観察角度の０度を示す方向と上記３Ｄモデル自身の座標系の原点とは、３Ｄモデルを構築する際に事前に決められている。

［画像表示方法］
以下、本実施形態における表示方法について、マンションや戸建て住宅などの建物の内部空間を例に詳細に説明する。なお、以下に述べる処理のうち、画像表示装置２の表示制御部２１によって実行される処理の一部又は全部は、サーバ１の情報処理部１１によって実行されてもよい。

図２は、本実施形態の画像表示方法の処理を示すフローチャートである。表示が開始される際、画像表示装置２は、サーバ１にアクセスする。そして、サーバ１から画像表示装置１に３ＤモデルのＯＢＪファイルデータを送信する。画像表示装置２は、３ＤモデルのＯＢＪファイルデータをダウンロードし、保存する（ステップＳ０）。

表示部２２は３Ｄモデルを表示し、初期表示状態となる（ステップＳ１）。操作検出部２３が表示部２２へのトリガー操作を検出すると、トリガー信号を情報処理部１１に送信する（ステップＳ２）。情報処理部１１が、トリガー信号に含んでいる画像データ情報、位置情報、観察角度情報などに基づいて表示するための画像コンテンツを判断して、コンテンツ記憶部１２に要求する（ステップＳ３）。コンテンツ記憶部１２は、表示するための画像コンテンツと位置情報や観察角度情報などと共に、画像表示装置２の表示制御部２１に送信する（ステップＳ４）。表示制御部２１は、送信してきた画像コンテンツを読み取り、解析し、表示用のデータを合成し、表示部２２に表示すべき画像を表示させる（ステップＳ５）。

後述のように、ステップＳ０のダウンロード処理は、一回だけで完了してもよい。画像表示装置は、画像の切り替え表示などを行うたびに、ステップＳ１からＳ５までの処理を繰り返し実行してもよい。本実施形態において、初期表示状態における表示内容は限定されない。表示部２２が初期表示状態である場合、表示される画像は、対象空間に関する画像であってよい。例えば、初期表示状態における画像は、物件内の写真などのパノラマ画像の一部、間取り図、または物件の空間を再現した３Ｄモデルなどであってもよい。

次に、３Ｄモデルの表示から平面図に切り替え表示することについて説明する。平面図とは、対象物の構造、配置などを表現するために、対象物の上面からの投影図又は水平断面図であり、物件の場合には、間取図ともいう。

図３は、対象物の３Ｄモデルを表示している。画像表示装置２は、上述したステップＳ０において、３Ｄモデルをダウンロード済みである。図３は、所定の第１観察角度Ｖ１（例えば南方面）から見た３Ｄモデルを表示している。また、表示部２２の一部には、平面図などのアイコンを設置している（ステップＳ１）。平面図のアイコンＡ２をクリックすると、操作検出部２３が平面図のアイコンＡ２へのトリガー操作を検出したトリガー信号を情報処理部１１に送信する（ステップＳ２）。情報処理部１１は、トリガー信号に基づいて、表示部に表示すべき画像は平面図であると判定し、平面図をコンテンツ記憶部１２に要求する（ステップＳ３）。コンテンツ記憶部１２は、平面図を含んでいる画像コンテンツを表示制御部２１に送信する（ステップＳ４）。画像表示装置２の表示制御部２１は、送信してきた画像コンテンツを読み取り、画像コンテンツに含まれている平面図を３Ｄモデルに合成させる。これにより、平面図と３Ｄモデルとの合成３Ｄモデル画像が生成される。表示制御部２１は、３Ｄモデルと合成された平面図を表示部２２に表示させる（ステップＳ５）。そして、図３の３Ｄモデルの表示から図８のような平面図の表示に切り替える。

図３と図４の３Ｄモデルと、図５〜図７のパノラマ画像と、図８の平面図とは、複数の観察点Ｐを含む。観察点とは、対象物の内部において、観覧するポイントとして事前に選択された場所であり、各観察点は、各観察点の位置を表現する位置情報を有する。各観察点は、位置情報により各観察点から見たパノラマ画像と、３Ｄモデルや平面図における対応位置と関連付けられている。観察点と関連付けられているパノラマ画像は、当該観察点に立って観覧できる対象物内の画像である。当該パノラマ画像により、前後左右の３６０度と上下１８０度の範囲内の状況を確認できる。各パノラマ画像は、対応する観察点の位置情報を有する。各観察点へのトリガー操作が検出されると、３Ｄモデルの中に入るように、３Ｄモデルからパノラマ画像の表示に切り替えられる。そしてト表示部は、リガー操作が検出された観察点で対象物の空間内の様子を見ているかのように、当該観察点でのパノラマ画像を表示する。

３Ｄモデルから観察点のパノラマ画像に切り替え表示されることについて説明する。
図４は、対象物の３Ｄモデルを表示している。画像表示装置２は、上述したステップＳ０において、３Ｄモデルをダウンロード済みである。図４は、所定の第２観察角度Ｖ２（例えば南東方面）から見た３Ｄモデルを表示している。図４に示すように３Ｄモデルには、複数の観察点が設置されており、３Ｄモデルへのトリガー操作が可能である（ステップＳ１）。操作検出部２３は、表示部に表示している３Ｄモデルへのトリガー操作を検出すると、トリガー信号を情報処理部１１に送信する（ステップＳ２）。例えば、図４に示す３Ｄモデルの観察点Ｐ１（第１観察点）がクリックされると、操作検出部２３は、第１観察点Ｐ１の位置情報と、現在表示されている３Ｄモデルの観察角度（第２観察角度Ｖ２）を示す観察角度情報とを含むトリガー信号を情報処理部１１に送信する（ステップＳ２）。情報処理部１１は、トリガー信号に含まれる第１観察点Ｐ１の位置情報に基づいて、表示部に表示すべき画像が第１観察点Ｐ１のパノラマ画像であることを判断し、第１観察点Ｐ１の位置情報を有するパノラマ画像をコンテンツ記憶部１２に要求する（ステップＳ３）。コンテンツ記憶部１２は、第１観察点Ｐ１のパノラマ画像を含んでいる画像コンテンツを表示制御部２１に送信する（ステップＳ４）。画像表示装置２の表示制御部２１は、送信してきた上記画像コンテンツを読み取り、第１観察点Ｐ１のパノラマ画像を第１観察点Ｐ１の位置情報に基づいて３Ｄモデルと第１観察点Ｐ１で合成させる。これにより、第１観察点Ｐ１での合成３Ｄモデル画像が生成される。表示制御部２１は、上記第２観察角度で表示部２２に３Ｄモデルと合成している第１観察点Ｐ１のパノラマ画像を表示させる（ステップＳ５）。そして、図４の３Ｄモデルの表示状態から、第１観察点Ｐ１のパノラマ画像に切り替える（図５）。

第１観察点Ｐ１がクリックされると、操作検出部２３は、第１観察点Ｐ１の位置情報を読み取ってトリガー信号に含ませる。予め設置された観察点以外の位置へのトリガー操作を検出した際には、操作検出部２３は、当該トリガー操作された位置に最も近い観察点を判断して、その最も近い観察点（以下、「最接近観察点」）の位置情報を読み取ってトリガー信号に含ませる。

操作検出部２３は、切り替え表示前の３Ｄモデルの第２観察角度（図４の３Ｄモデルの観察角度Ｖ２）を観察角度情報として読み取ってトリガー信号に含ませる。そして、表示制御部２１は、第２観察角度Ｖ２で第１観察点Ｐ１のパノラマ画像を表示部２２に表示させる。従って、表示部に表示している画像の観察角度は、３Ｄモデルとパノラマ画像との切り替え表示前後で同じである。

以下、図３と図４とを使って、異なる観察角度の３Ｄモデルから同じ観察点のパノラマ画像に切り替える際の状況を説明する。

図４の観察角度Ｖ２（第２観察角度）と図３の観察角度Ｖ１（第１観察角度）とは異なるため、図３と図４とは、同じ３Ｄモデルを表示しているが、各観察点のパノラマ画像に切り替える際に、同じ観察点をクリックしても、表示部に切り替え表示する画像が異なる。具体的に、観察点Ｐ２（第２観察点）を例とする。図４の状態で第２観察点Ｐ２をクリックした場合には、図６に示すように、図４の３Ｄモデルと同じ第２観察角度Ｖ２で第２観察点Ｐ２のパノラマ画像を表示する。一方、図３の状態で第２観察点Ｐ２をクリックした場合には、図７に示すように、図３の３Ｄモデルと同じ第１観察角度Ｖ１で第２観察点Ｐ２のパノラマ画像を表示する。図６と図７とは、両方とも第２観察点Ｐ２の同じパノラマ画像であるが、観察角度が違うため、第２観察点Ｐ２のパノラマ画像の異なる部分をそれぞれ表示している。

一方、図４の第２観察点Ｐ２をクリックすると、第２観察点Ｐ２の位置情報と図４の第２観察角度Ｖ２を含んでいるトリガー信号を操作検出部２３で検出し、図６に示すように、第２観察点Ｐ２のパノラマ画像を第２観察角度Ｖ２で表示する。図４の第１観察点Ｐ１をクリックすると、第１観察点Ｐ１の位置情報と図４の第２観察角度Ｖ２を含んでいるトリガー信号を操作検出部２３で検出し、図５に示すように、第１観察点Ｐ１のパノラマ画像を第２観察角度Ｖ２で表示する。図４の各観察点にトリガー操作がされると、表示するパノラマ画像が各観察点の異なる位置情報により違うが、表示するパノラマ画像の観察角度がすべで切り替える前の図４の第２観察角度Ｖ２である。

次に、同じ観察点のパノラマ画像の観察角度が変更される場合について説明する。
図６と図７とは、同じ第２観察点Ｐ２のパノラマ画像であるが、観察角度が異なる。図６の表示画像をドラッグすることで、表示する観察角度を任意に変更することができる。従って、図６の表示画像から図７の表示画像に切り換えることが可能である。また、図７の表示画像をドラッグすることで、図７の表示画像から図６の表示画像に切り換えることも可能である。同じ第２観察点Ｐ２のパノラマ画像であるが、観察角度が変わることで、そのパノラマ画像の異なる部分が表示される。

例えば、図６に示すように、表示部２２の初期表示状態が、第２観察角度Ｖ２で第２観察点Ｐ２のパノラマ画像の表示であるものとする（ステップＳ１）。操作検出部２３が表示部２２へのトリガー操作としてのドラッグ操作を検出すると、操作検出部２３は、ドラッグ操作を分析して第１観察角度Ｖ１が要求されているかを判定する。操作検出部２３は、第１観察角度Ｖ１が要求されていることを判断すると、第２観察点Ｐ２のパノラマ画像に対して第１観察角度Ｖ１に変更する情報を含んでいるトリガー信号を情報処理部１１に送信する（ステップＳ２）。情報処理部１１が、このトリガー信号に基づいて第２観察点Ｐ２のパノラマ画像をコンテンツ記憶部１２に要求する（ステップＳ３）。コンテンツ記憶部１２は、第２観察点Ｐ２のパノラマ画像を含んでいる画像コンテンツを表示制御部２１に送信する（ステップＳ４）。画像表示装置２の表示制御部２１は、送信してきた上記画像コンテンツを読み取り、画像コンテンツに含まれている第２観察点Ｐ２のパノラマ画像を第２観察点Ｐ２の位置情報に基づいて３Ｄモデルと第２観察点Ｐ２で合成させる。これにより、合成３Ｄモデル画像が生成される。表示制御部２１は、第１観察角度Ｖ１で３Ｄモデルと合成された第２観察点Ｐ２のパノラマ画像を表示部２２に表示させる（ステップＳ５）。そして、同じ観察点のパノラマ画像に対して、第２観察角度Ｖ２での表示（図６）から第１観察角度Ｖ１での表示（図７）に変更する。

なお、送信するデータ量を抑えるために、ある観察点（例えばＰ２）のパノラマ画像を表示する際に、位置情報が変わらない場合には、変更する観察角度の情報だけを含んでいるトリガー信号を情報処理部１１に送信することも可能である。そして、各表示制御部２１は、サーバから送信してきたデータにより、変更された観察角度でパノラマ画像を表示させる。
次に、異なる観察点のパノラマ画像に切り替え表示することについて説明する。

図５に示すように、第２観察角度Ｖ２で第１観察点Ｐ１のパノラマ画像を表示している。第１観察点Ｐ１のパノラマ画像には複数の別観察点（Ｐ２、Ｐ３、Ｐ４、Ｐ５、……）も表示している（ステップ１）。

図５の状態で、第２観察点Ｐ２へのトリガー操作を検出すると、操作検出部２３は、第２観察点Ｐ２の位置情報と、現在表示している画面の第２観察角度Ｖ２を含んでいるトリガー信号を情報処理部１１に送信する（ステップＳ２）。情報処理部１１は、第２観察点Ｐ２の位置情報を有するパノラマ画像をコンテンツ記憶部１２に要求する（ステップＳ３）。コンテンツ記憶部１２は、第２観察点Ｐ２のパノラマ画像を含んでいる画像コンテンツを表示制御部２１に送信する（ステップＳ４）。画像表示装置２の表示制御部２１は、送信してきた上記画像コンテンツを読み取り、画像コンテンツに含まれている第２観察点Ｐ２のパノラマ画像を第２観察点Ｐ２の位置情報に基づいて３Ｄモデルと第２観察点Ｐ２で合成させる。これにより、第２観察点Ｐ２の合成３Ｄモデル画像が生成される。表示制御部２１は、図６に示すように、第２観察角度Ｖ２で３Ｄモデルと合成された観察点Ｐ２のパノラマ画像を表示部２２に表示させる（ステップＳ５）。

それにより、第１観察点Ｐ１のパノラマ画像から第２観察点Ｐ２のパノラマ画像に切り替えられる。そして、切り替え表示前後の観察角度が同じであるため、ユーザに第１観察点Ｐ１から第２観察点Ｐ２へ移動した感覚を与えることができる。それにより、当該空間内で移動している感覚をユーザに与えることができ、ユーザの臨場感を高めることができる。

図５に示すように、表示されている画像の任意の箇所Ｐ０（予め設定した観察点以外の箇所）をクリックしてトリガー操作を行うと、ステップＳ２においては、表示制御部２１は、このトリガー操作が発生した箇所Ｐ０に最も近い第２観察点Ｐ２の位置情報を取得し、トリガー信号に含ませる。

図５および図６に示すように、表示画像の一部分に、当該物件の平面図の簡略図Ｋが表示されている。簡略図Ｋは、模擬移動表示Ｃを有する。模擬移動表示Ｃは、現在表示されているパノラマ画像の観察点の物件での位置と観察角度とを示している。すなわち、模擬移動表示Ｃは、物件におけるユーザの位置と観察の方向とを示している。例えば、表示画像が図５から図６に切り替えられた場合、模擬移動表示Ｃは、観察点Ｐ１からＰ２まで移動する。図８は、平面図であり、模擬移動表示Ｃが観察点Ｐ２まで移動した際の簡略図（図６にある簡略図Ｋ）の拡大図でもある。

図６のパノラマ画像が表示されているときに、平面図のアイコンＡ２や簡略図Ｋへのトリガー操作により、平面図への切り替え表示を要求するトリガー信号が操作検出部２３に検出されると、図６に示すパノラマ画像から、図８に示す平面図に切り替え表示する。平面図は、パノラマ画像とそれぞれ関連付けられた複数の観察点を有している。従って、平面図において観察点の一つをクリックすることで、平面図からパノラマ画像への切り替え表示が可能である。

本実施形態では、３Ｄモデルは、ユーザの操作によって回転可能である。例えば、図５〜図８に示している３ＤアイコンＡ１へのトリガー操作を検出すると、操作検出部２３は、３Ｄモデルを表示する指示として読み取り、画像表示装置に保存されている３Ｄモデルを表示部に表示させる。例えば図３のように第１観察角度Ｖ１での３Ｄモデルの表示中に、カーソルＧで表示画面の３Ｄモデル以外の所をドラッグすると、図４に示すように、３Ｄモデルが回転して、図３とは異なる第２観察角度Ｖ２で３Ｄモデルが表示される。

次に、パノラマ画像において建物の詳細な構造を表現する手段として、カーソルＧ移動によるポインターＹの変化を説明する。

図９は、観察角度Ｖ２で観察点Ｐ２のパノラマ画像の一部を表示している図である。パノラマ画像において、ユーザがマウスなどでカーソルＧを操作してカーソルＧを表示画像において移動させる際に、カーソルの移動に従って移動するポインターを有する。カーソルＧが表示しているパノラマ画像において任意に移動する際に、カーソルＧが触ったところの構造と奥行きの異なりにより、ポインターの形状と大きさは変化する。例えば、カーソルＧが図９にある点線に沿って移動すると、カーソルＧに触られたオブジェクトの構造、角度、奥行きなどの違いにより、ポインターがＹ０からＹ９まで変化し、その形状と大きさが変化する。例えばカーソルがテーブルの上面に置かれた場合、ポインターＹ０の形状は、テーブルの上表面に沿った楕円形となる。それにより、カーソルＧが置かれた部分が、テーブルの上表面であるとユーザに感じさせる。カーソルＧがテーブルの脚に置かれると、ポインターＹ１の楕円の向きと大きさが変わって、テーブルの脚が垂直面で、テーブルの上面と垂直であり、二つ面であることをユーザに感じさせる。また、ポインターＹ５とＹ７とは形状が同じであるが、大きさが異なる。観察点Ｐ２に近いポインターＹ５は、観察点Ｐ２から遠いポインターＹ７より大きく表示される。形状が同じであることは、ポインターＹ５とＹ７とが置かれた面が互いに平行であることを示しており、大きさが異なることは奥行きが異なることを示している。それにより、ユーザに、Ｙ７が位置している所はＹ５が位置している所と平行な面であるが、奥行きが異なる別々の面であることをユーザに感じさせることができる。また、ポインターＹ５とＹ１０の形状とは、大きさがほとんど変わらないので、観察点からの距離が同じ平面であることを示すことができる。

図９に示す例では、ポインターＹ０〜Ｙ１０とは別にカーソルＧが表示されているが、カーソル自体がポインターであってもよい。また、ポインターは、図９に示すような円形と楕円形に限らず、他の形状であってもよい。

なお、本実施形態において、画像と３Ｄモデルとを合成させるとは、３Ｄモデルと、３Ｄモデルの各部分に対応する画像とを、各画像の３Ｄモデルにおける位置に対応させて関連付けることである。この合成作業は、ＷｅｂＧＬなどの従来技術を利用することが可能である。３Ｄモデルと合成された画像は、スクリーンなどの二次元の表示部２２に表示される場合、見た目では二次元画像であるが、対象物における画像の位置を３Ｄモデルで把握できるため、対象物の奥行きや寸法や立体感を表現しやすくなる。

［画像生成方法］
次に、本実施形態における画像データの生成方法について説明する。

まず、ＣＧ技術で、対象物としての建物の構造を再現した３Ｄモデルを作成する。３Ｄモデルは主にＯＢＪファイルである。そして、現実感を高めるために、３Ｄモデルをレンダリングする。レンダリングにより、建物内の物体の実際の色、模様、質感などを３Ｄモデル上に再現する。そして、レンダリング後の３Ｄモデルを保存する。レンダリング後の３Ｄモデルは、解像度が高いため、３Ｄモデル全体のデータ量が大きい。

本実施形態において、レンダリング後の３Ｄモデルから、複数の観察点でのパノラマ画像をピックアップして、各観察点のパノラマ画像として保存する。保存されたパノラマ画像は、自らの観察点の位置情報を有する。レンダリング後の３Ｄモデルに対して、ポリゴンの数を削減することで、レンダリング後の３Ｄモデルを圧縮する。圧縮されたレンダリング後の３Ｄモデルをサーバのコンテンツ記憶部に保存する。

そして、ピックアップされた各観察点のパノラマ画像を、各観察点の位置情報により圧縮後の３Ｄモデルにある各観察点にそれぞれ関連付けさせる。また、各パノラマ画像にも、それぞれ他の観察点を一つ以上設置し、各観察点にパノラマ画像が関連付けされる。

このように生成した圧縮されたレンダリング後の３Ｄモデルは、上述した図３および図４の３Ｄモデルとして、画像表示装置２に表示される。圧縮後の３Ｄモデルは、その解像度がレンダリング後の３Ｄモデルより低い。圧縮後の３Ｄモデルの解像度は、レンダリング後の３Ｄモデルからピックアップした各パノラマ画像よりも低い。それにより、圧縮後３Ｄモデルによるデータ量が著しく減少し、携帯電話などの通信端末においても、時間の遅延が発生しない。パノラマ画像は、解像度の高い圧縮前のレンダリング後の３Ｄモデルからピックアップされる。そのため、ユーザに解像度の高いパノラマ画像の表示を確保できる。なお、上記画像表示装置がサーバにアクセスしてダウンロードしてきたのは、圧縮されたレンダリング後の３Ｄモデルである。

なお、上記の実施形態では、レンダリング後の３Ｄモデルから解像度の高いパノラマ画像をピックアップしているが、ピックアップするステップを省略して、カメラで撮影して作成したパノラマ写真などを圧縮後の３Ｄモデルの各観察点に関連付けることも可能である。そして、３Ｄモデルを作成した後に、すぐ圧縮し、事前に用意したパノラマ画像を圧縮後の３Ｄモデルの各観察点に関連付けてもよい。レンダリング後の３Ｄモデルから解像度の高いパノラマ画像をピックアップする作業は、公知のＣＧ技術によりパノラマ画像を生成することで行われてもよい。

上記実施形態では、建物の対象空間について、主に戸建て住宅を例として説明したが、対象空間はこれに限定されない。博物館、百貨店の販売空間、自動車の社内空間、工場、天然洞窟、公園などの人工や自然に形成された空間などであってもよい。

上記の実施形態では、ユーザの臨場感を高めるために、表示部に表示している画像の観察角度が３Ｄモデルとパノラマ画像との切り替え表示前後で同じとして説明しているが、切り替え後の観察角度は、任意に設定されてもよい。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またそのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１１ 情報処理部
１２ コンテンツ記憶部
２１ 表示制御部
２２ 表示部
２３ 操作検出部

Claims (12)

1. 対象物を表現する画像を表示するために画像表示装置によって実行される画像表示方法であって、
   前記対象物を再現した３Ｄモデルを保存するステップと、
   前記画像表示装置へのトリガー操作を検出すると、トリガー信号を発信するステップと、
   前記トリガー信号に基づいた画像コンテンツを受信するステップと、
   前記画像コンテンツに含まれている前記画像を前記３Ｄモデルに合成させ、前記３Ｄモデルと合成された前記画像を表示するステップと、を備え、
   前記３Ｄモデルの解像度は、前記画像の解像度より低い、
   画像表示方法。
2. 前記画像は、平面図とパノラマ画像とを含み、
   前記平面図と前記３Ｄモデルとは、複数の観察点を有し、
   前記パノラマ画像は、自らの観察点と違う他の観察点を一つ以上有し、
   各前記観察点は、前記パノラマ画像とそれぞれ関連付けられており、
   各前記観察点へのトリガー操作が検出されると、前記トリガー操作された観察点に対応する前記パノラマ画像を表示する、
   請求項１に記載の画像表示方法。
3. 表示されている前記画像へのトリガー操作が検出されると、前記トリガー操作を受け取った位置が、前記観察点のないところであれば、前記画像表示装置は、前記トリガー操作を受け取った位置の最接近観察点の位置情報を取得して、前記トリガー信号に含ませる、
   請求項２に記載の画像表示方法。
4. 前記画像は、前記３Ｄモデルへの切り替えのための３Ｄアイコンを含み、
   前記３Ｄアイコンへのトリガー操作が検出されると、表示されている前記画像を前記３Ｄモデルの表示に切り替え、
   表示されている前記画像が前記パノラマ画像である場合、前記パノラマ画像の一部分に、前記対象物の簡略図を表示し、前記簡略図は、前記対象物内での位置と観察角度とを示す模擬移動表示を含み、
   前記模擬移動表示は、表示されている前記パノラマ画像の位置と観察角度とに応じて、前記簡略図において移動するように表示される、
   請求項２又は３に記載の画像表示方法。
5. 前記パノラマ画像、又は前記３Ｄモデルから、次の前記パノラマ画像に切り替え表示する際に、切り替え後に表示される前記パノラマ画像は、切り替え前に表示されていた前記パノラマ画像、又は前記３Ｄモデルと同じ観察角度で表示される、
   請求項２から４のいずれか１項に記載の画像表示方法。
6. 表示されている前記パノラマ画像において、カーソルの移動に従って移動するポインターを表示し、前記ポインターの形状と大きさが、前記カーソルが触ったところの構造と奥行きに応じて変化する、
   請求項２から５のいずれか１項に記載の画像表示方法。
7. 前記３Ｄモデルが表示されている状態で、前記３Ｄモデル以外の部分へのトリガー操作が検出されると、前記３Ｄモデルを回転させる、
   請求項１から６のいずれかに記載の画像表示方法。
8. サーバから前記３Ｄモデルをダウンロードするステップをさらに備え、
   前記画像コンテンツを受信するステップは、前記３Ｄモデルをダウンロードするステップとは別に、前記トリガー操作に応じて実行される、
   請求項１から７のいずれかに記載の画像表示方法。
9. 請求項１から８のいずれか１項に記載の画像表示方法をコンピュータに実行させるための画像表示プログラム。
10. 対象物のパノラマ画像を画像表示装置に表示するためのデータ生成方法であって、
    対象物を再現した３Ｄモデルを作成する３Ｄモデル作成ステップと、
    前記３Ｄモデルをレンダリングするレンダリングステップと、
    前記対象物を表現する前記パノラマ画像を生成する画像生成ステップと、
    前記レンダリング後の３Ｄモデルを圧縮し、圧縮済み３Ｄモデルを生成する３Ｄモデル圧縮ステップと、
    前記圧縮済み３Ｄモデル内にある観察点と前記観察点の位置情報とを、前記パノラマ画像に関連付けさせるパノラマ画像マッチングステップと、
    を備える、
    パノラマ画像を表示するためのデータ生成方法。
11. 前記パノラマ画像の解像度は、前記圧縮済み３Ｄモデルの解像度よりも高い、
    請求項１０に記載のパノラマ画像を表示するためのデータ生成方法。
12. 前記画像生成ステップは、前記レンダリング後の３Ｄモデルから前記パノラマ画像をピックアップすることを含む、
    請求項１０又は１１に記載のパノラマ画像を表示するためのデータ生成方法。

Images