JP2005339127A - 画像情報表示装置及び画像情報表示方法 - Google Patents

Abstract

【課題】撮影された２次元画像と、対応する３次元モデルとを合成表示する上で、利用者が指定した各部分の属性情報をわかりやすくかつ精度良く表示すること。
【解決手段】２次元画像データと、２次元画像データに対応する３次元モデルデータとを合成する画像合成処理手段１０９と、２次元画像データと、合成された合成画像のうち少なくとも一方を表示する処理を行う合成画像表示処理手段１１０と、表示された画像内の任意の位置を指示する画像内位置指示手段１１１と、合成された合成画像において、指示された位置での２次元画像データと３次元モデルデータ間の誤差を検出する合成誤差検出手段１１３と、合成誤差に基づいて指示された位置における３次元モデルデータを特定し、当該３次元モデルデータの属性情報を取得する属性情報取得手段１１５とを具備し、属性情報は、３次元モデルデータと対応付けて表示される。
【選択図】 図１

Description

本発明は、画像情報表示装置及び画像情報表示方法に関するものである。

近年、バーチャルリアリティの分野やインターネット上、さらには地図情報分野等、様々な場面で３次元モデルデータが有効に利用されるようになってきている。３次元モデルデータを作成するためには、３次元形状を計測するために、３次元レーザスキャナのような専用の計測装置が必要であるが、このような装置では、３次元オブジェクトの高精細なテクスチャ情報を簡易に生成することができない。そのため、形状計測手段とは別な手段によりテクスチャを撮影し、３次元モデル（３次元形状モデル）の各ポリゴンに対して、対応するテクスチャ領域を手作業により領域分割を行い、更に、撮影時の視点方向によるテクスチャの歪みを補正した上で各ポリゴンに対してテクスチャマッピングを行うという方法がとられていた。

特開２００２−２４８５０号公報に開示された、「三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体」では、複数の異なる視点からの撮影画像からパッチ面毎に最も解像度の高い画像を選択してそれぞれを各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを行う手法を用いている。さらに、各テクスチャ画像の光源条件の不一致による画像間、すなわちパッチ面の間の濃淡値の差の補正処理を実行する処理も行っている。補正処理としては、各フレーム間の画像濃淡値補正処理、各パッチ間のテクスチャ画像のずれ補正処理、各パッチ間の境界部分の濃淡スムージング補正処理を適用することにより高画質なテクスチャマッピングを可能として品質の高い３次元画像の生成を可能としている。

また、IEEE Virtual Reality 2003(March 22-26, 2003 Los Angeles California),P.61“Augmented Virtual Environment (AVE) : Dynamic Fusion of Imagery and 3D Models"に示されるように、形状モデルを有する３次元オブジェクトに対して対象オブジェクトを動画像として撮影し、そのカメラ位置姿勢情報より３次元オブジェクトのレンダリング、および対応するテクスチャの投影を行うことにより、テクスチャ付き３次元オブジェクトのレンダリングを行う手法も提案されている。

さらに、特開平１０−２６７６７１号公報では、カメラで景観を撮影し、画像取得時のカメラの位置とカメラ角と焦点距離等のカメラ属性を取得し、地図情報空間の中で視野空間を求め、視野空間内に存在する建造物を取得し、ラベル情報作成手段により建造物の属性情報を作成し、ラベル情報中の位置の情報に対応する画像中に地図情報の名称またはその属性情報を重畳して表示するものである。
特開２００２−２４８５０号公報 特開平１０−２６７６７１号公報 IEEE Virtual Reality 2003(March 22-26, 2003 Los Angeles California),P.61"Augmented Virtual Environment (AVE) : Dynamic Fusion of Imagery and 3D Models"

しかしながら、特開２００２−２４８５０号公報や、“Augmented Virtual Environment (AVE) : Dynamic Fusion of Imagery and 3D Models"で示された例においては、３次元モデリングされた画像を表示するのみであり、表示された画像内の各オブジェクトに関する詳細な属性情報等を知ることができない。さらに、モデリングにおいてテクスチャをマッピング、または投影する際に合成する位置に誤差がある場合には、正確なレンダリング画像を生成することができない。

また、特開平１０−２６７６７１号公報においては、２次元の画像に対して指示位置に対する属性情報を表示するのみであり、３次元情報に対する２次元情報の投影に関しては考慮されていないことと、２次元画像と３次元モデルとの合成誤差に関する考慮がされていないため、３次元モデリングという観点とは異なる概念であり、また、合成誤差がある場合には指示された位置の正確な物体との対応付けを行うことができず精度の良い情報表示が行えない。

本発明はこのような課題に着目してなされたものであり、その目的とするところは、撮影された２次元画像と、対応する３次元モデルとを合成表示する上で、利用者が指定した各部分の属性情報をわかりやすくかつ精度良く表示することができる画像情報表示装置及び画像情報表示方法を提供することにある。

上記の目的を達成するために、第１の発明は、画像情報表示装置であって、２次元画像データと、当該２次元画像データの少なくとも一部に対応する３次元モデルデータとを合成して合成画像を生成する合成処理手段と、前記２次元画像データと、前記合成処理手段で合成された合成画像のうち少なくとも一方を表示する表示手段と、前記表示手段に表示された画像内の任意の位置を指示する指示手段と、前記合成処理手段で合成された合成画像において、前記指示手段により指示された位置での前記２次元画像データと前記３次元モデルデータ間の誤差を検出する合成誤差検出手段と、前記検出された合成誤差に基づいて前記指示手段によって指示された位置における前記３次元モデルデータを特定し、当該３次元モデルデータの属性情報を取得する属性情報取得手段と、を具備し、前記属性情報取得手段によって取得された前記属性情報は、前記３次元モデルデータと対応付けて表示される。

また、第２の発明は、第１の発明に係る画像情報表示装置において、前記表示された３次元モデルデータはレンダリングされたものである。

また、第３の発明は、第１の発明に係る画像情報表示装置において、前記属性情報取得手段によって取得された前記属性情報は、前記表示手段に表示される。

また、第４の発明は、第１の発明に係る画像情報表示装置において、前記属性情報取得手段は、前記検出された合成誤差に基づいて前記指示手段が指示した位置を補正して、この補正された位置での３次元モデルの属性情報を取得する。

また、第５の発明は、第１の発明に係る画像情報表示装置において、前記合成誤差検出手段は、前記２次元画像データまたは合成画像についての領域分割を行い、領域分割された領域と、対応する３次元部分モデルデータがレンダリングされた領域との共通部分およびずれ部分を検出することにより合成誤差を検出する。

また、第６の発明は、第１の発明に係る画像情報表示装置において、前記合成誤差検出手段は、前記２次元画像データと、前記３次元モデルデータがレンダリング表示された画像との間の相関量を算出し、前記相関量を用いた最適化手法により合成誤差を検出する。

また、第７の発明は、第１の発明に係る画像情報表示装置において、前記表示画像上で指示された位置と、前記３次元部分モデルデータとの表示位置とが一致しない場合には、前記表示画像上で指示された位置を含む領域を優先して前記３次元部分モデルデータとの対応付けをして属性情報を表示する。

また、第８の発明は、第１の発明に係る画像情報表示装置において、前記表示画像上で指示された位置と、前記３次元部分モデルデータとの表示位置が一致しない場合には、前記表示画面上で指示された位置を含む３次元モデルデータを優先して前記属性情報と対応付けて表示する。

また、第９の発明は、第１の発明に係る画像情報表示装置において、２次元の画像撮影手段により３次元モデルを撮影し、前記合成処理手段は、撮影された画像内の移動情報に基づいて合成処理を行う。

また、第１０の発明は、第９の発明に係る画像情報表示装置において、２次元画像撮影手段で撮影するにあたって、少なくとも視野内に存在するマーカ、特徴点、特徴線、特徴領域に基づいて撮影装置の位置姿勢情報を算出する。

また、第１１の発明は、第１の発明に係る画像情報表示装置において、前記合成処理手段により画像合成位置を算出し、２次元画像上に３次元モデルデータを重畳して表示する。

また、第１２の発明は、第１の発明に係る画像情報表示装置において、対象となる３次元モデルを撮影することによりテクスチャ情報を取得し、撮影対象とする３次元オブジェクトに対する位置姿勢情報を算出し、前記位置姿勢情報を用いて前記３次元モデルデータ上に前記取得したテクスチャ画像を投影する。

また、第１３の発明は、第１の発明に係る画像情報表示装置において、前記３次元モデルデータは複数の３次元部分モデルの構造情報により構成されており、各３次元部分モデルに対して前記属性情報が前記構造情報と関連付けされた上でデータベースに登録されており、前記指示手段により指示された位置と前記構造情報とを認識または指定した上で、この認識または指定された範囲の属性情報を表示する。

また、第１４の発明は、第１の発明に係る画像情報表示装置において、前記属性情報の表示の方法として、簡易な属性情報を前記合成画像上に重畳表示するとともに、詳細な属性情報については他の表示部に表示する。

また、第１５の発明は、第１の発明に係る画像情報表示装置において、前記指示手段の３次元空間内での空間的位置を認識し、前記表示手段内の対応する位置にポインタを移動して対象オブジェクトの指示を行う。

また、第１６の発明は、画像情報表示方法であって、２次元画像データと、当該２次元画像データの少なくとも一部に対応する３次元モデルデータとを合成して合成画像を生成する合成ステップと、前記２次元画像データと、前記合成ステップにおいて合成された合成画像のうち少なくとも一方を表示手段に表示する表示ステップと、前記表示手段に表示された画像内の任意の位置を指示する指示ステップと、前記合成ステップにおいて合成された合成画像について、前記指示ステップで指示された位置での前記２次元画像データと前記３次元モデルデータ間の誤差を検出する合成誤差検出ステップと、前記検出された合成誤差に基づいて、前記指示ステップで指示された位置における前記３次元モデルデータを特定し、当該３次元モデルデータの属性情報を取得する属性情報取得ステップと、を具備し、前記属性情報取得ステップで取得された前記属性情報は、前記３次元モデルデータと対応付けて表示される。

本発明によれば、撮影された２次元画像と、対応する３次元モデルとを合成表示する上で、利用者が指定した各部分の属性情報をわかりやすくかつ精度良く表示することができる画像情報表示装置及び画像情報表示方法が提供される。

以下、図面を参照して本発明の実施形態を詳細に説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係る画像情報表示装置のシステム構成を示す図であり、各種の演算処理を行うパーソナルコンピュータ等の演算装置１０１と、ＣＲＴ、ＬＣＤ、３次元ディスプレイ、ヘッドマウントディスプレイ等の表示手段１０２と、キーボード等の入力手段１０３と、マウス、タブレット、３次元位置指示装置等の指示手段１０４とを備える。

演算装置１０１は、データ入力処理手段１０８と、画像合成処理手段１０９と、合成画像表示処理手段１１０と、画像内位置指示手段１１１と、指示位置認識手段１１２と、合成誤差検出手段１１３と、合成誤差補正手段１１４と、属性情報取得手段１１５と、属性情報表示処理手段１１６とを有する。さらに演算装置１０１は、２次元の画像、映像情報が登録された２次元画像データベース１０５と、撮影された３次元モデルデータ情報が登録された３次元モデルデータベース１０６と、３次元モデルデータに関する属性情報が登録された属性情報データベース１０７とに接続され、演算装置１０１の要求に従い必要なデータを読み出したり、新たに登録したりすることができる。これらのデータベース１０５，１０６，１０７は、図１に示されるように演算装置１０１内にあっても良いが、特にこの構成に限定されることなく、それぞれ独立なデータベースとして設置されていても、またはネットワーク接続されていてもよい。

上記した構成において、データ入力手段１０８により、２次元画像、および対応する３次元画像を演算装置１０１内に読み込み、画像合成処理手段１０９により２次元画像、および３次元画像の合成処理を行う。合成処理された合成データは、さらに、演算装置１０１内で記憶されまたはデータベースへの登録が行われ、合成画像表示処理手段１１０により表示可能な形式への変換が行われ、表示手段１０２への表示が行われる。

表示される画像としては、画像合成処理手段１０９により合成された結果の画像を表示することも、２次元の画像のみの表示を行うこともでき、さらに、利用者の指示により双方の画像への切り替えも可能である。次に、利用者は、表示手段１０２に表示された画像上で任意の位置を指示する処理を行うための、画像内位置指示手段１１１により、表示されている画像内で利用者が例えば詳細を知りたい位置を指示することができるようになっている。

指示位置認識手段１１２は、画像内位置指示手段１１１により指示された位置の合成画像、または２次元画像上での座標を認識する。合成誤差検出手段１１３は、合成処理を行う際の合成誤差を検出する。さらに、合成誤差補正手段１１４は、この合成誤差の補正を行う。次に、属性情報取得手段１１５は、指示された位置に対応する３次元モデルデータに対応する属性情報を属性情報データベース１０７から読み出す処理を行う。属性情報表示処理手段１１６は、読み出された属性情報を指示された位置と関連付けを行った上で表示手段１０２への表示を行う。

（第２実施形態）
図２は、本発明の第２実施形態を説明するための図である。第２実施形態では、実際の利用イメージとして２次元映像上に３次元モデルを合成した上で重畳表示し、指示位置の属性情報を表示することを特徴とする。これは、構造物内部の配置を仮想的に表示画面上に表示して、内部情報を分かりやすく表示するシステムである。

まず、実画像２０１をカメラ２０２により撮影し、合成画像をディスプレイ２０３上に表示する。ここでの合成画像は、撮影された実画像２０１に、撮影されているいくつかの物体のＣＡＤモデル等の３次元モデルデータ２０４をレンダリングして、実画像２０１に対する位置合わせを行った上で重畳表示したものである。マウス２０５により重畳されている物体位置を指示すると、この物体の属性情報２０６が指示した対象物と関連付けされた上で表示される。

図２に示すように、実画像２０１とこれに重畳して表示した３次元モデルデータ２０４のレンダリング画像との間で重畳位置のずれが生じているが、これが合成誤差２０６であり、この合成誤差２０６を補正した上で正確な属性情報の表示を行うようにしている。

図３は、第２実施形態を実現するためのシステム構成図である。構成としては第１実施形態と共通な部分が多いので、ここでは異なる部分のみについて述べる。第２実施形態では図３に示すように、第１の実施の形態における図１に対し、画像撮影手段などの外部データ入力装置３０１が追加されている。

画像撮影手段で撮影された画像を表示手段１０２上に表示し、３次元モデル重畳（合成）処理手段３０２により３次元モデルデータを２次元画像上に合成して重畳表示する。３次元モデル重畳（合成）処理手段３０２は、カメラの位置姿勢情報を利用する方法に従って重畳処理を行っている。

カメラの位置姿勢情報は、映像の撮影時に、実空間内に登録済みの画像が描画されているマーカを設置し、このマーカの位置、形状を認識し、このマーカの移動情報から推定する手法や、実画像において、画像処理による特徴点、特徴線、特徴領域を抽出した上でこれらの自然特徴の移動情報から算出する方法等によって取得することができる。

カメラの位置姿勢情報が算出されれば、撮影時点におけるリアルタイムな撮影範囲の情報がわかるため、映像上に撮影範囲にある物体の３次元モデルデータを３次元モデルデータベース１０６から読み込み、画像上に位置合わせを行った上でレンダリング表示することが可能となる。

この状態で表示手段１０２上に表示される映像上で任意の位置を画像内位置指示手段１１１により指示することにより指示位置の認識を行い、その位置に存在する３次元物体のモデルデータに対応する属性情報を読み込んだ上で指示位置に対応付けして属性情報を表示する。ここでは、リアルタイムな映像上でカメラの位置姿勢情報の推定を行うため、推定誤差や、時間遅れによる３次元モデルのレンダリング位置誤差が生じるため、それらの誤差を合成誤差検出手段１１３により検出し、合成誤差補正手段１１４によりこれを補正した上で、指示した位置の３次元モデルデータベース１０６に対応する属性情報を属性情報データベース１０７から読み込む。

合成誤差の検出方法としては、２次元画像を領域分割し、３次元モデルのレンダリング画像との差分や相関をとる方法等、任意の手法により誤差の検出を行うことが可能である。合成誤差の補正方法としては、２次元画像の領域分割結果を利用する方法として、３次元画像のレンダリング位置とのずれ分を補正する方法があり、この場合においても、指示した位置の２次元画像における領域分割結果を優先する場合と、指示した位置の３次元画像がレンダリングされている位置として補正した上で３次元画像の属性情報を参照する方法の２通りがあり、利用者の都合によりどちらの方法を用いるかを切り替えるようにすることができる。

（第３実施形態）
図４は、本発明の第３実施形態を実現するためのシステム構成図であり、３次元モデルにテクスチャを投影、またはテクスチャマッピングを行って３次元モデリングを行った上でレンダリングする。第３実施形態は、第１実施形態と構成要素が類似しているため、ここでは異なる部分のみに関して述べることとする。

上記した第２実施形態と同様に、カメラ３０１を用いて対象とする物体の撮影を行う。ここでは、撮影された映像により第２実施形態と同様な手法によりカメラの位置姿勢情報を算出し、３次元モデルデータへの撮影されたテクスチャの投影、またはテクスチャマッピングを行う。その手法について、以下に詳細に述べる。

図５は、図４の３次元モデリング（合成）処理手段４０１における処理である３次元モデリング処理手段の詳細な構成を示し、演算装置５０１と、表示手段５０２と、入力手段５０３と、マウス等の指示手段５０４と、カメラ等の画像入力手段５０５と、ＧＰＳ、ジャイロ等の補助データ入力手段５０６から構成される。

演算装置５０１は、テクスチャ情報データベース５０７と、３次元モデルデータベース５０８と、属性情報データベース５０９と、データ入力手段５１０と、入力された動画像または連続する画像列の各画像等のデータより後の処理において必要となる特徴点、線分、領域を抽出する特徴点・線・領域抽出手段５１１と、抽出された特徴点、線分、領域より、各画像に対する画像入力手段（ここではカメラ）５０５の位置、姿勢情報を算出するカメラ位置・姿勢情報演算手段５１２と、各画像と対応する位置姿勢情報を関連付ける位置・姿勢情報関連付け手段５１３と、位置姿勢情報に基づいて３次元モデルのレンダリングを行うレンダリング情報演算手段５１４と、レンダリングされた３次元モデルに対してテクスチャをマッピングまたは投影するテクスチャ投影情報演算手段５１５と、複数の視点より撮影・入力された画像に対して合成を行い、全周画像の作成を行う複数視点画像統合演算手段５１６と、各ポリゴンに対して最適テクスチャを関連付ける関連付け手段５１７とを基本構成として備えている。

なお、３次元モデルデータベース５０８には、モデリングの対象となる３次元情報が予め登録してあり、さらに、上記各手段５１１〜５１７により処理されたデータを新規に登録するのに用いられる。上記各データベース５０７、５０８、５０９は、演算装置５０１に付随するものでも、または遠隔地に配置されて演算装置５０１との間でデータ通信を行える構成であってもよい。

次に３次元モデリングの基本的な処理手順を、図６（Ａ）〜（Ｄ）および図７のフローチャートを用いて説明する。図６（Ａ）に示す３次元モデル５５０は、予め３次元形状計測装置によりその形状を測定した上で３次元モデルデータベースに登録しておく。３次元モデル５５０は、頂点情報、頂点接続情報から構成されるが、その他、任意の３次元形状表現形式を利用することも可能である。計測は、レーザスキャナ、ステレオ計測、光切断法等の一般的な３次元形状計測装置で行うことが可能であり、３次元モデルを生成する。データベース登録の際には各部分オブジェクトに対する属性情報、すなわち、ポリゴン頂点位置座標、ポリゴンに対応ずる固有な名称、材質、色、建造年月日等、関連する任意の情報を登録する。

図６（Ｂ）は、対象オブジェクトを視点を移動しながら動画像または連続画像として撮影するようすを示している。この撮影処理は図７のフローチャートにおけるステップＳ７０１の処理に対応する。対象オブジェクトの全周の３次元画像データを得るためには複数の方向からの撮影が必要となるので、ここでは、カメラ５５１−１，５５１−２を用いる。

次に、動画像または時間的に連続する画像列として撮影した各画像内において、特徴となる点や線分、領域の抽出を行う（ステップＳ７０２）。特徴領域の抽出は、画像内の濃度変化、エッジ等の特徴的な領域を各種フィルタ処理により、抽出することとする。

次に、抽出された特徴領域の画像内での時間的変化の追跡、すなわち、画像間での特徴点、特徴線分、特徴領域の追跡を行うことにより、三角測量の原理に基づいて各特徴領域までの距離を算出する（ステップＳ７０３）。

次に、これらの情報に基づいて、各特徴点、特徴線分、特徴領域でのカメラの位置・姿勢を算出する（ステップＳ７０４）。

特徴点、特徴線分、特徴領域の画像列間における追跡処理は、カルマンフィルタによる方法や、画像間の差分をとること等、任意の手段での追尾処理を利用することが可能である。

次に、ステップＳ７０３で推定された位置姿勢情報と、ジャイロ等の補助位置姿勢計測装置からの情報との融合処理を行う（ステップＳ７０５）。次に、位置姿勢推定のために利用した特徴領域に対して有効度に基づいた重み付けを行い（ステップＳ７０６）、複数の位置姿勢情報に基づいて最適化された位置姿勢情報の算出を行う（ステップＳ７０７）。

最適化は位置姿勢の算出の際のみならず、３次元モデルを構成する各ポリゴンに対応するテクスチャ領域の割り当てを行う場合にも、映像における各フレームごとにテクスチャ内の対応領域を求め、ポリゴンに対応付けられた複数のフレームのテクスチャ領域の平均化や、視線情報に基づいた最適化されたテクスチャを生成することにより行われる。

また、複数の方向からの映像を利用して全周画像を得ることになるが、この際にも、異なる方向からの投影の際に、３次元モデル上での重複領域のポリゴンに対しては、割り当てられるテクスチャの最適化処理を行う手段を備えている。

次に、算出されたカメラの位置姿勢情報に基づき、３次元モデルを表示装置上に表示する（図６（Ｃ）の操作、ステップＳ７０８）。次に、表示された３次元モデル上に、そのカメラ位置姿勢で撮影されたテクスチャ画像をマッピングまたは投影する（ステップＳ７０９）。以上の手法により、図６（Ｄ）で示されるように、３次元モデルの全周への最適なテクスチャマッピング、または投影を行うことができる。

次に、本実施形態における指示位置に対する属性情報の表示手順について述べる。図６（Ｄ）に示すような指示手段６０１を用いて、３次元レンダリングされた対象物体の情報が知りたい任意の位置を指示すると、指示された位置の認識処理、および指示された位置におけるテクスチャを投影、またはテクスチャマッピングを行う際の合成誤差を求め、それを補正した上で指示した位置と、３次元モデル上の対応する部分モデルとの対応付けを行う。対応付けられた後で、指示した位置に対応するように属性情報６０２の表示を行う。

この実施形態においてデータベース化する各項目について述べる。３次元モデルデータとしては、図８に示すように、ポリゴンの頂点座標情報８０１やポリゴンの頂点接続情報８０２を主とする３次元形状情報、また、２次元画像データとしては、対象オブジェクトの映像情報８０３や各画像に対するカメラ位置姿勢情報、さらに属性情報としては、各ポリゴンの名称、記号等の識別子８０５、３次元モデルを構成するポリゴンのグループ分類情報や、その構造・階層情報８０６等である。その他、適宜必要なデータはデータベースに登録できるようになっている。

図９は、本実施形態における利用者端末に表示される画面構成９−１を示している。その表示領域内には、テクスチャマッピングまたは投影の行われた３次元オブジェクトが３次元画像レンダリングウィンドウ９−２として表示され、この３次元画像レンダリングウィンドウ９−２内では３次元オブジェクトの任意視点での表示を行うことができる。また、サブウィンドウ９−３〜９−５を設け、各視点におけるテクスチャマッピング、または投影された画像と撮影時の画像が表示できるようにする。

さらに、コントロールボックス９−６も設け、３次元画像の視点移動制御、各サブウィンドウ９−３〜９−５内での表示画像の切り替え等の制御を行うようにする。但し、視点変更は、３次元画像レンダリングウィンドウ９−２内で指示装置の操作によっても行うようにすることが可能である。

（第４実施形態）
図１０は、本発明の第４実施形態を説明するための図である。ここでは、例えばカーナビゲーションとして利用できるような、都市空間内を撮影しながら、その情報表示を行うシステムとして利用することを考える。道路６５０上を走行する自動車からの映像に、ビル１（６５１）〜ビル６（６５６）等で構成される都市空間の３次元モデルを、第２実施形態の方法により重畳して表示する方法、あるいは、第３実施形態で述べた方法により３次元モデリングを行って表示するシステムを構築することができる。

図１１は、都市空間１に関する３次元モデル情報を構造化（階層化）したようすを示している。このように構造化された３次元モデル情報のデータベースを用いて画像情報を表示することができる。第１階層に位置する都市空間１（８００）は、第２階層に示すようにビル１（８０１−１）、ビル２（８０１−２）、道路１（８０１−３）、道路２（８０１−４）から構成される。さらに、第３階層には、ビル１（８０１−１）、ビル２（８０１−２）、道路１（８０１−３）、道路２（８０１−４）の各々の構成が示されている。すなわち、ビル１（８０１−１）は、店舗１−１（８０２−１）と、店舗１−２（８０２−２）から構成され、ビル２（８０１−２）は、店舗２−１（８０２−３）と、店舗２−２（８０２−４）から構成され、道路１（８０１−３）は、中央分離帯１（８０２−５）と、街灯１（８０２−６）から構成され、道路２（８０１−４）は、信号器８０２−７と、電柱８０２−８から構成されることがわかる。

３次元モデルが様々な複数の部分モデルから構成されている場合、各部分モデル間の関係をこのように、階層または構造情報として管理することにより、同一の位置を指示しても、多様な情報表示を行うことが可能となる。また、階層構造を上、または下に辿ってそれらの情報表示を行うことにより異なる情報として表示することができる。

（付記）
上記した具体的な実施形態から以下のような構成の発明を抽出することができる。

１．２次元画像データと、当該２次元画像データの少なくとも一部に対応する３次元モデルデータとを合成して合成画像を生成する合成処理手段と、
前記２次元画像データと、前記合成処理手段で合成された合成画像のうち少なくとも一方を表示する表示手段と、
前記表示手段に表示された画像内の任意の位置を指示する指示手段と、
前記合成処理手段で合成された合成画像において、前記指示手段により指示された位置での前記２次元画像データと前記３次元モデルデータ間の誤差を検出する合成誤差検出手段と、
前記検出された合成誤差に基づいて前記指示手段によって指示された位置における前記３次元モデルデータを特定し、当該３次元モデルデータの属性情報を取得する属性情報取得手段と、
を具備し、
前記属性情報取得手段によって取得された前記属性情報は、前記３次元モデルデータと対応付けて表示されることを特徴とする画像情報表示装置。

（作用効果）
２次元画像と、対応する３次元モデルデータとを合成して表示し、表示された画面内の情報表示を行う際に合成誤差は必ず生じる量であり、このような合成誤差が存在すると指示した位置の正確な情報が表示できない場合がある。したがって、合成誤差の検出を行い、その誤差を考慮して指示した位置の情報表示を行うことは正確な情報表示を可能とするのに有効な手段である。

２．前記表示された３次元モデルデータはレンダリングされたものであることを特徴とする１に記載の画像情報表示装置。

（作用効果）
３次元モデルデータをレンダリングすることにより、２次元画像と同様な見え方に表示することができ、それによって合成後の画像としてより見やすい画像を生成することが可能となる。

３．前記属性情報取得手段によって取得された前記属性情報は、前記表示手段に表示されることを特徴とする１記載の画像情報表示装置。

（作用効果）
属性情報が合成画像と同一の表示手段に表示されることにより、利用者が要求する情報が実際に指示した位置と対応付けられて表示されるため、分かりやすい情報表示となる。

４．前記属性情報取得手段は、前記検出された合成誤差に基づいて前記指示手段が指示した位置を補正して、この補正された位置での３次元モデルの属性情報を取得することを特徴とする１記載の画像情報表示装置。

（作用効果）
合成誤差がある場合、指示した位置と属性情報との対応付けが正確にできない場合がある。しかし、検出された誤差情報を利用して指示位置を補正することが可能であり、補正された位置情報に基づいて属性情報を属性情報データベースから読み出して表示することにより、正確な情報表示手段となる。

５．前記合成誤差検出手段は、前記２次元画像データまたは合成画像ついての領域分割を行い、領域分割された領域と、対応する３次元部分モデルデータがレンダリングされた領域との共通部分およびずれ部分を検出することにより合成誤差を検出することを特徴とする１記載の画像情報表示装置。

（作用効果）
合成誤差を検出する方法として領域分割を用いれば２次元画像における物体抽出を行うこととなり、３次元画像との比較を行うことが容易となり、合成誤差を検出する精度が高くなる。

６．前記合成誤差検出手段は、前記２次元画像データと、前記３次元モデルデータがレンダリング表示された画像との間の相関量を算出し、前記相関量を用いた最適化手法により合成誤差を検出することを特徴とする１に記載の画像情報表示装置。

（作用効果）
３次元モデルをレンダリングした画像と、２次元画像内での対応する領域の形状とは誤差がなければ一致するはずであるが、誤差があるために形状に差が生じる。即ち、誤差が大きくなるに従い相関が悪くなることになる。したがって、相関が最大となるような最適化手法を用いることにより正確な誤差を検出することが可能となる。

７．前記表示画像上で指示された位置と、前記３次元部分モデルデータとの表示位置とが一致しない場合には、前記表示画像上で指示された位置を含む領域を優先して前記３次元部分モデルデータとの対応付けをして属性情報を表示することを特徴とする１に記載の画像情報表示装置。

（作用効果）
情報を知りたい位置を指示する際には通常表示されている２次元画像上で指示を行うことになるが、利用者としては見えている状態の画像で指示をすることになり、指示された位置と２次元画像とは一致していた方がより自然な状態と思われる。

８．前記表示画像上で指示された位置と、前記３次元部分モデルデータとの表示位置が一致しない場合には、前記表示画面上で指示された位置を含む３次元モデルデータを優先して前記属性情報と対応付けて表示することを特徴とする１に記載の画像情報表示装置。

（作用効果）
主に、３次元モデリング表示を行う際に誤差が存在する場合、テクスチャマッピング、またはテクスチャ投影においてテクスチャがずれてマッピング、または投影される状態になるが、３次元モデルの方に関心がある場合には、３次元物体の方を意識して情報表示の指示を行うこととなる。このような場合には３次元モデルに一致した属性情報を表示する方が利用者の要望にあった表示方法となる。

９．２次元の画像撮影手段により３次元モデルを撮影し、前記合成処理手段は、撮影された画像内の移動情報に基づいて合成処理を行うことを特徴とする１記載の画像情報表示装置。

（作用効果）
動画像に対する画像情報表示を行う場合、撮影画像内での画像の移動情報により合成のための情報を得ることが可能であり、自動的な合成処理を行うことが可能となる。

１０．２次元画像撮影手段で撮影するにあたって、少なくとも視野内に存在するマーカ、特徴点、特徴線、特徴領域に基づいて撮影装置の位置姿勢情報を算出することを特徴とする９に記載の画像情報表示装置。

（作用効果）
動画像における移動情報からの合成のための情報算出方法として、画像内での特徴となるものを利用することは画像処理を簡易にする有効な手段であるが、マーカを設置したり、自然に存在する特徴点、特徴線、特徴領域を利用したりすることにより、精度よく、また自動的に合成処理を行うことが可能となる。

１１．前記合成処理手段により画像合成位置を算出し、２次元画像上に３次元モデルデータを重畳して表示することを特徴とする１に記載の画像情報表示装置。

（作用効果）
合成される画像として、２次元画像上に３次元モデルを重畳して表示すると、利用者に対する情報表示を行うための指示を行う際の有効な特徴領域として利用することが可能である。また、属性情報を表示する際にも表示の基準として利用することも可能であり、さらに３次元モデルのレンダリングを行う際には強調して表示したり、透明度を設定したり、ワイヤフレーム表示したり、といった種々の表示方法があるため、分かりやすい合成画像を生成することが可能となる。

１２．対象となる３次元モデルを撮影することによりテクスチャ情報を取得し、撮影対象とする３次元オブジェクトに対する位置姿勢情報を算出し、前記位置姿勢情報を用いて前記３次元モデルデータ上に前記取得したテクスチャ画像を投影することを特徴とする１に記載の画像情報表示装置。

（作用効果）
３次元モデリングを行うことは仮想空間を生成することとなるため、生成された合成画像を利用して様々なシミュレーションを行うことが可能となり、シミュレーション画面内での画像情報表示システムを構築することが可能である。

１３．前記３次元モデルデータは複数の３次元部分モデルの構造情報により構成されており、各３次元部分モデルに対して前記属性情報が前記構造情報と関連付けされた上でデータベースに登録されており、前記指示手段により指示された位置と前記構造情報とを認識または指定した上で、この認識または指定された範囲の属性情報を表示することを特徴とする１に記載の画像情報表示装置。

（作用効果）
３次元モデルデータが複雑になってきたときにはグループ化を行い、各グループを構造情報や階層情報で管理すること通常行われている。このグループ情報、さらにそれらの構造情報・階層情報を属性情報として表示すれば詳細な表示を行うことができる。また、その構造・階層を利用者が指定できるようになっていればさらに便利な情報表示システムとして構築することが可能となる。

１４．前記属性情報の表示の方法として、簡易な属性情報を前記合成画像上に重畳表示するとともに、詳細な属性情報については他の表示部に表示することを特徴とする１に記載の画像情報表示装置。

（作用効果）
属性情報を合成画像上に表示する場合、情報量が多いと合成画像が見にくくなる可能性がある。したがって、簡易な記号や識別子等の簡易な情報のみを合成画像上に重畳表示し、詳細な情報は別個に設けられたウィンドウ内に表示することにより、見やすく且つ十分な情報を提供できる。

１５．前記指示手段の３次元空間内での空間的位置を認識し、前記表示手段内の対応する位置にポインタを移動して対象オブジェクトの指示を行うことを特徴とする１に記載の画像情報表示装置。

（作用効果）
表示される情報は３次元情報であるので、２次元の表示手段に限らずヘッドマウントディスプレイ、３次元ディスプレイ等を用いる場合には、指示装置も同様に２次元平面内に限定することなく３次元の空間内での操作が行えるようにすることにより、指示がより簡易に且つ分かりやすく行える。

１６．２次元画像データと、当該２次元画像データの少なくとも一部に対応する３次元モデルデータとを合成して合成画像を生成する合成ステップと、
前記２次元画像データと、前記合成ステップにおいて合成された合成画像のうち少なくとも一方を表示手段に表示する表示ステップと、
前記表示手段に表示された画像内の任意の位置を指示する指示ステップと、
前記合成ステップにおいて合成された合成画像について、前記指示ステップで指示された位置での前記２次元画像データと前記３次元モデルデータ間の誤差を検出する合成誤差検出ステップと、
前記検出された合成誤差に基づいて、前記指示ステップで指示された位置における前記３次元モデルデータを特定し、当該３次元モデルデータの属性情報を取得する属性情報取得ステップと、
を具備し、
前記属性情報取得ステップで取得された前記属性情報は、前記３次元モデルデータと対応付けて表示されることを特徴とする画像情報表示方法。

（作用効果）
作用効果については、１と同様である。

本発明の第１実施形態に係る画像情報表示装置のシステム構成を示す図である。 本発明の第２実施形態を説明するための図である。 第２実施形態を実現するためのシステム構成図である。 本発明の第３実施形態を実現するためのシステム構成図である。 図４の３次元モデリング（合成）処理手段４０１における処理である３次元モデリング処理手段の詳細な構成を示す図である。 ３次元モデリングの基本的な処理手順を説明するための図（その１）である。 ３次元モデリングの基本的な処理手順を説明するための図（その２）である。 データベース化する各項目について説明するための図である。 本実施形態における利用者端末に表示される画面構成を示す図である。 本発明の第４実施形態を説明するための図である。 都市空間１に関する３次元モデル情報を構造化（階層化）したようすを示す図である。

符号の説明

１０１…演算装置、１０２…表示手段、１０３…入力手段、１０４…指示手段、１０５…２次元画像データベース、１０６…３次元モデルデータベース、１０７…属性情報データベース、１０８…データ入力処理手段、１０９…画像合成処理手段、１１０…合成画像表示処理手段、１１１…画像内位置指示手段、１１２…指示位置認識手段、１１３…合成誤差検出手段、１１４…合成誤差補正手段、１１５…属性情報取得手段、１１６…属性情報表示処理手段。

Claims (16)

1. ２次元画像データと、当該２次元画像データの少なくとも一部に対応する３次元モデルデータとを合成して合成画像を生成する合成処理手段と、
   前記２次元画像データと、前記合成処理手段で合成された合成画像のうち少なくとも一方を表示する表示手段と、
   前記表示手段に表示された画像内の任意の位置を指示する指示手段と、
   前記合成処理手段で合成された合成画像において、前記指示手段により指示された位置での前記２次元画像データと前記３次元モデルデータ間の誤差を検出する合成誤差検出手段と、
   前記検出された合成誤差に基づいて前記指示手段によって指示された位置における前記３次元モデルデータを特定し、当該３次元モデルデータの属性情報を取得する属性情報取得手段と、
   を具備し、
   前記属性情報取得手段によって取得された前記属性情報は、前記３次元モデルデータと対応付けて表示されることを特徴とする画像情報表示装置。
2. 前記表示された３次元モデルデータはレンダリングされたものであることを特徴とする請求項１に記載の画像情報表示装置。
3. 前記属性情報取得手段によって取得された前記属性情報は、前記表示手段に表示されることを特徴とする請求項１記載の画像情報表示装置。
4. 前記属性情報取得手段は、前記検出された合成誤差に基づいて前記指示手段が指示した位置を補正して、この補正された位置での３次元モデルの属性情報を取得することを特徴とする請求項１記載の画像情報表示装置。
5. 前記合成誤差検出手段は、前記２次元画像データまたは合成画像についての領域分割を行い、領域分割された領域と、対応する３次元部分モデルデータがレンダリングされた領域との共通部分およびずれ部分を検出することにより合成誤差を検出することを特徴とする請求項１記載の画像情報表示装置。
6. 前記合成誤差検出手段は、前記２次元画像データと、前記３次元モデルデータがレンダリング表示された画像との間の相関量を算出し、前記相関量を用いた最適化手法により合成誤差を検出することを特徴とする請求項１に記載の画像情報表示装置。
7. 前記表示画像上で指示された位置と、前記３次元部分モデルデータとの表示位置とが一致しない場合には、前記表示画像上で指示された位置を含む領域を優先して前記３次元部分モデルデータとの対応付けをして属性情報を表示することを特徴とする請求項１に記載の画像情報表示装置。
8. 前記表示画像上で指示された位置と、前記３次元部分モデルデータとの表示位置が一致しない場合には、前記表示画面上で指示された位置を含む３次元モデルデータを優先して前記属性情報と対応付けて表示することを特徴とする請求項１に記載の画像情報表示装置。
9. ２次元の画像撮影手段により３次元モデルを撮影し、前記合成処理手段は、撮影された画像内の移動情報に基づいて合成処理を行うことを特徴とする請求項１記載の画像情報表示装置。
10. ２次元画像撮影手段で撮影するにあたって、少なくとも視野内に存在するマーカ、特徴点、特徴線、特徴領域に基づいて撮影装置の位置姿勢情報を算出することを特徴とする請求項９に記載の画像情報表示装置。
11. 前記合成処理手段により画像合成位置を算出し、２次元画像上に３次元モデルデータを重畳して表示することを特徴とする請求項１に記載の画像情報表示装置。
12. 対象となる３次元モデルを撮影することによりテクスチャ情報を取得し、撮影対象とする３次元オブジェクトに対する位置姿勢情報を算出し、前記位置姿勢情報を用いて前記３次元モデルデータ上に前記取得したテクスチャ画像を投影することを特徴とする請求項１に記載の画像情報表示装置。
13. 前記３次元モデルデータは複数の３次元部分モデルの構造情報により構成されており、各３次元部分モデルに対して前記属性情報が前記構造情報と関連付けされた上でデータベースに登録されており、前記指示手段により指示された位置と前記構造情報とを認識または指定した上で、この認識または指定された範囲の属性情報を表示することを特徴とする請求項１に記載の画像情報表示装置。
14. 前記属性情報の表示の方法として、簡易な属性情報を前記合成画像上に重畳表示するとともに、詳細な属性情報については他の表示部に表示することを特徴とする請求項１に記載の画像情報表示装置。
15. 前記指示手段の３次元空間内での空間的位置を認識し、前記表示手段内の対応する位置にポインタを移動して対象オブジェクトの指示を行うことを特徴とする請求項１に記載の画像情報表示装置。
16. ２次元画像データと、当該２次元画像データの少なくとも一部に対応する３次元モデルデータとを合成して合成画像を生成する合成ステップと、
    前記２次元画像データと、前記合成ステップにおいて合成された合成画像のうち少なくとも一方を表示手段に表示する表示ステップと、
    前記表示手段に表示された画像内の任意の位置を指示する指示ステップと、
    前記合成ステップにおいて合成された合成画像について、前記指示ステップで指示された位置での前記２次元画像データと前記３次元モデルデータ間の誤差を検出する合成誤差検出ステップと、
    前記検出された合成誤差に基づいて、前記指示ステップで指示された位置における前記３次元モデルデータを特定し、当該３次元モデルデータの属性情報を取得する属性情報取得ステップと、
    を具備し、
    前記属性情報取得ステップで取得された前記属性情報は、前記３次元モデルデータと対応付けて表示されることを特徴とする画像情報表示方法。

Images