JP2006018444A - 画像処理システム及び付加情報指示装置 - Google Patents

Abstract

【課題】 建築物の建築計画や設計案の検討時に、建築模型とその付加情報との位置関係を当該建築模型を撮影した実映像とその付加情報についての仮想映像との融合映像を適切かつ簡易に生成してリアルタイム表示することができる画像処理システム及び付加情報指示装置を提供する。
【解決手段】 複数の指標が表面に形成された建築模型を撮影して実映像を取得する。次に、建築模型に付加される日射解析情報等の付加情報が生成される仮想空間内に、撮影時の情報に基づく位置に実映像を配置する。そして、建築模型の複数の指標に対応する仮想空間中の複数の指標の位置と、実映像中の複数の指標とが一致するように仮想空間内の実映像の位置・姿勢を補正し、補正後の実映像と仮想空間を投影した仮想映像との融合映像をスクリーン等に表示する。
【選択図】 図１

Description

本発明は、建築模型等を撮影した実映像と仮想映像とを融合した融合映像を生成して表示する画像処理システム及び付加情報指示装置に関する。

建築物の設計者が建築模型を使用して会議において建築計画や設計案の説明を行う際に、当該建築模型に対して付加される付加情報（例えば、３次元気流解析結果によるパーティクルの移流、建物表面温度分布等）を当該会議の参加者に説明する場合がある。このような場合、従来は、建築模型を会議室内の机上に設置するとともに、説明用の書類を別に配布したり、当該建築模型の他にビデオ等を活用してそれらの付加情報に関する説明が行われていた。

しかしながら、従来のように建築模型とそれに関する付加情報についての説明を別々に行うと、会議の参加者にその付加情報と机上に設置された建築模型との位置関係を容易に理解させることが困難であった。

一方で、近年はコンピュータ技術の発達により、実空間とコンピュータで作成された仮想空間とを融合する複合現実感（Mixed Reality）（以下、「ＭＲ」と称す。）に関する各種技術が提案されている（例えば、特許文献１参照。）。そこで、このようなＭＲ技術を利用して、建築模型の実映像と付加情報の仮想映像とを融合した融合映像を会議の参加者に提示することで、互いの位置関係を視覚的に説明することができ、参加者に対して建築物と付加情報との関係に関する理解をより深めることが期待される。このような実空間と仮想空間とを適切に融合するためには、実空間を撮影する撮影装置の３次元的な位置や姿勢を正確に求める必要があった。
特開２００２−２３０５８６号公報

しかしながら、実映像と仮想映像との融合に際しては、実空間を撮影するビデオカメラ等の撮影装置に設けられたセンサの計測精度等の影響によって、両者の間に位置ずれが起こるという問題があった。従って、実映像と仮想映像とを融合する画像処理においては、位置ずれを補正するための多大な労力が多くの場合必要であった。

ここで、実空間と仮想空間との３次元空間での照合処理は従来から非常に計算コストがかかる処理である。従って、建築模型が設置された実空間を撮影しながら付加情報を含む仮想空間と融合し、融合された映像をリアルタイムでビデオ映像として表示させるような場合には、必然的に非常に演算コストが高いものになってしまう。よって、より計算コストを低減し、より簡易に適切な融合映像を生成する技術が望まれている。

本発明は、このような事情を考慮してなされたものであり、建築物の建築計画や設計案の検討時に、建築模型とその付加情報との位置関係を当該建築模型を撮影した実映像とその付加情報についての仮想映像との融合映像を適切かつ簡易に生成してリアルタイム表示することができる画像処理システム及び付加情報指示装置を提供することを目的とする。

上記課題を解決するために、本発明は、建築模型を撮影した実映像と仮想映像との融合映像を表示する画像処理システムであって、
複数の指標が表面に形成された建築模型を撮影して実映像を取得する撮影手段と、
前記撮影手段による前記建築模型の撮影時の撮影情報を取得する取得手段と、
前記撮影手段により撮影された前記実映像を、前記建築模型に付加される付加情報を含む仮想空間中の前記撮影情報に基づく位置に配置する配置手段と、
前記建築模型の表面に形成された複数の指標に対応する前記仮想空間中の複数の指標の位置と、前記実映像中の複数の指標とが一致するように該仮想空間中に配置された前記実映像の位置・姿勢を補正する補正手段と、
前記補正手段による補正後の前記実映像と前記仮想空間の前記撮影情報に基づいて投影される仮想映像との融合映像を表示する表示手段と
を備えることを特徴とする。

また、本発明に係る上記画像処理システムは、前記付加情報が、前記建築模型に基づく建築物が実際に建築された環境における、該建築物周辺の日照解析情報、該建築物周辺の空気の流れ情報、又は該建築物周辺の温度分布情報を視覚的に表現した映像情報であることを特徴とする。

さらに、本発明に係る上記画像処理システムは、前記補正手段が、前記実映像中の複数の指標のうち、前記仮想空間を前記撮影情報に基づいて投影した前記仮想映像への注視点に最も近い指標が一致するように前記実映像を平行移動し、該指標を固定して前記仮想映像への注視点に最も遠い指標が一致するように前記実映像を回転移動することを特徴とする。

さらにまた、本発明は、建築模型を撮影した実映像と仮想映像との融合映像を表示する画像処理システムと通信可能な付加情報指示装置であって、
前記建築模型が設置された実空間内における３次元位置を検知する検知手段と、
操作者によって前記建築模型に対して付加される付加情報の発生位置の決定指示を受け付ける受付手段と、
前記受付手段が前記決定指示を受け付けたときに前記検知手段によって検知された実空間内の３次元位置に対応する仮想空間内の３次元位置を前記付加情報の発生位置として前記画像処理システムに対して通知する通知手段と
を備えることを特徴とする。

さらにまた、本発明に係る上記付加情報指示装置は、前記仮想空間に付加される前記付加情報の表示／非表示を切り替える切替手段、又は、前記付加情報の種類を選択する選択手段をさらに備えることを特徴とする。

本発明によれば、建築物の建築計画や設計案の検討時に、建築模型とその付加情報との位置関係を当該建築模型を撮影した実映像とその付加情報についての仮想映像との融合映像を適切かつ簡易に生成してリアルタイム表示することができる。これによって、会議等の参加者は建築模型とその付加情報との位置関係を視覚的に認識することができ、それらの位置関係について従来と比べてより確実に理解することが可能となる。

以下、図面を参照して、本発明の一実施形態に係る画像処理システムについて詳細に説明する。

図１は、本発明の一実施形態に係る建築模型を撮影した実映像と付加情報についての映像である仮想映像とを融合した融合映像を表示する画像処理システムの構成を示す概要図である。図１において、建築物の建築計画や設計案の検討等を行うための会議における説明者Ｐ１は、操作デバイス１１を用いて、会議室内の机上に設置された建築模型１２の任意の部分を指し示して、付加情報を発生させる位置を指示する。

図２は、操作デバイス１１の詳細について説明するための図である。操作デバイス１１は、把持部１１ａ、磁気センサ受信部１１ｂ、２つの操作ボタン１１ｃ、１１ｄを備えている。そして、操作デバイス１１は、建築模型１２を撮影した実映像と仮想映像とを融合して表示装置１５に表示する図１に示される画像処理システムと有線又は無線で通信が可能である。

磁気センサ受信部１１ｂは、実空間に備わる磁気発生装置２１から発生する磁気空間内で磁気を検知することによって、デバイス先端部に位置するセンサ部分の３次元位置を検出するものである。すなわち、説明者Ｐ１は、操作デバイス１１の把持部１１ａを把持して実空間内で付加情報を発生させる位置に、当該操作デバイス１１の先端部に位置する磁気センサ受信部１１ｂを持っていき、そこで操作ボタン１１ｃを指先等で接触又は押下等することによって付加情報の発生位置を決定する。

尚、本実施形態では、付加情報として、建築模型１２が実際に建築された場合の、建築物周辺の日照解析情報、建築物周辺の空気の流れ情報（例えば、３次元気流解析によるパーティクル）、又は建築物周辺の温度分布情報（例えば、建物表面温度分布）を視覚的に表現したものを想定している。そこで、説明者Ｐ１は、建築模型１２の壁面や上方、側方等の建築模型周辺を付加情報の発生位置として指定するものとする。

また、操作デバイス１１は、仮想空間に付加される付加情報の表示／非表示を切り替える切替ボタンや、表示可能な複数種の付加情報のうちいずれを表示させるかを選択するための選択ボタンとして機能する操作ボタン１１ｄを備える。尚、本実施形態では、操作デバイス１１は磁気を検知するセンサを備えるようにしたが、３次元位置を検知するためのセンサは磁気センサだけに限定されるものではなく、例えばＧＰＳ受信器、ジャイロセンサ、電波センサ等を用いてもよい。

ここで、ビデオカメラ等の撮影装置１３を用いて、建築模型１２を含む実空間を任意の角度から撮影することによって実映像が取得される。また、建築模型１２を含む実空間を撮影することによって得られた実映像は、コンピュータ１４内、或いはそれに接続する外部記憶装置等に記憶される。また、撮影装置１３が建築模型１２を撮影したときの撮影装置の３次元位置や姿勢等の撮影パラメータ等の撮影情報もコンピュータ１４内に記憶される。

コンピュータ１４内には、会議に先立って、予め操作デバイス１１を用いて仮想空間内に表示させる付加情報が記憶されている。ここで、本実施形態で対象とする付加情報の一例としては、前述のように建築模型１２が実際に建築された場合の、建築物周辺の日照解析情報、建築物周辺の空気の流れ情報、又は建築物周辺の温度分布情報を視覚的に表現したものである。

そして、コンピュータ１４は、撮影装置１３が建築模型１２を撮影したときの条件と同一条件で付加情報を含む仮想空間を投影面に投影した仮想映像を算出する。次いで、コンピュータ１４は、仮想映像と実映像とを融合した融合映像を生成し、スクリーンやディスプレイ等の表示装置１５に投影する。これにより、当該会議の参加者Ａ１、Ａ２は、付加情報と建築模型とが融合して表示された仮想映像を見ることができる。また、参加者Ａ３、Ａ４はヘッドマウントディスプレイ（ＨＭＤ）１６を装着しており、ＨＭＤ１６にも表示装置１５と同様の融合映像を表示することができる。

尚、ＨＭＤ１６に撮影装置１３と同様の機能を付加することにより、ＨＭＤ１６を装着している参加者Ａ３、Ａ４それぞれの視線に対応した個々に異なる視線による融合映像を同様の手順で生成して表示することも可能である。

図３は、本実施形態に係る実映像と仮想映像とを融合して融合映像を生成するための画像処理を実行するコンピュータ１４の構成を示すブロック図である。図３において、操作部１２０は、例えばマウス、キーボード、ボタン等から構成され、オペレータが操作データを入力して画像処理部１１０に対して各種指示を行うことができる。一時記憶部１３０は、ＲＡＭ等のハードウェアから構成され、後述する画像処理プログラム等のアプリケーションプログラムが展開され、画像処理部１１０のワークエリアとなる。記憶部１４０は、固定式又は着脱可能なハードディスクやＲＯＭ、或いはＤＶＤ、ＭＯ等の可搬可能な記憶媒体（記録媒体）から構成され、本実施形態に係る各種情報処理に関するプログラムや上述したような付加情報を含む仮想空間を含む各種データ等を格納する。

画像処理部１１０は、記憶部１４０に記憶されている画像処理プログラム等に基づいて撮像装置１３の撮像パラメータに基づいて仮想映像を生成する。尚、生成された仮想映像は記憶部１４０に記憶され、静止画データとして、或いは動画データとして表示部１５０で再生することが可能である。表示部１５０は、例えばＣＲＴ、液晶モニタ等で実現可能であり、図１では、スクリーン等の表示装置１５やＨＭＤ１６等で実現され、画像処理部１１０による処理によって生成された映像を出力（再生）する。

また、通信部１６０は、他のコンピュータやＣＡＤシステム等と直接或いはインターネット、ＬＡＮ等のネットワークを介して接続し、それらの外部装置との間で各種データ通信を行うためのものである。尚、本実施形態においては、付加情報を含む仮想空間は前述したように記憶部１４０に記憶するようにしているが、本コンピュータの画像処理部１１０によって構築されたものでも、通信部１６０を介して外部装置で構築されたものをダウンロードして、或いはデータ通信しながら使用するようにしてもよい。

画像処理部１１０には、説明者Ａ１が操作デバイス１１を用いて指定した３次元位置に対応する仮想空間内の位置に付加情報を発生させる付加情報発生部１１１と、撮影装置１３の撮影時の位置・姿勢等の撮影パラメータを取得する撮影パラメータ取得部１１２と、当該付加情報を含む仮想空間中に、撮影装置１３の撮影パラメータに基づいて設置された実空間を撮影した実映像を融合するための位置合わせを行う位置合わせ部１１３と、複数の指標を用いて位置合わせの補正を行って適切な融合映像を生成する補正部１１４と、生成されて記憶部１４０に記憶された融合映像を再生する再生部１１５が含まれる。

図４は、本実施形態に係る融合映像を生成するための画像処理を実行するコンピュータ１４のハードウェア構成を示すブロック図である。図４において、ＣＰＵ２０１は、図３の画像処理部１０１を実現するものであり、ＯＳに基づいて各種アプリケーションを実行するための制御を行う。ＲＡＭ２０２は、ＣＰＵ２０１で実行されるアプリケーションプログラムが展開されるとともに、作業データを一時的に格納するものであり、図３の一時記憶部１３０を実現するものである。

また、ＲＯＭ２０３には、本コンピュータに接続されている各種デバイスを制御するためのプログラムである基本入出力システム（ＢＩＯＳ）等が格納されている。尚、格納されているＢＩＯＳ等は電気的に書き換えが可能であって、アップグレードが可能である。ネットワークインタフェース２０４は本コンピュータをＬＡＮやインターネット等のネットワーク２０５上に接続された外部装置とアクセスを行うためのものであり、図３の通信部１６０を実現するものである。

さらに、２０６は操作部インタフェースであり、キーボードやマウス等の操作デバイス２０７を用いてオペレータが指示した情報をコンピュータ内部に取り込むためのものである。表示部コントローラ２０８は、ＣＰＵ２０１による画像描画命令を処理するためのコントローラであり、生成された画像を表示部２０９上に出力（再生）する。

さらにまた、記憶部インタフェース２１０は、ハードディスクドライブ（ＨＤＤ）２１１やＤＶＤ、ＭＯ等の可搬可能な記憶媒体２１３用のメディアドライブ２１２といった外部記憶装置をコンピュータに接続するためのインタフェースである。尚、ハードディスクドライブ２１１には、ＣＰＵ２０１が実行するＯＳのプログラム、各種アプリケーションプログラム、各種デバイスのデバイスドライバ等が格納されている。また、ハードディスクドライブ２１１、或いは記憶媒体２１３には、本実施形態によって生成されたＣＧ画像が動画像として再生可能なように時系列的に格納される。尚、上述したＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ネットワークインタフェース２０４、操作部インタフェース２０６、ディスプレイコントローラ２０８及び記憶部インタフェース２１０は、バス２１４を介して互いに接続されている。

図５は、本発明の一実施形態に係る実映像と仮想映像との位置合わせ処理手順を説明するためのフローチャートである。

まず、机上に建築模型が設置されている実空間をビデオカメラ等の撮影装置１３で撮影し、その実映像（ビデオ映像）を撮影した撮影装置１３の姿勢・位置等の撮影パラメータを取得する（ステップＳ５１）。そして、測定された撮影装置１３の姿勢・位置等に仮想カメラの姿勢・位置等を合わせるようにして、実映像を仮想空間内に配置する（ステップＳ５２）。

図６は、本発明の一実施形態に係る実映像と仮想空間６１との位置合わせ処理手順の一例を説明するための概要図である。ここで、撮影装置１３で撮影した建築模型１２の表面には図６に示すように撮影に先立って３つの実写指標Ａ、Ｂ、Ｃが貼り付けられているものとする。この場合、撮影装置１３で撮影されたビデオ映像表示面（実映像）６２にはそれらの実写指標Ａ、Ｂ、Ｃが写っている。

そして、本実施形態では以下の手順に従って、建築模型１２の表面に形成された複数の指標に対応する仮想空間６１中の複数の指標（仮想指標１、２、３）と、実映像中の複数の指標（実写指標Ａ、Ｂ、Ｃ）とが一致するように仮想空間中に配置された実映像の位置・姿勢を補正することによって位置ずれをなくす。

本実施形態では、仮想空間内に配置された実映像の位置・姿勢を補正するために、２点の指標を一致させることにより行う。そこで、まず、仮想カメラの注視点に最も近い指標を検索する（ステップＳ５３）。以下、ステップＳ５３で検索された指標を仮想指標１とする。ここで、当該仮想指標１とそれに対応する実写指標Ａとを一致させるために、実写指標Ａの３次元位置情報を取得する（ステップＳ５４）。尚、このビデオ映像と仮想空間映像との間に生ずる位置ずれは、前述したようにセンサ精度等に起因するものが多い。

そして、仮想指標１の３次元位置に実写指標Ａの３次元位置とを一致させるように、ビデオ映像表示面を仮想空間内で平行移動する（ステップＳ５５）。

次に、仮想カメラの注視点から最も遠い指標を検索する（ステップＳ５６）。以下、ステップＳ５６で検索された指標を仮想指標３とする。ここで、当該仮想指標３に実写指標Ｃを一致させるために、実写指標Ｃの３次元位置情報を取得する（ステップＳ５７）。ここで、ステップＳ５３で検索されステップＳ５５で平行移動した補正後の位置における実写指標Ａを固定して回転移動の原点として、仮想指標Ｃの３次元位置に実写指標Ｃの３次元位置を一致させるようにビデオ映像表示面を回転移動する（ステップＳ５８）。

このようにして、仮想カメラの注視点に最も近い仮想指標と最も遠い仮想指標の２点を用いて平行移動・回転移動により補正を行う。また、これ以外に、最も近い仮想指標から順に補正を行うようにしてもよい。さらに、補正する仮想指標は２点だけに限られず３点以上であってもよい。その結果、実映像を仮想映像に重畳した適切な融合映像を簡易に生成することができる。

図７は、本実施形態に係る画像処理システムで表示される付加情報と融合映像の一例を示す図である。図７において、（ａ）は付加情報の一つである日射解析結果を示す図である。尚、（ａ）に示す日射解析結果は形状の表面等に分布を有する付加情報であるため、融合処理に先立って、例えば建築模型中の各表面ごとに付加情報を切り分けておく。図７において、（ｂ）は建築模型１２ａのみに対する日射解析結果を付加情報として表示した融合映像の一例、（ｃ）は建物及びその周辺に対する日照解析結果を付加情報として表示した融合映像の一例を示す図である。このように、対象建物への結果表示では、対象建物の表面分布を予めグループ化して登録したものを準備しておき、説明者が操作デバイスを用いて指示した内容に応じたものを仮想映像として表示する。このように、周辺建物も同様にグループ化しておくことで、指示に応じて各種表示が可能となる。

また、空気の流れ表示（パーティクル表示）では、パーティクル発生場所を指定することにより同様に空気の流れに関する表示を実現する。さらに、温度分布表示では、表示したい空間を操作デバイス１１で指定することによって表示が実現する。

尚、本発明は、前述した実施形態の機能をコンピュータで実現するためのプログラムを、コンピュータ読み取り可能な記録媒体（記憶媒体）に記録して、当該記録媒体に記録されたプログラムを上記システム内のコンピュータ等が読み出して実行するようにしてもよい。また、コンピュータ読み取り可能な記録媒体には、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の可搬記録媒体、システム又はコンピュータに内蔵されているハードディスク、揮発性メモリ（ＲＡＭ）等の記憶装置（記録装置）を含む。また、上記プログラムは、インターネット等のネットワークや電話回線等の通信回線を介して上記システムやコンピュータ等にダウンロードするようにしてもよい。そして、上記システムやコンピュータにおいて、読み出されたプログラムを実行することにより、前述した実施形態の機能が実現されることとなる。この場合、上記記録媒体等は、前述したフローチャートに対応するプログラムを格納している。

本発明の一実施形態に係る建築模型を撮影した実映像と付加情報についての映像である仮想映像とを融合した融合映像を表示する画像処理システムの構成を示す概要図である。 操作デバイス１１の詳細について説明するための図である。 本実施形態に係る実映像と仮想映像とを融合して融合映像を生成するための画像処理を実行するコンピュータ１４の構成を示すブロック図である。 本実施形態に係る融合映像を生成するための画像処理を実行するコンピュータ１４のハードウェア構成を示すブロック図である。 本発明の一実施形態に係る実映像と仮想映像との位置合わせ処理手順を説明するためのフローチャートである。 本発明の一実施形態に係る実映像と仮想空間との位置合わせ処理手順の一例を説明するための概要図である。 本実施形態に係る画像処理システムで表示される付加情報と融合映像の一例を示す図である。

符号の説明

１１ 操作デバイス
１２ 建築模型
１３ 撮影装置
１４ コンピュータ
１５ 表示装置
１６ ＨＭＤ
Ａ１〜Ａ４ 参加者
Ｐ１ 説明者

Claims (5)

1. 建築模型を撮影した実映像と仮想映像との融合映像を表示する画像処理システムであって、
   複数の指標が表面に形成された建築模型を撮影して実映像を取得する撮影手段と、
   前記撮影手段による前記建築模型の撮影時の撮影情報を取得する取得手段と、
   前記撮影手段により撮影された前記実映像を、前記建築模型に付加される付加情報を含む仮想空間中の前記撮影情報に基づく位置に配置する配置手段と、
   前記建築模型の表面に形成された複数の指標に対応する前記仮想空間中の複数の指標の位置と、前記実映像中の複数の指標とが一致するように該仮想空間中に配置された前記実映像の位置・姿勢を補正する補正手段と、
   前記補正手段による補正後の前記実映像と前記仮想空間の前記撮影情報に基づいて投影される仮想映像との融合映像を表示する表示手段と
   を備えることを特徴とする画像処理システム。
2. 前記付加情報が、前記建築模型に基づく建築物が実際に建築された環境における、該建築物周辺の日照解析情報、該建築物周辺の空気の流れ情報、又は該建築物周辺の温度分布情報を視覚的に表現した映像情報であることを特徴とする請求項１に記載の画像処理システム。
3. 前記補正手段が、前記実映像中の複数の指標のうち、前記仮想空間を前記撮影情報に基づいて投影した前記仮想映像への注視点に最も近い指標が一致するように前記実映像を平行移動し、該指標を固定して前記仮想映像への注視点に最も遠い指標が一致するように前記実映像を回転移動することを特徴とする請求項１又は２に記載の画像処理システム。
4. 建築模型を撮影した実映像と仮想映像との融合映像を表示する画像処理システムと通信可能な付加情報指示装置であって、
   前記建築模型が設置された実空間内における３次元位置を検知する検知手段と、
   操作者によって前記建築模型に対して付加される付加情報の発生位置の決定指示を受け付ける受付手段と、
   前記受付手段が前記決定指示を受け付けたときに前記検知手段によって検知された実空間内の３次元位置に対応する仮想空間内の３次元位置を前記付加情報の発生位置として前記画像処理システムに対して通知する通知手段と
   を備えることを特徴とする付加情報指示装置。
5. 前記仮想空間に付加される前記付加情報の表示／非表示を切り替える切替手段、又は、前記付加情報の種類を選択する選択手段をさらに備えることを特徴とする請求項４に記載の付加情報指示装置。

Images