JP2006113857A - 模擬視界発生装置 - Google Patents

Abstract

【課題】カメラ撮影の街並み等の風景と、３次元モデルで作成した道路面等を、仮想視点位置及び視線方向に応じて画像生成し、一画面に合成して実時間で表示する。
【解決手段】道路両側に壁状の矩形を連結して定義し、仮想視点から壁状矩形の特定領域を見た画像を、撮影した道路より遠景の撮影画像データから、撮影地点の位置座標と、仮想視点から壁状の矩形の特定領域へ向かうベクトルとを考慮し、ベクトル方向に最も近い撮影地点から見たパノラマ画像のイメージ領域を切り出して特定領域に対応させて壁状の矩形に貼り付けることにより道路両側の画像を生成し、正面矩形の画像とともに、画素ごとのカラーデータと視点から矩形までのデプスデータを出力し、道路面等の近景部分に３次元モデルによる画像とそのカラーデータとデプスデータを用い、仮想視点に近いカラーデータにより仮想視点に応じた模擬視界を得る。
【選択図】 図1

Description

本発明は、自動車シミュレータなどに用いられ、例えばステアリングによる運転操作に応じて窓外の視界をリアルタイムに表示するための模擬視界発生装置に関する。

模擬視界を発生する従来技術では、道路脇の建物、道路上の車両などの物体をポリゴンで構成し、３次元コンピュータグラフィックスの技法によりレンダリングする方法が一般的であり、近年、ＰＣ用の安価なグラフィックスＬＳＩが大幅に性能向上し、広く使われるようになった。外観のリアリティを増すために、ポリゴンの上に実際の物体を撮影した画像を貼り付けるフォトテクスチャなどの手法が多用されている。しかしながら、実在する街並みを３次元モデルとして入力するには、建物などの物体の正確な位置座標が詳細なレベルまで必要であり、モデリングソフトウェアを使ったデータ作成作業についても人手に頼っており、コストがかかる問題がある。
一方、ビデオカメラで撮影した映像をレーザーディスク等に格納し、走行速度に応じてレーザーディスクからのフレーム表示速度を制御することにより電車シミュレータの窓外視界を模擬する装置が利用されている。この方式では、比較的簡単に実在の路線の画像を模擬に利用できる長所がある。短所としては、例えば、踏切内へ進入する車両や、人物がホームから転落する様子などを模擬するには、フレームごとに２次元画像を正確な位置とサイズで合成する画像処理が必要となり、膨大な手間を要する。

解決しようとする課題は、ビデオカメラで撮影した街並みなどの風景と、３次元モデルとして作成した道路、車両、信号などを、それぞれ仮想視点位置及び視線方向に応じて画像生成し、一画面に合成して実時間で表示できるようにすることである。

本発明は、道路上で予め撮影した撮影地点の位置座標と主撮影方向が既知であるパノラマ画像データの集合を保持する撮影画像データ記憶手段と、コンピュータ内に構築したモデルにおいて道路の両側に壁状の矩形を連結して定義し、仮想の視点から前記壁状の矩形の特定の領域を見た画像を、前記撮影画像データのなかから、撮影地点の位置座標と、仮想の視点から壁状の矩形の前記特定の領域へ向かうベクトルとを考慮し、当該ベクトル方向に最も近い撮影地点から見たパノラマ画像のイメージ領域を切り出して前記特定の領域に対応させて壁状の矩形に貼り付けることにより道路両側の画像を生成するとともに、前記仮想視点から正面方向に見た正面矩形領域を設定し、前記仮想視点から正面方向に見たパノラマ画像イメージ領域を切り出して前記正面矩形領域に貼り付けることにより正面の画像を生成し、画素ごとのカラーデータと視点から前記壁状の矩形及び正面矩形までのデプスデータを出力するパノラマ画像生成手段と、ポリゴンでモデリングした３次元モデルを３次元コンピュータグラフィックスの技法によりレンダリングし、画素ごとのカラーデータと仮想視点から前記レンダリングした物体までのデプスデータを出力する３次元モデル画像生成手段と、前記パノラマ画像生成手段による画素ごとのカラーデータと仮想視点から壁状の矩形及び正面矩形までのデプスデータの組の１組又は所定の複数組と、前記３次元モデル画像生成手段による画素ごとのカラーデータと仮想視点から物体までのデプスデータの組の１組又は所定の複数組とを入力し、１フレーム上の画素ごとに全てのデプスデータを大小比較して画素ごとに最も仮想視点に近い画素のカラーデータを選択し映像信号として出力する画像合成手段とを含むものである。

本発明の模擬視界発生装置によると、コンピュータ内に構築したモデルにおいて道路の両側に壁状の矩形を連結して定義し、仮想の視点から前記壁状の矩形の特定の領域を見た画像を、ビデオカメラ等で撮影した道路より遠景例えば街並みなどの撮影画像データのなかから、撮影地点の位置座標と、仮想の視点から壁状の矩形の前記特定の領域へ向かうベクトルとを考慮し、当該ベクトル方向に最も近い撮影地点から見たパノラマ画像のイメージ領域を切り出して前記特定の領域に対応させて壁状の矩形に貼り付けることにより道路両側の画像を生成するとともに正面の画像を正面に設定した正面矩形領域に正面のパノラマ画像領域から切り出して貼り付けて生成し、画素ごとのカラーデータと視点から前記壁状の矩形までのデプスデータを出力し、道路、車両、信号などの近景部分に３次元コンピュータグラフィックスの手法による画像を用い、道路両側より遠景と近景部分も仮想視点に応じた模擬視界を一画面に合成して実時間で表示することができる。

図１は、本発明に係る模擬視界発生装置を説明する１実施例の機能ブロック図である。１０１は運転操作入力装置、１０２は車両運動模擬部、１０３は左側面遠景画像生成手段、１０４は右側面遠景画像生成手段、１０５は正面遠景画像生成手段、１０６は近景画像生成手段、１０７は画像合成装置、１０８は表示装置である。左側面遠景画像生成手段１０３、右側面遠景画像生成手段１０４及び正面遠景画像生成手段１０５によりパノラマ画像生成手段が構成される。近景画像生成手段１０６により３次元モデル画像生成手段が構成される。

運動操作入力装置１０１は模擬車両の操作機器例えばステアリング、ブレーキペダル、アクセルペダルである。車両運動模擬部１０２は、運動操作入力装置１０１の出力すなわち操作機器の操作量を接続して、模擬車両の運動を模擬して、運転者の視点すなわち仮想視点の位置と、車両の方向、車両の速度として仮想視点の速度等を出力する。
左側面遠景画像生成手段１０３、右側面遠景画像生成手段１０４及び正面遠景画像生成手段１０５は、それぞれに撮影画像データ記憶手段１０３１、１０４１、１０５１を備えて、道路上で予め撮影した撮影地点の位置座標と主撮影方向が既知であるパノラマ画像データの集合を保持する。

（全方位ビデオ画像の取得）
全方位ビデオ画像の取得を説明する。模擬視界発生装置の運用とは別に予め、全方位を撮影可能なビデオカメラを車両に搭載し、実際の道路を走行して撮影し、全方位画像（３６０度パノラマ）を取得する。同時に、撮影地点の位置座標と、車両の進行方向の方位角（主撮影方向）をＧＰＳ等により測定し、前記画像とともに記録しておく。この撮影の例を図２に示す。計測車両２０１は全方位のビデオカメラ２０２を搭載して、模擬しようとする地域を走行して、時刻ｔ−１，ｔ，ｔ＋１の経過に従って、地点Ｘ１，Ｘ２，Ｘ３の経路を通過し、その時点でそれらの各点から見える全方位画像を得る。

（パノラマ画像の作成）
撮影画像データ記憶手段１０３１、１０４１、１０５１に保存するパノラマ画像データの作成を説明する。前述のようにビデオカメラで撮影したビデオカメラをコンピュータに取り込んでディジタルデータ化し、時刻Ｔのパノラマ画像データを作成する。これを時刻ごとに繰り返して、全てのビデオ画像から時刻ごとのパノラマ画像データを作成し、各撮影画像データ記憶手段１０３１、１０４１、１０５１を構成するディスクへ保存しておく。

（パノラマ画像を用いた風景の模擬）
道路上の模擬車両内の運転者の仮想視点が、図３のようにＰに位置するとする。このときの、仮想視点Ｐから見た道路より遠景の画像の生成を説明する。
仮想の道路の両側に、壁のように続くスクリーンを想定する。従って、左側面遠景画像生成手段１０３はスクリーンＳｌ（左）を想定する。右側面遠景画像生成手段１０４はスクリーンＳｒ（右）を想定する。これらのスクリーンＳｌ，Ｓｒは、道路に面した建物の壁にあると仮定してその位置に置き、道路に面した建物より遠景にある物体はすべて建物の壁すなわちスクリーンに位置するものと仮定して画像を生成する。
道路上を走行する仮想視点Ｐから見た風景は、パノラマ画像から生成する。すなわち、道路上のある仮想視点Ｐから見える風景は、図３のように、Ａ方向に見た風景は計測車両が時刻ｔ−１における地点Ｘ１から撮影した画像ｐ（ｔ−１）を、Ｂ方向に見た風景は時刻ｔにおける地点Ｘ２から撮影した画像ｐ（ｔ）を、Ｃ方向に見た風景は時刻ｔ＋１における地点Ｘ３から撮影した画像ｐ（ｔ＋１）を用いて、生成する。
実世界の建物Ｘは、仮想視点Ｐから建物Ｘに向かう視線方向ベクトルに最も近い撮影方向ベクトルを検索し、この撮影方向ベクトルで記録されているパノラマ画像の領域すなわち撮影方向ベクトルの方向に対してある程度の範囲を持った領域を縦方向に長い短冊状に切り出してスクリーン上に貼り付けることにより、模擬される。このとき、検索には個々の物体ごとに処理するのではなく、図４のように視界内のスクリーンが埋まるように視線方向ベクトル４０１を変化させ、対応する最も近い撮影方向ベクトル４０２，４０３，４０４，４０５…のパノラマ画像の領域を短冊状に切り出してスクリーンＳｌ４０６上に貼り付ける。仮想視点Ｐから建物が位置する壁までの距離を算出し、その距離をｄとする。例えば、各撮影方向ベクトルが距離ｄにある壁に接する個所の中央点を各撮影方向ベクトルのパノラマ画像の各領域間の境界点Ｑ１，Ｑ２，Ｑ３，Ｑ４，Ｑ５…（スクリーン面では縦方向の境界線）に設定して建物等の遠景の見え方を現実に近いものとすることができる。
図４は左側面遠景画像生成手段１０３における処理を説明しているが、右側面遠景画像生成手段１０４においても同様である。
スクリーンＳｌ，Ｓｒは、ポリゴンの集合として定義され、パノラマ画像はテクスチャとして登録される。例えば、Ｏｐｅｎ ＧＬグラフィックスライブラリのｇｌＴｅｘ Ｃｏｏｒｄ２ｆ（）を用いて、これらポリゴンとテクスチャの対応関係を、上述したようにスクリーンにパノラマ画像を連続して貼り付けることができるように指定することにより、短冊状の切り出しを行う。スクリーンＳｌ、スクリーンＳｒは同一の座標系で定義される。
走行方向前方の画像は、正面遠景画像生成手段１０５により、仮想視点に最も近い地点で撮影したパノラマ画像から生成する。図５のように模擬車両による仮想視点５０１は仮想道路上を図の右方向を前にして進行しているものとする。仮想視点５０１の両側（図５では上下方向）には左スクリーンＳｌ５０２と右スクリーンＳｒ５０３が位置する。仮想視点５０１から前方の所定の視野角５０４を設定し、その視野角５０４の左右に広がる垂直な平面と左スクリーンＳｌ５０２と右スクリーンＳｒ５０３面との交線と、例えば街並みの高さに等しい適当高さに渡した横線とで形成される矩形Ｓｆ５０５のポリゴンを設定する。時々刻々の仮想視点５０１の位置は、車両運動模擬部１０２により入力し、正面遠景画像生成手段１０５は、この仮想視点５０１の位置に最も近い地点Ｘ２で撮影した画像から得たパノラマ画像をテクスチャとして切り出し、そのパノラマ画像内の矩形Ｓｆに対応する領域を切り出し、当該矩形Ｓｆ５０５に貼り付けることにより、正面の画像生成を行う。矩形ＳｆはスクリーンＳｌ、スクリーンＳｒと同一の座標系で定義される。
左側面遠景画像生成手段１０３、右側面遠景画像生成手段１０４及び正面遠景画像生成手段１０５は、車両運動模擬部１０２から入る時々刻々変化する仮想視点ごとの遠景画像を上記のように生成する。

（３次元モデルによる道路面等の模擬と画像生成）
道路面や、ガードレール、歩道橋、車両や信号機等、道路脇とは見なせない物体は、３次元コンピュータグラフッィクスの技法により、ポリゴンで構成した３次元モデルとして、近景画像生成手段１０６においてモデリングソフトウェアを利用して作成する。空は、例えば、雲のテクスチャを貼った半円球のポリゴンの集合で模擬する。
近景画像生成手段１０６における前記物体の画像生成は、３次元グラフィックスチップを用い、デプスバッファ法により、車両運動模擬部１０２から入る時々刻々の仮想視点から見た画像の描画処理（レンダリング）により行われる。３次元モデルは、スクリーンＳｌ、スクリーンＳｒ及び矩形Ｓｆと同一の座標系で定義される。
また、ポリゴンでモデリングした３次元モデルをレンダリングし、画素ごとのカラーデータと仮想視点から前記レンダリングした物体までの画素ごとのデプスデータを出力する。

（パノラマ画像を用いた模擬画像の生成）
前述したようにスクリーンＳｌ、スクリーンＳｒ、矩形Ｓｆ及び道路面等の３次元モデルは、と同一の座標系で定義されている。スクリーンＳｌ、スクリーンＳｒ、矩形Ｓｆは、テクスチャを貼ったポリゴンの集合である。左側面遠景画像生成手段１０３、右側面遠景画像生成手段１０４及び正面遠景画像生成手段１０５は、それぞれにおいて３次元グラフィックスチップを用い、デプスバッファ法により、仮想視点から見た画像の表示処理（レンダリング）を行うとともに、表示処理された画像の画素ごとのカラーデータに加えて仮想視点から物体（各スクリーンＳｌ、スクリーンＳｒ、矩形Ｓｆの面）までの画素ごとデプスデータを出力する。
なお、左側面遠景画像生成手段１０３、右側面遠景画像生成手段１０４及び正面遠景画像生成手段１０５において、パノラマ画像のデータサイズが大きく、右側面遠景画像生成手段１０４及び正面遠景画像生成手段１０５のそれぞれが有するテクスチャメモリに全てを格納できないときは、高速なディスクからパノラマ画像を順次読み込み、テクスチャメモリの内容を更新する。

（３次元モデルによる模擬画像とパノラマ画像を用いた模擬画像の合成）
上述したように、３次元モデルによる模擬画像は近景画像生成手段１０６において、パノラマ画像を用いた模擬画像は左側面遠景画像生成手段１０３、右側面遠景画像生成手段１０４及び正面遠景画像生成手段１０５のそれぞれにおいて、デプスバッファ法によりレンダリングされ、画素ごとのカラーとデプスが出力される。画像合成装置１０７は、これらのデータをもとに、例えばコンパレータ回路とセレクタ回路を用いて画素単位にデプスの大小により隠顕判定を行い、視点に最も近いカラーを選択し、Ｄ／Ａ変換して映像信号を出力し、実時間で合成結果を表示装置１０８において表示する。近景画像生成手段１０６において生成された例えば道路面の３次元モデルはこれと比較されるパノラマ画像の道路面より手前にあるようにデプスデータが設定されるから、常に３次元モデルの道路面が合成画像として表示される。

本発明に係る模擬視界発生装置の１実施例の機能ブロック図である。 全方位ビデオ画像の取得を示した説明図である。 仮想視点からある方向にある１物体とそれを撮影する地点を説明する図である。 側面スクリーンと貼り付ける画像の関係を説明する図である。 正面と貼り付ける画像の関係を説明する図である。

符号の説明

１０１…運転操作入力装置、１０２…車両運動模擬部、１０３…左側面遠景画像生成手段、１０４…右側面遠景画像生成手段、１０５…正面遠景画像生成手段、１０６…近景画像生成手段、１０７…画像合成装置、１０８…表示装置。

Claims (2)

1. 道路上で予め撮影した撮影地点の位置座標と主撮影方向が既知であるパノラマ画像データの集合を保持する撮影画像データ記憶手段と、
   コンピュータ内に構築したモデルにおいて道路の両側に壁状の矩形を連結して定義し、仮想の視点から前記壁状の矩形の特定の領域を見た画像を、前記撮影画像データのなかから、撮影地点の位置座標と、仮想の視点から壁状の矩形の前記特定の領域へ向かうベクトルとを考慮し、当該ベクトル方向に最も近い撮影地点から見たパノラマ画像のイメージ領域を切り出して前記特定の領域に対応させて壁状の矩形に貼り付けることにより道路両側の画像を生成するとともに、前記仮想視点から正面方向に見た正面矩形領域を設定し、前記仮想視点から正面方向に見たパノラマ画像イメージ領域を切り出して前記正面矩形領域に貼り付けることにより正面の画像を生成し、画素ごとのカラーデータと視点から前記壁状の矩形及び正面矩形までのデプスデータを出力するパノラマ画像生成手段と、
   ポリゴンでモデリングした３次元モデルを３次元コンピュータグラフィックスの技法によりレンダリングし、画素ごとのカラーデータと仮想視点から前記レンダリングした物体までのデプスデータを出力する３次元モデル画像生成手段と、
   前記パノラマ画像生成手段による画素ごとのカラーデータと仮想視点から壁状の矩形及び正面矩形までのデプスデータの組の１組又は所定の複数組と、前記３次元モデル画像生成手段による画素ごとのカラーデータと仮想視点から物体までのデプスデータの組の１組又は所定の複数組とを入力し、１フレーム上の画素ごとに全てのデプスデータを大小比較して画素ごとに最も仮想視点に近い画素のカラーデータを選択し映像信号として出力する画像合成手段とを含むことを特徴とする模擬視界発生装置。
2. 請求項１において、パノラマ画像生成手段は、道路左側の画像、道路右側の画像、又は正面の画像のうち、いずれか一つ又は複数を生成することを特徴とする模擬視界発生装置。
   

Images