JP2003115057A - テクスチャ編集装置、テクスチャ編集システムおよび方法 - Google Patents
テクスチャ編集装置、テクスチャ編集システムおよび方法Info
- Publication number
- JP2003115057A JP2003115057A JP2001310597A JP2001310597A JP2003115057A JP 2003115057 A JP2003115057 A JP 2003115057A JP 2001310597 A JP2001310597 A JP 2001310597A JP 2001310597 A JP2001310597 A JP 2001310597A JP 2003115057 A JP2003115057 A JP 2003115057A
- Authority
- JP
- Japan
- Prior art keywords
- texture
- image
- dimensional model
- model
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
像とのマッチング、切り出し、加工、遮蔽物除去など、
テクスチャ画像を貼り付けるまでに行われる一連の作業
が自動的に実行できるようにすること。 【解決手段】 建造物の面形状を定める3以上の頂点位
置を地理上の位置と関連付けて規定される座標系を用い
て表現した3次元モデルが記憶される3次元モデル記憶
部101と、入力される位置情報109,110に基づ
き3次元モデル記憶部101から該当する3次元モデル
を選択するモデル選択部102と、撮影した映像のファ
イル名、当該映像が動画像である場合にはさらにコマ番
号、当該映像の撮影位置を示す情報で構成される撮影位
置情報が記憶される撮影位置情報記憶部104と、入力
される位置情報109,110に基づき撮影位置情報記
憶部104から該当する撮影位置情報を選択する映像選
択部105とを備えている。
Description
看板、門などの建造物に対応して作成された3次元モデ
ルの正面にテクスチャ情報を貼り合わせて仮想3次元都
市空間の構築を支援するためのテクスチャ編集装置、テ
クスチャ編集システムおよび方法に関するものである。
の貼り付けでは、建物の撮影および建物写真と3次元モ
デルとの対応付け、建物写真のテクスチャ加工、3次元
モデルへのテクスチャ貼り付けの順序で作業が行われ
る。従来例としては、文献「“景観シミュレーションの
ための対話的建物形状入力”(川村和也、他、情報処理
学会第57回全国大会論文集5P-5、pp.2-181〜2-18
2)」や、文献「“都市景観用テクスチャ作成と画像処
理における作業効率の検討”(宮嶋賢、他、情報処理学
会第56回全国大会論文集3R-8、pp.2-299〜2-300)」な
どの例を挙げることができる。
応した建物の側面を複数の角度からデジタルカメラで撮
影し、写真の中から切り出す建物側面部分のエッジ(建
物の角、または縁)を指定して切り出し、建物の側面形
状に合わせた変形処理を指示することによってテクスチ
ャを整形する。テクスチャの整形においては、縦横比を
指示して画像処理市販ツール(例えばPHOTOSHOP)を用
いて変形する処理が一般的である。また、テクスチャの
3次元建物モデルへの貼り付けは、3次元モデルの編集
ツール(例えばMaya)を用い、操作員が貼り付ける面や
位置を指示して貼り付けていた。
テクスチャ貼り付け方法では、次のような問題がある。
まず、映像と3次元モデルとのマッチングに関しては、
1件づつ撮影を行う必要があるので、大きなビル群や、
広範囲にわたる大量の建物の撮影が困難である。また、
撮影した建物の映像と貼り付ける建物の3次元モデルと
の対応付けは、操作員が内容を見て判断しなくてはなら
ないので、撮影した建物の数が多いと、3次元モデルの
建物と対応付ける画像の数も増え、管理が複雑になり、
また大量の建物の3次元データに対して、対応した映像
を大量の映像データの中から探すのに手間がかかる。
の中から建物部分の画像を切り出す操作では、操作員が
映像1枚1枚について映っている建物の範囲を指示しな
ければならないので、建物と他の物体の重なりがある場
合に、重なり部分の建物側面のテクスチャは再現できな
い。
映っている建物の表面部分を抽出した後に建物の正面か
ら切り出した建物部分の画像は、斜めに傾いていたり台
形形状になっている。これを建物の面と同じ縦横比の形
状に変形するときに、操作員が、縦横比を入力して画像
編集ツールを操作しなくてはならない。このとき、3次
元モデルの面の縦横比をデータの中身を調べて取得する
作業も必要であるので、効率が悪い。
映っている部分の画像を切り出した場合に、建物の前に
木や駐車中の車両などの遮蔽物が映っているときは、画
像編集ツールを用いて遮蔽物を消し、代わりに本来遮蔽
物の後ろに見えるであろう建物の表面テクスチャと同じ
ような色またはパターンの図柄を描かなくてはならない
という面倒な作業が必要である。
くて、1枚の映像には建物が入りきらない場合には、複
数の映像から切り出した建物の画像を位置合わせを行い
ながらの試行錯誤によって貼り合わせているので、手間
がかかる。
映像から切り出した建物の画像を貼り合わせる場合に、
1枚1枚の映像に映っている建物の明るさが異なるた
め、つなぎ目で色が違って見えるという不具合が生じ
る。
元モデルの面のうち、貼り付け面以外の面に対応する面
についてはテクスチャを貼り付けることができない。ま
た、3次元モデルの件数と、撮影した映像に映っている
建物の件数が異なっている場合はテクスチャを貼り付け
ることができない。
モデルへのテクスチャの貼り付けは、3次元モデル編集
ツールを用いて操作員が面や頂点を指定して貼り付ける
といった作業が必要になり、面倒である。
の建物モデルに対応した建物のテクスチャを撮影して、
切り出し、加工し、貼り付ける場合に、上記複数の問題
点を回避するためには、例えば対応する画像を探した
り、加工したり、映像に映っている建物以外の遮蔽物を
取り除いたりといった手作業が必要である。その結果、
撮影した映像から3次元の建物モデルにテクスチャを貼
り付けるまでに時間がかかる。
3次元モデル化した建物や看板の表面にテクスチャ画像
を貼り付ける場合に、3次元モデルとテクスチャ画像を
切り出す映像とのマッチング、切り出し、加工、遮蔽物
除去など、テクスチャ画像を貼り付けるまでに行われる
一連の作業が自動的に実行でき、操作員の負担を大幅に
軽減できるテクスチャ編集装置、テクスチャ編集システ
ムおよび方法を得ることを目的とする。
に、この発明にかかるテクスチャ編集装置は、建造物の
面形状を定める3以上の頂点位置を地理上の位置と関連
付けて規定される座標系を用いて表現した3次元モデル
のデータが記憶される3次元モデル記憶手段と、入力さ
れる指定位置情報に基づき前記3次元モデル記憶手段か
ら該当する3次元モデルを選択するモデル選択手段と、
撮影した映像のファイル名、当該映像が動画像である場
合にはさらにコマ番号、当該映像の撮影位置を示す経度
と緯度と高度、および当該映像の撮像に関する情報で構
成される撮影位置情報が記憶される撮影位置情報記憶手
段と、入力される前記指定位置情報に基づき前記撮影位
置情報記憶手段から該当する撮影位置情報を選択する選
択手段とを備えたことを特徴とする。
には、建造物の面形状を定める3以上の頂点位置を地理
上の位置と関連付けて規定される座標系を用いて表現し
た3次元モデルのデータが記憶されている。また、撮影
位置情報記憶手段には、都市景観を撮影した映像のファ
イル名、当該映像が動画像である場合にはさらにコマ番
号、当該映像の撮影位置を示す経度と緯度と高度、およ
び当該映像の撮像に関する情報で構成される撮影位置情
報が記憶されている。位置情報の指定入力があると、モ
デル選択手段によって、該当する3次元モデル(ファイ
ル名)が3次元モデル記憶手段から読み出され、同時に
選択手段によって、当該3次元モデルの位置が映ってい
る映像を指定する撮影位置情報が撮影位置情報記憶手段
から読み出される。
は、上記の発明において、撮影された静止画像と動画像
の一方または双方がファイル名とともに記憶される映像
記憶手段と、前記選択手段にて選択された撮影位置情報
に基づき、前記モデル選択手段が選択した3次元モデル
の位置が映っている映像を前記映像記憶手段から選択す
る映像選択手段と、前記モデル選択手段にて選択された
3次元モデルの前記選択手段にて選択された撮影位置情
報から得られる撮影位置から見た画像を作成して当該3
次元モデルのテクスチャ貼り付け面を選択し、前記テク
スチャ貼り付け面に対応したテクスチャ画像を前記映像
選択手段にて選択された映像から切り出すテクスチャ切
り出し手段とを備えたことを特徴とする。
影された都市景観などの静止画像と動画像の一方または
双方がファイル名とともに記憶されている。映像選択手
段では、選択手段にて選択された撮影位置情報に含まれ
るファイル名に基づき、モデル選択手段が選択した3次
元モデルの位置が映っている映像が映像記憶手段から選
択される。その結果、テクスチャ切り出し手段では、モ
デル選択手段にて選択された3次元モデルがそのファイ
ル名によって3次元モデル記憶手段から読み出され、ま
た撮影位置情報から撮影位置が取り出される。次いで、
撮影位置から見た3次元モデルの画像が作成され、当該
3次元モデルのテクスチャ貼り付け面が選択され、その
テクスチャ貼り付け面に対応したテクスチャ画像が映像
選択手段にて選択された映像から切り出される。
は、上記の発明において、前記テクスチャ切り出し手段
にて切り出されたテクスチャ画像の形状を前記モデル選
択手段にて選択された3次元モデルのテクスチャ貼り付
け面の形状に合わせて変形したテクスチャ画像を生成す
るテクスチャ変形手段を備えたことを特徴とする。
は、テクスチャ切り出し手段にて切り出されたテクスチ
ャ画像の形状が、モデル選択手段にて選択された3次元
モデルのテクスチャ貼り付け面の形状に合わせて変形さ
れ、適切な形状をしたテクスチャ画像が生成される。
は、上記の発明において、前記テクスチャ画像中に映っ
ている遮蔽物を検出し、当該遮蔽物を除去する遮蔽物除
去手段を備えたことを特徴とする。
テクスチャ画像中、建造物の前に木や自動車などの遮蔽
物が映っている場合には、当該遮蔽物を除去する操作が
行われる。
は、上記の発明において、前記テクスチャ画像の複数個
を合成して前記モデル選択手段にて選択された3次元モ
デルの1つの面に貼ることのできるテクスチャ画像を生
成するテクスチャ合成手段を備えたことを特徴とする。
は、テクスチャ画像の複数個を合成し、モデル選択手段
にて選択された3次元モデルの1つの面に貼ることので
きるテクスチャ画像が生成される。
は、上記の発明において、前記テクスチャ合成手段にて
合成されたテクスチャ画像において、合成した境界部分
における色の明るさやパターンのつながりを補正するテ
クスチャ補正手段を備えたことを特徴とする。
は、上記テクスチャ合成手段にて合成されたテクスチャ
画像において、合成した境界部分における色の明るさや
パターンのつながりが目立たないように補正される。
は、上記の発明において、前記モデル選択手段にて選択
された3次元モデルのある面に対応したテクスチャ画像
から、前記3次元モデルの他の面に適したテクスチャ画
像を生成する側面テクスチャ生成手段を備えたことを特
徴とする。
段では、モデル選択手段にて選択された3次元モデルの
ある面に対応したテクスチャ画像には、他の面に対応し
た建造物の映像は映っていないが、そのようなテクスチ
ャ画像から、当該3次元モデルの他の面に適したテクス
チャ画像が生成される。
は、上記の発明において、前記モデル選択手段にて選択
された3次元モデルの個数と、前記テクスチャ画像に映
っている建造物の個数とが異なる場合に、テクスチャ画
像を3次元モデルの個数に合わせて分割または合成する
テクスチャ調整手段を備えたことを特徴とする。
は、モデル選択手段にて選択された3次元モデルの個数
と、前記テクスチャ画像に映っている建造物の個数とが
異なる場合に、テクスチャ画像を3次元モデルの個数に
合わせて分割または合成される。
は、上記の発明において、前記テクスチャ画像を、前記
モデル選択手段にて選択された3次元モデルの面に貼り
付けるテクスチャ貼り付け手段を備えたことを特徴とす
る。
段では、テクスチャ画像がモデル選択手段にて選択され
た3次元モデルの面に貼り付けられる。
ムは、撮影装置とテクスチャ編集装置とで構成されるテ
クスチャ編集システムであって、前記撮影装置は、移動
しながら周囲の映像を取得する映像取得手段と、前記映
像取得手段による撮影時の位置情報を取得する位置情報
取得手段と、前記映像と前記撮影位置情報とを前記テク
スチャ装置に送出する通信手段とを備え、前記テクスチ
ャ編集装置は、建造物の面形状を定める3以上の頂点位
置を地理上の位置と関連付けて規定される座標系を用い
て表現した3次元モデルのデータが記憶される3次元モ
デル記憶手段と、入力された指定位置情報に基づき前記
3次元モデル記憶手段から該当する3次元モデルを選択
するモデル選択手段と、前記撮影装置から送られてきた
撮影位置情報と映像とを関連付けて記憶する関連付け手
段と、入力された前記指定位置情報に基づき前記関連付
け手段にて関連付けて記憶された撮影位置情報と映像の
中から対応する撮影位置情報と映像とを選択する選択手
段とを備えたことを特徴とする。
得手段にて撮像された移動中の周囲の都市景観などの映
像が映像記憶手段に蓄積される。また、映像取得手段の
撮影時の位置情報が位置情報経取得手段によって取得さ
れ、それらが適宜な間隔で、通信手段によってテクスチ
ャ編集装置に送られる。テクスチャ編集装置では、3次
元モデル記憶手段に、建造物の面形状を定める3以上の
頂点位置を地理上の位置と関連付けて規定される座標系
を用いて表現した3次元モデルのデータが記憶されてい
る。また、撮影装置から送られてきた撮影位置情報およ
び映像が関連付け手段によって関連付けされて逐一記憶
される。そして、位置情報の指定がなされると、モデル
選択手段によって、該当する3次元モデルが3次元モデ
ル記憶手段から読み出され、同時に選択手段によって、
当該3次元モデルの位置が映っている映像および撮影位
置情報が読み出される。
ムは、上記の発明において、前記モデル選択手段にて選
択された3次元モデルの前記選択手段にて選択された撮
影位置情報から得られる撮影位置から見た画像を作成し
て当該3次元モデルのテクスチャ貼り付け面を選択し、
前記テクスチャ貼り付け面に対応したテクスチャ画像を
前記選択手段にて選択された映像から切り出すテクスチ
ャ切り出し手段を備えたことを特徴とする。
は、テクスチャ切り出し手段にて、モデル選択手段にて
選択された3次元モデルが3次元モデル記憶手段から読
み出され、また撮影位置情報から撮影位置が取り出され
る。次いで、撮影位置から見た3次元モデルの画像が作
成され、当該3次元モデルのテクスチャ貼り付け面が選
択され、そのテクスチャ貼り付け面に対応したテクスチ
ャ画像が映像選択手段にて選択された映像から切り出さ
れる。
ムは、上記の発明において、前記テクスチャ編集装置
は、前記テクスチャ切り出し手段にて切り出されたテク
スチャ画像の形状を前記モデル選択手段にて選択された
3次元モデルのテクスチャ貼り付け面の形状に合わせて
変形したテクスチャ画像を生成するテクスチャ変形手段
を備えたことを特徴とする。
は、テクスチャ変形手段には、テクスチャ切り出し手段
にて切り出されたテクスチャ画像の形状が、モデル選択
手段にて選択された3次元モデルのテクスチャ貼り付け
面の形状に合わせて変形され、適切な形状をしたテクス
チャ画像が生成される。
ムは、上記の発明において、前記テクスチャ編集装置
は、前記テクスチャ画像中に映っている遮蔽物を検出
し、当該遮蔽物を除去する遮蔽物除去手段を備えたこと
を特徴とする。
は、遮蔽物除去手段にて、テクスチャ画像中、建造物の
前に木や自動車などの遮蔽物が映っている場合には、当
該遮蔽物を除去する操作が行われる。
ムは、上記の発明において、前記テクスチャ編集装置
は、前記テクスチャ画像の複数個を合成して前記モデル
選択手段にて選択された3次元モデルの1つの面に貼る
ことのできるテクスチャ画像を生成するテクスチャ合成
手段を備えたことを特徴とする。
は、テクスチャ合成手段にて、テクスチャ画像の複数個
を合成し、モデル選択手段にて選択された3次元モデル
の1つの面に貼ることのできるテクスチャ画像が生成さ
れる。
ムは、上記の発明において、前記テクスチャ編集装置
は、前記テクスチャ合成手段にて合成されたテクスチャ
画像において、合成した境界部分における色の明るさや
パターンのつながりを補正するテクスチャ補正手段を備
えたことを特徴とする。
は、テクスチャ補正手段にて、上記テクスチャ合成手段
にて合成されたテクスチャ画像において、合成した境界
部分における色の明るさやパターンのつながりが目立た
ないように補正される。
ムは、上記の発明において、前記テクスチャ編集装置
は、前記モデル選択手段にて選択された3次元モデルの
ある面に対応したテクスチャ画像から、前記3次元モデ
ルの他の面に適したテクスチャ画像を生成する側面テク
スチャ生成手段を備えたことを特徴とする。
は、側面テクスチャ生成手段にて、モデル選択手段にて
選択された3次元モデルのある面に対応したテクスチャ
画像には、他の面に対応した建造物の映像は映っていな
いが、そのようなテクスチャ画像から、当該3次元モデ
ルの他の面に適したテクスチャ画像が生成される。
ムは、上記の発明において、前記テクスチャ編集装置
は、前記モデル選択手段にて選択された3次元モデルの
個数と、前記テクスチャ画像に映っている建造物の個数
とが異なる場合に、テクスチャ画像を3次元モデルの個
数に合わせて分割または合成するテクスチャ調整手段を
備えたことを特徴とする。
は、テクスチャ調整手段にて、モデル選択手段にて選択
された3次元モデルの個数と、前記テクスチャ画像に映
っている建造物の個数とが異なる場合に、テクスチャ画
像を3次元モデルの個数に合わせて分割または合成され
る。
ムは、上記の発明において、前記テクスチャ編集装置
は、前記テクスチャ画像を、前記モデル選択手段にて選
択された3次元モデルの面に貼り付けるテクスチャ貼り
付け手段を備えたことを特徴とする。
は、テクスチャ貼り付け手段にて、テクスチャ画像がモ
デル選択手段にて選択された3次元モデルの面に貼り付
けられる。
は、建造物の面形状を定める3以上の頂点位置を地理上
の位置と関連付けて規定される座標系を用いて表現した
3次元モデルのデータを3次元モデル記憶手段に記憶さ
せる3次元モデル記憶工程と、入力される指定位置情報
に基づき前記3次元モデル記憶手段から該当する3次元
モデルを選択するモデル選択工程と、撮影した映像のフ
ァイル名、当該映像が動画像である場合にはさらにコマ
番号、当該映像の撮影位置を示す経度と緯度と高度、お
よび当該映像の撮像に関する情報で構成される撮影位置
情報を撮影位置情報記憶手段に記憶させる工程と、入力
される前記指定位置情報に基づき前記撮影位置情報記憶
手段から該当する撮影位置情報を選択する選択工程とを
含むことを特徴とする。
には、建造物の面形状を定める3以上の頂点位置を地理
上の位置と関連付けて規定される座標系を用いて表現し
た3次元モデルのデータが記憶されている。また、撮影
位置情報記憶手段には、都市景観などを撮影した映像の
ファイル名、当該映像が動画像である場合にはさらにコ
マ番号、当該映像の撮影位置および撮像に関する情報で
構成される撮影位置情報が記憶されている。位置情報の
指定入力があると、モデル選択工程にて、該当する3次
元モデル(ファイル名)が3次元モデル記憶手段から読
み出され、同時に選択工程にて、当該3次元モデルの位
置が映っている映像を指定する撮影位置情報が撮影位置
情報記憶手段から読み出される。
は、上記の発明において、撮影された静止画像と動画像
の一方または双方がファイル名とともに映像記憶手段に
記憶させる映像記憶工程と、前記選択工程にて選択され
た撮影位置情報に基づき、前記モデル選択工程にて選択
された3次元モデルの位置が映っている映像を前記映像
記憶手段から選択する映像選択工程と、前記モデル選択
工程にて選択された3次元モデルの前記選択工程にて選
択された撮影位置情報から得られる撮影位置から見た画
像を作成して当該3次元モデルのテクスチャ貼り付け面
を選択し、前記テクスチャ貼り付け面に対応したテクス
チャ画像を前記映像選択工程にて選択された映像から切
り出すテクスチャ切り出し工程とを含むことを特徴とす
る。
影された都市景観などの静止画像と動画像の一方または
双方がファイル名とともに記憶されている。映像選択工
程では、選択工程にて選択された撮影位置情報に含まれ
るファイル名に基づき、モデル選択工程が選択した3次
元モデルの位置が映っている映像が映像記憶手段から選
択される。その結果、テクスチャ切り出し工程では、モ
デル選択工程にて選択された3次元モデルがそのファイ
ル名によって3次元モデル記憶手段から読み出され、ま
た撮影位置情報から撮影位置が取り出される。次いで、
撮影位置から見た3次元モデルの画像が作成され、当該
3次元モデルのテクスチャ貼り付け面が選択され、その
テクスチャ貼り付け面に対応したテクスチャ画像が映像
選択工程にて選択された映像から切り出される。
は、上記の発明において、前記テクスチャ切り出し工程
にて切り出されたテクスチャ画像の形状を前記モデル選
択工程にて選択された3次元モデルのテクスチャ貼り付
け面の形状に合わせて変形したテクスチャ画像を生成す
るテクスチャ変形工程を含むことを特徴とする。
は、テクスチャ切り出し手段にて切り出されたテクスチ
ャ画像の形状が、モデル選択工程にて選択された3次元
モデルのテクスチャ貼り付け面の形状に合わせて変形さ
れ、適切な形状をしたテクスチャ画像が生成される。
は、上記の発明において、前記テクスチャ画像中に映っ
ている遮蔽物を検出し、当該遮蔽物を除去する遮蔽物除
去工程を含むことを特徴とする。
テクスチャ画像中、建造物の前に木や自動車などの遮蔽
物が映っている場合には、当該遮蔽物を除去する操作が
行われる。
は、上記の発明において、前記テクスチャ画像の複数個
を合成して前記モデル選択工程にて選択された3次元モ
デルの1つの面に貼ることのできるテクスチャ画像を生
成するテクスチャ合成工程を含むことを特徴とする。
は、テクスチャ画像の複数個を合成し、モデル選択工程
にて選択された3次元モデルの1つの面に貼ることので
きるテクスチャ画像が生成される。
は、上記の発明において、前記テクスチャ合成工程にて
合成されたテクスチャ画像において、合成した境界部分
における色の明るさやパターンのつながりを補正するテ
クスチャ補正工程を含むことを特徴とする。
は、上記テクスチャ合成工程にて合成されたテクスチャ
画像において、合成した境界部分における色の明るさや
パターンのつながりが目立たないように補正される。
は、上記の発明において、前記モデル選択工程にて選択
された3次元モデルのある面に対応したテクスチャ画像
から、前記3次元モデルの他の面に適したテクスチャ画
像を生成する側面テクスチャ生成工程を含むことを特徴
とする。
程では、モデル選択工程にて選択された3次元モデルの
ある面に対応したテクスチャ画像には、他の面に対応し
た建造物の映像は映っていないが、そのようなテクスチ
ャ画像から、当該3次元モデルの他の面に適したテクス
チャ画像が生成される。
は、上記の発明において、前記モデル選択工程にて選択
された3次元モデルの個数と、前記テクスチャ画像に映
っている建造物の個数とが異なる場合に、テクスチャ画
像を3次元モデルの個数に合わせて分割または合成する
テクスチャ調整工程を含むことを特徴とする。
は、モデル選択工程にて選択された3次元モデルの個数
と、前記テクスチャ画像に映っている建造物の個数とが
異なる場合に、テクスチャ画像を3次元モデルの個数に
合わせて分割または合成される。
は、上記の発明において、前記テクスチャ画像を、前記
モデル選択工程にて選択された3次元モデルの面に貼り
付けるテクスチャ貼り付け工程を含むことを特徴とす
る。
程では、テクスチャ画像がモデル選択手段にて選択され
た3次元モデルの面に貼り付けられる。
は、撮影装置とテクスチャ編集装置とで構成されるテク
スチャ編集システムにおけるテクスチャ編集方法であっ
て、前記撮影装置は、移動しながら周囲の映像を取得す
る映像取得工程と、前記映像取得手段による撮影時の位
置情報を取得する位置情報取得工程と、前記映像と前記
撮影位置情報とを前記テクスチャ装置に通信手段を介し
て送出する送出工程とを含み、前記テクスチャ編集装置
は、建造物の面形状を定める3以上の頂点位置を地理上
の位置と関連付けて規定される座標系を用いて表現した
3次元モデルのデータを3次元モデル記憶手段に記憶さ
せる3次元モデル記憶工程と、入力された指定位置情報
に基づき前記3次元モデル記憶手段から該当する3次元
モデルを選択するモデル選択工程と、前記撮影装置から
送られてきた撮影位置情報と映像とを関連付けて記憶す
る関連付け工程と、入力された前記指定位置情報に基づ
き前記関連付け工程にて関連付けて記憶された撮影位置
情報と映像の中からと対応する撮影位置情報と映像とを
選択する選択工程とを含むことを特徴とする。
得工程にて撮像された移動中の周囲の都市景観の映像が
映像記憶手段に蓄積される。また、映像取得工程での撮
影時の経度緯度が経度緯度取得工程によって取得され、
それらが適宜な間隔で、送出工程によってテクスチャ編
集装置に送られる。テクスチャ編集装置では、3次元モ
デル記憶手段に、建造物の面形状を定める3以上の頂点
位置を地理上の位置と関連付けて規定される座標系を用
いて表現した3次元モデルのデータが記憶されている。
また、撮影装置から送られてきた撮影位置情報および映
像が関連付け工程にて関連付けされて逐一記憶される。
そして、位置情報の指定がなされると、モデル選択工程
によって、該当する3次元モデルが3次元モデル記憶手
段から読み出され、同時に選択工程によって、当該3次
元モデルの位置が映っている映像および撮影位置情報が
読み出される。
は、上記の発明において、前記テクスチャ編集装置は、
前記モデル選択工程にて選択された3次元モデルの前記
選択工程にて選択された撮影位置情報から得られる撮影
位置から見た画像を作成して当該3次元モデルのテクス
チャ貼り付け面を選択し、前記テクスチャ貼り付け面に
対応したテクスチャ画像を前記選択工程にて選択された
映像から切り出すテクスチャ切り出し工程を含むことを
特徴とする。
は、テクスチャ切り出し工程にて、モデル選択工程にて
選択された3次元モデルが3次元モデル記憶手段から読
み出され、また撮影位置情報から撮影位置が取り出され
る。次いで、撮影位置から見た3次元モデルの画像が作
成され、当該3次元モデルのテクスチャ貼り付け面が選
択され、そのテクスチャ貼り付け面に対応したテクスチ
ャ画像が選択工程にて選択された映像から切り出され
る。
は、上記の発明において、前記テクスチャ編集装置は、
前記テクスチャ切り出し工程にて切り出されたテクスチ
ャ画像の形状を前記モデル選択工程にて選択された3次
元モデルのテクスチャ貼り付け面の形状に合わせて変形
したテクスチャ画像を生成するテクスチャ変形工程を含
むことを特徴とする。
は、テクスチャ変形工程にて、テクスチャ切り出し手段
にて切り出されたテクスチャ画像の形状が、モデル選択
工程にて選択された3次元モデルのテクスチャ貼り付け
面の形状に合わせて変形され、適切な形状をしたテクス
チャ画像が生成される。
は、上記の発明において、前記テクスチャ編集装置は、
前記テクスチャ画像中に映っている遮蔽物を検出し、当
該遮蔽物を除去する遮蔽物除去工程を含むことを特徴と
する。
は、遮蔽物除去工程にて、テクスチャ画像中、建造物の
前に木や自動車などの遮蔽物が映っている場合には、当
該遮蔽物を除去する操作が行われる。
は、上記の発明において、前記テクスチャ編集装置は、
前記テクスチャ画像の複数個を合成して前記モデル選択
工程にて選択された3次元モデルの1つの面に貼ること
のできるテクスチャ画像を生成するテクスチャ合成工程
を含むことを特徴とする。
は、テクスチャ合成工程にて、テクスチャ画像の複数個
を合成し、モデル選択手段にて選択された3次元モデル
の1つの面に貼ることのできるテクスチャ画像が生成さ
れる。
は、上記の発明において、前記テクスチャ編集装置は、
前記テクスチャ合成工程にて合成されたテクスチャ画像
において、合成した境界部分における色の明るさやパタ
ーンのつながりを補正するテクスチャ補正工程を含むこ
とを特徴とする。
は、テクスチャ補正手段にて、上記テクスチャ合成手段
にて合成されたテクスチャ画像において、合成した境界
部分における色の明るさやパターンのつながりが目立た
ないように補正される。
は、上記の発明において、前記テクスチャ編集装置は、
前記モデル選択工程にて選択された3次元モデルのある
面に対応したテクスチャ画像から、前記3次元モデルの
他の面に適したテクスチャ画像を生成する側面テクスチ
ャ生成工程を含むことを特徴とする。
は、側面テクスチャ生成工程にて、モデル選択工程にて
選択された3次元モデルのある面に対応したテクスチャ
画像には、他の面に対応した建造物の映像は映っていな
いが、そのようなテクスチャ画像から、当該3次元モデ
ルの他の面に適したテクスチャ画像が生成される。
は、上記の発明において、前記テクスチャ編集装置は、
前記モデル選択工程にて選択された3次元モデルの個数
と、前記テクスチャ画像に映っている建造物の個数とが
異なる場合に、テクスチャ画像を3次元モデルの個数に
合わせて分割または合成するテクスチャ調整工程を含む
ことを特徴とする。
は、テクスチャ調整工程にて、モデル選択工程にて選択
された3次元モデルの個数と、前記テクスチャ画像に映
っている建造物の個数とが異なる場合に、テクスチャ画
像を3次元モデルの個数に合わせて分割または合成され
る。
は、上記の発明において、前記テクスチャ編集装置は、
前記テクスチャ画像を、前記モデル選択工程にて選択さ
れた3次元モデルの面に貼り付けるテクスチャ貼り付け
工程を含むことを特徴とする。
は、テクスチャ貼り付け工程にて、テクスチャ画像がモ
デル選択手段にて選択された3次元モデルの面に貼り付
けられる。
発明にかかるテクスチャ編集装置およびテクスチャ編集
方法の好適な実施の形態を詳細に説明する。
形態1であるテクスチャ編集装置の構成を示すブロック
図である。実施の形態1では、3次元モデルとテクスチ
ャ情報である映像とのマッチングを自動的に行う場合の
構成例が示されている。
次元モデル記憶部101と、モデル選択部102と、映
像記憶部103と、撮影位置情報記憶部104と、映像
選択部105と、地図記憶部106,107と、経度緯
度発生部108とを備えている。
建物、看板、門などの面を持つ構造物を3次元データで
表現した3次元モデルが経度緯度と関連付けられて記憶
されている。図2は、3次元モデルの一例である。図2
では、直方体形状の3次元モデルが示されている。図2
に示すように、3次元モデルの形状は、3つ以上の頂点
座標から構成できる面によって表現されている。3次元
モデルデータの座標原点は、予め設定した経度、緯度、
高度で定まる3次元位置である。座標系は、東西、南
北、高度のそれぞれが例えばX軸、Y軸、Z軸となるよ
うに決められている。各座標のスケールは、例えば1座
標間隔が1センチメートルに相当するとしている。3次
元モデルデータの記述形式は、例えばVRML(Virtual
Realty Modeling Language)形式である。
08から入力する経度緯度109、または外部から入力
される経度緯度110が示す地点に存在する建物や看板
などに対応する3次元モデルを3次元モデル記憶部10
1から選択し、当該選択した3次元モデルのファイル名
を出力する。
3次元モデルの正面に貼り付ける図柄であるテクスチャ
情報としての撮影された映像が記憶されている。この実
施の形態では、実在する建物や看板、街並みなどを、狭
い画角のカメラで撮影した映像(動画像、静止画像)
と、全方位レンズまたは全方位ミラーを用いて撮影した
視野角が360度または180度の映像(動画像、静止
画像)とがファイル名を付されて記憶されている。
像の一例を示している。(a)は全方位レンズを建物に
向けて撮影した画像の例、(b)は全方位レンズを真上
に向けて撮影した画像の例である。全方位レンズを用い
た撮影では、図3(a)に示すように、建物面にカメラ
を向けて撮影してもよく、図3(b)に示すように、レ
ンズを真上に向けて撮影してもよい。図3(a)の例で
は、左右方向の画角は180度となる。また、図3
(b)の例では、周囲の360度の画像が全て映ってい
るので、画角は360度となる。
部103に記憶される映像のファイル名、その映像を撮
影した位置、方向、画角などで構成される撮影位置情報
が記憶されている。図4は、撮像位置情報記憶部104
に記憶される撮像位置情報の構成および映像記憶部10
3に記憶される映像との関係を説明する図である。図4
(a)に示すように、映像記憶部103に記憶される映
像が、動画像である場合には、1つの動画像を構成する
各コマの画像が時系列に記憶されている。1つの動画像
に1つのファイル名が付され、各コマはコマ番号で識別
するようになっている。図4(a)では、「コマ番号1
5の画像」「コマ番号16の画像」「コマ番号17の画
像」が示されている。
に、映像と1対1対応で規定されている。静止画像に対
する撮像位置情報は、映像のファイル名、撮影位置東
経、撮影位置北緯、撮影位置高度、撮影方向、撮影画角
で構成される。動画像に撮像位置情報は、さらに何コマ
目のコマ画像であるかというコマ番号が追加されるよう
になっている。図4(b)では、図4(a)に示す動画
像を対象にしているので、コマ番号15〜17が追加記
録されている。また、図4(b)では、1つの撮像位置
情報に2つのファイル名が示されている。これは、撮影
位置や画角が同じであれば、一度に複数の動画ファイル
名の1コマまたは複数の静止画ファイル名を対応付けて
いてもよいことを示している。
を基準方向として、何度東方向に向けてまたは何度西方
向に向けて撮影したかという左右方向(東西方向)での
角度と、水平方向を基準方向として、何度上に向けてま
たは何度下に向けて撮影したかという上下方向(高度方
向)での角度との2つがある。撮影画角には、カメラを
向けた中心方向から左右に何度までが撮影できているか
という角度と、上下に何度までが撮影できているかとい
う角度との2つがある。また、画角と合わせて焦点距離
を記述しておいてもよい。
の例では、撮影方向が定まり、画角は180度となる。
図3(b)の例では、撮影方向は地上から上空へ鉛直方
向であるが、東西南北方向への撮影方向を示している。
したがって、図3(b)のように周囲360度が映って
いる場合は、撮影位置情報における撮影方向としては、
方向は特に決めずに、360度映っているとして、撮影
方向を記録しておく。
8から入力する経度緯度109、または外部から入力さ
れる経度緯度110に従って撮影位置情報記憶部104
を検索し、モデル選択部102で選択された3次元モデ
ルの地理上の位置が映っている映像に対する撮影位置情
報を抽出し、抽出した撮影位置情報からファイル名、ま
たは、ファイル名とコマ番号を取り出して出力する。つ
まり、対象映像が静止画像であればファイル名が出力さ
れ、動画像であればファイル名とコマ番号とが出力され
る。このとき、必要あれば撮影に関する情報も出力され
る。
て、ファイル名に従って静止画像を映像記憶部103か
ら読み出して出力し、ファイル名およびコマ番号に従っ
て動画のコマ画像を映像記憶部103から読み出して出
力することも行えるようになっている。地図記憶部10
6には、2次元地図(市販の地図データ)が記憶されて
いる。例えばベクトルデータによって地図が表現されて
いる。地図記憶部107には、市販の衛星写真またはビ
ットマップ地図が記憶されている。
作によって経度緯度109を出力する機能と自動的に経
度緯度109を出力する機能とを備えている。手動操作
によって経度緯度109を出力する場合には、一般的な
地図表示ソフトウェアが用いられる。この地図表示ソフ
トウェアは、操作員が住所や郵便番号、経度と緯度を入
力すると、該当する地点付近の地図(2次元地図、また
は衛星写真、またはビットマップ形式の地図)を表示す
る機能を有している。そして、操作員が表示された地図
上の1地点を指定すると、指定した地点の経度緯度10
9を表示するとともに、その経度緯度109をモデル選
択部102と映像選択部105とに出力する。自動的に
経度緯度109を出力する場合については後述する。
らモデル選択部102と映像選択部105とに入力する
場合があることが示されている。この外部からの経度緯
度110は、次の2つの方法で入力される。1つは、操
作員がキーボードを操作して経度緯度110を直接入力
する方法である。2つ目は、外部に存在する処理装置に
おける地図表示ソフトウェアを用いて指定地点の経度緯
度110を取得する方法である。外部から経度緯度11
0を取得する場合には、地図記憶部106,107と経
度緯度発生部108は、不要となる。この点は、以下に
示す各実施の形態において同様である。
編集装置の動作を説明する。まず、モデル選択部102
と映像選択部105に経度緯度を与える方法を説明す
る。なお、ここでは、経度緯度発生部108から経度緯
度109を与える場合について説明する。
地図表示ソフトウェアの機能を用いてテクスチャ貼り付
けを行いたい地域の地図(2次元地図、衛星写真、ビッ
トマップ地図)を表示する。操作員は、経度緯度発生部
108が表示する地図上で1地点を指定する。指定する
地点は、地図上で建物が建っている地点である。地図と
実際の街並みは、建物の建替などで異なる場合もあるの
で、地図上で建物が建っていなくても道路脇で建物が建
っていそうな場所を指定してもよい。地図として撮影し
てから日数の経っていない衛星写真を使っている場合
は、実際の街並みの状況とほぼ同じであるので、衛星写
真の中の建物位置を指示すればよい。
る。操作員は、地図上の地点を指示しなくても、自動的
に地図上の地点を選ぶように設定することができる。自
動的に地点を選ぶ場合は、地図を画面上に表示しなくて
もよい。この場合は、表示上必要とされる地図記憶部1
06,107は不要になる場合がある。自動的に地図上
の地点を選ぶ場合としては、例えば次のような場合を示
すことができる。
該地図データが予め家の存在する所の位置を含んでいる
ような地図データであれば、地図上の家が存在する地点
を順番に選択して行く設定にするとよい。また、地図デ
ータを用いない例としては、予め映像を撮影したときに
GPS衛星から取得した位置情報を経度緯度発生部10
8に与え、経度緯度発生部108においてそのGPSの
位置情報に基づき、撮影点から撮影方向に向かい実空間
のスケールで例えば10m先にある地点を自動的に選ぶ
ように設定してもよい。さらに、3次元モデル記憶部1
01には、建物などの3次元モデルが既に記録されてい
るので、経度緯度発生部108が3次元モデル記憶部1
01をアクセスして3次元モデル(建物)が存在する地
点を順番に選ぶように設定してもよい。
経度緯度109がモデル選択部102と映像選択部10
5に出力される。または、外部から経度緯度110がモ
デル選択部102と映像選択部105に入力される。
部101から大量の3次元モデルのファイルを読み込
み、経度緯度109または経度緯度110が指定した経
度と緯度上にある建物等の3次元モデルを選択する。具
体的には、モデル選択部102は、3次元モデルの座標
を実際の経度緯度へ計算して換算し、経度と緯度の外接
長方形の中に指定された経度緯度109または経度緯度
110が入っている3次元モデルを選択する。実施の形
態1では、3次元モデルが1つだけ見つかることとす
る。モデル選択部102は、選択した3次元モデルのフ
ァイル名を出力する。
は、選択したファイル名を画面表示すること、予め決め
たファイル名のテキストファイルに選択したファイル名
を書き込むこと、また、選択した3次元モデルを画面に
表示することの少なくとも1つを意味する。3つ目の実
例を挙げれば、COSMOPLAYERというソフトウ
ェアを用いて3次元モデルを表示する例がある。
例えば選択した3次元モデルが1件であっても、その周
りの複数件の3次元モデル(建物)を合わせて表示する
と、周りの3次元モデル(建物)との関係から選択した
3次元モデル(建物)が分かり易くなるので、周りの複
数件の3次元モデル(建物)を合わせて表示するように
してもよい。この場合には、指定された経度緯度109
または経度緯度110から予め設定した経度差以内で、
かつ予め設定した緯度差以内に頂点座標のある3次元モ
デル(建物)を隣接した3次元モデル(建物)として選
択する。
は表面を白い色で表示し、指定された経度緯度109ま
たは経度緯度110にある3次元モデル(建物)は表面
を青い色で表示することとする。隣接する3次元モデル
(建物)のファイル名も、隣接または近くにある3次元
モデル(建物)としてファイル名を画面表示するか、予
め決めたファイル名のテキストファイルにファイル名を
書き込むようにする。
109または経度緯度110に基づき撮影位置情報記憶
部104に記憶されている撮影位置情報を調べ、該当す
る位置が映っている映像のファイル名が記録されている
撮影位置情報を選び出し、当該映像のファイル名を出力
する。具体的には、映像選択部105では、撮影位置情
報記憶部104に記憶されている全ての撮影位置情報を
1つ1つ確認して該当する位置が映っている映像のファ
イル名を出力する。
撮影位置情報記憶部104に記憶されている各撮影位置
情報において、撮影位置の経度緯度と、指定された経度
緯度109または経度緯度110とを比較する。その差
が、予め設定した値以下の経度差または緯度差の撮影位
置情報を候補とする。
度109または経度緯度110が映っている動画像の1
場面または静止画像を検索する。図5を参照して説明す
る。図5は、映像選択部105が行う撮影範囲に入って
いることの確認動作を説明する図である。図5におい
て、X軸は経度方向であり、Y軸は緯度方向である。こ
こでは、真北をY軸の正方向としている。XY座標の原
点Gは、撮影位置でる。撮影方向Nは、原点Gから見て
Y軸からX軸の正方向に所定角度傾いた方向にある。
方向Nに向かって撮影方向直線Cを引く。撮影方向直線
Cは、原点で止まっており、反対方向に直線はないとす
る。原点Gを通り撮影方向直線Cの左右に、画角の半分
の角度βだけ傾いた補助直線H1,H2を引く。このと
き、撮影方向直線Cから時計回り方向にあるのが補助直
線H1であり、反時計回り方向にあるのが補助直線H2
であるとする。補助直線H1,H2に挟まれた範囲内に
指定された経度緯度109または経度緯度110の地点
Qがあるとき、この動画像の1場面または静止画像に指
定された経度緯度109または経度緯度110の地点Q
が映っていると判断する。図5では、地点Qは、撮影方
向直線Cと左側の補助直線H2との間に存在することが
示されている。
示すように、撮影方向が定まる画像では、上記手法を用
いる。一方、図3(b)に示すように、全方向が撮影方
向となる画像では、指定された経度緯度109または経
度緯度110は映っていると判断し、図5に示すよう
に、原点Gから指定された経度緯度109または経度緯
度110の地点Qに向けて補助直線H3を引く。そし
て、この補助直線H3が真北の方向から何度東方向に向
いているか、または西方向に向いているかという方角を
撮影範囲として撮影位置情報に追加する。図3(b)に
示すような全方位を撮影した画像の場合は、指定された
経度緯度109または経度緯度110に対応して、撮影
位置情報に含まれる撮影方向を新たに追加するようにす
る。つまり、図3(b)に示すように全方位が映ってい
るという記録と、特定の指定した地点が映っている記録
とを2重に持つこととする。
ていると判断した撮影位置情報にコマ番号が無いとき
は、動画像ではないので、静止画像を示すファイル名を
選択する。コマ番号がある場合は、動画像であるので、
動画像のファイル名と合わせてコマ番号を選択する。つ
まり、映像選択部105は、静止画像の場合には選択し
たファイル名を出力し、動画像の場合にはファイル名と
コマ番号とを出力する。
は、選択したファイル名を画面表示すること、予め決め
たファイル名のテキストファイルに選択したファイル名
を書き込むこと、また、選択した映像を画面に表示する
ことの少なくともいずれか1つを意味している。表示で
は、静止画像の場合は該当するファイル名の画像を表示
し、動画像の場合は、該当するファイル名中のコマ番号
で指定されたコマ画像を表示する。動画像の表示の場合
は、指定されたコマ画像の前後数コマを表示してもよ
い。
図上で建物のある位置またはありそうな位置を経度緯度
によって指定するだけで、その位置に実在する建物をモ
デル化した3次元モデル(ファイル名)を選択し、同時
にその建物の映っている映像(ファイル名)を選択する
ことができる。したがって、貼り付ける3次元モデル
(建物)と撮影した映像の対応付けは、操作員が内容を
見て判断しなくてもよくなる。また、大量の建物の3次
元データの中で、指定した位置にある建物の3次元デー
タを探す手間が省ける。さらに、選択した位置にある建
物の映像を大量の映像データの中から探す手間が不要に
なり、操作員の負担が大幅に軽減される。
(建物)と映像は、正確に1対1に対応しているが、入
力された経度緯度109,110の精度や3次元モデル
(建物)の位置誤差によって多少のずれが生ずる。そこ
で、操作員が必要に応じて確認等の処理が行えるように
なっている。
るとは限らないので、3次元モデルを表示したときに隣
接する3次元モデル(建物)との形状関係が解ると、選
択した3次元モデル(建物)が映像中のどの建物と対応
するかが分かり易くなる。そこで、実施の形態1では、
操作員が必要に応じて表示操作を行うときは、選択した
3次元モデル(建物)を青色で表示し、その近辺の3次
元モデル(建物)を白色で表示するようにし、3次元モ
デル(建物)の選択結果が視覚的に分かり易くなるよう
にしている。
表示できるので、本装置を用いて選択した3次元モデル
が正確でなかった場合には、近くに建っている建物が選
択する3次元モデルである場合も多いので、これを選択
できるようにしている。具体的には、操作員が、3次元
モデル(建物)と映像の双方を表示し、次のような操作
が行えるようになっている。
が青色で表示している3次元モデル(建物)と映像選択
部105が選択した映像とを見比べて、青色で表示して
いる3次元モデル(建物)の周辺にある白色で表示して
いる3次元モデル(建物)の形状と位置との相対関係か
ら、検索結果の映像を貼り付けたい3次元モデル(建
物)を変更したいと判断する場合には、3次元モデル
(建物)の表示を行っている画面において、青く表示し
ている3次元モデル(建物)ではなく、周辺に白色で表
示している3次元モデル(建物)の中から指定したい3
次元モデル(建物)をマウスで指定する。すると、操作
員が指定した3次元モデル(建物)が、恰もモデル選択
部102の選択結果であるかのように、3次元モデルの
ファイル名が出力されるようになっている。
ファイル名、テクスチャ情報である映像のファイル名)
を受ける図示しない処理装置では、画像処理ツールソフ
トウェアを用いてテクスチャ画像の切り出し、加工、貼
り付けが簡単に行えるようになる。すなわち、3次元モ
デル編集ソフトウェアを用いて、モデル選択部102の
選択した3次元モデルを3次元モデル記憶部101から
読み込み、映像選択部105が選択した映像(テクスチ
ャ情報)をそのファイル名に従って映像記憶部103か
ら読み込み、3次元モデルに貼り付けることができる。
用いて事前に映像選択部105で選択した映像からテク
スチャ画像を切り抜いたり、色を変換して加工すること
もできる。また、本装置にて上記のように自動的に選択
された映像と3次元モデルとを表示したとき、表示した
3次元モデルの形状と映像に映っている建物の形状とが
異なっている場合は、隣接する3次元モデル(建物)を
3次元モデル編集ソフトウェアで読み込んで形状を操作
員が目視確認し、最も映像に近い建物を選択し、この選
択した3次元モデル(建物)に映像から切り抜いた表面
画像であるテクスチャ画像を貼り付けることも行える。
形態2であるテクスチャ編集装置の構成を示すブロック
図である。この実施の形態2では、実施の形態1で示し
たテクスチャ編集装置の出力を受けて、自動的にテクス
チャ画像の切り出し処理を行う場合の構成例が示されて
いる。すなわち、図6に示すように、図1に示した構成
において、テクスチャ切り出し部201が設けられてい
る。映像選択部105は、選択した映像のファイル名を
含む前述した撮影位置情報をテクスチャ切り出し部20
1に出力する。その他は、図1に示した構成と同様であ
る。ここでは、実施の形態2に関わる部分を中心に説明
する。
1は、モデル選択部102が出力するファイル名によっ
て3次元モデル記憶部101から該当する3次元モデル
を読み込み、映像選択部105が出力するファイル名に
よって映像記憶部103から該当する映像(テクスチャ
情報)を読み込む。そして、モデル選択部102が選択
した3次元モデル(建物)の正面に合わせて、映像選択
部105が選択した映像から建物の表面画像であるテク
スチャ部分(テクスチャ画像)を切り出す処理を行う。
この実施の形態2では、テクスチャ切り出し部201
は、撮影位置情報を用いて画角が180度または360
度の画像からも3次元モデル(建物)のテクスチャ画像
が切り出せるようになっている。
ャ切り出し部201の動作について説明する。なお、図
7は、映像記憶部105に記憶される全方位レンズを用
いて撮影した画像の説明図である。図8は、図7に示す
ような全方位レンズを用いて撮影した画像を狭い画角の
画像に変換する方式の説明図である。図9は、図8に示
す変換を行う際に用いる極座標系の説明図である。図1
0は、撮影位置から見た3次元モデルの画像を作成する
方式の説明図である。図11は、3次元モデルの表面選
択方式の説明図である。図12は、映像から建物面を切
り出す方式の説明図である。図13は、エッジ抽出を用
いて映像から建物面を切り出す方式の説明図である。
3次元モデルおよび映像のファイル名を選択するまでの
動作は実施の形態1と同じである。実施の形態2では、
映像選択部105は、映像のファイル名を含む撮影位置
情報を出力する。前述したように、撮影位置情報には、
映像のファイル名(映像が動画像である場合には、さら
にコマ番号)の他、当該映像の撮影位置および撮影に関
する情報が記録されている。
となっている画像が全方位レンズで撮影した画像の場合
には、図7で説明するように歪みがあるので、図8で説
明する全方位レンズで撮影した画像の変換方式に従っ
て、一旦、画角が例えば90度または60度といった狭
い画角の画像に変換してから、後述するテクスチャ切り
出し処理を行う。このとき、変換した後の画像の撮影方
向および画角の情報は、当然変換した後の値を用いる。
なお、対象画像が全方位レンズで撮影した画像ではな
く、例えば画角が40度といったビデオカメラやデジタ
ルカメラで撮影した画像の場合は、画像の変換は行わな
いで、直接後述するテクスチャ切り出し処理が行われ
る。
建物に向けて撮影する場合の様子を示している。この場
合には、カメラの撮影位置203から物体204を見た
ときに、上下左右の画角が180度の範囲まで撮影で
き、図3(a)に示したような画像が得られる。
ラの撮影位置203から焦点距離(例えば8mm)20
5を半径とする半球のスクリーン206上に物体204
の像が写る。半球のスクリーン206上の像を、撮影位
置203を含み焦点距離205を半径とする円平面20
7上に射影した像208が物体204の撮影画像であ
る。円平面207上に射影した像208から理解できる
ように、建物が映っている部分は、歪んでいるので、単
純に建物のテクスチャ画像としては利用できない。
XY面に全方位レンズで撮影した画像が得られる半径r
の円平面305を設定する。原点Oは、撮影点である。
この円平面305上において、原点Oを中心として矩形
配置される点S,T,U,Vが撮影された画像の頂点位
置であるとする。円平面305からZ軸の正方向に向か
う半径rのスクリーン半球面306を設定する。このス
クリーン半球面306は、xx+yy+zz=rr,z≧0と規定さ
れる。円平面305上の点S,T,U,Vをスクリーン
半球面306に射影した点をS’,T’,U’,V’と
する。次に、撮影点Oとスクリーン半球面306上の点
S’,T’,U’,V’とを結ぶ線が、Z軸上の任意の
距離に円平面305と平行に定めたスクリーン平面30
7と交わる点をS”,T”,U”,V”とする。
点S,T,U,Vの色情報を、スクリーン平面307上
の点S”,T”,U”,V”の値とする。これによっ
て、全方位レンズで撮影した画像を、画角はある範囲で
有限であるが、物体の像を平面上に射影した画像に変換
することができる。スクリーン平面307上の点Pの位
置は、図9に示すように、角度θ、φで規定する極座標
で表現できる。したがって、点Sは、x=rsinθcos
φ、y=rsinθsinφ、z=0、と表現できる。
リーン半球面306上にある点S’の位置を求め、次い
で撮影点Oと点S’とを結ぶ線がスクリーン平面307
と交わる点S”の位置を求めることによって、点Sの色
情報を点S”にコピーすることができる。他の3点につ
いても同様である。このようにして、全方位画像のどの
点であっても画角の狭いレンズで撮影した画像に変換で
きる。このとき、新しい画像の画角は、∠S”OT”ま
たは∠T”OU”となる。この円平面305に射影した
像が全方位レンズを備えるカメラで撮影された出力画像
である。
ている方向として変換しているが、半径rの球面上どの
位置に向いた画像でも作成できる。すなわち、この場合
には、変換したい半径rの球面上の任意位置がZ軸の正
方向に向くように、図8における空間全体に回転行列を
かけてしまえば、上記の手法によって画像の変換が可能
である。
(a)に示す全方位画像は、建物を中心として、例えば
60度といった狭い画角の画像に変換できる。また、図
3(b)に示す全方位画像は、撮影地点から、特定のビ
ルの方向に向いて、例えば60度といった狭い画角の画
像に変換できる。
チャ切り出し処理について説明する。まず、図10
(a)(b)に示す手順で、選択された3次元モデルM
2を撮影位置P2から見た画像を作成する。図10にお
いて、(a)は上から見た図、(b)は作成する画像の
説明図である。
は、3次元座標における東西方向を経度、南北方向を緯
度とした2次元空間での状態が示されている。図10
(a)において、撮影位置P2から撮影画角G2の範囲
を示す補助直線H21,H22を引く。撮影位置P2か
らの撮影方向に直交する仮想スクリーンS2の線を引
く。仮想スクリーンS2の線と補助直線H21,H22
と交わる点をh’,r’とする。また、3次元モデルM
2の3頂点PA、PB、PCに対して撮影位置P2から
直線(破線となっている)を引き、仮想スクリーンS2
の線と交わる点a’,b’,c’を求める。ここで、点
h’と点a’との間隔をa1とし、点a’と点b’との
間隔をb1とし、点b’と点c’との間隔をc1とし、
点c’と点r’との間隔をd1とする。
し部201は、幅と高さ方向の画角の比に対応した縦横
比の画像枠GWを作成し、a1:b1:c1:d1=A
1:B1:C1:D1の比と同じ比になるように、画像
枠GWの左端から値A1の距離に位置PA、位置PAか
ら値B1の距離に位置PB、位置PBから値C1の距離
に位置PCの点を描く。図10(b)では、真上から見
た図(図10(a))を元に説明している。作成した画
像中で、真横から見ても同様の操作によって位置PA,
PB,PCの縦方向の座標位置を決めることができ、位
置PA,PB,PCの撮影位置から映っている3次元モ
デルM2中の位置を求めることができる。図10(a)
(b)では3点を示したが、テクスチャ切り出し部20
1は、全ての座標について画像中の位置を求め、撮影位
置P2から見た3次元モデルM2の画像を作成する。こ
の作成された画像を作成画像MG2と称することとす
る。
影位置P2から見た3次元モデルM2の作成画像MG2
のうち、面が見えている部分、すなわち正面(表面)を
図11に示す手順で選択する。図11において、経度、
緯度、高度の3軸によって表現できる3次元空間に設定
した3次元モデルM2の作成画像MG2の頂点位置に、
撮影位置P2の座標位置から直線を引く。
点位置への直線が作成画像MG2の面と交差していない
頂点A,B,C,Dによって構成できる面ABCDは、
正面(表面)であると判断する。同様に、撮影位置P2
から延ばした直線が作成画像MG2の面と交差する頂点
E,Fと交差しない頂点A,Bによって構成できる面A
DFEは正面(表面)ではないと判断する。テクスチャ
切り出し部201は、このようにして、作成画像MG2
の撮影位置P2から見える正面(表面)を構成する4頂
点を選択する。図11の例では、この4頂点がA,B,
C,Dであったことが示されている。
像MG2との関係図、(b)は映像選択部105の選択
した映像と切り出す部分画像との関係図である。図12
(a)において、作成画像MG2の頂点A,B,C,D
は、上記のようにして選択された正面を構成する頂点で
ある。テクスチャ切り出し部201は、図12(b)に
示すように、映像選択部105の選択した映像から、作
成画像MG2における頂点A,B,C,Dの位置に対応
した位置A’,B’,C’,D’の部分画像を切り出し
て出力する。
点Aを例にとれば、頂点Aの位置は、画像枠GW1の左
端から右に向かった距離rで、かつ画像枠GW1の右端
から左に向かった距離sであったとする。この場合、図
12(b)に示すように、r:s=r’:s’で、かつ
r’+s’が映像選択部105の選択した映像GW2の
横幅となるような位置r’,s’を求める。同様の位置
決めを縦方向についても行う。つまり、t:u=t’:
u’で、かつt’+u’が映像選択部105の選択した
映像GW2の縦幅となるような位置t’,u’を求め
る。
点Aに対応する映像選択部105の選択した映像GW2
の中の位置A’を求めることができる。同様に、作成画
像MG2における頂点B,C,Dに対応する映像選択部
105の選択した映像GW2の中の位置B’,C’,
D’を求めることができる。その結果、位置A’,
B’,C’,D’によって囲まれる範囲を切り出し範囲
KD2として部分画像を切り出すことができる。以上の
切り出し処理は、撮影位置や撮影方向が正確であること
を前提としている。
っても正確に映像選択部105の選択した映像の中の建
物枠部分を切り出す手順について説明する。図13にお
いて、映像選択部105の選択した映像(図13
(a))に縦方向のエッジ抽出処理(図13(b))、
横方向のエッジ抽出処理(図13(c))をかける。そ
して、縦方向エッジの抽出結果(図13(b))の縦線
と、横方向エッジの抽出結果(図13(c))の横線と
を重ねて表示したときに(図13(d))、交差してい
る点KS1および、縦エッジ、横エッジの端点が予め設
定した距離よりも近い点KS2,KS3を候補として選
ぶ。縦エッジ、横エッジの端点が近い点の場合、縦エッ
ジ、横エッジの延長上の点を候補とする。次いで、候補
点の中から、前述の図12の比率を用いた計算によって
求めた映像選択部105の選択した映像GW2の中の頂
点位置に最も近い点を選択する。
たひし形や台形といった四角形の部分画像をファイルと
して出力し、映像選択部105の選択した映像の中の頂
点位置の情報もテキストファイルとして出力する。ま
た、テクスチャ切り出し部201は、撮影位置から3次
元モデルを見たときに正面を向いている面の頂点の座標
をファイルにテキスト形式で出力する。
デルを表示し、撮影位置から3次元モデルを見たときに
正面を向いている面の色を変えて表示してもよい。ま
た、映像選択部105の選択した映像を表示し、テクス
チャ切り出し部201が求めた切り出し範囲KD2の頂
点位置を画像の上にマークで表示してもよい。このと
き、操作員がマークの位置をずらすと、ずらした後の位
置でテクスチャを切り出すことができるようにする。
動的に3次元モデルの中でテクスチャを貼り付ける面を
選択し、選択した3次元モデルの面(位置)が映ってい
る映像から3次元モデルの面に対応した部分の画像だけ
を切り出すことができる。したがって、3次元モデル
(建物)に画像から建物表面の部分画像を切り出して貼
り付けるときに、画像の中から建物部分だけを切り出す
位置の指定を操作員がしなくてもよくなる。
像、3次元モデル)を受ける図示しない処理装置では、
画像処理ツールソフトウェアを用いてテクスチャの加
工、貼り付けが簡単に行えるようになる。すなわち、3
次元モデル編集ソフトウェアを用いて、モデル選択部1
02の選択した3次元モデルを3次元モデル記憶部10
1から読み込み、それにテクスチャ切り出し部201で
切り出した画像を貼り付けることができる。このとき、
市販の画像編集ソフトウェアを用いて画像の色を変換し
たり形状を加工しておくこともできる。
の形態3であるテクスチャ編集装置の構成を示すブロッ
ク図である。この実施の形態3では、実施の形態2で示
したテクスチャ編集装置の出力を受けて、自動的にテク
スチャの加工処理(変形処理)を行う場合の構成例が示
されている。すなわち、図14に示すように、図6に示
した構成において、テクスチャ切り出し部201の出力
を受けるテクスチャ変形部301が設けられている。テ
クスチャ切り出し部201の出力は、3次元モデルの正
面を構成する頂点座標、および、映像選択部105が選
択した映像から切り出した画像(テクスチャ画像)であ
る。その他は、図6に示した構成と同様である。ここで
は、実施の形態3に関わる部分を中心に説明する。
は、テクスチャ切り出し部201の出力を受けて、3次
元モデル(建物)の正面に合わせて映像(静止画像、動
画像)から切り出した建物の表面画像であるテクスチャ
画像の縦横比を変形する処理を行う。
チャ変形部301の動作について説明する。なお、図1
5は、テクスチャ変形部301の動作説明図である。図
14において、テクスチャ変形部301は、テクスチャ
切り出し部201から入力する3次元モデルの正面を構
成する頂点座標に基づき、当該3次元モデルの正面の縦
横比を計算する。次いで、テクスチャ変形部301は、
図15に示す手順で縦横比の変形処理を行う。
01から入力された画像(映像選択部105が選択した
映像から切り出した画像)である。この切り出された画
像を画像KG3と称すれば、テクスチャ変形部301
は、この画像KG3について、縦方向の辺のうち長い方
の辺が垂直となるように画像全体に回転を加える(図1
5(b))。
加えた画像KG3を縦方向に引き伸ばして外接長方形G
S3の高さと一致させる(図15(c))。また、縦方
向に引き伸ばした画像KG3を横方向に引き伸ばして外
接長方形GS3の幅と一致させる(図15(d))。テ
クスチャ変形部301は、このようにして外接長方形G
S3と一致させた画像KG3の縦横比を3次元モデルの
正面に対応した縦横比に変換し(図15(e))、3次
元モデルの正面形状に対応した形状に合わせた画像KG
31を得る(図15(f))。得られた画像KG31
は、ファイル名が付されて出力される。
次元モデルの正面に対応して選択された映像(静止画
像、動画像)から切り出した画像を、自動的に3次元モ
デルの正面形状に合わせて変形することができるので、
画像から建物表面の部分を切り出して3次元モデル(建
物)の正面に貼り付けるときに、操作員が画像の変形を
画像編集ソフトウェアを用いて行わなくてもよくなる。
像、3次元モデル)を受ける図示しない処理装置では、
画像処理ツールソフトウェアを用いてテクスチャの貼り
付けが簡単に行えるようになる。すなわち、3次元モデ
ル編集ソフトウェアを用いて、モデル選択部102の選
択した3次元モデルを3次元モデル記憶部101から読
み込み、それにテクスチャ変形部301で変形された画
像を貼り付けることができる。このとき、市販の画像編
集ソフトウェアを用いて画像の色を変換しておくことも
できる。
の形態4であるテクスチャ編集装置の構成を示すブロッ
ク図である。この実施の形態4では、実施の形態2で示
したテクスチャ編集装置の出力を受けて、自動的にテク
スチャ画像の加工処理(遮蔽物除去処理)を行う場合の
構成例が示されている。すなわち、図16に示すよう
に、図6に示した構成において、テクスチャ切り出し部
201の出力を受ける遮蔽物除去部401が設けられて
いる。テクスチャ切り出し部201の出力は、映像選択
部105が選択した映像から切り出した画像(テクスチ
ャ画像)である。その他は、図6に示した構成と同様で
ある。ここでは、実施の形態4に関わる部分を中心に説
明する。
テクスチャ切り出し部201から入力される複数のテク
スチャ画像を用いて、それらに映っている建物の表面画
像であるテクスチャ画像の前に車や街路樹等の遮蔽物が
ある場合に、それを取り除いたテクスチャ画像を作成す
る処理を行う。
除去部401の動作について説明する。なお、図17
は、テクスチャ画像が静止画像である場合の遮蔽物除去
方式の説明図である。図18〜図20は、テクスチャ画
像が動画像である場合の遮蔽物除去方式の説明図であ
る。各図の説明では、説明の便宜から、遮蔽物除去部4
01に入力されるテクスチャ画像は、大きさが同じ長方
形であるとしている。
が静止画像である場合の遮蔽物除去動作について説明す
る。この場合には、重ね合わせによる方式が用いられ
る。図17(a)に示す3つのテクスチャ画像TE1,
TE2,TE3は、それぞれ撮影した位置が異なる静止
画像であり、例えば木のような遮蔽物411,412,
413が映っている。3つのテクスチャ画像TE1,T
E2,TE3のそれぞれにグレースケール化処理(図1
7(b))を施したテクスチャ画像TE11,TE2
1,TE31(図17(c))に対して、排他的論理和
処理(図17(d))と論理積処理(図17(e))と
を施す。これによって、テクスチャ画像TE1,TE
2,TE3それぞれの遮蔽物411,412,413の
位置が明確になる。なお、図17(d)(e)におい
て、点線部分は、消えて見えない部分を示している。
クスチャ画像TE11,TE21の排他的論理和を取っ
た画像であり、遮蔽物411,412が消えずに残って
いる。画像422は、テクスチャ画像TE21,TE3
1の排他的論理和を取った画像であり、遮蔽物412,
413が消えずに残っている。画像423は、テクスチ
ャ画像TE11,TE31の排他的論理和を取った画像
であり、遮蔽物411,413が消えずに残っている。
像421,423の論理積を取った画像であり、テクス
チャ画像TE1に映っている遮蔽物411が消えずに残
り、存在位置が明確に示されている。画像432は、画
像421,422の論理積を取った画像であり、テクス
チャ画像TE2に映っている遮蔽物412が消えずに残
り、存在位置が明確に示されている。画像433は、画
像422,423の論理積を取った画像であり、テクス
チャ画像TE3に映っている遮蔽物413が消えずに残
り、存在位置が明確に示されている。
る遮蔽物411を除去する場合、図17(f)に示すよ
うに、遮蔽物411が存在する部分の外接長方形441
の範囲を遮蔽物411があることにより建物の壁面が映
っていない無効部分442とする。そして、テクスチャ
画像TE3からテクスチャ画像TE1の無効部分442
と同じ位置の画像443を切り出して、無効部分442
に貼り付ける。このとき、テクスチャ画像TE3から切
り出す画像443が、テクスチャ画像TE3における無
効部分ではないことを確認しておく。
分442にテクスチャ画像TE3の無効でない部分の画
像443を貼り付けた画像は、建物面の遮蔽物を取り除
いたテクスチャ画像となる。他のテクスチャ画像TE
2,TE3についても、同様の手法によって遮蔽物41
2,413を除去したテクスチャ画像を得ることができ
る。遮蔽物除去部401では、以上の手法によって遮蔽
物を除去したテクスチャ画像が取得され、出力としてフ
ァイルに書き込まれる。
チャ画像が動画像である場合の遮蔽物除去動作について
説明する。図18は、コマ画像と評価位置との関係図で
ある。目的の建物が映っているテクスチャ画像(動画
像)には、連続する複数のコマ画像が映っている。ここ
では、説明の便宜から、3つのコマ画像が適宜な時間間
隔で映っている場合を説明する。
G1,CG2,CG3が、画像枠450の下辺側に時間
T1、T2、T3の順序に従って配置されている。コマ
画像CG1,CG2,CG3には、例えば車など遮蔽物
451,452,453が映っている。時間T1のコマ
画像CG1は、画像枠450の横方向中央から右端側よ
りに位置し、遮蔽物451が右端側に映っている。時間
T2のコマ画像CG2は、画像枠450の横方向中央に
位置し、遮蔽物452がほぼ中央に映っている。時間T
3のコマ画像CG3は、画像枠450の横方向中央から
左端側に位置し、遮蔽物453が左端に映っている。な
お、コマ画像CG1,CG2,CG3は、予めグレース
ケール化または2値化しておいてもよい。
画像枠450の上辺からh画素だけ下がった位置に引か
れている。画素数hは、操作員が任意に設定するか、ま
たは、予め設定されるようになっている。
の説明図である。図19(a)に示す評価画像は、図1
8において評価位置460が存在する直線上の画素を抜
き出して、時間順に並べた画像である。すなわち、図1
9(a)に示す評価画像は、「時間T1のコマ画像CG
1から切り出した部分」の画像461と、「時間T2の
コマ画像CG2から切り出した部分」の画像462と、
「時間T3のコマ画像CG3から切り出した部分」の画
像463とで構成されている。なお、抜き出す直線上の
画素数は、垂直方向は1画素であっても数画素であって
もよく、予め決めた画素数としてもよい。図19(a)
において、太い斜線465は、遮蔽物の軌跡線であり、
両側の細い斜線467,468は、コマ画像の枠軌跡線
である。
ッジ抽出処理を行うと、図19(b)に示すように、評
価画像470には、斜めの線471,472,473,
474が出てくる。これらの線は、次のようにして特定
する。このエッジ抽出結果の線として、例えば線472
に注目すると、評価画像470の上端に線472が接し
ている部分481から、1画素下にある画素を順番に辿
り、評価画像470の下端に線472が接している部分
482への直線を求めることで、線472を特定する。
このとき、途中に交点483があった場合は、直進性の
高い方向へ辿ることによって、できるだけ真っ直ぐな直
線となるようにする。今の例では、評価画像470の下
端に線472が接している部分482が直進性の高い端
点であり、評価画像470の下端に線471が接してい
る部分484は直進性の低い端点である。
できた直線L1,L2,L3,L4が示されている。直
線L1は、線471に対応している。直線L2は、線4
72に対応している。直線L3は、線473に対応して
いる。直線L4は、線474に対応している。このよう
に、直線L1,L2,L3,L4が求まると、次に、評
価画像487の横方向をX軸、縦方向をY軸としたとき
のXY平面における傾きの絶対値を求める。この絶対値
が大きいほど、その直線はカメラの近くにある物が映っ
ている画像の軌跡を示している。ここで、直線L1の傾
きの絶対値をLA1、直線L2の傾きの絶対値をLA
2、直線L3の傾きの絶対値をLA3、直線L4の傾き
の絶対値をLA4とする。
ば、図20(a)からLA1=LA4、LA2=LA
3、LA1<LA2となる。これは直線L2と直線L3
に挟まれた部分は、直線L1と直線L4に挟まれた部分
よりも手前にあることを意味している。但し、画像上の
遮蔽物が画像に映っている建物の幅よりも十分狭いこと
を条件としている。また、建物よりも遠方の物が画面内
にあまり映っていないか、評価位置の設定において、操
作員がこれらの条件を満たすように設定することを前提
としている。なお、評価画像中の遮蔽物の判断は、評価
画像を見た操作員が評価画像上で斜めに傾く縞模様を見
て傾きが大きいところが遮蔽物として判断するのでもよ
い。この場合は判断した位置を評価画面上で指示して遮
蔽物の位置を特定するとよい。
L3の間が遮蔽物であるとわかった場合、評価画像48
7を作成した手順と逆の手順で、元画像中の遮蔽物のあ
る部分を抽出できる。図19(a)の評価画像では、時
間T2のコマ画像CG2から切り出した部分において、
遮蔽物452は当該コマ画像CG2の中央付近に映って
いるので、時間T2で映っている部分は使えない。した
がって、図20(a)の評価画像487において、時間
T2のコマ画像CG2から切り出した部分に相当する水
平位置線490と直線L2,L3との交点V1、V2の
間の画像は使えない。
T2における交点V1〜V2の間の部分画像を無効な部
分とする。その後は、前述した図17における補完の処
理(図17(f))と同様の処理を行う。この場合の補
完処理では、目的の建物が映っている複数の画像(動画
の各コマ画像)における無効部分のかわりに、他のコマ
画像の同じ位置の画像を貼り付ける。同じ位置というの
は、画像枠450が同じ大きさであるとしたときの、そ
の画像枠450の中の位置である。動画像の画面枠の中
の位置ではない。補完した画像は遮蔽物除去部401の
出力としてファイルに書き込まれる。
前に、建物部分のテクスチャの切り出しを実施の形態2
におけるテクスチャ切り出し部201と同じように行っ
てもよい。また、実施の形態3で示したように、建物の
面の形状に合わせてテクスチャを変形する処理をして、
各コマから取り出したテクスチャ画像が同じ形状になる
ようにしておいてもよい。
物の表面を撮影した映像に映っている木や自動車等の遮
蔽物を自動的に除去できるので、画像から建物表面の部
分を切り出して3次元モデル(建物)の正面に貼り付け
るときに、操作員が画像編集ソフトウェアを用いて画像
中の遮蔽物を取り除く作業を行わなくてもよくなる。
像、3次元モデル)を受ける図示しない処理装置では、
画像処理ツールソフトウェアを用いてテクスチャの貼り
付けが簡単に行えるようになる。すなわち、3次元モデ
ル編集ソフトウェアを用いて、モデル選択部102の選
択した3次元モデルを3次元モデル記憶部101から読
み込み、それに遮蔽物除去部401で遮蔽物が除去され
たテクスチャ画像を貼り付けることができる。このと
き、市販の画像編集ソフトウェアを用いて画像の色を変
換しておくこともできる。
の適用例を示したが、実施の形態3のテクスチャ変形部
301の出力結果に対して遮蔽物除去操作を行うように
してもよい。
の形態5であるテクスチャ編集装置の構成を示すブロッ
ク図である。この実施の形態5では、実施の形態2で示
したテクスチャ編集装置の出力を受けて、自動的にテク
スチャ画像の加工処理(合成処理)を行う場合の構成例
が示されている。すなわち、図21に示すように、図6
に示した構成において、テクスチャ切り出し部201の
出力を受けるテクスチャ合成部501が設けられてい
る。テクスチャ切り出し部201の出力は、3次元モデ
ルの正面を構成する頂点座標、および、映像選択部10
5が選択した映像から切り出したテクスチャ画像であ
る。その他は、図6に示した構成と同様である。ここで
は、実施の形態5に関わる部分を中心に説明する。
は、映像選択部105によって選択された映像(静止画
像、動画像)の中に、1枚の映像では1件の3次元モデ
ル(建物)の表面が入りきらない映像がある場合に、複
数の映像に映っている映像を合成して1件の3次元モデ
ル(建物)の面に貼り付けるテクスチャ画像を作成する
処理を行う。
チャ合成部501の動作について説明する。なお、図2
2は、合成対象テクスチャの説明図である。図23は、
選択された3次元モデルの説明図である。図24は、合
成テクスチャ画像の説明図である。
した動作によって、建物の映っているテクスチャ画像を
検索し、図22に示すようなテクスチャ画像511,5
12の2枚を選択したとする。このテクスチャ画像51
1,512について、テクスチャ切り出し部201が切
り出しを行う場合について考える。テクスチャ画像51
1,512は、次のようなものである。
上から見た状態を示している。テクスチャ画像511
は、この建物521を撮影位置531から撮影したもの
である。建物521の横方向は、1400画素分ある
が、撮影範囲541は建物521に対し少し左側にずれ
たところにあるので、撮影範囲541には建物521の
左側から1200画素分が入っていて、残りの右側20
0画素分は入っていない。したがって、テクスチャ画像
511には、画像枠551の左端側に撮影範囲541の
ずれた分に相当する間隔を置いた位置から、画像枠55
1の右端まで建物521の左側から1200画素分の建
物が映っていて、残りの右側200画素分の建物は映っ
ていない。
2を撮影位置532から撮影したものである。建物52
2の横方向は、1400画素分あるが、撮影範囲542
は建物522に対し大きく右側にずれたところにあるの
で、撮影範囲542には建物522の左側から900画
素分は入っておらず、残りの右側500画素分が入って
いる。したがって、テクスチャ画像512には、建物5
22の左側から900画素分の建物は映っておらず、画
像枠552の左端から500画素分の領域に建物522
の右側200画素分の建物が映っており、そこから画像
枠552の右端までは映像は映っていない。
態2で説明した動作によってテクスチャ部分を切り出す
が、上記のように選択されたテクスチャ画像511,5
12の中に建物1件分のテクスチャ画像が映っていな
い。そこで、テクスチャ切り出し部201では、まず、
実施の形態2で説明したように、3次元モデル(建物)
の正面を選択し、モデル選択部102から図23に示す
ような3次元モデルの正面を構成する頂点座標A,B,
C,Dを取得する。図23において、取得した3次元モ
デルの正面の縦横比は2:7であるとする。
施の形態2で説明した手法によってテクスチャ画像51
1の中から頂点ABCDに対応する点を求める。しか
し、テクスチャ画像511では、頂点A,Bに対応した
頂点A’、B’の2点しか見つからない。頂点C、Dに
対応する点は、テクスチャ画像511の右外側の位置C
X,DXとなる。頂点A’と位置DXとを結ぶ線、頂点
B’と位置CXとを結ぶ線がテクスチャ画像511の右
端と交わる点をC”,D”とすると、A’B’C”D”
で囲まれる面が利用できる面である。これを切り出しテ
クスチャ合成部501に出力する。図22の例では、
A’D”、B’C”がそれぞれ1200画素であり、
A’B’およびC”D”が400画素である。3次元モ
デルの縦横比率が2:7である場合、横方向は1400
画素中1200画素が映っていることになる。
も全体のうちどの範囲が映っているかを求める。図22
の例では、テクスチャ画像512の右端から1400画
素分あるテクスチャのうち、500画素が映っている。
テクスチャ切り出し部201は、これを切り出しテクス
チャ合成部501に出力する。
ように、テクスチャ画像511から切り出された120
0画素×400画素の利用できる面561と、テクスチ
ャ画像512から切り出された500画素×400画素
の利用できる面562とを、貼り付ける正面の縦横比と
同じになるように合成する。なお、図24では、左右の
合成について示したが、上下の合成も全く同じである。
また、3枚以上の画像に分かれて映っている画像につい
ても同様である。正面から見た建物の画像のうち、右端
および左端の映っていない物については、撮影した位置
情報を元に撮影した映像の枠からはみ出る頂点を求めて
映っているテクスチャ部分がテクスチャ画像全体のどの
範囲かを判断することにより合成する。このように合成
されたテクスチャ画像がテクスチャ合成部501の出力
としてファイルに書き込まれる。
枚の映像には映りきらない建物画像も、複数の画像に映
っている部分部分の画像を自動的に貼り合わせて建物全
体のテクスチャ画像を合成することができるので、操作
員が画像編集ソフトウェアを用いて複数の画像に映って
いる建物部分の画像を貼り合わせなくてもよくなる。
像、3次元モデル)を受ける図示しない処理装置では、
画像処理ツールソフトウェアを用いてテクスチャ画像の
貼り付けが簡単に行えるようになる。すなわち、3次元
モデル編集ソフトウェアを用いて、モデル選択部102
の選択した3次元モデルを3次元モデル記憶部101か
ら読み込み、それにテクスチャ合成部501で合成され
たテクスチャ画像を貼り付けることができる。このと
き、市販の画像編集ソフトウェアを用いて画像の色を変
換しておくこともできる。
の適用例を示したが、実施の形態3、4に対しても同様
に適用できることはいうまでもない。
の形態6であるテクスチャ編集装置の構成を示すブロッ
ク図である。この実施の形態6では、実施の形態5で示
したテクスチャ編集装置の出力を受けて、自動的にテク
スチャ画像の加工処理(繋ぎ目の補正処理)を行う場合
の構成例が示されている。すなわち、図25に示すよう
に、図21に示した構成において、テクスチャ合成部5
01の出力を受けるテクスチャ補正部601が設けられ
ている。その他は、図21に示した構成と同様である。
ここでは、実施の形態6に関わる部分を中心に説明す
る。
は、テクスチャ合成部501にて合成された各テクスチ
ャ画像の色の違いを補正し、繋ぎ目を分かり難くする色
補正処理を行う。
チャ補正部601の動作について説明する。なお、図2
6は、テクスチャ補正部601が行う繋ぎ目を分かり難
くする色補正処理動作の説明図である。
で説明したように、複数の画像から1枚のテクスチャ画
像を合成し、貼り合わせた位置情報とともに、テクスチ
ャ補正部601に出力する(図26(a))。図26
(a)では、テクスチャ画像511(図22)から切り
出した部分画像611とテクスチャ画像512(図2
2)から切り出した部分画像612とが繋ぎ合わされ、
1つのテクスチャ画像としてテクスチャ補正部601に
入力する場合が示されている。合成されたテクスチャ画
像は、横方向の総画素数が1400画素である。そのう
ち左側の1000画素分を部分画像611が分担し、右
側の400画素分を部分画像612が分担している。
ぞれ異なる明るさになっているので、繋ぎ目で色が違っ
て見えている。そこで、テクスチャ補正部601は、ま
ず部分画像611と部分画像612の境界において、幅
5画素の矩形領域621,622を切り出し(図26
(b))、切り出した矩形領域621,622の画素を
グレースケール化し(図26(c))、各画素には明暗
の情報だけがあるようにする。このとき、1画素の値
は、0〜255の値をもつとし、値「0」が黒で、値
「255」が白となり、明るさを示すこととする。
した矩形領域621,622の中の画素の値の平均を求
める(図26(d))。図26の例では、部分画像61
1の平均値は130で、部分画像612の平均値は10
0であったとする。異なっているので、合成した境目部
分で、明るさが異なっていることを示す。そこで、明る
さが同じようになるように補正を行う。
るさの低い部分画像612の各画素の値を130/10
0=1.3倍し、四捨五入した値を入れる(図26
(e))。但し、255を超えた場合は255とする。
このとき、元の画像がカラーであった場合は、各画素の
各色の色要素の値を1.3倍することとする。
更していない部分画像611と、部分画像612の各画
素の値を1.3倍した部分画像632とを繋ぎ合わせて
合成する(図26(f))。合成した画像641は、補
正済みのテクスチャ画像としてファイルに書き込まれ
る。
数の映像を繋ぎ合わせて建物全体のテクスチャ画像を合
成したその合成境界での色の違いを自動的に修正するこ
とができるので、操作員が画像編集ソフトウェアを用い
てテクスチャ画像の合成部分の色補正を行わなくてもよ
くなる。なお、色の相違を補正する場合を説明したが、
パターンの相違を目立たなくする補正も行えるようにな
っている。
像、3次元モデル)を受ける図示しない処理装置では、
画像処理ツールソフトウェアを用いてテクスチャ画像の
貼り付けが簡単に行えるようになる。すなわち、3次元
モデル編集ソフトウェアを用いて、モデル選択部102
の選択した3次元モデルを3次元モデル記憶部101か
ら読み込み、それにテクスチャ補正部601で補正され
たテクスチャ画像を貼り付けることができる。
の形態7であるテクスチャ編集装置の構成を示すブロッ
ク図である。この実施の形態7では、実施の形態2で示
したテクスチャ編集装置の出力を受けて、自動的にテク
スチャ画像の加工処理(見えない部分に貼り付けるテク
スチャ画像の生成処理)を行う場合の構成例が示されて
いる。すなわち、図27に示すように、図6に示した構
成において、テクスチャ切り出し部201の出力を受け
る側面テクスチャ生成部701が設けられている。その
他は、図6に示した構成と同様である。ここでは、実施
の形態7に関わる部分を中心に説明する。
01は、テクスチャ切り出し部201から入力されるテ
クスチャ画像が貼り付けられる3次元モデル(建物)の
テクスチャ貼り付け面以外の面に貼り付けるテクスチャ
画像を、テクスチャ切り出し部201から入力されるテ
クスチャ画像に基づき作成する処理を行う。
クスチャ生成部701の動作について説明する。なお、
図28は、側面テクスチャ生成部701が行う見えない
部分のテクスチャ画像を生成する動作の説明図である。
つの側面を持つ直方体形状をしている場合が示されてい
る。この3次元モデルは、4つの側面として、正面71
1と右側面712と背面713と左側面714と備えて
いる。正面711がテクスチャ貼り付け対象面であり、
他の3側面はテクスチャ貼り付け対象面になっていない
とする。
チャ切り出し部201は、テクスチャを貼り付けるべき
3次元モデルのファイル名と、テクスチャ画像を貼り付
ける正面711の頂点座標とが分かっていて、正面71
1に貼り付けるテクスチャ画像を切り出して出力する。
正面711に貼り付けるテクスチャ画像をテクスチャ画
像TG1とすれば、このテクスチャ画像TG1には、3
次元モデルの右側面712や背面713、左側面714
に対応する映像は映っていない。
テクスチャ画像TG1から右側面712や背面713、
左側面714に貼り付けるテクスチャ画像を次のように
して生成する。側面テクスチャ生成部701は、まず、
テクスチャ画像TG1で使用されている色の種類を調
べ、一番多く使っている色C1、2番めに使っている色
C2などと特定する。多くの色を使っている場合は、近
い色を選ばないように、ある程度近い色は候補に選ばな
いようにする。色の選択は、各画素の各色成分を示す数
値によって判断する。
側面712、背面713、左側面714の各頂点座標を
取得し、取得した頂点座標から右側面712、背面71
3、左側面714それぞれの縦横比を求める。次いで、
右側面712、背面713、左側面714の縦横比に合
った白色のテクスチャ画像TG2,TG3,TG4をそ
れぞれ作成し、これらの画像の色を一番多く使っている
色C1にする。次いで、これらの画像の中に、2番めに
使っている色C2の色線をランダムに入れる。色線の幅
は例えば全体の1/8以下、本数は縦3本以下、横5本
以下というように制限を加えておいてもよい。
して作成したテクスチャ画像TG2,TG3,TG4を
右側面712用、背面713用、左側面714用のテク
スチャ画像として、右側面712、背面713、左側面
714の座標とともにファイルに出力する。
面テクスチャ生成部701は、入力されたテクスチャ画
像には映っていない3次元モデル(建物)の側面や裏面
用のテクスチャ画像を生成することができる。その結
果、本装置の出力(テクスチャ画像、3次元モデル)を
受ける図示しない処理装置では、画像処理ツールソフト
ウェアを用いてテクスチャ画像の貼り付けが簡単に行え
るようになる。すなわち、3次元モデル編集ソフトウェ
アを用いて、モデル選択部102の選択した3次元モデ
ルを3次元モデル記憶部101から読み込み、入力され
るテクスチャ画像を貼り付ける3次元モデルのテクスチ
ャ貼り付け面以外の面に、側面テクスチャ生成部701
で作成されたテクスチャ画像を貼り付けることができ
る。
の適用例を示したが、実施の形態3〜6に対しても同様
に適用できることはいうまでもない。
の形態8であるテクスチャ編集装置の構成を示すブロッ
ク図である。この実施の形態8では、実施の形態2で示
したテクスチャ編集装置の出力を受けて、自動的にテク
スチャ画像の加工処理(テクスチャ画像の合成、分割)
を行う場合の構成例が示されている。すなわち、図29
に示すように、図6に示した構成において、テクスチャ
切り出し部201の出力を受けるテクスチャ調整部80
1が設けられている。その他は、図6に示した構成と同
様である。ここでは、実施の形態8に関わる部分を中心
に説明する。
択操作で選択された3次元モデル(建物)と映像とは、
1対1に対応しそのまま使用できる場合を説明したが、
画像枠の大小関係から、3次元モデル(建物)の選択操
作を複数回行う必要が生ずる場合がある。そこで、この
実施の形態8では、テクスチャ切り出し部201は、選
択された3次元モデル(建物)の件数が1で、選択され
た映像に映っている建物の件数が複数となる場合と、選
択された3次元モデル(建物)の件数が複数で、選択さ
れた映像に映っている建物の件数が1となる場合とのそ
れぞれにおいて、対応する3次元モデル(建物)と映像
とをテクスチャ調整部801に与える。テクスチャ調整
部801は、選択された3次元モデル(建物)の件数と
選択された映像に映っている建物の件数とが異なるとき
に、映像に映っている建物のテクスチャ画像を合成する
か、分離することによって3次元モデル(建物)に適し
たテクスチャ画像を作成する処理を行うようにしてい
る。
チャ切り出し部201とテクスチャ調整部801の動作
について説明する。なお、図30は、選択された3次元
モデル(建物)の件数が1で、選択された映像に映って
いる建物の件数が複数となる場合のテクスチャ切り出し
部の動作説明図である。図31は、選択された3次元モ
デル(建物)の件数が複数で、選択された映像に映って
いる建物の件数が1となる場合のテクスチャ切り出し部
の動作説明図である。図32は、テクスチャ調整部80
1が合成テクスチャ画像を作成する場合の説明図であ
る。図33は、テクスチャ調整部801が分割テクスチ
ャ画像を作成する場合の座標値取得説明図である。図3
4は、テクスチャ調整部801が分割テクスチャ画像を
作成する場合の説明図である。
れた3次元モデル(建物)の件数と選択された映像に映
っている建物の件数とが異なる場合のテクスチャ切り出
し部201の動作について説明する。図30において、
選択された3次元モデル(建物)の件数が1で、選択さ
れた映像に映っている建物の件数が複数となるケース
は、選択された3次元モデル(建物)の画像枠が選択さ
れた映像のそれよりも大きい場合に起こる。
M5は、テクスチャ切り出し部201が図10,図11
で説明した手順で選択された3次元モデル(建物)であ
り、候補点A”,B”,C”,D”が求められた場合を
示している。また、テクスチャ切り出し部201は、映
像選択部105が選択した映像に対して図12,図13
で説明した処理を3次元モデル(建物)M5の画像枠の
範囲内において実行し、求めた縦エッジと横エッジの交
差点または近くにある頂点を候補点として求め、求めた
画像の候補点と3次元モデル(建物)の候補点とを重ね
る。このとき、それぞれの4つの候補点が重なり閉ルー
プを形成すれば、3次元モデル(建物)と映像が1対1
に対応している。その後は、実施の形態2で説明した処
理が行われる。
像選択部105が選択した映像から候補点K1,K2,
K3,K4を持つ画像TE5と、候補点K5,K6,K
7,K8を持つ画像TE6と抽出できる場合、候補点
A”は候補点K1と重なり、候補点B”は候補点K2と
重なり、候補点C”は候補点K7と重なり、候補点D”
は候補点K8と重なるが、候補点K1,K2,K7,K
8は閉ループを形成しない。しかも、3次元モデル(建
物)M5の4候補点による閉ループには、映像の複数の
閉ループが接している。図示例では、K1−K2−K3
−K4の閉ループとK5−K6−K7−K8の閉ループ
とが接している。
01は、映像選択部105が選択した映像から抽出でき
た複数の閉ループ部分の画像をそれぞれ切り出す。図示
例では、K1−K2−K3−K4の閉ループ部分の画像
TE5と、K5−K6−K7−K8の閉ループ部分の画
像TE6とを切り出し、候補点A”,B”,C”,D”
を持つ3次元モデル(建物)M5とともに、テクスチャ
調整部801に出力する。このように、テクスチャ調整
部801には、1つの3次元モデル(建物)に対して複
数の建物が映っている映像が入力される。
モデル(建物)の件数が複数で、選択された映像に映っ
ている建物の件数が1となるケースは、選択された映像
の画像枠が選択された3次元モデル(建物)のそれより
も大きい場合に起こる。図31(a)に示す3次元モデ
ル(建物)M6は、テクスチャ切り出し部201にて図
10,図11で説明した手順で選択された3次元モデル
(建物)であり、候補点A”,B”,C”,D”が求め
られた場合を示している。図30(b)に示す画像TE
7は、テクスチャ切り出し部201が映像選択部105
の選択した映像に対して図12,図13で説明した処理
を実行し、求めた縦エッジと横エッジの交差点または近
くにある頂点を候補点として求め、切り出された画像で
ある。
2,K3,K4を持つが、横幅が3次元モデル(建物)
M5よりも大きいものである場合、切り出した画像TE
7の候補点と3次元モデル(建物)M6の候補点とを重
ねると、図31(c)に示すように、画像TE7では、
候補点K1は候補点A”と重なり、候補点K2は候補点
B”と重なるが、候補点K3,K4は重なる対象がな
い。
1は、モデル選択部102に対して読み出しの指示を出
し、取得した1件1件の新たな3次元モデル(建物)に
対し、図10,図11で説明したように、映像と同じ視
点で見た画像を作成し、候補点を重ねる操作を繰り返
す。その結果、図31(d)に示すように、画像TE7
の候補点K3,K4と重なる候補点G”,H”を持つ3
次元モデル(建物)M7が得られる。3次元モデル(建
物)M7は、候補点E”,F”,G”,H”を持ってい
る。このように、選択された1つの映像に対し複数の3
次元モデル(建物)が選択され、テクスチャ調整部80
1に出力される。図31では、選択された1つの映像T
E7に対し、2つの3次元モデル(建物)M6,M7が
選択された場合が示されている。
スチャ切り出し部201から図30で説明した関係を持
つ3次元モデル(建物)と映像が与えられた場合には、
次のようにして合成テクスチャ画像を作成する。図32
において、(a)は、モデル選択部102にて選択され
た3次元モデル(建物)の貼り付け面の形状を示してい
る。このように、選択された3次元モデル(建物)は1
件である。これに対し、(b)は、テクスチャ切り出し
部201にて該当する位置にあるとして選択された映像
を示し、切り出した建物範囲(画像枠)811内に2件
の建物821,822が映っている。
ャ切り出し部201は、撮影位置から見た3次元モデル
(建物)の画像を判断し、図11で説明したように表が
映っている面を特定し、図12で説明したように建物部
分を切り出す。図32(b)は、このようにして切り出
されたテクスチャ画像である。テクスチャ調整部801
は、図32(c)に示すように、切り出されたテクスチ
ャ画像にエッジ抽出処理をかけ、エッジの端点、または
エッジの端点の延長線が交差する点831、エッジの交
点のうちで、切り出した画像の四隅に一番近い各点を結
んだ4点A,B,C、Dによってできる四角形ABCD
の範囲でテクスチャ画像を切り出す。つまり、2件の建
物821,822の映像を合成して1つのテクスチャ画
像とする。
の範囲811に建物が入りきっていないことを考慮し
て、切り出した画像よりも予め決められた画素数だけ上
下左右に大きい画像を元の映像から切り出し、これに対
して同様の切り出し処理を行ってもよい。このように切
り出された画像は、2件の映像が映っているが、1件の
3次元モデルに貼るためのテクスチャ画像として保存す
る。
スチャ切り出し部201から図31で説明した関係を持
つ3次元モデル(建物)と映像が与えられた場合には、
次のようにして分割テクスチャ画像を作成する。テクス
チャ調整部801は、モデル選択部102にて選択され
た3次元モデル(建物)が2件ある場合には、図10で
説明したような手順で、2件の3次元モデルの撮影位置
から見た画像を作成し(図33,図34)、それぞれの
画像におけるテクスチャ貼り付け面を特定し、テクスチ
ャ切り出し部201にて切り出された1件の建物が映っ
ている画像をテクスチャ画像として割り当てることを行
う(図34)。
れた3次元モデルM2,M3の撮影位置P2から見た状
態を上から見た図である。図10(a)と同様に、3次
元モデルM2,M3は、3次元座標における東西方向を
経度、南北方向を緯度とした2次元空間での状態が示さ
れている。(a)は、撮影位置P2から見た3次元モデ
ルM2,M3の頂点座標値を取得する説明図である。
(b)は、撮影位置P2から見た3次元モデルM2,M
3の間隔位置座標を取得する説明図である。
2から撮影画角G2の範囲を示す補助直線H21,H2
2を引く。撮影位置P2からの撮影方向に直交する仮想
スクリーンS2の線を引く。仮想スクリーンS2の線と
補助直線H21,H22と交わる点をh’,r’とす
る。
ルM2では、右側の3次元モデルM3と反対側にある頂
点PAが撮影位置P2から見えている。撮影位置P2か
ら頂点PAに線(破線となっている)を引き仮想スクリ
ーンS2の線と交わる点a’を求める。右側の3次元モ
デルM3では、左側の3次元モデルM2と反対側にある
頂点PB,PCが撮影位置P2から見えている。撮影位
置P2から頂点PB,PCに線(破線となっている)を
引き、仮想スクリーンS2の線と交わる点b’,c’を
求める。ここで、点h’と点a’との間隔をa2とし、
点a’と点b’との間隔をb2とし、点b’と点c’と
の間隔をc2とし、点c’と点r’との間隔をd2とす
る。
ルM2と右側の3次元モデルM3とが対面する所では、
3次元モデルM2の頂点PEと3次元モデルM3の頂点
PFとが、撮影位置P2から見えている。撮影位置P2
から頂点PE,PFに線(破線となっている)を引き、
仮想スクリーンS2の線と交わる点e’,f’を求め
る。ここで、点h’と点e’の間隔をeとし、点e’と
点f’の間隔をfとし、点f’と点r’の間隔をgとす
る。
801は、幅と高さ方向の画角の比に対応した縦横比の
画像枠GWを作成し、a2:b2:c2:d2=A2:
B2:C2:D2の比と同じ比になるように、画像枠G
Wの左端から値Aの距離に位置PA、位置PAから値B
の距離に位置PB、位置PBから値Cの距離に位置PC
を描く。また、e:f:g=E:F:Gの比と同じ比に
なるように、画像枠GWの左端からEの距離に位置P
E、位置PEからFの距離に位置PFを描く。位置PF
からGの距離にある位置は画像枠GWの右端となってい
る。このように、2件の3次元モデルM2,M3につい
て、上から見た3次元モデルM2の頂点PA,PE、3
次元モデルM3の頂点PF,PB,PC、および、3次
元モデルM2,M3の間隔EFを求め、撮影位置P2か
ら見た2件の3次元モデルM2,M3の画像を作成す
る。これを作成画像GM2,GM3と称することとす
る。
ている面を特定する。この時点で、2つの3次元モデル
M2、M3の正面が候補になっているとする。また、図
12で説明したように建物部分を切り出すと、切り出し
た映像には1件分の建物が映っているとする。実施の形
態2では、作成画像GM2の1つの面を候補とし、図1
1における面ABCDを正面とした。実施の形態8で
は、図34に示す作成画像GM2,GM3のうち、作成
画像GM2の面PA−P0−PE−P1、作成画像GM
3面P3−PF−P4−PBをそれぞれ正面と判断す
る。これらの面をここでは面SM2、面SM3とする。
影位置から見た3次元モデルの候補が2つあった場合、
テクスチャ切り出し部201が行ったように(図12、
図13)、面SM2、面SM3に対応したテクスチャ画
像を映像選択部105が選択した映像の中からそれぞれ
切り出す。このとき、映像選択部105が選択した映像
からエッジ抽出した結果の画像において、面SM2、面
SM3の四隅の位置に対応したエッジの端点やエッジの
交点が見つからなかった場合、図12(a)で説明した
正面を向いている面の範囲を、面SM2、面SM3を含
んで外接する長方形とし、面SM2、面SM3を合わせ
た範囲において図12、図13で説明した手順を実行し
て映像からテクスチャ画像を切り出す。
SM2、面SM3の両方の建物の面を合わせた範囲のテ
クスチャ画像であり、改めてこのテクスチャ画像の面を
面SM4とする。次に、面SM4を次のようにして分割
する。すなわち、面SM2、面SM3の幅の比率が2:
3であり、面SM2と面SM3の間隔が面SM2の幅の
半分であるとする。また、面SM2、面SM3は正面か
ら向かって左側が面SM2であったとする。ここでは、
面SM2の幅:面SM2と面SM3の間隔:面SM3の
幅=2:1:3となっている。そこで、面SM4を正面
から見て左から1/3の範囲の画像を面SM2に貼るた
めのテクスチャ画像とし、右から半分の範囲の画像を面
SM3に貼るためのテクスチャ画像として出力する。
出した後にこれを分割する場合を説明したが、テクスチ
ャ調整部801では、面SM2と面SM3に対応した複
数のテクスチャ画像を切り出すようにしてもよい。
クスチャ調整部801は、実際の現場を撮影した映像に
映っている建物の件数と、同じ場所にある3次元モデル
(建物)の件数が異なっていても、適切なテクスチャ画
像を切り出すことができる。その結果、本装置の出力
(テクスチャ画像、3次元モデル)を受ける図示しない
処理装置では、画像処理ツールソフトウェアを用いてテ
クスチャ画像の貼り付けが簡単に行えるようになる。す
なわち、3次元モデル編集ソフトウェアを用いて、モデ
ル選択部102の選択した複数の3次元モデルを3次元
モデル記憶部101から読み込み、それにテクスチャ調
整部801で分割したそれぞれのテクスチャ画像を貼り
付ける。また、3次元モデル編集ソフトウェアを用い
て、モデル選択部102の選択した3次元モデルを読み
込み、テクスチャ調整部801で合成した2件以上の建
物のテクスチャ画像を貼り付けることが行えるようにな
る。
の適用例を示したが、実施の形態3〜7に対しても同様
に適用できることはいうまでもない。
の形態9であるテクスチャ編集装置の構成を示すブロッ
ク図である。この実施の形態9では、実施の形態2で示
したテクスチャ編集装置の出力を受けて、自動的にテク
スチャ画像の貼り付け処理を行う場合の構成例が示され
ている。すなわち、図35に示すように、図6に示した
構成において、テクスチャ切り出し部201の出力を受
けるテクスチャ貼り付け部901が設けられている。そ
の他は、図6に示した構成と同様である。ここでは、実
施の形態9に関わる部分を中心に説明する。
01は、テクスチャ切り出し部201にて切り出された
テクスチャ画像を3次元モデル(建物)の正面に貼り付
ける処理を行う。
チャ貼り付け部901およびテクスチャ切り出し部20
1の動作について説明する。なお、図36は、テクスチ
ャ切り出し部201がテクスチャ貼り付け面として曲面
を有する3次元モデルの撮影位置から見た画像を作成す
る動作の説明図である。図37は、作成した3次元モデ
ルの表面(テクスチャ貼り付け曲面)を選択する動作の
説明図である。
択部102は、3次元モデル(建物)を出力し、テクス
チャ切り出し部201は、映像からテクスチャ画像を切
り出す。テクスチャ貼り付け部901には、選択された
3次元モデルと、それに貼り付けるとして切り出された
テクスチャ画像と、そのテクスチャ画像を貼り付ける3
次元モデルの貼り付け面を規定する頂点座標値とが入力
される。
デルがVRML形式で記述されている場合には、貼り付
け面の頂点座標がわかれば、VRMLのデータ内容にテ
クスチャ貼り付け記述を加えるだけで貼り付け処理が実
行できる。具体的には、アジソン・ウェスレイ・パブリ
ッシャーズ・ジャパン株式会社発行の「VRML2.0
ハンドブック」の194頁に記載された方法を用いて実
現することができる。すなわち、上記ハンドブックによ
れば、texture Image Texture 文によりテクスチャ画像
を指定し、テクスチャ貼り付け面を表現しているgeomet
ry Index FaceSet文の面に対して、texCoord Coordinat
e文によって指定した範囲にテクスチャ画像を貼ること
ができる。
は、3次元モデルがVRML形式で記述されている場合
には、指定した頂点座標により構成された表面に指定す
るテクスチャ画像を貼り付けることができる。また、テ
クスチャ貼り付け部901は、VRML形式であれば、
テクスチャ面が平面でない場合でも、テクスチャ面の境
界を示す頂点を一筆書きの要領で指定することにより、
テクスチャ貼り付け面の形状を指定することや、そのテ
クスチャ貼り付け面へのテクスチャ画像の貼り付けを指
定することも可能である。
切り出し部201は、貼り付け面として、平坦な矩形範
囲を選択しているように説明したが、元々、貼り付け面
が曲面である場合でも、対応するテクスチャ画像が切り
出せるようになっている。これによって、テクスチャ貼
り付け部901は、上記したようにして、曲面にテクス
チャ画像の貼り付けが行えるようになる。
して、テクスチャ切り出し部201が、曲面に貼り付け
るテクスチャ画像の切り出しを行う動作について説明す
る。映像選択部105は、選択した映像のファイル名を
含む撮影位置情報(図4(b))を撮影位置情報記憶部
104から読み出してテクスチャ切り出し部201に出
力する。
態2で説明した手順で、3次元モデルの撮影位置から見
た画像を作成し、テクスチャ貼り付け面である正面(表
面)を特定し、次いで、特定した面が曲面である場合に
はその曲面を微細な矩形状平面で表現することを行う
(図36、図37)。
3次元座標における東西方向を経度、南北方向を緯度と
した2次元空間での状態が示されている。この3次元モ
デルM4の撮影位置P2から見た面(テクスチャ貼り付
け面)は曲面形状をしている。図36(a)において、
撮影位置P2から撮影画角G2の範囲を示す補助直線H
21,H22を引く。撮影位置P2からの撮影方向に直
交する仮想スクリーンS2の線を引く。仮想スクリーン
S2の線と補助直線H21,H22と交わる点をh’,
r’とする。また3次元モデルM4の3頂点PA,P
B,PCに対して撮影位置P2から直線(破線となって
いる)を引き、仮想スクリーンS2の線と交わる点
a’,b’,c’を求める。ここで、点h’と点a’の
間隔をa3とし、点a’と点b’の間隔をb3とし、点
b’と点c’の間隔をc3とし、点c’と点r’の間隔
をd3とする。なお、頂点PAと頂点PBの間の曲面
は、図36(b)に示すように、複数の縦に長い矩形状
平面によって表現できていることとする。
方向の画角の比に対応した縦横比の画像枠GWを作成
し、a3:b3:c3:d3=A3:B3:C3:D3
の比と同じ比になるように画像枠GWの左端から値A3
の距離に位置PA、位置PAから値B3の距離にPB、
位置PBから値C3の距離に位置PCの点を描く。この
とき、位置PAと位置PBの間にある縦長の矩形領域の
頂点は処理の対象としない。つまり、テクスチャ切り出
し部201は、3次元モデルM4の頂点間の座標の距離
を計算し、例えば位置PAから右側に向いた一定距離以
内に位置PEなる頂点があるが、位置PEと反対方向の
左側に向いた一定距離以内に頂点がないという点だけを
処理の対象とする。さらに具体的にいえば、図36
(b)において、位置PEでは、一定距離以内に位置P
Aと位置PFがあるが、位置PEから見て位置PAと反
対方向から予め定めた角度以内の角度の方向に位置PF
があるような位置PEは処理対象としない。
6(a))を元に説明している。作成した画像中で、真
横から見ても同様の操作により位置PA,PB,PCの
縦方向の座標位置を決めることができ、位置PA,P
B,PCの撮影位置から映っている画像中の位置を求め
ることができる。図36(a)(b)では3点を示した
が、テクスチャ切り出し部201は、処理対象とする座
標について画像中の位置を求め、撮影位置P2から見た
3次元モデルM4の画像を作成する。この画像を作成画
像MG4と称することとする。
影位置P2から見た3次元モデルM4の作成画像MG4
のうち、面が見えている部分を図37に示す手順で選択
する。図37おいて、経度、緯度、高度の3軸によって
表現できる3次元空間に設定した3次元モデルM4の作
成画像MG4の頂点に、撮影位置P2の座標位置から直
線を引く。図37に示すように、撮影位置P2から各頂
点への直線が作成画像MG4の面と交差していない頂点
A,B,C,Dによって構成できる面ABCDは、正面
(表面)であると判断する。同様に、撮影位置P2から
延ばした直線が作成画像MG4の面と交差する頂点E,
Fによって構成できる面ADFEは正面(表面)ではな
いと判断する。なお、この時点においても、図36
(b)に示す位置PA、位置PBに対応する図37にお
ける頂点A、頂点Bの間にある曲面を表現するための複
数の矩形領域を構成する頂点は処理対象としない。
にして、作成画像MG4の中に撮影位置P2から見える
正面(表面)にある面を構成する4頂点を選択する。図
37の例では、この4頂点がA,B,C,Dであったこ
とが示されている。テクスチャ切り出し部201は、実
施の形態2で説明した手順によって、切り出したひし形
や台形といった四角形の部分画像をファイルとして出力
し、映像選択部105の選択した映像の中の頂点位置の
情報もテキストファイルとして出力する。また、テクス
チャ切り出し部201は、撮影位置P2から3次元モデ
ルM4を見たときに正面を向いている面の頂点座標をフ
ァイルにテキスト形式で出力する。
合について説明する。テクスチャ切り出し部201は、
図37に示す作成画像MG4において、線AB、線B
C、線CD、線DAに含まれる頂点を全て読み出し、夫
々の線を構成する頂点を求める。これを図36(b)を
参照して説明する。図36(b)において、テクスチャ
切り出し部201が選択した面が面PA−PB−PK−
PJであったとする。線PA−PBの間には、縦長の矩
形状領域の頂点が複数ある。
位置PAから位置PBを向いて上下左右に予め定めた角
度以内で、かつ位置PBよりも近い位置であり、位置P
Bから位置PAを向いて上下左右に予め定めた角度以内
で、かつ位置PAよりも近い位置であることを調べるこ
とによって行われる。
F、その他の位置が存在する。同様に、線PB−PK、
線PJ−PA、線PK−PJについても頂点を求める。
これらの頂点だけで作成画像MG4の正面を構成する頂
点であるものを選択する。例えば面PE−PF−PH−
PGである。このように、テクスチャ貼り付け面が複数
の面で構成される場合は、テクスチャ切り出し部201
は、全ての面とその周囲の頂点の座標を出力する。
では、前述したVRMLのテクスチャ貼り付けの手法を
用いて、モデル選択部102の選択した3次元モデルの
表面に、その面が平面であるか曲面であるかを問わず、
テクスチャ切り出し部201が映像から切り出した建物
のテクスチャ画像を貼り付けることができる。
えば、地図を表示した画面上の建物の位置を操作員が指
示すると、地図に対応する実際の現場を撮影した映像に
映っている建物のテクスチャ画像が自動的に切り出さ
れ、切り出された建物のテクスチャ画像がその建物を予
めモデル化してある3次元モデルの表面に自動的に貼り
付くようにすることができる。
生部108において、操作員が地図上の建物のある場所
を指示する動作をしないで済むようにすることができ
る。すなわち、例えば、経度緯度発生部108におい
て、建物や看板などの3次元モデルデータを3次元モデ
ル記憶部101から順番に読み込む。そして、1つの3
次元モデルデータを読み込む毎にその3次元モデルデー
タの座標から、3次元モデルデータがモデル化している
経度と緯度を求め、その経度緯度109を経度緯度発生
部108の出力としてモデル選択部102と、映像選択
部105とに伝えるようにする。
地図を表示しなくてもよく、地図を表示する場合でも、
現在処理中の建物の位置を地図上に表示するだけでもよ
い。また、処理中の建物、処理済の建物、処理していな
いが対応する3次元モデルのある建物、処理をしたが対
応する映像がみつからなかった建物の位置および建物の
形状を地図上に随時表示してもよい。これによって、操
作員は何の指示や入力を行わなくとも、3次元モデルと
建物を撮影した映像があれば、自動的に建物が映ってい
る映像から建物部分を切り出し、対応する3次元モデル
に貼り付けることができる。また、処理過程を随時地図
を見ながら確認することができる。
経度緯度109を出力する場合であるが、前述したよう
に外部から経度緯度110を取得することによっても同
様の作用、効果が得られる。また、実施の形態9では、
実施の形態2への適用例を示したが、実施の形態3〜8
に対しても同様に適用できることはいうまでもない。
施の形態10であるテクスチャ編集システムの構成を示
すブロック図である。この実施の形態10では、建物や
看板などの3次元モデルへのテクスチャ画像の貼り付け
を実時間で可能にする構成例が示されている。
車載装置1001とテクスチャ編集装置1101とで構
成されている。テクスチャ編集装置1101は、車載装
置1001と同じ車両に搭載され有線接続されるか、あ
るいは事務所などの適宜な拠点に設置され無線伝送路を
介して車載装置1001に接続されている。なお、図3
8では、出力部を含む送受信系は示されていない。
観の映像を取得するビデオカメラ1021と、ビデオカ
メラ1021にて取得された映像の編集等を行う画像キ
ャプチャソフトウェア1022と、画像キャプチャソフ
トウェア1022にて編集等がなされた映像が記憶され
る映像記憶装置1023と、GPS衛星電波を受信して
車両の現在位置を取得するGPS装置1024と、GP
S装置1024の駆動や取得された位置情報から経度緯
度を生成するGPS装置ドライバソフトウェア1025
と、ビデオカメラ1021の撮影方向を検出できる方位
センサ1026と、方位センサ1026の駆動や取得さ
れた角度情報からビデオカメラ1021の撮影方向を生
成する方位センサドライバソフトウェア1027と、G
PS装置ドライバソフトウェア1025が出力する経度
緯度と方位センサドライバソフトウェア1027が出力
する撮影方向とを含む撮影位置情報が映像記憶装置10
23に記憶される映像と関連付けて記憶される撮影位置
情報記憶装置1028とを備えている。
の映像および撮影位置情報を車載装置1001から取得
して蓄積する点を除いて、実施の形態1〜9で説明した
テクスチャ編集装置の機能を有している。また、建物や
看板などを3次元モデル化した3次元データが記憶され
る3次元モデル記憶装置1102と、2次元地図や衛星
写真、ビットマップ地図などが記憶される地図記憶装置
1103とは外部に抜き出して示されている。
載した車両を走行しながら、車載装置1001で映像情
報と、撮影位置および撮影方向などの撮影位置情報とを
取得し、蓄積する。蓄積する過程で映像情報、撮影位置
情報を随時テクスチャ編集装置1101に伝送すること
ができる。
次元モデル記憶装置1102から3次元モデルを取り込
み、地図記憶装置1103から例えば2次元地図を取り
込み、いつでも3次元モデルの地図上への表示ができる
ように用意している。したがって、車載装置1001か
ら映像情報と位置情報が送られてくると、操作員が指定
した地図上の位置において、リアルタイムに、3次元モ
デルと映像とのマッチング(実施の形態1)、テクスチ
ャ画像の切り出し(実施の形態2)、変形(実施の形態
3)、遮蔽物除去(実施の形態4)、合成(実施の形態
5)、補正(実施の形態6)、側面テクスチャ画像生成
(実施の形態7)、調整(実施の形態8)、貼り付け
(実施の形態9)の一連の処理が行われ、3次元モデル
へのテクスチャ画像の貼り付けが行える。これによっ
て、町並みを撮影すると同時に、従来できなかった実時
間での3次元モデル(建物)へのテクスチャ画像の貼り
付けができるようになる。
を撮影し、映像編集の業者が映像中の建物を探して画像
枠を抜き出し、画像加工の業者が複数枚の画像枠から画
像を切り出して合成し、また遮蔽物を取り除く加工を行
い、3次元モデルの加工業者が建物の面にテクスチャを
貼り付けるというように、複数の業者がそれぞれの過程
を専門の知識を持って処理していた。それに対し、この
実施の形態10によれば、複数業者によって行われてい
た膨大な作業が、撮影と同時に、画像や3次元モデル加
工についてノウハウの無い操作員にも簡単にできるよう
になる。
ば、3次元モデル(建物)に対応した建物の映像(テク
スチャ情報)を撮影して、切り出し、加工し、貼り付け
るテクスチャ編集において、対応する画像を探したり、
加工したり、映像に映っている建物以外の遮蔽物を取り
除いたりといった作業を自動化することができるので、
操作員の手作業による労力を大幅に低減できるようにな
る。
ば、3次元モデル記憶手段には、建造物の面形状を定め
る3以上の頂点位置を地理上の位置と関連付けて規定さ
れる座標系を用いて表現した3次元モデルのデータが記
憶されている。また、撮影位置情報記憶手段には、都市
景観などを撮影した映像のファイル名、当該映像が動画
像である場合にはさらにコマ番号、当該映像の撮影位置
および撮像に関する情報で構成される撮影位置情報が記
憶されている。位置情報の指定入力があると、モデル選
択手段によって、該当する3次元モデル(ファイル名)
が3次元モデル記憶手段から読み出され、同時に選択手
段によって、当該3次元モデルの位置が映っている映像
を指定する撮影位置情報が撮影位置情報記憶手段から読
み出される。したがって、位置情報を指定するだけで、
テクスチャ画像を貼り付ける3次元モデルと当該3次元
モデルの位置が映っているテクスチャ画像となる映像と
の対応付けが自動的に行えるようになるので、操作員は
映像を検索しないで済むようになる。
て、映像記憶手段には、撮影された都市景観などの静止
画像と動画像の一方または双方がファイル名とともに記
憶されている。映像選択手段では、選択手段にて選択さ
れた撮影位置情報に含まれるファイル名に基づき、モデ
ル選択手段が選択した3次元モデルの位置が映っている
映像が映像記憶手段から選択される。その結果、テクス
チャ切り出し手段では、モデル選択手段にて選択された
3次元モデルがそのファイル名によって3次元モデル記
憶手段から読み出され、また撮影位置情報から撮影位置
が取り出される。次いで、撮影位置から見た3次元モデ
ルの画像が作成され、当該3次元モデルのテクスチャ貼
り付け面が選択され、そのテクスチャ貼り付け面に対応
したテクスチャ画像が映像選択手段にて選択された映像
から切り出される。したがって、映像に映っている建造
物の部分を切り出して3次元モデルの正面に貼り付ける
ときに、操作員はその切り出す位置の指定操作をしない
で済むようになる。
て、テクスチャ変形手段では、テクスチャ切り出し手段
にて切り出されたテクスチャ画像の形状が、モデル選択
手段にて選択された3次元モデルのテクスチャ貼り付け
面の形状に合わせて変形され、適切な形状をしたテクス
チャ画像が生成される。したがって、映像に映っている
建造物の部分を切り出して3次元モデルの正面に貼り付
けるときに、操作員は画像編集ソフトウェアを用いて画
像の変形操作をしないで済むようになる。
て、遮蔽物除去手段では、テクスチャ画像中、建造物の
前に木や自動車などの遮蔽物が映っている場合には、当
該遮蔽物を除去する操作が行われる。したがって、映像
に映っている建造物の部分を切り出して3次元モデルの
正面に貼り付けるときに、操作員は画像編集ソフトウェ
アを用いて画像中の遮蔽物を取り除く作業をしないで済
むようになる。
て、テクスチャ合成手段では、テクスチャ画像の複数個
を合成し、モデル選択手段にて選択された3次元モデル
の1つの面に貼ることのできるテクスチャ画像が生成さ
れる。したがって、映像に映っている建造物の部分を切
り出して3次元モデルの正面に貼り付けるときに、操作
員は画像編集ソフトウェアを用いて複数の画像に映って
いる建造物の部分画像を貼り合わせる作業をしないで済
むようになる。
て、テクスチャ補正手段では、上記テクスチャ合成手段
にて合成されたテクスチャ画像において、合成した境界
部分における色の明るさやパターンのつながりが目立た
ないように補正される。したがって、操作員は、画像編
集ソフトウェアを用いてテクスチャ画像の合成部分の色
補正やパターン補正の作業をしないで済むようになる。
て、側面テクスチャ生成手段では、モデル選択手段にて
選択された3次元モデルのある面に対応したテクスチャ
画像には、他の面に対応した建造物の映像は映っていな
いが、そのようなテクスチャ画像から、当該3次元モデ
ルの他の面に適したテクスチャ画像が生成される。した
がって、3次元モデルの正面以外の面にもテクスチャ画
像を貼り付けることができるようになる。
て、テクスチャ調整手段では、モデル選択手段にて選択
された3次元モデルの個数と、前記テクスチャ画像に映
っている建造物の個数とが異なる場合に、テクスチャ画
像を3次元モデルの個数に合わせて分割または合成され
る。したがって、3次元モデルの個数と、テクスチャ画
像に映っている建造物の個数とが異なる場合でも、適切
なテクスチャ画像を切り出すことができるようになる。
て、テクスチャ貼り付け手段では、テクスチャ画像がモ
デル選択手段にて選択された3次元モデルの面に貼り付
けられる。したがって、位置情報を指定するだけで、自
動的に、テクスチャ画像の貼り付いた3次元モデルが得
られるようになる。
取得手段にて撮像された移動中の周囲の都市景観などの
映像が映像記憶手段に蓄積される。また、映像取得手段
の撮影時の位置情報が位置情報取得手段によって取得さ
れ、それらが、適宜な間隔で、通信手段によってテクス
チャ編集装置に送られる。テクスチャ編集装置では、3
次元モデル記憶手段に、建造物の面形状を定める3以上
の頂点位置を地理上の位置と関連付けて規定される座標
系を用いて表現した3次元モデルのデータが記憶されて
いる。また、撮影装置から送られてきた撮影位置情報お
よび映像が関連付け手段によって関連付けされて逐一記
憶される。そして、位置情報の指定がなされると、モデ
ル選択手段によって、該当する3次元モデルが3次元モ
デル記憶手段から読み出され、同時に選択手段によっ
て、当該3次元モデルの位置が映っている映像および撮
影位置情報が読み出される。したがって、都市景観など
の撮影と同時に実時間で、テクスチャ画像を貼り付ける
3次元モデルと当該3次元モデルの位置が映っているテ
クスチャ画像となる映像との対応付けが行えるようにな
る。
て、テクスチャ編集装置では、テクスチャ切り出し手段
にて、モデル選択手段にて選択された3次元モデルが3
次元モデル記憶手段から読み出され、また撮影位置情報
から撮影位置が取り出される。次いで、撮影位置から見
た3次元モデルの画像が作成され、当該3次元モデルの
テクスチャ貼り付け面が選択され、そのテクスチャ貼り
付け面に対応したテクスチャ画像が映像選択手段にて選
択された映像から切り出される。したがって、都市景観
などの撮影と同時に実時間で、3次元モデルの正面に貼
り付けるテクスチャ画像を、映像に映っている建造物の
部分を切り出して生成することができる。
て、テクスチャ編集装置では、テクスチャ変形手段に
て、テクスチャ切り出し手段にて切り出されたテクスチ
ャ画像の形状が、モデル選択手段にて選択された3次元
モデルのテクスチャ貼り付け面の形状に合わせて変形さ
れ、適切な形状をしたテクスチャ画像が生成される。し
たがって、都市景観などの撮影と同時に実時間で、切り
出されたテクスチャ画像を適切な形状に変形することが
できるようになる。
て、テクスチャ編集装置では、遮蔽物除去手段にて、テ
クスチャ画像中、建造物の前に木や自動車などの遮蔽物
が映っている場合には、当該遮蔽物を除去する操作が行
われる。したがって、都市景観などの撮影と同時に実時
間で、切り出されたテクスチャ画像中の遮蔽物を除去
し、遮蔽物のないテクスチャ画像を得ることができるよ
うになる。
て、テクスチャ編集装置では、テクスチャ合成手段に
て、テクスチャ画像の複数個を合成し、モデル選択手段
にて選択された3次元モデルの1つの面に貼ることので
きるテクスチャ画像が生成される。したがって、都市景
観などの撮影と同時に実時間で、複数のテクスチャ画像
を合成して3次元モデルの1つの面に貼ることのできる
適切なテクスチャ画像を生成することができるようにな
る。
て、テクスチャ編集装置では、テクスチャ補正手段に
て、上記テクスチャ合成手段にて合成されたテクスチャ
画像において、合成した境界部分における色の明るさや
パターンのつながりが目立たないように補正される。し
たがって、都市景観などの撮影と同時に実時間で、合成
されたテクスチャ画像の境界部分の補正が行えるように
なる。
て、テクスチャ編集装置では、側面テクスチャ生成手段
にて、モデル選択手段にて選択された3次元モデルのあ
る面に対応したテクスチャ画像には、他の面に対応した
建造物の映像は映っていないが、そのようなテクスチャ
画像から、当該3次元モデルの他の面に適したテクスチ
ャ画像が生成される。したがって、都市景観などの撮影
と同時に実時間で、3次元モデルの正面以外の面にもテ
クスチャ画像を貼り付けることができるようになる。
て、テクスチャ編集装置では、テクスチャ調整手段に
て、モデル選択手段にて選択された3次元モデルの個数
と、前記テクスチャ画像に映っている建造物の個数とが
異なる場合に、テクスチャ画像を3次元モデルの個数に
合わせて分割または合成される。したがって、都市景観
などの撮影と同時に実時間で、3次元モデルの個数と、
テクスチャ画像に映っている建造物の個数とが異なる場
合でも、適切なテクスチャ画像を切り出すことができる
ようになる。
て、テクスチャ編集装置では、テクスチャ貼り付け手段
にて、テクスチャ画像がモデル選択手段にて選択された
3次元モデルの面に貼り付けられる。したがって、都市
景観などの撮影と同時に実時間で、位置情報を指定する
だけで、自動的に、テクスチャ画像の貼り付いた3次元
モデルが得られるようになる。
段には、建造物の面形状を定める3以上の頂点位置を地
理上の位置と関連付けて規定される座標系を用いて表現
した3次元モデルのデータが記憶されている。また、撮
影位置情報記憶手段には、都市景観などを撮影した映像
のファイル名、当該映像が動画像である場合にはさらに
コマ番号、当該映像の撮影位置および撮像に関する情報
で構成される撮影位置情報が記憶されている。位置情報
の指定入力があると、モデル選択工程にて、該当する3
次元モデル(ファイル名)が3次元モデル記憶手段から
読み出され、同時に選択工程にて、当該3次元モデルの
位置が映っている映像を指定する撮影位置情報が撮影位
置情報記憶手段から読み出される。したがって、位置情
報を指定するだけで、テクスチャ画像を貼り付ける3次
元モデルと当該3次元モデルの位置が映っているテクス
チャ画像となる映像との対応付けが自動的に行えるの
で、操作員は映像を検索しないで済むようになる。
て、映像記憶手段には、撮影された都市景観などの静止
画像と動画像の一方または双方がファイル名とともに記
憶されている。映像選択工程では、選択工程にて選択さ
れた撮影位置情報に含まれるファイル名に基づき、モデ
ル選択工程が選択した3次元モデルの位置が映っている
映像が映像記憶手段から選択される。その結果、テクス
チャ切り出し工程では、モデル選択工程にて選択された
3次元モデルがそのファイル名によって3次元モデル記
憶手段から読み出され、また撮影位置情報から撮影位置
が取り出される。次いで、撮影位置から見た3次元モデ
ルの画像が作成され、当該3次元モデルのテクスチャ貼
り付け面が選択され、そのテクスチャ貼り付け面に対応
したテクスチャ画像が映像選択工程にて選択された映像
から切り出される。したがって、映像に映っている建造
物の部分を切り出して3次元モデルの正面に貼り付ける
ときに、操作員はその切り出す位置の指定操作をしない
で済むようになる。
て、テクスチャ変形工程では、テクスチャ切り出し手段
にて切り出されたテクスチャ画像の形状が、モデル選択
工程にて選択された3次元モデルのテクスチャ貼り付け
面の形状に合わせて変形され、適切な形状をしたテクス
チャ画像が生成される。したがって、映像に映っている
建造物の部分を切り出して3次元モデルの正面に貼り付
けるときに、操作員は画像編集ソフトウェアを用いて画
像の変形操作をしないで済むようになる。
て、遮蔽物除去工程では、テクスチャ画像中、建造物の
前に木や自動車などの遮蔽物が映っている場合には、当
該遮蔽物を除去する操作が行われる。したがって、映像
に映っている建造物の部分を切り出して3次元モデルの
正面に貼り付けるときに、操作員は画像編集ソフトウェ
アを用いて画像中の遮蔽物を取り除く作業をしないで済
むようになる。
て、テクスチャ合成工程では、テクスチャ画像の複数個
を合成し、モデル選択工程にて選択された3次元モデル
の1つの面に貼ることのできるテクスチャ画像が生成さ
れる。したがって、映像に映っている建造物の部分を切
り出して3次元モデルの正面に貼り付けるときに、操作
員は画像編集ソフトウェアを用いて複数の画像に映って
いる建造物の部分画像を貼り合わせる作業をしないで済
むようになる。
て、テクスチャ補正工程では、上記テクスチャ合成工程
にて合成されたテクスチャ画像において、合成した境界
部分における色の明るさやパターンのつながりが目立た
ないように補正される。したがって、操作員は、画像編
集ソフトウェアを用いてテクスチャ画像の合成部分の色
補正やパターン補正の作業をしないで済むようになる。
て、側面テクスチャ生成工程では、モデル選択工程にて
選択された3次元モデルのある面に対応したテクスチャ
画像には、他の面に対応した建造物の映像は映っていな
いが、そのようなテクスチャ画像から、当該3次元モデ
ルの他の面に適したテクスチャ画像が生成される。した
がって、3次元モデルの正面以外の面にもテクスチャ画
像を貼り付けることができるようになる。
て、テクスチャ調整工程では、モデル選択工程にて選択
された3次元モデルの個数と、前記テクスチャ画像に映
っている建造物の個数とが異なる場合に、テクスチャ画
像を3次元モデルの個数に合わせて分割または合成され
る。したがって、3次元モデルの個数と、テクスチャ画
像に映っている建造物の個数とが異なる場合でも、適切
なテクスチャ画像を切り出すことができるようになる。
て、テクスチャ貼り付け工程では、テクスチャ画像がモ
デル選択工程にて選択された3次元モデルの面に貼り付
けられる。したがって、位置情報を指定するだけで、自
動的に、テクスチャ画像の貼り付いた3次元モデルが得
られるようになる。
取得工程にて撮像された移動中の周囲の都市景観などの
映像が映像記憶手段に蓄積される。また、映像取得工程
での撮影時の位置情報が位置情報取得工程によって取得
され、それらが適宜な間隔で、送出工程によってテクス
チャ編集装置に送られる。テクスチャ編集装置では、3
次元モデル記憶手段に、建造物の面形状を定める3以上
の頂点位置を地理上の位置と関連付けて規定される座標
系を用いて表現した3次元モデルのデータが記憶されて
いる。また、撮影装置から送られてきた撮影位置情報お
よび映像が関連付け工程によって関連付けされて逐一記
憶される。そして、位置情報の指定がなされると、モデ
ル選択工程によって、該当する3次元モデルが3次元モ
デル記憶手段から読み出され、同時に選択工程によっ
て、当該3次元モデルの位置が映っている映像および撮
影位置情報が読み出される。したがって、都市景観など
の撮影と同時に実時間で、テクスチャ画像を貼り付ける
3次元モデルと当該3次元モデルの位置が映っているテ
クスチャ画像となる映像との対応付けが行えるようにな
る。
て、テクスチャ編集装置では、テクスチャ切り出し工程
にて、モデル選択工程にて選択された3次元モデルが3
次元モデル記憶手段から読み出され、また撮影位置情報
から撮影位置が取り出される。次いで、撮影位置から見
た3次元モデルの画像が作成され、当該3次元モデルの
テクスチャ貼り付け面が選択され、そのテクスチャ貼り
付け面に対応したテクスチャ画像が選択工程にて選択さ
れた映像から切り出される。したがって、都市景観など
の撮影と同時に実時間で、3次元モデルの正面に貼り付
けるテクスチャ画像を、映像に映っている建造物の部分
を切り出して生成することができる。
て、テクスチャ編集装置では、テクスチャ変形工程に
て、テクスチャ切り出し工程にて切り出されたテクスチ
ャ画像の形状が、モデル選択工程にて選択された3次元
モデルのテクスチャ貼り付け面の形状に合わせて変形さ
れ、適切な形状をしたテクスチャ画像が生成される。し
たがって、都市景観などの撮影と同時に実時間で、切り
出されたテクスチャ画像を適切な形状に変形することが
できるようになる。
て、テクスチャ編集装置では、遮蔽物除去工程にて、テ
クスチャ画像中、建造物の前に木や自動車などの遮蔽物
が映っている場合には、当該遮蔽物を除去する操作が行
われる。したがって、都市景観などの撮影と同時に実時
間で、切り出されたテクスチャ画像中の遮蔽物を除去
し、遮蔽物のないテクスチャ画像を得ることができるよ
うになる。
て、テクスチャ編集装置では、テクスチャ合成工程に
て、テクスチャ画像の複数個を合成し、モデル選択手段
にて選択された3次元モデルの1つの面に貼ることので
きるテクスチャ画像が生成される。したがって、都市景
観などの撮影と同時に実時間で、複数のテクスチャ画像
を合成して3次元モデルの1つの面に貼ることのできる
適切なテクスチャ画像を生成することができるようにな
る。
て、テクスチャ編集装置では、テクスチャ補正手段に
て、上記テクスチャ合成手段にて合成されたテクスチャ
画像において、合成した境界部分における色の明るさや
パターンのつながりが目立たないように補正される。し
たがって、都市景観などの撮影と同時に実時間で、合成
されたテクスチャ画像の境界部分の補正が行えるように
なる。
て、テクスチャ編集装置では、側面テクスチャ生成工程
にて、モデル選択工程にて選択された3次元モデルのあ
る面に対応したテクスチャ画像には、他の面に対応した
建造物の映像は映っていないが、そのようなテクスチャ
画像から、当該3次元モデルの他の面に適したテクスチ
ャ画像が生成される。したがって、都市景観などの撮影
と同時に実時間で、3次元モデルの正面以外の面にもテ
クスチャ画像を貼り付けることができるようになる。
て、テクスチャ編集装置では、テクスチャ調整工程に
て、モデル選択工程にて選択された3次元モデルの個数
と、前記テクスチャ画像に映っている建造物の個数とが
異なる場合に、テクスチャ画像を3次元モデルの個数に
合わせて分割または合成される。したがって、都市景観
などの撮影と同時に実時間で、3次元モデルの個数と、
テクスチャ画像に映っている建造物の個数とが異なる場
合でも、適切なテクスチャ画像を切り出すことができる
ようになる。
て、テクスチャ編集装置では、テクスチャ貼り付け工程
にて、テクスチャ画像がモデル選択手段にて選択された
3次元モデルの面に貼り付けられる。したがって、都市
景観などの撮影と同時に実時間で、位置情報を指定する
だけで、自動的にテクスチャ画像の貼り付いた3次元モ
デルが得られるようになる。
集装置の構成を示すブロック図である。
3次元モデルデータの説明図である。
例を示す図である。(a)は全方位レンズを建物に向け
て撮影した画像の例、(b)は全方位レンズを真上に向
けて撮影した画像の例である。
撮像位置情報の構成および図1に示す映像記憶部に記憶
される映像との関係を説明する図である。
ていることの確認動作の説明図である。
集装置の構成を示すブロック図である。
ンズを用いて撮影した画像の説明図である。
した画像を狭い画角の画像に変換する方式の説明図であ
る。
説明図である。
成する方式の説明図である。
る。
式の説明図である。
出す方式の説明図である。
編集装置の構成を示すブロック図である。
図である。
編集装置の構成を示すブロック図である。
ある(テクスチャ画像が静止画像の場合)。
ある(テクスチャ画像が動画像の場合:コマ画像と評価
位置との関係図)。
ある(テクスチャ画像が動画像の場合:評価画像および
エッジ抽出処理の説明図)。
ある(テクスチャ画像が動画像の場合:遮蔽物除去の説
明図)。
編集装置の構成を示すブロック図である。
図である(合成対象テクスチャの説明図)。
図である(選択された3次元モデルの説明図)。
図である(合成テクスチャ画像の説明図)。
編集装置の構成を示すブロック図である。
図である。
編集装置の構成を示すブロック図である。
説明図である。
編集装置の構成を示すブロック図である。
説明図である(選択された3次元モデル(建物)の件数
が1で、選択された映像に映っている建物の件数が複数
となる場合)。
説明図である(選択された3次元モデル(建物)の件数
が複数で、選択された映像に映っている建物の件数が1
となる場合)。
図である(合成テクスチャ画像の作成)。
図である(分割テクスチャ画像を作成するための座標値
取得)。
図である(分割テクスチャ画像の作成)。
編集装置の構成を示すブロック図である。
説明図である(撮影位置から見た3次元モデルの画像を
作成する方式の説明図)。
説明図である(3次元モデルの表面選択方式の説明
図)。
ャ編集システムの構成を示すブロック図である。
103 映像記憶部、104 撮影位置情報記憶部、1
05 映像選択部、106,107 地図記憶部、10
8 位置情報発生部、109,110 位置情報、20
1 テクスチャ切り出し部、301 テクスチャ変形
部、401 遮蔽物除去部、501 テクスチャ合成
部、601 テクスチャ補正部、701 側面テクスチ
ャ生成部、801 テクスチャ調整部、901 テクス
チャ貼り付け部、1001 撮影装置、1021 ビデ
オカメラ、1022 画像キャプチャソフトウェア、1
023 映像記憶装置、1024 GPS装置、102
5 GPS装置ドライバソフトウェア、1026 方位
センサ、1027 方位センサドライバソフトウェア、
1028 撮影位置情報記憶装置、1101 テクスチ
ャ編集装置、11023次元モデル記憶装置、1103
地図記憶装置。
Claims (36)
- 【請求項1】 建造物の面形状を定める3以上の頂点位
置を地理上の位置と関連付けて規定される座標系を用い
て表現した3次元モデルのデータが記憶される3次元モ
デル記憶手段と、 入力される指定位置情報に基づき前記3次元モデル記憶
手段から該当する3次元モデルを選択するモデル選択手
段と、 撮影した映像のファイル名、当該映像が動画像である場
合にはさらにコマ番号、当該映像の撮影位置および撮像
に関する情報で構成される撮影位置情報が記憶される撮
影位置情報記憶手段と、 入力される前記指定位置情報に基づき前記撮影位置情報
記憶手段から該当する撮影位置情報を選択する選択手段
と、 を備えたことを特徴とするテクスチャ編集装置。 - 【請求項2】 撮影された静止画像と動画像の一方また
は双方がファイル名とともに記憶される映像記憶手段
と、 前記選択手段にて選択された撮影位置情報に基づき、前
記モデル選択手段が選択した3次元モデルの位置が映っ
ている映像を前記映像記憶手段から選択する映像選択手
段と、 前記モデル選択手段にて選択された3次元モデルの前記
選択手段にて選択された撮影位置情報から得られる撮影
位置から見た画像を作成して当該3次元モデルのテクス
チャ貼り付け面を選択し、前記テクスチャ貼り付け面に
対応したテクスチャ画像を前記映像選択手段にて選択さ
れた映像から切り出すテクスチャ切り出し手段と、 を備えたことを特徴とする請求項1に記載のテクスチャ
編集装置。 - 【請求項3】 前記テクスチャ切り出し手段にて切り出
されたテクスチャ画像の形状を前記モデル選択手段にて
選択された3次元モデルのテクスチャ貼り付け面の形状
に合わせて変形したテクスチャ画像を生成するテクスチ
ャ変形手段、 を備えたことを特徴とする請求項2に記載のテクスチャ
編集装置。 - 【請求項4】 前記テクスチャ画像中に映っている遮蔽
物を検出し、当該遮蔽物を除去する遮蔽物除去手段、 を備えたことを特徴とする請求項2または3に記載のテ
クスチャ編集装置。 - 【請求項5】 前記テクスチャ画像の複数個を合成して
前記モデル選択手段にて選択された3次元モデルの1つ
の面に貼ることのできるテクスチャ画像を生成するテク
スチャ合成手段、 を備えたことを特徴とする請求項2〜4のいずれか一つ
に記載のテクスチャ編集装置。 - 【請求項6】 前記テクスチャ合成手段にて合成された
テクスチャ画像において、合成した境界部分における色
の明るさやパターンのつながりを補正するテクスチャ補
正手段、 を備えたことを特徴とする請求項5に記載のテクスチャ
編集装置。 - 【請求項7】 前記モデル選択手段にて選択された3次
元モデルのある面に対応したテクスチャ画像から、前記
3次元モデルの他の面に適したテクスチャ画像を生成す
る側面テクスチャ生成手段、 を備えたことを特徴とする請求項2〜6のいずれか一つ
に記載のテクスチャ編集装置。 - 【請求項8】 前記モデル選択手段にて選択された3次
元モデルの個数と、前記テクスチャ画像に映っている建
造物の個数とが異なる場合に、テクスチャ画像を3次元
モデルの個数に合わせて分割または合成するテクスチャ
調整手段、 を備えたことを特徴とする請求項2〜7のいずれか一つ
に記載のテクスチャ編集装置。 - 【請求項9】 前記テクスチャ画像を、前記モデル選択
手段にて選択された3次元モデルの面に貼り付けるテク
スチャ貼り付け手段、 を備えたことを特徴とする請求項2〜8のいずれか一つ
に記載のテクスチャ編集装置。 - 【請求項10】 撮影装置とテクスチャ編集装置とで構
成されるテクスチャ編集システムであって、 前記撮影装置は、 移動しながら周囲の映像を取得する映像取得手段と、 前記映像取得手段による撮影時の位置情報を取得する位
置情報取得手段と、 前記映像と前記撮影位置情報とを前記テクスチャ装置に
送出する通信手段と、を備え、 前記テクスチャ編集装置は、 建造物の面形状を定める3以上の頂点位置を地理上の位
置と関連付けて規定される座標系を用いて表現した3次
元モデルのデータが記憶される3次元モデル記憶手段
と、 入力された指定位置情報に基づき前記3次元モデル記憶
手段から該当する3次元モデルを選択するモデル選択手
段と、 前記撮影装置から送られてきた撮影位置情報と映像とを
関連付けて記憶する関連付け手段と、 入力された前記指定位置情報に基づき前記関連付け手段
にて関連付けて記憶された撮影位置情報と映像の中から
対応する撮影位置情報と映像とを選択する選択手段と、 を備えたことを特徴とするテクスチャ編集システム。 - 【請求項11】 前記テクスチャ編集装置は、 前記モデル選択手段にて選択された3次元モデルの前記
選択手段にて選択された撮影位置情報から得られる撮影
位置から見た画像を作成して当該3次元モデルのテクス
チャ貼り付け面を選択し、前記テクスチャ貼り付け面に
対応したテクスチャ画像を前記選択手段にて選択された
映像から切り出すテクスチャ切り出し手段、 を備えたことを特徴とする請求項10に記載のテクスチ
ャ編集システム。 - 【請求項12】 前記テクスチャ編集装置は、 前記テクスチャ切り出し手段にて切り出されたテクスチ
ャ画像の形状を前記モデル選択手段にて選択された3次
元モデルのテクスチャ貼り付け面の形状に合わせて変形
したテクスチャ画像を生成するテクスチャ変形手段、 を備えたことを特徴とする請求項11に記載のテクスチ
ャ編集システム。 - 【請求項13】 前記テクスチャ編集装置は、 前記テクスチャ画像中に映っている遮蔽物を検出し、当
該遮蔽物を除去する遮蔽物除去手段、 を備えたことを特徴とする請求項11または12に記載
のテクスチャ編集システム。 - 【請求項14】 前記テクスチャ編集装置は、 前記テクスチャ画像の複数個を合成して前記モデル選択
手段にて選択された3次元モデルの1つの面に貼ること
のできるテクスチャ画像を生成するテクスチャ合成手
段、 を備えたことを特徴とする請求項11〜13のいずれか
一つに記載のテクスチャ編集システム。 - 【請求項15】 前記テクスチャ編集装置は、 前記テクスチャ合成手段にて合成されたテクスチャ画像
において、合成した境界部分における色の明るさやパタ
ーンのつながりを補正するテクスチャ補正手段、 を備えたことを特徴とする請求項14に記載のテクスチ
ャ編集システム。 - 【請求項16】 前記テクスチャ編集装置は、 前記モデル選択手段にて選択された3次元モデルのある
面に対応したテクスチャ画像から、前記3次元モデルの
他の面に適したテクスチャ画像を生成する側面テクスチ
ャ生成手段、 を備えたことを特徴とする請求項11〜15のいずれか
一つに記載のテクスチャ編集システム。 - 【請求項17】 前記テクスチャ編集装置は、 前記モデル選択手段にて選択された3次元モデルの個数
と、前記テクスチャ画像に映っている建造物の個数とが
異なる場合に、テクスチャ画像を3次元モデルの個数に
合わせて分割または合成するテクスチャ調整手段、 を備えたことを特徴とする請求項11〜16のいずれか
一つに記載のテクスチャ編集システム。 - 【請求項18】 前記テクスチャ編集装置は、 前記テクスチャ画像を、前記モデル選択手段にて選択さ
れた3次元モデルの面に貼り付けるテクスチャ貼り付け
手段、 を備えたことを特徴とする請求項11〜17のいずれか
一つに記載のテクスチャ編集システム。 - 【請求項19】 建造物の面形状を定める3以上の頂点
位置を地理上の位置と関連付けて規定される座標系を用
いて表現した3次元モデルのデータを3次元モデル記憶
手段に記憶させる3次元モデル記憶工程と、 入力される指定位置情報に基づき前記3次元モデル記憶
手段から該当する3次元モデルを選択するモデル選択工
程と、 撮影した映像のファイル名、当該映像が動画像である場
合にはさらにコマ番号、当該映像の撮影位置および撮像
に関する情報で構成される撮影位置情報を撮影位置情報
記憶手段に記憶させる工程と、 入力される前記指定位置情報に基づき前記撮影位置情報
記憶手段から該当する撮影位置情報を選択する選択工程
と、 を含むことを特徴とするテクスチャ編集方法。 - 【請求項20】 撮影された静止画像と動画像の一方ま
たは双方がファイル名とともに映像記憶手段に記憶させ
る映像記憶工程と、 前記選択工程にて選択された撮影位置情報に基づき、前
記モデル選択工程にて選択された3次元モデルの位置が
映っている映像を前記映像記憶手段から選択する映像選
択工程と、 前記モデル選択工程にて選択された3次元モデルの前記
選択工程にて選択された撮影位置情報から得られる撮影
位置から見た画像を作成して当該3次元モデルのテクス
チャ貼り付け面を選択し、前記テクスチャ貼り付け面に
対応したテクスチャ画像を前記映像選択工程にて選択さ
れた映像から切り出すテクスチャ切り出し工程と、 を含むことを特徴とする請求項19に記載のテクスチャ
編集方法。 - 【請求項21】 前記テクスチャ切り出し工程にて切り
出されたテクスチャ画像の形状を前記モデル選択工程に
て選択された3次元モデルのテクスチャ貼り付け面の形
状に合わせて変形したテクスチャ画像を生成するテクス
チャ変形工程、 を含むことを特徴とする請求項20に記載のテクスチャ
編集方法。 - 【請求項22】 前記テクスチャ画像中に映っている遮
蔽物を検出し、当該遮蔽物を除去する遮蔽物除去工程、 を含むことを特徴とする請求項20または21に記載の
テクスチャ編集方法。 - 【請求項23】 前記テクスチャ画像の複数個を合成し
て前記モデル選択工程にて選択された3次元モデルの1
つの面に貼ることのできるテクスチャ画像を生成するテ
クスチャ合成工程、 を含むことを特徴とする請求項20〜22のいずれか一
つに記載のテクスチャ編集方法。 - 【請求項24】 前記テクスチャ合成工程にて合成され
たテクスチャ画像において、合成した境界部分における
色の明るさやパターンのつながりを補正するテクスチャ
補正工程、 を含むことを特徴とする請求項23に記載のテクスチャ
編集方法。 - 【請求項25】 前記モデル選択工程にて選択された3
次元モデルのある面に対応したテクスチャ画像から、前
記3次元モデルの他の面に適したテクスチャ画像を生成
する側面テクスチャ生成工程、 を含むことを特徴とする請求項20〜24のいずれか一
つに記載のテクスチャ編集方法。 - 【請求項26】 前記モデル選択工程にて選択された3
次元モデルの個数と、前記テクスチャ画像に映っている
建造物の個数とが異なる場合に、テクスチャ画像を3次
元モデルの個数に合わせて分割または合成するテクスチ
ャ調整工程、 を含むことを特徴とする請求項21〜25のいずれか一
つに記載のテクスチャ編集方法。 - 【請求項27】 前記テクスチャ画像を、前記モデル選
択工程にて選択された3次元モデルの面に貼り付けるテ
クスチャ貼り付け工程、 を含むことを特徴とする請求項21〜26のいずれか一
つに記載のテクスチャ編集方法。 - 【請求項28】 撮影装置とテクスチャ編集装置とで構
成されるテクスチャ編集システムにおけるテクスチャ編
集方法であって、 前記撮影装置は、 移動しながら周囲の映像を取得する映像取得工程と、 前記映像取得手段による撮影時の位置情報を取得する位
置情報取得工程と、 前記映像と前記撮影位置情報とを前記テクスチャ装置に
通信手段を介して送出する送出工程と、を含み、 前記テクスチャ編集装置は、 建造物の面形状を定める3以上の頂点位置を地理上の位
置と関連付けて規定される座標系を用いて表現した3次
元モデルのデータを3次元モデル記憶手段に記憶させる
3次元モデル記憶工程と、 入力された指定位置情報に基づき前記3次元モデル記憶
手段から該当する3次元モデルを選択するモデル選択工
程と、 前記撮影装置から送られてきた撮影位置情報と映像とを
関連付けて記憶する関連付け工程と、 入力された前記指定位置情報に基づき前記関連付け工程
にて関連付けて記憶された撮影位置情報と映像の中から
と対応する撮影位置情報と映像とを選択する選択工程
と、 を含むことを特徴とするテクスチャ編集方法。 - 【請求項29】 前記テクスチャ編集装置は、 前記モデル選択工程にて選択された3次元モデルの前記
選択工程にて選択された撮影位置情報から得られる撮影
位置から見た画像を作成して当該3次元モデルのテクス
チャ貼り付け面を選択し、前記テクスチャ貼り付け面に
対応したテクスチャ画像を前記選択工程にて選択された
映像から切り出すテクスチャ切り出し工程、 を含むことを特徴とする請求項28に記載のテクスチャ
編集方法。 - 【請求項30】 前記テクスチャ編集装置は、 前記テクスチャ切り出し工程にて切り出されたテクスチ
ャ画像の形状を前記モデル選択工程にて選択された3次
元モデルのテクスチャ貼り付け面の形状に合わせて変形
したテクスチャ画像を生成するテクスチャ変形工程、 を含むことを特徴とする請求項29に記載のテクスチャ
編集方法。 - 【請求項31】 前記テクスチャ編集装置は、 前記テクスチャ画像中に映っている遮蔽物を検出し、当
該遮蔽物を除去する遮蔽物除去工程、 を含むことを特徴とする請求項29または30に記載の
テクスチャ編集方法。 - 【請求項32】 前記テクスチャ編集装置は、 前記テクスチャ画像の複数個を合成して前記モデル選択
工程にて選択された3次元モデルの1つの面に貼ること
のできるテクスチャ画像を生成するテクスチャ合成工
程、 を含むことを特徴とする請求項29〜31のいずれか一
つに記載のテクスチャ編集方法。 - 【請求項33】 前記テクスチャ編集装置は、 前記テクスチャ合成工程にて合成されたテクスチャ画像
において、合成した境界部分における色の明るさやパタ
ーンのつながりを補正するテクスチャ補正工程、 を含むことを特徴とする請求項32に記載のテクスチャ
編集方法。 - 【請求項34】 前記テクスチャ編集装置は、 前記モデル選択工程にて選択された3次元モデルのある
面に対応したテクスチャ画像から、前記3次元モデルの
他の面に適したテクスチャ画像を生成する側面テクスチ
ャ生成工程、 を含むことを特徴とする請求項29〜33のいずれか一
つに記載のテクスチャ編集方法。 - 【請求項35】 前記テクスチャ編集装置は、 前記モデル選択工程にて選択された3次元モデルの個数
と、前記テクスチャ画像に映っている建造物の個数とが
異なる場合に、テクスチャ画像を3次元モデルの個数に
合わせて分割または合成するテクスチャ調整工程、 を含むことを特徴とする請求項29〜34のいずれか一
つに記載のテクスチャ編集方法。 - 【請求項36】 前記テクスチャ編集装置は、 前記テクスチャ画像を、前記モデル選択工程にて選択さ
れた3次元モデルの面に貼り付けるテクスチャ貼り付け
工程、 を含むことを特徴とする請求項29〜35のいずれか一
つに記載のテクスチャ編集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001310597A JP4008686B2 (ja) | 2001-10-05 | 2001-10-05 | テクスチャ編集装置、テクスチャ編集システムおよび方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001310597A JP4008686B2 (ja) | 2001-10-05 | 2001-10-05 | テクスチャ編集装置、テクスチャ編集システムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003115057A true JP2003115057A (ja) | 2003-04-18 |
JP4008686B2 JP4008686B2 (ja) | 2007-11-14 |
Family
ID=19129541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001310597A Expired - Fee Related JP4008686B2 (ja) | 2001-10-05 | 2001-10-05 | テクスチャ編集装置、テクスチャ編集システムおよび方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4008686B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007190280A (ja) * | 2006-01-20 | 2007-08-02 | Samii Kk | 遊技機 |
WO2011121741A1 (ja) * | 2010-03-30 | 2011-10-06 | 富士通株式会社 | 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム |
JP2012048529A (ja) * | 2010-08-27 | 2012-03-08 | Mitsubishi Precision Co Ltd | 地物の外観表示用画像の生成方法及びその装置 |
JP2012137933A (ja) * | 2010-12-27 | 2012-07-19 | Kokusai Kogyo Co Ltd | 被写地物の位置特定方法とそのプログラム、及び表示地図、並びに撮影位置取得方法とそのプログラム、及び撮影位置取得装置 |
US8564607B2 (en) | 2009-12-08 | 2013-10-22 | Electronics And Telecommunications Research Institute | Apparatus and method for creating textures of building |
WO2014199860A1 (ja) * | 2013-06-14 | 2014-12-18 | 株式会社ジオ技術研究所 | テクスチャ画像データの生成方法 |
JP2015064755A (ja) * | 2013-09-25 | 2015-04-09 | 株式会社 日立産業制御ソリューションズ | 3次元形状計測システム、及び色情報貼付方法 |
JPWO2018025642A1 (ja) * | 2016-08-03 | 2019-05-30 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP2020022157A (ja) * | 2018-07-18 | 2020-02-06 | エヌ・ティ・ティ・コムウェア株式会社 | 点検システム及び点検方法 |
US10681269B2 (en) | 2016-03-31 | 2020-06-09 | Fujitsu Limited | Computer-readable recording medium, information processing method, and information processing apparatus |
CN113223149A (zh) * | 2021-05-08 | 2021-08-06 | 中煤(西安)航测遥感研究院有限公司 | 三维模型纹理生成方法、装置、设备及存储介质 |
-
2001
- 2001-10-05 JP JP2001310597A patent/JP4008686B2/ja not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007190280A (ja) * | 2006-01-20 | 2007-08-02 | Samii Kk | 遊技機 |
US8564607B2 (en) | 2009-12-08 | 2013-10-22 | Electronics And Telecommunications Research Institute | Apparatus and method for creating textures of building |
WO2011121741A1 (ja) * | 2010-03-30 | 2011-10-06 | 富士通株式会社 | 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム |
US9030524B2 (en) | 2010-03-30 | 2015-05-12 | Fujitsu Limited | Image generating apparatus, synthesis table generating apparatus, and computer readable storage medium |
JP2012048529A (ja) * | 2010-08-27 | 2012-03-08 | Mitsubishi Precision Co Ltd | 地物の外観表示用画像の生成方法及びその装置 |
JP2012137933A (ja) * | 2010-12-27 | 2012-07-19 | Kokusai Kogyo Co Ltd | 被写地物の位置特定方法とそのプログラム、及び表示地図、並びに撮影位置取得方法とそのプログラム、及び撮影位置取得装置 |
JP2015001792A (ja) * | 2013-06-14 | 2015-01-05 | 株式会社ジオ技術研究所 | テクスチャ画像データの生成方法 |
WO2014199860A1 (ja) * | 2013-06-14 | 2014-12-18 | 株式会社ジオ技術研究所 | テクスチャ画像データの生成方法 |
JP2015064755A (ja) * | 2013-09-25 | 2015-04-09 | 株式会社 日立産業制御ソリューションズ | 3次元形状計測システム、及び色情報貼付方法 |
US10681269B2 (en) | 2016-03-31 | 2020-06-09 | Fujitsu Limited | Computer-readable recording medium, information processing method, and information processing apparatus |
JPWO2018025642A1 (ja) * | 2016-08-03 | 2019-05-30 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US11087480B2 (en) | 2016-08-03 | 2021-08-10 | Sony Corporation | Image processing apparatus and image processing method |
JP2020022157A (ja) * | 2018-07-18 | 2020-02-06 | エヌ・ティ・ティ・コムウェア株式会社 | 点検システム及び点検方法 |
JP7332353B2 (ja) | 2018-07-18 | 2023-08-23 | エヌ・ティ・ティ・コムウェア株式会社 | 点検システム及び点検方法 |
CN113223149A (zh) * | 2021-05-08 | 2021-08-06 | 中煤(西安)航测遥感研究院有限公司 | 三维模型纹理生成方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP4008686B2 (ja) | 2007-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111062873B (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
CN106952311B (zh) | 基于全景拼接数据映射表的辅助泊车系统及方法 | |
JP4642757B2 (ja) | 画像処理装置および画像処理方法 | |
US8963943B2 (en) | Three-dimensional urban modeling apparatus and method | |
JP3148045B2 (ja) | 三次元物体cg作成装置 | |
US20030117488A1 (en) | Stereoscopic panoramic image capture device | |
CN106856000B (zh) | 一种车载全景图像无缝拼接处理方法及系统 | |
CN115641401A (zh) | 一种三维实景模型的构建方法及相关装置 | |
JPH07262410A (ja) | 画像合成方法及び装置 | |
JP2004348575A (ja) | 3次元モデル構築システム及び3次元モデル構築プログラム | |
CN111028155A (zh) | 一种基于多对双目相机的视差图像拼接方法 | |
CN106780629A (zh) | 一种三维全景数据采集、建模方法 | |
Ikeuchi et al. | Constructing virtual cities by using panoramic images | |
JP2003115057A (ja) | テクスチャ編集装置、テクスチャ編集システムおよび方法 | |
CN108447042B (zh) | 城市景观影像数据的融合方法及系统 | |
JP6110780B2 (ja) | 付加情報表示システム | |
CN114972612B (zh) | 一种基于三维简化模型的图像纹理生成方法及相关设备 | |
JP3162664B2 (ja) | 3次元都市景観情報の作成方法および装置 | |
JP2004265396A (ja) | 映像生成システム及び映像生成方法 | |
JP2005122315A (ja) | 3dcg合成装置 | |
KR102204041B1 (ko) | 지물이미지의 매핑을 위한 경계라인 수정 기능의 영상처리 오류보정 시스템 | |
US11043019B2 (en) | Method of displaying a wide-format augmented reality object | |
CN111667591B (zh) | 基于全景摄影的虚拟现实融合方法 | |
JP3387900B2 (ja) | 画像処理方法及び装置 | |
JPH09212626A (ja) | 画像編集方法および編集装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070830 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |