JP2003323639A - 画像の三次元モデル復元装置及び三次元モデル復元方法 - Google Patents

Abstract

(57)【要約】 【課題】 単一の視点で撮影された画像から、撮影対象
物の位置関係を示す情報が安定して得られ、また他の物
体に隠れた部分も適切に復元できる画像の三次元モデル
復元装置及び三次元モデル復元方法を提供する。 【解決手段】 二次元稜線入力手段３が画像データから
検出した稜線を二次元稜線方向分類手段４が分類し、二
次元多角形領域分割手段５が画像を複数の領域に分割し
て、各領域毎に稜線の分類に基づいて三次元データ生成
手段７が生成した三次元多角形データの変形を三次元多
角形データ変形手段８が行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、対象物を撮像し
た画像を処理することにより、対象物の三次元形状を復
元する画像の三次元モデル復元装置及び三次元モデル復
元方法に関するものである。

【０００２】

【従来の技術】従来、画像から撮影対象物の形状や位置
を取得する方法として、例えば、異なる二つの視線方向
から対象物を撮影し、当該対象物を撮影した二つの画像
に含まれる頂点やエッジの対応付けを行い、三角測量の
原理から頂点やエッジの位置情報を求めて対象物の形状
や位置等の情報を取得する、いわゆるステレオ立体視法
が用いられている。

【０００３】画像に含まれる頂点やエッジの位置情報か
ら、対象物の形状を示す情報を取得するには、画像の中
からエッジで囲まれた閉領域を抽出し、当該閉領域が示
す面について周囲のエッジとの対応付けを行って、画像
中における当該面の位置情報を取得し、これらの位置情
報に基づいて対象物の全体形状を表す情報を取得する。
このように、異なる視線方向から同一対象物を撮影する
と、画像の中で手前の位置に物体が在るため奥の物体が
隠れる状況では、同一閉領域の形状が画像ごとに異なっ
て映り、また、エッジの可視範囲も画像ごとに異なるこ
とから、各画像間においてエッジの対応付けが正しく行
えず、面の位置情報から正確な三次元モデルが復元でき
なくなる。

【０００４】このような障害に対して、例えば特開平３
−２６８０６９号公報に開示されている発明のように、
一組の画像ペアから取得したエッジ情報だけでは対象物
の三次元モデルが完全に復元できないとき、視点位置を
移動して新たに画像ペアを取得し、エッジ情報を補完し
て完全な形状が復元できるようにしている。

【０００５】

【発明が解決しようとする課題】従来の画像の三次元モ
デル復元方法は、以上のように処理が行われているの
で、視点位置を移動した後の画像ペアを用いても対象物
の形状が完全に復元できない場合には、さらに別の位置
に視点位置を移動して対象物全体が完全に復元されるま
で各処理を繰り返すので非常に撮影回数が多くなる場合
もあり、処理の終了が保証できないという課題があっ
た。

【０００６】また、適格に視点を移動しなければならな
いと共に、視点位置を移動した場合には、処理において
着目したエッジの同一性を判断しなければならないとい
う課題があった。

【０００７】この発明は、上記のような課題を解決する
ためになされたもので、視点位置を移動することなく撮
影された画像から、撮影対象物の位置関係を安定した情
報として抽出することができ、また、他の物体に隠れた
部分の復元も適切に行える画像の三次元モデル復元装置
及び三次元モデル復元方法を得ることを目的とする。

【０００８】

【課題を解決するための手段】この発明に係る画像の三
次元モデル復元装置は、画像を示すデータから稜線を検
出する稜線入力手段と、稜線を延長方向毎に分類した方
向分類情報を生成する稜線方向分類手段と、稜線に基づ
いて画像を複数の領域に分割した領域データを生成する
領域分割手段と、領域データによって表される面の向き
を、方向分類情報を用いて算出し面方向情報を生成する
面方向算出手段と、領域データ及び面方向情報に基づい
て三次元データを生成する三次元データ生成手段と、方
向分類情報に基づいて三次元データを変形する三次元デ
ータ変形手段と、三次元データ変形手段で変形された三
次元データから三次元モデルを生成する三次元モデル生
成手段とを備えたものである。

【０００９】この発明に係る画像の三次元モデル復元装
置は、画像を撮影した視点位置を取得する視点位置入力
手段を備え、稜線方向分類手段が視点位置入力手段から
入力した視点位置情報に基づいて方向分類情報を生成
し、三次元データ生成手段が視点位置情報に基づいて三
次元データを生成するものである。

【００１０】この発明に係る画像の三次元モデル復元装
置は、稜線方向分類手段が画像に任意の三次元直交座標
を仮定し、稜線の延長方向を三次元直交座標の座標軸に
対応させて分類するものである。

【００１１】この発明に係る画像の三次元モデル復元装
置は、領域分割手段が画像を多角形の領域に分割し、多
角形領域を形成する各稜線を、画像の縁に相当する稜線
及び稜線延長の途中に他の稜線が接しているものを見か
け上の稜線とし、また、稜線の端部のみが他の稜線と接
しているものを真の稜線として分類して領域データを生
成するものである。

【００１２】この発明に係る画像の三次元モデル復元装
置は、面方向算出手段が真の稜線の方向分類情報から面
の方向を算出するものである。

【００１３】この発明に係る画像の三次元モデル復元装
置は、三次元データ変形手段が見かけ上の稜線を変化さ
せて直交多角形を表す三次元データを生成するものであ
る。

【００１４】この発明に係る画像の三次元モデル復元装
置は、三次元モデル生成手段が同一平面上に位置する領
域を包絡する直交多角形を形成する三次元データを生成
して三次元モデルを生成するものである。

【００１５】この発明に係る画像の三次元モデル復元方
法は、画像を撮影した視点位置を示す視点位置情報を取
得する過程と、画像から稜線を検出する過程と、画像か
ら検出した各稜線を延長方向毎に分類する過程と、画像
を複数の領域に分割して領域に含まれる稜線を真の稜線
と見かけ上の稜線に分類する過程と、領域に含まれる真
の稜線の延長方向に基づいて領域に形成される面の方向
を算出する過程と、領域毎に三次元データを生成する過
程と、三次元データが表す領域に含まれる見かけ上の稜
線を変形して直交多角形領域を表す三次元データを生成
する過程と、各領域の変化させた三次元データを各領域
の面方向に基づいて三次元空間に配置して三次元モデル
データを生成する過程とを備えたものである。

【００１６】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１は、この発明の実施の形態１による
画像の三次元モデル復元装置の構成を示すブロック図で
ある。図において、１はデジタルカメラ、２はカメラ視
点位置入力手段（視点位置入力手段）、３は二次元稜線
入力手段（稜線入力手段）、４は二次元稜線方向分類手
段（稜線方向分類手段）、５は二次元多角形領域分割手
段（領域分割手段）、６は面方向算出手段、７は三次元
多角形データ生成手段（三次元データ生成手段）、８は
三次元多角形データ変形手段（三次元データ変形手
段）、９は三次元モデル生成手段、１０は三次元モデル
表示手段である。１００はカメラ視点位置入力手段２、
二次元稜線入力手段３、二次元稜線方向分類手段４、二
次元多角形領域分割手段５、面方向算出手段６、三次元
多角形データ生成手段７、三次元多角形データ変形手段
８、及び三次元モデル生成手段９を備えた三次元モデル
復元装置である。

【００１７】次に動作について説明する。図２は、実施
の形態１による画像の三次元モデル復元装置の動作処理
を示すフローチャートである。三次元モデル復元装置１
００の動作処理を図２のフローチャートに基づいて説明
する。図１に示す三次元モデル復元装置１００は、デジ
タルカメラ１等で撮影された画像データを入力し、カメ
ラ視点位置入力手段２を用いて画像を撮影したデジタル
カメラ１のカメラ視点位置情報を算出する。あるいは所
定の入力手段（図示省略）等からカメラ視点位置情報を
カメラ視点位置入力手段２へ入力させる。

【００１８】図３は、実施の形態１による三次元モデル
復元装置１００へ入力される画像の一例を示す説明図で
ある。図４は実施の形態１による三次元モデル復元装置
１００へ入力される画像の撮影対処物を示す説明図であ
る。ここで例示した撮影対象物は、室内空間を構成する
壁や天井などの構造物である。図３に示したものは撮影
対象物の室内を上方からみた平面図で、図３に示した画
像は図４の地点Ａから室内を撮影したものである。図４
において、３００は撮影対象物の室内、３０１は室内３
００の壁、３０２は室内３００に備えられた窓である。

【００１９】カメラ視点位置入力手段２は、画像を撮影
したデジタルカメラ１から画像データを入力し、デジタ
ルカメラ１のカメラ視点位置情報（視点位置情報）を画
像データから算出して取得し、または図示されない入力
手段から取得して保持する（ステップＳＴ１０１）。こ
のカメラ視点位置情報は、図４の破線Ｂで示された画角
（視野角の広がり）や矢印Ｃで示された視線方向等を、
コンピュータなどで取り扱うデータとして数学的に表現
したものである。

【００２０】また、二次元稜線入力手段３は、三次元モ
デル復元装置１００に入力された画像データを取得し、
画像データに含まれる対象物の二次元稜線を検出して二
次元稜線データを生成する（ステップＳＴ１０２）。あ
るいは所定の入力手段（図示省略）から画像の稜線を設
定させて二次元稜線データを生成するようにしてもよ
い。

【００２１】図５は、実施の形態１による三次元モデル
復元装置１００へ入力される室内３００の画像を示す説
明図である。図５（ａ）において、４０１〜４１１は二
次元稜線入力手段３によって入力または検出された稜線
である。また、図５（ｂ）は二次元稜線方向分類手段４
によって稜線４０１〜４１１の三次元延長方向を分類し
た一例を示す説明図である。

【００２２】二次元稜線方向分類手段４は、カメラ視点
位置入力手段２から視点位置情報を取得し、また二次元
稜線入力手段３から二次元稜線データを入力して、各稜
線を画像上の位置と延長方向に基づいて分類した方向分
類情報を生成する（ステップＳＴ１０３）。この方向分
類情報は、例えば画像の中に直交座標Ｘ，Ｙ，Ｚ軸を仮
定し、いずれかの座標軸と平行に位置する稜線を対応さ
せて分類したものである。図５（ａ）に示すようにＸ，
Ｙ，Ｚ軸の直交座標を仮定すると、Ｘ軸に平行な稜線は
稜線４０１，４０５，４０９，４１１、Ｙ軸に平行な稜
線は稜線４０２，４０４、Ｚ軸に平行な稜線は稜線４０
３，４０６，４０７，４０８，４１０となり、二次元稜
線方向分類手段４は、図５（ｂ）に示すように各稜線と
Ｘ，Ｙ，Ｚのいずれかの座標軸を対応させた方向分類情
報を生成する。

【００２３】二次元多角形領域分割手段５は、デジタル
カメラ１から画像データを入力し、また、二次元稜線入
力手段３から二次元稜線データを入力して、重なりを生
じないように稜線を境界として当該画像データが表す画
像を分割し、また分割した各多角形領域に含まれる真の
稜線と見かけ上の稜線とを分類して二次元多角形領域デ
ータを生成する（ステップＳＴ１０４）。

【００２４】図６は、二次元多角形領域分割手段５が分
割した室内３００の画像を示す説明図である。図５に示
した稜線と同じ部分に同一符号を付し、その説明を省略
する。図６（ａ）において、５０１〜５０６は重ならな
いように分割された多角形領域である。また図６（ｂ）
は、例えば室内３００の天井に相当する多角形領域５０
１を示す説明図である。図６（ｂ）において、６０１〜
６０４は見かけ上の稜線である。稜線６０１〜６０３は
図６（ａ）に示す画像の縁に相当するもので、稜線６０
４は図５（ａ）に示した稜線４０３に相当し、手前の物
体によって隠された部分の境界を示す見かけ上の稜線で
ある。図６（ｂ）に示した多角形領域５０１の外周は、
真の稜線である稜線４０１，４０２，４０４，４０５と
画像の縁を示す見かけ上の稜線６０１〜６０３や手前の
物体によって隠される部分の境界を示す見かけ上の稜線
６０４によって構成される。

【００２５】二次元多角形領域分割手段５は、他の稜線
の端部が自らの稜線の途中に接しておらず、両端部にの
み接している稜線４０１，４０２，４０４，４０５を真
の稜線として分類し、また、画像の縁に該当する稜線６
０１〜６０３と、他の稜線の端部が自らの稜線の途中に
接している稜線６０４とを見かけ上の稜線として分類
し、多角形領域５０１の二次元多角形領域データを生成
する。同様に多角形領域５０２〜５０６に含まれる稜線
を真の稜線と見かけ上の稜線に分類し、各多角形領域の
二次元多角形領域データを生成する。

【００２６】面方向算出手段６は、二次元多角形領域分
割手段５によって生成された二次元多角形領域データを
入力し、当該二次元多角形領域データが示す稜線の分類
に基づき、各多角形領域が表している対象物の面の方
向、即ち法線ベクトルを算出して面方向情報を生成する
（ステップＳＴ１０５）。

【００２７】図７は、面方向算出手段６による面方向の
算出を示す説明図である。例えば、図６に示した天井に
相当する多角形領域５０１が表す撮像対象物の面方向の
算出について説明すると、多角形領域５０１を囲む稜線
のうち、図７に実線で示した真の稜線４０１，４０２，
４０４，４０５は、図５（ａ）に示した三次元直交座標
のＸ軸方向またはＹ軸方向に沿っていることから、この
多角形領域５０１に対応する面の方向、即ち法線ベクト
ルは、Ｘ軸及びＹ軸に直交するＺ軸方向と同じ方向を有
していることがわかる。面方向算出手段６は、このよう
にして各多角形領域の面方向を求め、面方向情報を生成
する。なお、多角形領域５０１は室内３００の天井に相
当することから、画像に映り込む面は当該画像中の下方
を向いているので、図７に示したＺ方向を示す矢印は下
方を指して描かれている。

【００２８】三次元多角形データ生成手段７は、面方向
算出手段６から出力された面方向情報と、カメラ視点位
置入力手段２からカメラ視点位置情報とを取得して、各
多角形領域の３次元多角形データを生成する。

【００２９】図８は、三次元多角形データ生成手段７が
生成する三次元多角形データを示す説明図である。図５
ないし図７に示した部分と同一あるいは相当する部分に
同じ符号を付し、その説明を省略する。図において、７
００は多角形領域５０１を示す三次元多角形領域データ
に基づいて生成した三次元多角形データ（三次元デー
タ）で、図示したものは図５に示した直交座標のＸ軸と
Ｙ軸が成す平面の法線方向から視たとき、当該三次元多
角形データ７００が表す形状である。７０１は多角形領
域５０１の稜線４０１に対応する辺、７０２は稜線４０
２に対応する辺、７０４は稜線４０４に対応する辺、７
０５は稜線４０５に対応する辺である。

【００３０】三次元多角形データ生成手段７は、面方向
算出手段６によって求められた面方向情報と当該面情報
に対応する二次元多角形領域データとを入力し、またカ
メラ視点位置入力手段２から取得したカメラ視点位置情
報に基づいて、二次元多角形領域データから三次元空間
上の多角形データを生成する。図８は、多角形領域５０
１の二次元多角形領域データから生成した三次元多角形
データ７００を示したものである。多角形領域５０１の
二次元多角形領域データにおいて、Ｘ方向に延びる稜線
４０１とＹ方向に延びる稜線４０２は隣り合って接して
いることから、稜線４０１と稜線４０２は直角に接して
いることがわかり、この部分の三次元多角形データ７０
０は図示した辺７０１と辺７０２のように生成される。
また、二次元多角形領域データにおいて稜線４０４はＹ
方向、稜線４０５はＸ方向に延びていることから、これ
らの稜線は直角に接していることがわかるので、この部
分の三次元多角形データ７００は辺７０４と辺７０５の
ように生成される。このように、三次元多角形データ生
成手段７は主に真の稜線、即ち稜線４０１，４０２，４
０４，４０５について三次元多角形データを生成する
（ステップＳＴ１０６）。

【００３１】三次元多角形データ変形手段８は、三次元
多角形データ生成手段７から三次元多角形データを入力
して、３次元空間上の対象物の外周や内周を構成する
辺、即ち稜線のうち、見かけ上の稜線を二次元稜線方向
分類手段４から入力した方向分類情報に基づいて直交座
標のＸ，Ｙ，Ｚ軸のいずれかと平行するように当該三次
元多角形データを変形する。なお、ここで用いられる三
次元直交座標は、面方向算出手段６が多角形領域の面の
方向を算出する際に用いたものと同一である。

【００３２】図９は、三次元多角形データ変形手段８が
行う三次元多角形データの変形を示す説明図である。図
８に示した三次元多角形データと同一部分に同じ符号を
付し、その説明を省略する。図において、８００は三次
元多角形データ変形手段８により生成された三次元多角
形データ（三次元データ）、８０１，８０２，８０３は
三次元多角形データ７００に含まれる見かけ上の辺であ
る。

【００３３】三次元多角形データ変形手段８は、三次元
多角形データ生成手段７が生成した、例えば三次元多角
形データ７００を入力して、図９に示した見かけ上の辺
８０１，８０２，８０３が図５に示す直交座標のＸ，
Ｙ，Ｚ軸のいずれかに平行となるように変形する。当該
データの変形は、三次元多角形データ７００が示す多角
形を構成する辺について、図９に実線で示した辺７０
１，７０２，７０４，７０５を包絡し、全ての角が直角
を成す直交多角形が形成されるように、図９に破線で示
した辺８０１，８０２，８０３の回転または伸張を行う
（ステップＳＴ１０７）。

【００３４】三次元モデル生成手段９は、三次元多角形
データ変形手段８から三次元多角形データ８００を入力
し、稜線を介した隣接関係に基づいて３次元空間上に各
多角形領域を配置し、また各多角形領域を接合すること
によって３次元モデルデータを生成する。

【００３５】図１０は、三次元モデル生成手段９により
生成された三次元モデルを示す説明図である。三次元モ
デル生成手段９は、三次元多角形データ変形手段８によ
って変形された三次元多角形データを三次元空間内に配
置し、稜線を介して隣接し合う多角形領域同士を接合し
て図１０に示したような撮影対象物の形状を表す三次元
モデルデータを生成する（ステップＳＴ１０８）。

【００３６】このようにして生成された三次元モデルデ
ータは、三次元モデル復元装置１００から、例えばグラ
フィックスライブラリを用いた三次元モデル表示手段１
０へ出力してコンピュータ画面として表示させ、撮影対
象物の三次元モデルを復元する。または、三次元モデル
データから面や稜線の位置や延長方向を抽出して、他の
アプリケーションプログラムの入力データとして利用す
る。

【００３７】以上のように、実施の形態１によれば、一
つの視点で撮影された画像データを入力し、カメラ視点
位置情報を生成するカメラ視点位置入力手段２と、画像
データから稜線を検出して二次元稜線データを生成する
二次元稜線入力手段３と、カメラ視点位置情報と二次元
稜線データから方向分類情報を生成する二次元稜線方向
分類手段４と、画像データの内容を二次元稜線データに
基づいて分割する二次元多角形領域分割手段５と、分割
した多角形領域の面方向情報を生成する面方向算出手段
６と、多角形領域毎に三次元多角形データを生成する三
次元多角形データ生成手段７と、他の物体によって隠れ
ている部分の三次元多角形データを変形する三次元多角
形データ変形手段８と、変形された全ての多角形領域の
三次元多角形データを入力して三次元モデルを生成する
三次元モデル生成手段９とを備えたので、簡単に単一の
視点で撮影された対象物の画像データから三次元モデル
の抽出と当該三次元モデルの復元ができ、また、手前の
物体に隠れた部分の形状を補完して、ステレオ立体視に
おいて生じるあいまい性や数値計算上の不安定性を回避
して安定した三次元モデルを生成することができるとい
う効果がある。

【００３８】実施の形態２．この発明の実施の形態２に
よる画像の三次元モデル復元装置は、図１に示す画像の
三次元モデル復元装置と同様に構成される。ここでは実
施の形態２による三次元モデル復元装置を構成する各部
分の説明を省略し、以下、図１に付された符号を用いて
各構成部分の動作を説明する。

【００３９】図１１は、この発明の実施の形態２による
三次元モデル復元装置１００に入力される画像の一例を
示す説明図である。図において、１００１〜１００６，
２００１〜２００６は三次元モデル復元装置１００に入
力された画像が二次元多角形領域分割手段５によって分
割された多角形領域である。図１１に例示された画像
は、多角形領域１００１〜１００６が示す壁等の構造物
によって包囲された空間に、多角形領域２００１〜２０
０６が示す柱等の構造物が設けられたものを任意の視点
で撮影したものである。なお、多角形領域２００１〜２
００６で示す柱等の構造物は、多角形領域１００６が示
す壁等の構造物よりも手前に配置されている。以下、図
１１に示した多角形領域１００１〜１００３について行
われる動作処理を説明する。

【００４０】図１２は、実施の形態２による三次元モデ
ル復元装置１００が処理した結果を示す説明図である。
図１２（ａ）において、１１０１〜１１０３は三次元多
角形データ生成手段７によって多角形領域１００１〜１
００３から生成された三次元多角形データである（三次
元データ）。図中、斜線を施して三次元多角形データ１
１０１〜１１０３が示唆する形状を示す。また、三次元
多角形データ１１０１〜１１０３を囲む破線部分は、三
次元多角形データ変形手段８によって変形された三次元
多角形データが示唆する直交多角形を示している。

【００４１】例えば一枚の天井等のように同一平面で表
せる構造物であっても、撮影視点の手前側に多角形領域
２００１〜２００６で示されるような構造物が存在する
と、撮影された画像では一枚の天井が多角形領域１００
１と多角形領域１００２と多角形領域１００３に分断さ
れてしまう。実施の形態２による三次元モデル復元装置
１００は、このように分断された各多角形領域に処理を
加えて元通りの形状を示す三次元モデルを生成・復元す
るものである。

【００４２】三次元モデル生成手段９は、三次元多角形
データ変形手段８から入力した変形後の各多角形領域の
三次元多角形データを空間上に配置して接合し、三次元
モデルを生成する。その際に、三次元多角形データ１１
０１〜１１０３が示す多角形領域のように同一平面上に
位置する多角形領域群に対して、それらを包絡する直交
多角形を示す三次元多角形データを新たに生成して置換
する。図１２（ｂ）において、１１０４は三次元モデル
生成手段９によって三次元多角形データ１１０１〜１１
０３から生成された直交多角形を示す三次元多角形デー
タである（三次元データ）。

【００４３】三次元モデル生成手段９によって行われる
三次元多角形データ１１０１〜１１０３が同一平面上に
位置するか否かの判定は、例えば、図１１に例示した画
像では、三次元多角形データ１１０１〜１１０３が示す
多角形領域１００１〜１００３と、隣接する多角形領域
１００４，１００５との位置関係に基づいて行われ、例
えば、多角形領域１００１〜１００３にそれぞれ含まれ
ている稜線が、多角形領域１００４，１００５に含まれ
る特定の同一稜線と同じように接する場合には多角形領
域１００１〜１００３が同一平面上に位置すると判定す
る。同一平面上に三次元多角形データ１１０１〜１１０
３が位置していると判定した場合には、三次元多角形デ
ータ１１０４を生成し、元の三次元多角形データ１１０
１〜１１０３と置換する。

【００４４】図１３は、実施の形態２による三次元モデ
ル復元装置１００によって生成された三次元モデルデー
タを示す説明図である。図示した三次元多角形データ１
１０４は図１２（ｂ）に示したもので、前述のように同
一平面上に位置する三次元多角形データ１１０１〜１１
０３から生成されたものである。また、図１１に示した
多角形領域１００１〜１００３以外の多角形領域は、実
施の形態１で説明した三次元モデル復元装置１００の処
理動作と同様に、また、分断されている部分があれば多
角形領域１００１〜１００３と同様に各構成手段によっ
て処理され、三次元多角形データ変形手段８によって三
次元多角形データが生成される。実施の形態２による三
次元モデル生成手段９は、三次元多角形データ１１０１
〜１１０３から三次元多角形データ１１０４を生成し、
また、その他の三次元多角形データを三次元多角形デー
タ変形手段８から取得して、図示したような三次元モデ
ルを示す三次元モデルデータを生成する。こうして生成
された三次元モデルデータは、実施の形態１による三次
元モデル復元装置１００と同様に取り扱われ、画面表示
や、他のアプリケーションプログラムの入力データとし
て用いられる。

【００４５】以上のように、実施の形態２によれば、撮
影対象物の手前に物体が存在し、当該対象物が撮影され
た画像上で分断される場合に、画像データから生成した
複数の多角形領域が同一平面上に位置するか否かを判定
し、同一平面上にある多角形領域群を包絡する三次元多
角形データを生成する三次元モデル生成手段９を備えた
ので、撮影の視点の手前側に在る物体によって見かけ上
分断された撮影対象物の面を単一の面として三次元モデ
ルデータを生成することができ、正確な三次元モデルの
復元を行うことができるという効果がある。

【００４６】

【発明の効果】以上のように、この発明によれば、画像
を示すデータから稜線を検出する稜線入力手段と、稜線
を延長方向毎に分類した方向分類情報を生成する稜線方
向分類手段と、稜線に基づいて画像を複数の領域に分割
した領域データを生成する領域分割手段と、領域データ
によって表される面の向きを、方向分類情報を用いて算
出し面方向情報を生成する面方向算出手段と、領域デー
タ及び面方向情報に基づいて三次元データを生成する三
次元データ生成手段と、方向分類情報に基づいて三次元
データを変形する三次元データ変形手段と、三次元デー
タ変形手段で変形された三次元データから三次元モデル
を生成する三次元モデル生成手段とを備えたので、単一
の視点で撮影された対象物の画像データから三次元モデ
ルの抽出と復元が可能になり、また、手前の物体に隠れ
た部分の形状を補完して安定した三次元モデルを生成す
ることができるという効果がある。

【００４７】この発明によれば、画像を撮影した視点位
置を取得する視点位置入力手段を備え、稜線方向分類手
段が視点位置入力手段から入力した視点位置情報に基づ
いて方向分類情報を生成し、三次元データ生成手段が視
点位置情報に基づいて三次元データを生成するようにし
たので、単一の視点で撮影された対象物の画像データか
ら三次元モデルの抽出と復元ができるという効果があ
る。

【００４８】この発明によれば、稜線方向分類手段が画
像に任意の三次元直交座標を仮定し、稜線の延長方向を
三次元直交座標の座標軸に対応させて分類するようにし
たので、単一の視点で撮影された対象物の画像データか
ら三次元モデルの抽出と復元ができるという効果があ
る。

【００４９】この発明によれば、領域分割手段が画像を
多角形の領域に分割し、多角形領域を形成する各稜線
を、画像の縁に相当する稜線及び稜線延長の途中に他の
稜線が接しているものを見かけ上の稜線とし、また、稜
線の端部のみが他の稜線と接しているものを真の稜線と
して分類して領域データを生成するようにしたので、手
前の物体に隠れた部分の形状を補完して安定した三次元
モデルを生成することができるという効果がある。

【００５０】この発明によれば、面方向算出手段が真の
稜線の方向分類情報から面の方向を算出するようにした
ので、単一の視点で撮影された対象物の画像データから
三次元モデルの抽出と復元が可能になり、また、手前の
物体に隠れた部分の形状を補完して安定した三次元モデ
ルを生成することができるという効果がある。

【００５１】この発明によれば、三次元データ変形手段
が見かけ上の稜線を変化させて直交多角形を表す三次元
データを生成するようにしたので、単一の視点で撮影さ
れた対象物の画像データから三次元モデルの抽出と復元
が可能になり、また、手前の物体に隠れた部分の形状を
補完して安定した三次元モデルを生成することができる
という効果がある。

【００５２】この発明によれば、三次元モデル生成手段
が同一平面上に位置する領域を包絡する直交多角形を形
成する三次元データを生成して三次元モデルを生成する
ようにしたので、正確な三次元モデルの復元を行うこと
ができるという効果がある。

【００５３】この発明によれば、画像を撮影した視点位
置を示す視点位置情報を取得する過程と、画像から稜線
を検出する過程と、画像から検出した各稜線を延長方向
毎に分類する過程と、画像を複数の領域に分割して領域
に含まれる稜線を真の稜線と見かけ上の稜線に分類する
過程と、領域に含まれる真の稜線の延長方向に基づいて
領域に形成される面の方向を算出する過程と、領域毎に
三次元データを生成する過程と、三次元データが表す領
域に含まれる見かけ上の稜線を変形して直交多角形領域
を表す三次元データを生成する過程と、各領域の変化さ
せた三次元データを各領域の面方向に基づいて三次元空
間に配置して三次元モデルデータを生成する過程とを備
えたので、単一の視点で撮影された対象物の画像データ
から三次元モデルの抽出と復元が可能になり、また、手
前の物体に隠れた部分の形状を補完して安定した三次元
モデルを生成することができるという効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による画像の三次元
モデル復元装置の構成を示すブロック図である。

【図２】 実施の形態１による画像の三次元モデル復元
装置の動作処理を示すフローチャートである。

【図３】 実施の形態１による三次元モデル復元装置へ
入力される画像の一例を示す説明図である。

【図４】 実施の形態１による三次元モデル復元装置へ
入力される室内を撮影した画像を示す説明図である。

【図５】 実施の形態１による三次元モデル復元装置へ
入力される室内の画像を示す説明図である。

【図６】 二次元多角形領域分割手段が分割した室内の
画像を示す説明図である。

【図７】 面方向算出手段による面方向の算出を示す説
明図である。

【図８】 三次元多角形データ生成手段が生成する三次
元多角形データを示す説明図である。

【図９】 三次元多角形データ変形手段が行う三次元多
角形データの変形を示す説明図である。

【図１０】 三次元モデル生成手段により生成された三
次元モデルを示す説明図である。

【図１１】 この発明の実施の形態２による三次元モデ
ル復元装置に入力される画像の一例を示す説明図であ
る。

【図１２】 実施の形態２による三次元モデル復元装置
が多角形領域を処理した結果を示す説明図である。

【図１３】 実施の形態２による三次元モデル復元装置
によって生成された三次元モデルデータを示す説明図で
ある。

【符号の説明】

１ デジタルカメラ、２ カメラ視点位置入力手段（視
点位置入力手段）、３二次元稜線入力手段（稜線入力手
段）、４ 二次元稜線方向分類手段（稜線方向分類手
段）、５ 二次元多角形領域分割手段（領域分割手
段）、６ 面方向算出手段、７ 三次元多角形データ生
成手段（三次元データ生成手段）、８ 三次元多角形デ
ータ変形手段（三次元データ変形手段）、９ 三次元モ
デル生成手段、１０ 三次元モデル表示手段、１００
三次元モデル復元装置、３００ 室内、３０１ 壁、３
０２ 窓、４０１〜４１１ 稜線、５０１〜５０６ 多
角形領域、６０１〜６０４ 見かけ上の稜線、７００
三次元多角形データ（三次元データ）、７０１，７０
２，７０４，７０５ 辺、８００ 三次元多角形データ
（三次元データ）、８０１〜８０３ 見かけ上の辺、１
００１〜１００６，２００１〜２００６ 多角形領域、
１１０１〜１１０４ 三次元多角形データ（三次元デー
タ）。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA09 BA13 BA18 CA07 EA07 EA13 EA19 EA28 EA29 FA06 5B057 BA02 BA23 CA08 CA12 CA17 CB08 CB13 CB16 CC01 CD14 CE10 CE20 CH08 DA07 DA16 DB02 DB09 DC08 DC09 5B080 AA13

Claims (8)

【特許請求の範囲】
1. 【請求項１】 画像を示すデータから稜線を検出する稜
   線入力手段と、 前記稜線を延長方向毎に分類した方向分類情報を生成す
   る稜線方向分類手段と、 前記稜線に基づいて前記画像を複数の領域に分割した領
   域データを生成する領域分割手段と、 前記領域データによって表される面の向きを前記方向分
   類情報を用いて算出し面方向情報を生成する面方向算出
   手段と、 前記領域データ及び前記面方向情報に基づいて三次元デ
   ータを生成する三次元データ生成手段と、 前記方向分類情報に基づいて前記三次元データを変形す
   る三次元データ変形手段と、 前記三次元データ変形手段で変形された三次元データか
   ら三次元モデルを生成する三次元モデル生成手段とを備
   えた画像の三次元モデル復元装置。
2. 【請求項２】 画像を撮影した視点位置を取得する視点
   位置入力手段を備え、 稜線方向分類手段は、前記視点位置入力手段から入力し
   た視点位置情報に基づいて方向分類情報を生成し、 三次元データ生成手段は、前記視点位置情報に基づいて
   三次元データを生成することを特徴とする請求項１記載
   の画像の三次元モデル復元装置。
3. 【請求項３】 稜線方向分類手段は、画像に任意の三次
   元直交座標を仮定し、稜線の延長方向を前記三次元直交
   座標の座標軸に対応させて分類することを特徴とする請
   求項１記載の画像の三次元モデル復元装置。
4. 【請求項４】 領域分割手段は、画像を多角形の領域に
   分割し、当該多角形領域を形成する各稜線を、画像の縁
   に相当する稜線及び稜線延長の途中に他の稜線が接して
   いるものを見かけ上の稜線とし、また、稜線の端部のみ
   が他の稜線と接しているものを真の稜線として分類して
   領域データを生成することを特長とする請求項１記載の
   画像の三次元モデル復元装置。
5. 【請求項５】 面方向算出手段は、真の稜線の方向分類
   情報から面の方向を算出することを特徴とする請求項４
   記載の画像の三次元モデル復元装置。
6. 【請求項６】 三次元データ変形手段は、見かけ上の稜
   線を変化させて直交多角形を表す三次元データを生成す
   ることを特徴とする請求項４記載の画像の三次元モデル
   復元装置。
7. 【請求項７】 三次元モデル生成手段は、同一平面上に
   位置する領域を包絡する直交多角形を形成する三次元デ
   ータを生成して三次元モデルを生成することを特徴とす
   る請求項１記載の画像の三次元モデル復元装置。
8. 【請求項８】 画像を撮影した視点位置を示す視点位置
   情報を取得する過程と、 前記画像から稜線を検出する過程と、 前記画像から検出した各稜線を延長方向毎に分類する過
   程と、 前記画像を複数の領域に分割して当該領域に含まれる稜
   線を真の稜線と見かけ上の稜線に分類する過程と、 前記領域に含まれる真の稜線の延長方向に基づいて前記
   領域に形成される面の方向を算出する過程と、 前記領域毎に三次元データを生成する過程と、 前記三次元データが表す領域に含まれる見かけ上の稜線
   を変形して直交多角形領域を表す三次元データを生成す
   る過程と、 前記各領域の前記変化させた三次元データを前記各領域
   の面方向に基づいて三次元空間に配置した三次元モデル
   データを生成する過程とを備えた画像の三次元モデル復
   元方法。