JP2000163590A - 三次元モデル変換装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 オクルージョンが発生した場合であっても正
確な面構成を行うことができ、かつ操作者が容易に操作
することができる三次元モデル変換方法及び装置を提供
する。 【解決手段】 取り込んだ複数の画像に基づいて、画像
中の対象物体における幾何学的性質を規定する基本モデ
ルを選択し、選択された基本モデルに基づいて複数の画
像キャリブレーションを実行し、基本モデルを画像に重
畳して基本モデルの頂点の三次元座標を決定し、画像キ
ャリブレーションの結果と決定された基本モデルの頂点
の三次元座標に基づいて、少なくとも一つの新しい頂点
を指定して面を構成すると同時に新しい頂点の三次元位
置情報を計算し、最終的に得られた三次元モデルと各画
像間の対応関係に基づいて、モデルの表面に貼り付ける
模様画像を生成して、最終的に完成した三次元モデルの
データを出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル化された
複数の映像、又は動画像に写っている三次元形状を測定
し、コンピュータグラフィックスにて表示するための三
次元モデルに変換するための装置及び方法に関する。

【０００２】

【従来の技術】複数の画像、又は映像等の三次元の物体
を写した二次元画像である三次元形状自体には、三次元
空間における長さ、方向等のディメンジョンが存在せ
ず、コンピュータグラフィックス処理の対象とは、その
ままではできない。コンピュータグラフィックス処理の
対象とするためには、複数画像間、又は複数映像間の対
応を適格に把握し、三次元情報を復元することが必要で
ある。

【０００３】図１に、従来の三次元モデル変換方法にお
ける処理の流れ図を示す。図１において、測定対象とな
る複数の画像、又は動画像等の二次元データが与えられ
ると（ステップＳ１０１）、これらの画像の各々につい
てキャリブレーションを行う（ステップＳ１０２）。こ
こでキャリブレーションとは、それぞれの画像をどの方
向からどれくらいの距離をおいて見ているのか、目線の
方向付けと視点決めを行う作業を意味する。

【０００４】そして、二次元の状態で線画を生成し（ス
テップＳ１０３）、線画で囲まれた面の対応を定義づけ
る（ステップＳ１０４）。各面について、対応関係が明
確になると三次元形状及び模様を生成することが可能と
なり（ステップＳ１０５）、三次元物体として形状及び
模様を確定した結果として、三次元モデルを出力するこ
とになる（ステップＳ１０６）。かかる方法を用いた三
次元モデルの入力方法が、特開平２−２１９０１０号公
報によって開示されている。

【０００５】また、面の対応付けが一般に困難であるこ
とから、面対応を指定するのではなく点対応を指定する
方法についても、各種の学会において報告されたり、各
ソフトウェア企業によって製品化されている。点対応を
指定する方法では、キャリブレーションの前に、点対応
指定を行い、かつ三次元空間中の座標を計算をしておく
ことが必要である。ここで、点対応を指定する方法に
は、複数の点を連結して面を指定する処理を、三次元空
間の計算前に行う方法と三次元空間の計算後に行う方法
の大きく２つに区分できる。

【０００６】図２に複数の点を連結して面を指定する処
理を三次元空間の計算前に行う方法の流れ図を示す。図
２においては、測定対象となる複数の画像、又は動画像
等の二次元データが与えられると（ステップＳ２０
１）、これらの画像の各々について点対応を指定して
（ステップＳ２０２）、これらの点を連結して面を指定
する（ステップＳ２０３）。面を指定する作業は、画像
上、すなわち二次元平面への投影面上で、点群の連結を
行うことになる。

【０００７】そして、面を構成してから三次元空間中の
座標計算を行うことで三次元形状を生成し（ステップＳ
２０４）、模様を生成する（ステップＳ２０５）。最後
に、三次元物体として形状及び模様を測定した結果とし
て、三次元モデルを出力することになる（ステップＳ２
０６）。

【０００８】一方、複数の点を連結して面を指定する処
理を三次元空間の計算後に行う方法の流れ図を図３に示
す。図３においては、測定対象となる複数の画像、又は
動画像等の二次元データが与えられると（ステップＳ３
０１）、これらの画像の各々について点対応を指定して
（ステップＳ３０２）、面を構成することなく三次元空
間中の座標計算を行う（ステップＳ３０３）。この時点
で、各点は三次元座標を有することになる。これらの点
を連結して面を指定する。

【０００９】そして、これらの三次元座標点を連結して
面を指定する（ステップＳ３０４）ことで三次元形状を
生成し、模様を生成する（ステップＳ３０５）。最後
に、三次元物体として形状及び模様を測定した結果とし
て、三次元モデルを出力することになる（ステップＳ３
０６）。

【００１０】

【発明が解決しようとする課題】しかし、上述した方法
では、複数の画像間でオクルージョンが発生した場合に
おいては、二次元画像上で面の形状が異なる等、面の対
応が正しく指定または決定することができない場合も生
じる。さらに、面の対応が正しく指定され、または決定
された場合においても、三次元形状の模様の測定に大き
な誤差を生ずるおそれも残されている。

【００１１】ここで、オクルージョンとは、指定された
複数の面が重なることにより、面の裏側に位置すること
で見えなくなる部分が生じる現象を意味する。例えば、
図４のように２つのカメラを用いて太線部部分を三次元
モデルに変換する場合を考える。この場合、カメラ１に
よっては、図５（ａ）のように明るい部分と暗い部分の
間にやや暗い部分を検知することができる。一方、カメ
ラ２によっては、図５（ｂ）のように明るい部分と暗い
部分は検知することはできるが、やや暗い部分について
は死角に入っている（オクルージョンの発生）ために検
知することができない。この場合、三次元形状として
は、図６に示すように、カメラ２の視線上に点Ａが浮き
上がったような形状、すなわち点Ａが点Ａ’として認識
されるため、正確な形状認識ができないことになる。

【００１２】また、点対応を指定する方法においても、
複数の点を連結して面を指定する処理を三次元空間の計
算前に行う方法では、面構成時に三次元空間での配置が
決まっていないので、操作者は三次元空間を想像しなが
ら面を構成する必要があり、複雑な面になればなるほ
ど、実状とは異なる面構成となる蓋然性が強い。

【００１３】さらに、複数の点を連結して面を指定する
処理を三次元空間の計算後に行う方法では、三次元空間
中に配置されている点群をディスプレイ等の二次元表示
装置に表示させることになるので、点が多数になればな
るほど、操作者が各点を識別することが困難になり、正
確な面構成ができない可能性が強い。

【００１４】本発明は、上記問題点を解消して、オクル
ージョンが発生した場合であっても正確な面構成を行う
ことができ、かつ操作者が容易に操作することができる
三次元モデル変換方法及び装置を提供することを目的と
する。

【００１５】

【課題を解決するための手段】上記目的を達成するため
に本発明にかかる三次元モデル変換装置は、複数の画像
に基づいて三次元物体の形状を測定して三次元モデルに
変換する三次元モデル変換装置であって、複数の画像を
取り込む画像入力部と、取り込んだ画像を格納する画像
記憶部と、画像に含まれる基準物体を表す基本モデルを
格納する基本モデル格納部と、画像中の対象物体におけ
る幾何学的性質を規定する基本モデルを選択する基本モ
デル選択部と、選択された基本モデルに基づいて複数の
画像キャリブレーションを実行し、基本モデルを画像に
重畳して基本モデルの頂点の三次元座標を決定する画像
キャリブレーション実行部と、画像キャリブレーション
の結果と決定された基本モデルの頂点の三次元座標に基
づいて、少なくとも一つの新しい頂点を指定して面を構
成する面構成及び対応点指示部と、新しい頂点が指定さ
れると同時に新しい頂点の三次元位置情報を計算する三
次元情報計算部と、対象物体の三次元モデルを表示する
三次元形状表示部と、新しい頂点の追加により最終的に
得られた三次元モデルと各画像間の対応関係に基づい
て、モデルの表面に貼り付ける模様画像を生成する模様
画像生成部と、最終的に完成した三次元モデルのデータ
を出力する生成モデル出力部を有することを特徴とす
る。

【００１６】かかる構成により、三次元モデルの生成途
上の状態を利用者の目で確認しながら作業できるので、
利用者の意図している三次元モデルを構築でき、オクル
ージョンの発生による三次元モデルの誤った認識を回避
することが可能となる。

【００１７】また、本発明にかかる三次元モデル変換装
置は、新しい頂点及び面の変更または削除を、頂点間の
辺の再配置によって行うことができることが好ましい。
利用者にとって容易な操作で新しい頂点及び面の変更ま
たは削除できることが望ましいからである。

【００１８】また、本発明にかかる三次元モデル変換装
置は、基本モデルを取り込む場合に、パラメータ変数を
用いたデータ形式によって取り込むことができることが
好ましい。コンピュータグラフィック用のデータとして
用いることが容易になるからである。

【００１９】また、本発明にかかる三次元モデル変換装
置は、新しい頂点がパラメータ変数を用いたデータ形式
によって表現され、複数の画像に対するキャリブレーシ
ョン実行時に、パラメータの値を決定することが好まし
い。パラメータ値が確定すると、コンピュータグラフィ
ック用のデータとして容易に画像表示できることから、
新しい頂点を指定したことによる面張り状態を容易に確
認することが可能となるからである。

【００２０】また、本発明にかかる三次元モデル変換装
置は、変換途上における三次元モデルを基本モデルの一
つとして登録することができることが好ましい。共通化
できる部分を基本モデルとして登録しておくことで、類
似した画像データを三次元モデルに変換する場合に効率
良く変換できるからである。もちろん、最終的に完成し
た三次元モデルも基本モデルとして登録しても良い。

【００２１】次に、上記課題を解決するために本発明に
かかる三次元モデル変換方法は、複数の画像に基づいて
三次元物体の形状を測定して三次元モデルに変換する三
次元モデル変換方法であって、複数の画像を取り込み、
取り込んだ画像を格納する工程と、画像に含まれる基準
物体を表す基本モデルを格納する工程と、画像中の対象
物体における幾何学的性質を規定する基本モデルを選択
する工程と、選択された基本モデルに基づいて複数の画
像キャリブレーションを実行し、基本モデルを画像に重
畳して基本モデルの頂点の三次元座標を決定する工程
と、画像キャリブレーションの結果と決定された基本モ
デルの頂点の三次元座標に基づいて、少なくとも一つの
新しい頂点を指定して面を構成するとともに、同時に新
しい頂点の三次元位置情報を計算し、対象物体の三次元
モデルを表示する工程と、新しい頂点の追加により最終
的に得られた三次元モデルと各画像間の対応関係に基づ
いて、モデルの表面に貼り付ける模様画像を生成する工
程と、最終的に完成した三次元モデルのデータを出力す
る工程を有することを特徴とする。

【００２２】かかる構成により、三次元モデルの生成途
上の状態を利用者の目で確認しながら作業できるので、
利用者の意図している三次元モデルを構築でき、オクル
ージョンの発生による三次元モデルの誤った認識を回避
することが可能となる。

【００２３】次に、上記課題を解決するために本発明に
かかるコンピュータに実行させるプログラムを記録した
コンピュータ読み取り可能な記録媒体は、複数の画像に
基づいて三次元物体の形状を測定して三次元モデルに変
換するコンピュータに実行させるプログラムを記録した
コンピュータ読み取り可能な記録媒体であって、複数の
画像を取り込み、取り込んだ画像を格納するステップ
と、画像に含まれる基準物体を表す基本モデルを格納す
るステップと、画像中の対象物体における幾何学的性質
を規定する基本モデルを選択するステップと、選択され
た基本モデルに基づいて複数の画像キャリブレーション
を実行し、基本モデルを画像に重畳して基本モデルの頂
点の三次元座標を決定するステップと、画像キャリブレ
ーションの結果と決定された基本モデルの頂点の三次元
座標に基づいて、少なくとも一つの新しい頂点を指定し
て面を構成するとともに、同時に新しい頂点の三次元位
置情報を計算し、対象物体の三次元モデルを表示するス
テップと、新しい頂点の追加により最終的に得られた三
次元モデルと各画像間の対応関係に基づいて、モデルの
表面に貼り付ける模様画像を生成するステップと、最終
的に完成した三次元モデルのデータを出力するステップ
を有することを特徴とする。

【００２４】かかる構成により、コンピュータ上へ当該
プログラムをロードさせ実行することで、三次元モデル
の生成途上の状態を利用者の目で確認しながら作業でき
るので、利用者の意図している三次元モデルを構築で
き、オクルージョンの発生による三次元モデルの誤った
認識を回避することが可能となる三次元モデル変換装置
が実現できる。

【００２５】

【発明の実施の形態】以下、本発明の実施の形態にかか
る三次元モデル変換装置について、図面を参照しながら
説明する。図７は本発明の実施の形態にかかる三次元モ
デル変換装置の構成図である。

【００２６】図７において、７０１は画像入力部を、７
０２は画像記憶部を、７０３は基本モデル登録部を、７
０４は基本モデル記憶部を、７０５は基本モデル選択部
を、７０６は基本モデルに基づく画像キャリブレーショ
ン部を、７０７は面構成及び対応点指定部を、７０８は
三次元情報計算部を、７０９は三次元情報表示部を、７
１０は模様画像生成部を、７１１は生成モデル出力部
を、それぞれ示す。

【００２７】まず、画像入力部７０１において、使用す
る複数の画像をビデオ画像または複数の静止画像とし
て、画像入力装置等を用いて画像記憶部７０２へ取り込
む。画像入力装置としては、電子スチルカメラやデジタ
ルビデオカメラ等が考えられるが、これに限定されるも
のではない。

【００２８】一方、基本モデル登録部７０３において、
対象として想定される物体の三次元モデル情報を入力し
て、基本モデル記憶部７０４に格納する。基本モデル
は、頂点の三次元座標と頂点のグラフにより構成され
る。次に、基本モデル選択部７０５において、基本モデ
ル記憶部７０４に格納されているモデル群から、対象画
像中でキャリブレーションを行う際に基準として使用す
る部分に最も適合する三次元モデルをユーザが選択す
る。

【００２９】そして、基本モデルに基づく画像キャリブ
レーション部７０６において、対象となる画像のキャリ
ブレーションを行い、当該画像の外部カメラパラメータ
及び内部カメラパラメータを決定することで、基本モデ
ルに含まれる面の当該画像における配置が決定される。
ここで、外部カメラパラメータとは、カメラが見ている
方向や位置を意味し、対象となる画像への視点を策定す
るパラメータである。また、内部カメラパラメータと
は、焦点距離や歪みを意味し、対象となる画像を三次元
モデル化する際の微調整に用いられるパラメータであ
る。

【００３０】次に、面構成及び対応点指定部７０７にお
いて、対応関係を与えたい点を画像上で指定し、当該指
定された点と基本モデル中の複数の任意点を結ぶことで
面を構成する。したがって、対応関係を与えたい点は基
本モデルに新たに加わった頂点となる。かかる作業は、
与えられた複数の画像すべてについて行う。

【００３１】さらに、三次元情報計算部７０８におい
て、面構成及び対応点指定部７０７で複数の画像上で指
定された点について、三角測量の原理に基づいて三次元
座標を計算する。したがって、一つの点は最低限２枚の
画像上で指定されている必要がある。一つの画像上でし
か指定されていない場合には、仮の三次元座標を与える
処理を行う。

【００３２】また、三次元情報表示部各画像７０９にお
いて、面構成及び対応点指定部７０７で求めた面構成情
報と三次元情報計算部７０８で計算した指定点の三次元
位置情報に基づいて、新たに点が追加されたことにより
構成された物体の三次元形状を画面上に表示する。表示
されることで、使用者は、新しい頂点や面の構成が意図
していたものと一致しているか否かの判断をすることが
できる。意図していたものと一致していない場合には、
面構成及び対応点指定部７０７に戻って修正する。望み
の頂点数、望みの面情報が生成されるまで、以上の処理
を繰り返し行う。

【００３３】最後に、模様画像生成部７１０において、
最終的な三次元モデルと画像との対応関係に基づいて三
次元モデルの表面に貼り付ける模様画像を生成し、生成
モデル出力部７１１において三次元モデル表示システム
のデータ形式に変換後出力する。

【００３４】次に、本発明にかかる三次元モデル変換装
置の一実施例について図面を参照しながら説明する。図
８は、本実施例にかかる三次元モデル変換装置の構成図
である。

【００３５】図８において、８０１は画像入力装置を、
８０２は画像記憶装置を、８０３は基本モデル登録装置
を、８０４は基本モデル記憶装置を、８０５は基本モデ
ル選択装置を、８０６は基本モデルに基づく画像キャリ
ブレーション装置を、８０７は面構成及び対応点指定装
置を、８０８は三次元情報計算装置を、８０９は三次元
情報表示装置を、８１０は模様画像生成装置を、８１１
は生成モデル出力装置を、それぞれ示す。

【００３６】まず、図８において、画像入力装置８０１
には、ビデオやＣＣＤカメラ等を用いて画像を入力す
る。この場合、ビデオ画像については、フレームに分解
しようとしまいとどちらでも構わない。しかし、基本モ
デルに基づく画像キャリブレーション装置８０６におい
て画像のキャリブレーションを行う場合には対象フレー
ムを特定することが必要となるので、ユーザの指示に従
って、フレームを特定できる機能を有することが必要で
ある。市販のビデオデッキが有するようなコマ送り表示
機能と同等であれば良い。

【００３７】画像入力装置８０１から入力された画像は
画像記憶装置８０２へ取り込まれる。画像記憶装置８０
２としては、磁気ディスク装置に代表される記憶メディ
ア装置であれば特に限定されるものではない。

【００３８】一方、基本モデル登録装置８０３におい
て、対象として想定される物体の三次元モデル情報を入
力して、基本モデル記憶装置８０４に格納する。なお、
基本モデル記憶装置８０４としては、画像記憶装置８０
２と同様に、磁気ディスク装置に代表される記憶メディ
ア装置であれば特に限定されるものではない。

【００３９】また、対象物体を表現する基本モデルとし
ては、直方体、錐体、柱体、球等の三次元形状モデルを
用意する。なお、基本モデルとしては、これらのモデル
に限定されるものではなく、これら形状の複合体であっ
ても構わない。

【００４０】さらに、ここでは基本モデルについてすべ
てポリゴン形式で表現する。したがって、従来からのコ
ンピュータグラフィックスにおけるデータ形式と同様
に、三次元のモデル座標系における三次元座標によって
モデルを表現する。

【００４１】例えば、基本モデルとして直方体の場合を
考えると、８つの頂点は三次元座標において、それぞれ
（０，０，０）、（１，０，０）、（０，ｈ，０）、
（１，ｈ，０）、（０，０，ｄ）、（１，０，ｄ）、
（０，ｈ，ｄ）、（１，ｈ，ｄ）で表わすことができ
る。ここで、ｈ、ｄは変数であり、ｈは高さを表わし、
ｄは奥行きを表わす。かかるｈとｄを決定することで、
直方体モデルの実体として、対象となる物体の形状を決
定することになる。

【００４２】また、正ｎ角柱体の場合も同様に、（cos
（2πi/n），sin（2πi/n），０）、（cos（2πi/n），
sin（2πi/n），ｄ）（iは整数、i=０，…，n-1）と
し、正ｎ角錐体の場合も（cos（2πi/n），sin（2πi/
n），０）（iは整数、i=０，…，n-1）、（０，０，
ｄ）とし、いずれも変数ｄを決定すれば、基本モデルの
実体として、対象となる物体の形状を決定することがで
きる。他の基本モデルについても、ｄ、ｈと同様の媒介
変数を用意することにより、基本モデルに対して実体と
しての形状を決定することができる。

【００４３】かかる頂点は、各頂点を識別するための頂
点番号を有する。そして、モデルの各面については、頂
点番号のグラフによって表示することができる。直方体
のモデルにおいては、各頂点に０：（０，０，０）、
１：（１，０，０）、２：（０，ｈ，０）、３：（１，
ｈ，０）、４：（０，０，ｄ）、５：（１，０，ｄ）、
６：（０，ｈ，ｄ）、７：（１，ｈ，ｄ）と頂点番号を
付すると、各面は４つの頂点により構成されるので、各
面に面番号を与えて、０：０−１−３−２、１：４−５
−７−６、２：０−１−５−４、３：２−３−７−６、
４：０−２−６−４、５：１−３−７−５と表わすこと
が可能となる。

【００４４】そこで、基本モデルの登録情報として、上
記の形式を有するデータを基本モデル情報として取り込
むことになる。かかる形式は、通常のＣＧ（ComputerGr
aphics）モデルの記述に準じているので、各種のＣＧモ
デル表現形式を読み込むことのできるデータ変換ツール
を準備することで、様々な書式のデータ取り込みに対応
することが可能となる。その際には、入力したモデルを
画面で自由に閲覧させる機能を提供し、マウス等のポイ
ンティングデバイスを用いることにより、パラメータ化
させる部分を指定できる機能を準備することで、最も適
した基本モデルを取り込むことが容易となる。

【００４５】次に、基本モデル選択装置８０５におい
て、基本モデル記憶装置８０４に格納されているモデル
群から、対象画像中でキャリブレーションを行う際に基
準として使用する部分に最も適合する三次元モデルをユ
ーザが選択する。

【００４６】図９には基本モデル選択指示ウインドウを
例示した。複数のビデオ画像等がある場合には、かかる
インタフェースを用いることにより、ユーザが閲覧しな
がら選択できることが有用である。

【００４７】そして、基本モデルに基づく画像キャリブ
レーション装置８０６において、対象となる画像のキャ
リブレーションを行い、当該画像の外部カメラパラメー
タ及び内部カメラパラメータを決定することで、基本モ
デルに含まれる面の当該画像における配置が決定され
る。ここで、外部カメラパラメータとは、カメラが見て
いる方向や位置を意味し、対象となる画像への視点を策
定するパラメータである。また、内部カメラパラメータ
とは、焦点距離や歪みを意味し、対象となる画像を三次
元モデル化する際の微調整に用いられるパラメータであ
る。

【００４８】次に、基本モデルに基づくキャリブレーシ
ョンは、以下の手順で行う。すなわち、基本モデルにお
ける各頂点と、各頂点が投影されている画像上での座標
を、与えられた複数の画像すべてにおいて結びつける。
かかる基本モデルにおける各頂点と複数の画像上での各
座標との関連情報によって、共線条件連立方程式が成立
する。この共線条件連立方程式を解くことにより、与え
られた複数の画像すべてについて、外部カメラパラメー
タと内部カメラパラメータを得ることが可能となる。な
お、基本モデル自体がパラメータで表現されている場合
には、上記共線条件連立方程式に変数として当該パラメ
ータを加えた上で解けば足りる。

【００４９】以上の処理によって、与えられた複数の画
像各々について視点の位置を決定することができ、画像
上での任意点に対して視線方程式を導くことが可能とな
ることから、画像上の点を指定することで、三次元空間
上の座標を計算することができるようになる。

【００５０】そして、キャリブレーションされた結果に
基づいて、各画像上に基本モデルが重畳表示されること
で、各画像における頂点と面が判別できる。例えば、図
１０のように直方体の箱に人形が座っている画像に対し
て、基本モデルとして直方体の基本モデルを選択した場
合には、キャリブレーションを行った上で、人形が座っ
ている直方体の箱について、基本モデルが重畳表示され
る。

【００５１】ここで、面構成及び対応点指定装置８０７
において、対応関係を与えたい点を画像上で指定し、当
該指定された点と基本モデル中その点を含む面の頂点を
結ぶことで面を構成する。したがって、対応関係を与え
たい点は基本モデルに新たに加わった頂点となる。かか
る作業は、与えられた複数の画像のうち、その頂点が観
察される２枚以上の画像について行う。

【００５２】さらに、三次元情報計算部８０８におい
て、面構成及び対応点指定部８０７で複数の画像上で指
定された点について、三角測量の原理に基づいて三次元
座標を計算する。一つの画像上でしか指定されていない
場合には、仮の三次元座標を与える処理を行う。

【００５３】さらに、三次元情報表示装置８０９におい
て、面構成及び対応点指定装置８０７で求めた面構成情
報と三次元情報計算部８０８で計算した指定点の三次元
位置情報に基づいて、新たに点が追加されたことにより
構成された物体の三次元形状を画面上に表示する。表示
されることで、使用者は、新しい頂点や面の構成が意図
していたものと一致しているか否かの判断をすることが
できる。意図していたものと一致していない場合には、
面構成及び対応点指定装置８０７に戻って、再度対応点
及び面構成をやり直すことで修正する。望みの頂点数、
望みの面情報が生成されるまで、以上の処理を繰り返し
行う。

【００５４】具体的には、与えられた画像上で基本モデ
ルが投影された面の内部、あるいは辺の中途部分を指示
することによって行う。例えば、図１１においては、人
形が座っている直方体の上面において、新しい頂点Ｐを
指定している。新しい頂点Ｐを指定すると、指定された
頂点Ｐから頂点Ｐが含まれる面の各頂点とを結ぶことに
よって、面情報を仮設定することができる。図１１で
は、直方体の上面に指定された点Ｐから、直方体上面の
各頂点が結ばれている。

【００５５】また、辺上に新しい頂点が設定された場合
には、新しい頂点から新しい頂点を含む辺を共有する二
つの面におけるすべての頂点を結ぶことで、面情報を仮
設定することが可能となる。なお、新しい頂点の設定
は、マウス等のポインティングデバイスでクリックする
こと等で容易に行うことができる。

【００５６】面情報が仮設定されたら、新しい頂点を各
画像上で望みの位置へ移動させる。移動は、通常マウス
等のポインティングデバイスのドラッグアンドドロップ
によって行う。例えば、図１２のように、新しい頂点を
人形の耳の先端として指定したい場合には、直方体の上
面に設定された新しい頂点をマウス等のポインティング
デバイスでドラッグして、人形の耳の先端位置まで移動
させてからドロップする。これによって、人形の耳の先
端位置を三次元座標計算の対象として設定することがで
きる。

【００５７】新しい頂点の設定は、少なくとも二つの画
面上で行う必要がある。三角測量の原理を用いて三次元
座標を計算しているからである。したがって、図１２の
視点からの画像上での設定に加えて、視点の異なる図１
３においても、新しい頂点の位置を人形の耳の先端位置
へドラッグアンドドロップにより移動させる必要があ
る。

【００５８】新しい頂点が望みの位置へ移動された場合
の三次元座標の計算は、キャリブレーション結果に基づ
いて、各画像上での視線方程式を連立させて、これを解
くことで求められる。三次元座標の計算結果は、図１４
に示すようにポリゴンとして表示される。かかる表示機
能を設けるのは、画像に基づいて測定した三次元モデル
を、画像と独立して評価するためであり、生成された三
次元モデルが意図に沿ったものか否かを、三次元モデル
を回転させて確認する機能も有している。

【００５９】かかる表示機能は、面情報を仮設定した場
合においても利用できる。例えば、直方体の一辺上に新
しい点を指定した場合には、図１５に示すような三次元
モデルを表示することが可能である。

【００６０】得られた三次元モデルが意図したものでな
い場合には、辺の位置を修正することでも三次元モデル
を変更することができる。例えば、ある一辺を指定し、
その辺を共有する二つの隣接面がある場合において、当
該二つの隣接面における他の頂点を連結して、新たに設
定される一辺に基づいた新たな面張り状態を提示する。
当該辺を共有する二つの隣接面が三角形であったなら
ば、新たに設定される一辺は一義的に特定することがで
きるので、面張りの状態も特定することができる。

【００６１】例えば、図１６に示すように、当初は図１
６（ａ）のような形状として三次元モデルが得られてい
た場合を考える。図１６（ａ）においては、点Ｓ１、Ｓ
２が手前に位置し、点Ｔ１、Ｔ２が奥に位置するものと
している。したがって、辺Ｓ１−Ｓ２を共有する二つの
三角形状の隣接面である面Ｔ１―Ｓ１―Ｓ２と面Ｔ２―
Ｓ１―Ｓ２によって、辺Ｓ１―Ｓ２が手前に飛び出して
いる凸部形状を形成している。

【００６２】この場合に、当該凸部形状が当初意図して
いなかった三次元形状であるものとすると、当該凸部形
状を生成した手順において一辺として認識していなかっ
た一辺、すなわち図１６（ａ）の破線で示した辺Ｔ１―
Ｔ２を新しい一辺として図１６（ｂ）のように面張りを
行うことができる。すなわち図１６（ｂ）においても、
点Ｓ１、Ｓ２が手前に位置し、点Ｔ１、Ｔ２が奥に位置
するという関係は変化しないので、辺Ｔ１−Ｔ２を共有
する二つの三角形状の隣接面である面Ｓ１―Ｔ１―Ｔ２
と面Ｓ２―Ｔ１―Ｔ２によって、辺Ｔ１―Ｔ２が奥に引
っ込んだ凹部形状として再認識することが可能となる。

【００６３】また、隣接する二つの面が三角形状でない
場合には、複数の辺に基づいて面張りを変更することが
できる。この場合には、利用者に複数の辺に基づいた面
張りの状態を順次提示する機能を提供して、複数の辺に
基づいた面張りの状態から利用者が選択できるようにす
れば良い。

【００６４】さらに、指定した新しい頂点が不必要にな
った場合には、新しい頂点を削除する機能も提供する必
要がある。この場合は、削除したい新しい頂点を指定し
た上で、その頂点に至るすべての辺を削除することで、
その点を共有している面を連結する。連結してできた多
角形は、三次元空間中で同一平面上になければ、多角形
の適当な頂点を結んで分割する。分割解は複数に及ぶの
で、まずいずれかの解を提示し、使用者の欲する解が得
られるまで次候補を提示する。

【００６５】そして、基本モデルが最終的に求めたい形
状に含みたくない場合には、基本モデルの頂点を削除す
る機能も必要となる。新しい頂点の削除を、基本モデル
の頂点のみに対して繰り返し行うものである。

【００６６】こうして獲得した三次元モデルは、基本モ
デルとして登録する機能も有効である。追加された頂点
や面情報は、基本モデルの形式に準じているので、類似
する三次元モデルの生成に活用することが可能だからで
ある。

【００６７】最後に、模様画像生成装置８１０におい
て、最終的な三次元モデルと画像との対応関係に基づい
て三次元モデルの表面に貼り付ける模様画像を生成し、
生成モデル出力装置８１１において三次元モデル表示シ
ステムのデータ形式に変換後出力する。

【００６８】模様画像は、最終的に設定された面情報、
頂点の三次元座標と画像への投射位置によって生成す
る。すなわち、最終的な三次元モデルの各面に対して、
その面を正面から観察した場合の画像として、与えられ
た画像情報を変換する。複数の画像で部分的に見えてい
た場合には、それらを正面にして、重ねあわせた画像と
して模様画像を生成すれば良い。かかる画像情報の変換
式は、射影過程を表わすパラメータ及び射影幾何学から
導き出すことができる。

【００６９】多くの場合、同一面は複数の画像上で見る
ことができるので、複数の模様画像が獲得できる。ま
た、該当面は、複数の画面各々で異なる方向から見えて
いるので、その面積は異なる。該当面を正面からではな
く斜めから見ている画像ほど、原画像上では見かけの面
積が小さく、模様画像が伸びたように見えて解像度が悪
くなる。

【００７０】したがって、生成された複数の模様画像
は、複数の視点に応じた複数の模様画像として獲得して
も良いし、その中からもっとも解像度の高い模様画像を
代表模様画像としても良い。また、複数の模様画像を解
像度に応じた重み付け平均によって一つにまとめても良
い。

【００７１】こうして得られた最終的な三次元モデルに
関する情報は、三次元モデルの各頂点の座標、辺、面を
なす頂点のグラフ、各面に貼り付ける模様画像で構成さ
れる。かかる情報は、VRML（Virtual Reality Modeling
Language ）等の既存の書式にしたがって出力すれば良
い。

【００７２】以上のように本実施の形態によれば、三次
元モデルの形状を定める場合に模様の関係も同時に考慮
しつつ定めることができ、完成した三次元モデルにおい
て模様のズレ等の発生しない自然な三次元モデルとして
三次元シーンにおける形状等を復元することが可能とな
る。

【００７３】次に、本発明の実施の形態にかかる三次元
モデル変換装置を実現するプログラムの処理の流れにつ
いて説明する。図１７に本発明の実施の形態にかかる三
次元モデル変換装置を実現するプログラムの処理の流れ
図を示す。

【００７４】図１７において、対象となる複数の画像を
入力（ステップ１７０１）した後に、画像のキャリブレ
ーションを行って、与えられた画像について外部カメラ
パラメータ及び内部カメラパラメータを決定して、基本
モデルに含まれている面の画像上での配置が決定される
（ステップ１７０２）。

【００７５】次に、複数の画像間での対応関係を与えた
い点を各画像上で指定し、当該指定された点と基本モデ
ル中の複数の任意点を結ぶことで面を構成する（ステッ
プＳ１７０３）。かかる作業は、与えられた複数の画像
すべてについて行う。同時に、複数の画像上で指定され
た点について、三角測量の原理に基づいて三次元座標を
計算する。

【００７６】最後に、最終的に得られた三次元モデルと
画像との対応関係に基づいて三次元モデルの表面に貼り
付ける模様画像を生成し（ステップＳ１７０４）、三次
元モデル表示システムのデータ形式に変換後出力する
（ステップＳ１７０５）。

【００７７】なお、本発明の実施の形態にかかる三次元
モデル変換装置を実現するプログラムを記憶した記録媒
体は、図１８に示す記録媒体の例に示すように、ＣＤ−
ＲＯＭやフロッピーディスク等の可搬型記録媒体だけで
なく、通信回線の先に備えられた他の記憶装置や、コン
ピュータのハードディスクやＲＡＭ等の記録媒体のいず
れでも良く、プログラム実行時には、プログラムはロー
ディングされ、主メモリ上で実行される。

【００７８】また、本発明の実施の形態にかかる三次元
モデル変換装置により生成された三次元モデルデータ等
を記録した記録媒体も、図１８に示す記録媒体の例に示
すように、ＣＤ−ＲＯＭやフロッピー（登録商標）ディ
スク等の可搬型記録媒体だけでなく、通信回線の先に備
えられた他の記憶装置や、コンピュータのハードディス
クやＲＡＭ等の記録媒体のいずれでも良く、例えば本発
明にかかる三次元モデル変換装置を利用する際にコンピ
ュータにより読み取られる。

【００７９】

【発明の効果】以上のように本発明にかかる三次元モデ
ル変換方法及び装置によれば、オクルージョンが発生し
た場合であっても利用者の意図に沿った三次元モデルへ
の変換をすることができ、さらに利用者が三次元モデル
の生成状態を確認しながら操作することができるので、
利用者の意図する三次元形状に近い三次元モデルを生成
することが可能となる。

【図面の簡単な説明】

【図１】 従来の三次元モデル変換方法における処理流
れ図

【図２】 従来の三次元モデル変換方法における複数の
点を連結して面を指定する処理を三次元空間の計算前に
行う方法の処理流れ図

【図３】 従来の三次元モデル変換方法における複数の
点を連結して面を指定する処理を三次元空間の計算後に
行う方法の処理流れ図

【図４】 オクルージョンの説明図

【図５】 視点の相違による投影状況の説明図

【図６】 オクルージョンによる三次元形状生成状態の
説明図

【図７】 本発明の実施の形態にかかる三次元モデル変
換装置の構成図

【図８】 本発明の一実施例にかかる三次元モデル変換
装置の構成図

【図９】 本発明の一実施例にかかる三次元モデル変換
装置における基本モデル選択指示ウインドウの例示図

【図１０】 本発明の一実施例にかかる三次元モデル変
換装置におけるキャリブレーション終了時の例示図

【図１１】 本発明の一実施例にかかる三次元モデル変
換装置における新しい頂点指定時の例示図

【図１２】 本発明の一実施例にかかる三次元モデル変
換装置における新しい頂点指定時の例示図

【図１３】 本発明の一実施例にかかる三次元モデル変
換装置における新しい頂点指定時の例示図

【図１４】 本発明の一実施例にかかる三次元モデル変
換装置における三次元形状表示状態図

【図１５】 本発明の一実施例にかかる三次元モデル変
換装置における三次元形状表示状態図

【図１６】 本発明の一実施例にかかる三次元モデル変
換装置における三次元モデルを変更する方法の説明図

【図１７】 本発明の実施の形態にかかる三次元モデル
変換装置における処理の流れ図

【図１８】 記録媒体の例示図

【符号の説明】

７０１ 画像入力部 ７０２ 画像記憶部 ７０３ 基本モデル登録部 ７０４ 基本モデル記憶部 ７０５ 基本モデル選択部 ７０６ 基本モデルに基づく画像キャリブレーション部 ７０７ 面構成及び対応点指示部 ７０８ 三次元情報計算部 ７０９ 三次元情報表示部 ７１０ 模様画像生成部 ７１１ 生成モデル出力部 ８０１ 画像入力装置 ８０２ 画像記憶装置 ８０３ 基本モデル登録装置 ８０４ 基本モデル記憶装置 ８０５ 基本モデル選択装置 ８０６ 基本モデルに基づく画像キャリブレーション装
置 ８０７ 面構成及び対応点指示装置 ８０８ 三次元情報計算装置 ８０９ 三次元情報表示装置 ８１０ 模様画像生成装置 ８１１ 生成モデル出力装置 １８０１ 回線先の記憶装置 １８０２ ＣＤ−ＲＯＭやフロッピーディスク等の可搬
型記録媒体 １８０２−１ ＣＤ−ＲＯＭ １８０２−２ フロッピーディスク １８０３ コンピュータ １８０４ コンピュータ上のＲＡＭ／ハードディスク等
の記録媒体

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 AA53 BB05 EE00 FF04 FF09 FF61 JJ03 JJ19 JJ26 QQ00 QQ03 QQ23 QQ24 SS02 SS13 5B050 BA04 BA09 CA07 DA07 EA28 FA02 FA13 5B057 DA11 DB03 DC30

Claims (7)

【特許請求の範囲】
1. 【請求項１】 複数の画像に基づいて三次元物体の形状
   を測定して三次元モデルに変換する三次元モデル変換装
   置であって、 複数の前記画像を取り込む画像入力部と、 取り込んだ前記画像を格納する画像記憶部と、 前記画像に含まれる基準物体を表す基本モデルを格納す
   る基本モデル格納部と、 前記画像中の対象物体における幾何学的性質を規定する
   前記基本モデルを選択する基本モデル選択部と、 選択された前記基本モデルに基づいて複数の画像キャリ
   ブレーションを実行し、前記基本モデルを前記画像に重
   畳して前記基本モデルの頂点の三次元座標を決定する画
   像キャリブレーション実行部と、 前記画像キャリブレーションの結果と前記決定された基
   本モデルの頂点の三次元座標に基づいて、少なくとも一
   つの新しい頂点を指定して面を構成する面構成及び対応
   点指示部と、 前記新しい頂点が指定されると同時に前記新しい頂点の
   三次元位置情報を計算する三次元情報計算部と、 対象物体の三次元モデルを表示する三次元形状表示部
   と、 前記新しい頂点の追加により最終的に得られた三次元モ
   デルと各画像間の対応関係に基づいて、モデルの表面に
   貼り付ける模様画像を生成する模様画像生成部と、 最終的に完成した前記三次元モデルのデータを出力する
   生成モデル出力部を有することを特徴とした三次元モデ
   ル変換装置。
2. 【請求項２】 前記新しい頂点及び前記面の変更または
   削除を、前記頂点間の辺の再配置によって行うことがで
   きる請求項１記載の三次元モデル変換装置。
3. 【請求項３】 前記基本モデルを取り込む場合に、パラ
   メータ変数を用いたデータ形式によって取り込むことが
   できる請求項１記載の三次元モデル変換装置。
4. 【請求項４】 前記新しい頂点がパラメータ変数を用い
   たデータ形式によって表現され、複数の前記画像に対す
   る前記キャリブレーション実行時に、前記パラメータの
   値を決定する請求項１記載の三次元モデル変換装置。
5. 【請求項５】 変換途上における三次元モデルを前記基
   本モデルの一つとして登録することができる請求項１記
   載の三次元モデル変換装置。
6. 【請求項６】 複数の画像に基づいて三次元物体の形状
   を測定して三次元モデルに変換する三次元モデル変換方
   法であって、 複数の前記画像を取り込み、取り込んだ前記画像を格納
   する工程と、 前記画像に含まれる基準物体を表す基本モデルを格納す
   る工程と、 前記画像中の対象物体における幾何学的性質を規定する
   前記基本モデルを選択する工程と、 選択された前記基本モデルに基づいて複数の画像キャリ
   ブレーションを実行し、前記基本モデルを前記画像に重
   畳して前記基本モデルの頂点の三次元座標を決定する工
   程と、 前記画像キャリブレーションの結果と前記決定された基
   本モデルの頂点の三次元座標に基づいて、少なくとも一
   つの新しい頂点を指定して面を構成するとともに、同時
   に前記新しい頂点の三次元位置情報を計算し、対象物体
   の三次元モデルを表示する工程と、 前記新しい頂点の追加により最終的に得られた三次元モ
   デルと各画像間の対応関係に基づいて、モデルの表面に
   貼り付ける模様画像を生成する工程と、 最終的に完成した前記三次元モデルのデータを出力する
   工程を有することを特徴とする三次元モデル変換方法。
7. 【請求項７】 複数の画像に基づいて三次元物体の形状
   を測定して三次元モデルに変換するコンピュータに実行
   させるプログラムを記録したコンピュータ読み取り可能
   な記録媒体であって、 複数の前記画像を取り込み、取り込んだ前記画像を格納
   するステップと、 前記画像に含まれる基準物体を表す基本モデルを格納す
   るステップと、 前記画像中の対象物体における幾何学的性質を規定する
   前記基本モデルを選択するステップと、 選択された前記基本モデルに基づいて複数の画像キャリ
   ブレーションを実行し、前記基本モデルを前記画像に重
   畳して前記基本モデルの頂点の三次元座標を決定するス
   テップと、 前記画像キャリブレーションの結果と前記決定された基
   本モデルの頂点の三次元座標に基づいて、少なくとも一
   つの新しい頂点を指定して面を構成するとともに、同時
   に前記新しい頂点の三次元位置情報を計算し、対象物体
   の三次元モデルを表示するステップと、 前記新しい頂点の追加により最終的に得られた三次元モ
   デルと各画像間の対応関係に基づいて、モデルの表面に
   貼り付ける模様画像を生成するステップと、 最終的に完成した前記三次元モデルのデータを出力する
   ステップを有することを特徴とするコンピュータに実行
   させるプログラムを記録したコンピュータ読み取り可能
   な記録媒体。