JP4025442B2 - 三次元モデル変換装置及び方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル化された複数の映像、又は動画像に写っている三次元形状を測定し、コンピュータグラフィックスにて表示するための三次元モデルに変換するための装置及び方法に関する。
【０００２】
【従来の技術】
複数の画像、又は映像等の三次元の物体を写した二次元画像である三次元形状自体には、三次元空間における長さ、方向等のディメンジョンが存在せず、コンピュータグラフィックス処理の対象とは、そのままではできない。コンピュータグラフィックス処理の対象とするためには、複数画像間、又は複数映像間の対応を適格に把握し、三次元情報を復元することが必要である。
【０００３】
図１に、従来の三次元モデル変換方法における処理の流れ図を示す。図１において、測定対象となる複数の画像、又は動画像等の二次元データが与えられると（ステップＳ１０１）、これらの画像の各々についてキャリブレーションを行う（ステップＳ１０２）。ここでキャリブレーションとは、それぞれの画像をどの方向からどれくらいの距離をおいて見ているのか、目線の方向付けと視点決めを行う作業を意味する。
【０００４】
そして、二次元の状態で線画を生成し（ステップＳ１０３）、線画で囲まれた面の対応を定義づける（ステップＳ１０４）。各面について、対応関係が明確になると三次元形状及び模様を生成することが可能となり（ステップＳ１０５）、三次元物体として形状及び模様を確定した結果として、三次元モデルを出力することになる（ステップＳ１０６）。かかる方法を用いた三次元モデルの入力方法が、特開平２−２１９０１０号公報によって開示されている。
【０００５】
また、面の対応付けが一般に困難であることから、面対応を指定するのではなく点対応を指定する方法についても、各種の学会において報告されたり、各ソフトウェア企業によって製品化されている。点対応を指定する方法では、キャリブレーションの前に、点対応指定を行い、かつ三次元空間中の座標を計算をしておくことが必要である。ここで、点対応を指定する方法には、複数の点を連結して面を指定する処理を、三次元空間の計算前に行う方法と三次元空間の計算後に行う方法の大きく２つに区分できる。
【０００６】
図２に複数の点を連結して面を指定する処理を三次元空間の計算前に行う方法の流れ図を示す。図２においては、測定対象となる複数の画像、又は動画像等の二次元データが与えられると（ステップＳ２０１）、これらの画像の各々について点対応を指定して（ステップＳ２０２）、これらの点を連結して面を指定する（ステップＳ２０３）。面を指定する作業は、画像上、すなわち二次元平面への投影面上で、点群の連結を行うことになる。
【０００７】
そして、面を構成してから三次元空間中の座標計算を行うことで三次元形状を生成し（ステップＳ２０４）、模様を生成する（ステップＳ２０５）。最後に、三次元物体として形状及び模様を測定した結果として、三次元モデルを出力することになる（ステップＳ２０６）。
【０００８】
一方、複数の点を連結して面を指定する処理を三次元空間の計算後に行う方法の流れ図を図３に示す。図３においては、測定対象となる複数の画像、又は動画像等の二次元データが与えられると（ステップＳ３０１）、これらの画像の各々について点対応を指定して（ステップＳ３０２）、面を構成することなく三次元空間中の座標計算を行う（ステップＳ３０３）。この時点で、各点は三次元座標を有することになる。これらの点を連結して面を指定する。
【０００９】
そして、これらの三次元座標点を連結して面を指定する（ステップＳ３０４）ことで三次元形状を生成し、模様を生成する（ステップＳ３０５）。最後に、三次元物体として形状及び模様を測定した結果として、三次元モデルを出力することになる（ステップＳ３０６）。
【００１０】
【発明が解決しようとする課題】
しかし、上述した方法では、複数の画像間でオクルージョンが発生した場合においては、二次元画像上で面の形状が異なる等、面の対応が正しく指定または決定することができない場合も生じる。さらに、面の対応が正しく指定され、または決定された場合においても、三次元形状の模様の測定に大きな誤差を生ずるおそれも残されている。
【００１１】
ここで、オクルージョンとは、指定された複数の面が重なることにより、面の裏側に位置することで見えなくなる部分が生じる現象を意味する。例えば、図４のように２つのカメラを用いて太線部部分を三次元モデルに変換する場合を考える。この場合、カメラ１によっては、図５（ａ）のように明るい部分と暗い部分の間にやや暗い部分を検知することができる。一方、カメラ２によっては、図５（ｂ）のように明るい部分と暗い部分は検知することはできるが、やや暗い部分については死角に入っている（オクルージョンの発生）ために検知することができない。この場合、三次元形状としては、図６に示すように、カメラ２の視線上に点Ａが浮き上がったような形状、すなわち点Ａが点Ａ’として認識されるため、正確な形状認識ができないことになる。
【００１２】
また、点対応を指定する方法においても、複数の点を連結して面を指定する処理を三次元空間の計算前に行う方法では、面構成時に三次元空間での配置が決まっていないので、操作者は三次元空間を想像しながら面を構成する必要があり、複雑な面になればなるほど、実状とは異なる面構成となる蓋然性が強い。
【００１３】
さらに、複数の点を連結して面を指定する処理を三次元空間の計算後に行う方法では、三次元空間中に配置されている点群をディスプレイ等の二次元表示装置に表示させることになるので、点が多数になればなるほど、操作者が各点を識別することが困難になり、正確な面構成ができない可能性が強い。
【００１４】
本発明は、上記問題点を解消して、オクルージョンが発生した場合であっても正確な面構成を行うことができ、かつ操作者が容易に操作することができる三次元モデル変換方法及び装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成するために本発明にかかる三次元モデル変換装置は、複数の画像に基づいて三次元物体の形状を測定して三次元モデルに変換する三次元モデル変換装置であって、複数の画像を取り込む画像入力部と、取り込んだ画像を格納する画像記憶部と、画像に含まれる基準物体を表す基本モデルを格納する基本モデル格納部と、画像中の対象物体における幾何学的性質を規定する基本モデルを選択する基本モデル選択部と、選択された基本モデルに基づいて複数の画像キャリブレーションを実行し、基本モデルを画像に重畳して基本モデルの頂点の三次元座標を決定する画像キャリブレーション実行部と、画像キャリブレーションの結果と決定された基本モデルの頂点の三次元座標に基づいて、少なくとも一つの新しい頂点を指定して面を構成する面構成及び対応点指示部と、新しい頂点が指定されると同時に新しい頂点の三次元位置情報を計算する三次元情報計算部と、対象物体の三次元モデルを表示する三次元形状表示部と、新しい頂点の追加により最終的に得られた三次元モデルと各画像間の対応関係に基づいて、モデルの表面に貼り付ける模様画像を生成する模様画像生成部と、最終的に完成した三次元モデルのデータを出力する生成モデル出力部を有することを特徴とする。
【００１６】
かかる構成により、三次元モデルの生成途上の状態を利用者の目で確認しながら作業できるので、利用者の意図している三次元モデルを構築でき、オクルージョンの発生による三次元モデルの誤った認識を回避することが可能となる。
【００１７】
また、本発明にかかる三次元モデル変換装置は、新しい頂点及び面の変更または削除を、頂点間の辺の再配置によって行うことができることが好ましい。利用者にとって容易な操作で新しい頂点及び面の変更または削除できることが望ましいからである。
【００１８】
また、本発明にかかる三次元モデル変換装置は、基本モデルを取り込む場合に、パラメータ変数を用いたデータ形式によって取り込むことができることが好ましい。コンピュータグラフィック用のデータとして用いることが容易になるからである。
【００１９】
また、本発明にかかる三次元モデル変換装置は、新しい頂点がパラメータ変数を用いたデータ形式によって表現され、複数の画像に対するキャリブレーション実行時に、パラメータの値を決定することが好ましい。パラメータ値が確定すると、コンピュータグラフィック用のデータとして容易に画像表示できることから、新しい頂点を指定したことによる面張り状態を容易に確認することが可能となるからである。
【００２０】
また、本発明にかかる三次元モデル変換装置は、変換途上における三次元モデルを基本モデルの一つとして登録することができることが好ましい。共通化できる部分を基本モデルとして登録しておくことで、類似した画像データを三次元モデルに変換する場合に効率良く変換できるからである。もちろん、最終的に完成した三次元モデルも基本モデルとして登録しても良い。
【００２１】
次に、上記課題を解決するために本発明にかかる三次元モデル変換方法は、複数の画像に基づいて三次元物体の形状を測定して三次元モデルに変換する三次元モデル変換方法であって、複数の画像を取り込み、取り込んだ画像を格納する工程と、画像に含まれる基準物体を表す基本モデルを格納する工程と、画像中の対象物体における幾何学的性質を規定する基本モデルを選択する工程と、選択された基本モデルに基づいて複数の画像キャリブレーションを実行し、基本モデルを画像に重畳して基本モデルの頂点の三次元座標を決定する工程と、画像キャリブレーションの結果と決定された基本モデルの頂点の三次元座標に基づいて、少なくとも一つの新しい頂点を指定して面を構成するとともに、同時に新しい頂点の三次元位置情報を計算し、対象物体の三次元モデルを表示する工程と、新しい頂点の追加により最終的に得られた三次元モデルと各画像間の対応関係に基づいて、モデルの表面に貼り付ける模様画像を生成する工程と、最終的に完成した三次元モデルのデータを出力する工程を有することを特徴とする。
【００２２】
かかる構成により、三次元モデルの生成途上の状態を利用者の目で確認しながら作業できるので、利用者の意図している三次元モデルを構築でき、オクルージョンの発生による三次元モデルの誤った認識を回避することが可能となる。
【００２３】
次に、上記課題を解決するために本発明にかかるコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体は、複数の画像に基づいて三次元物体の形状を測定して三次元モデルに変換するコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、複数の画像を取り込み、取り込んだ画像を格納するステップと、画像に含まれる基準物体を表す基本モデルを格納するステップと、画像中の対象物体における幾何学的性質を規定する基本モデルを選択するステップと、選択された基本モデルに基づいて複数の画像キャリブレーションを実行し、基本モデルを画像に重畳して基本モデルの頂点の三次元座標を決定するステップと、画像キャリブレーションの結果と決定された基本モデルの頂点の三次元座標に基づいて、少なくとも一つの新しい頂点を指定して面を構成するとともに、同時に新しい頂点の三次元位置情報を計算し、対象物体の三次元モデルを表示するステップと、新しい頂点の追加により最終的に得られた三次元モデルと各画像間の対応関係に基づいて、モデルの表面に貼り付ける模様画像を生成するステップと、最終的に完成した三次元モデルのデータを出力するステップを有することを特徴とする。
【００２４】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、三次元モデルの生成途上の状態を利用者の目で確認しながら作業できるので、利用者の意図している三次元モデルを構築でき、オクルージョンの発生による三次元モデルの誤った認識を回避することが可能となる三次元モデル変換装置が実現できる。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態にかかる三次元モデル変換装置について、図面を参照しながら説明する。図７は本発明の実施の形態にかかる三次元モデル変換装置の構成図である。
【００２６】
図７において、７０１は画像入力部を、７０２は画像記憶部を、７０３は基本モデル登録部を、７０４は基本モデル記憶部を、７０５は基本モデル選択部を、７０６は基本モデルに基づく画像キャリブレーション部を、７０７は面構成及び対応点指定部を、７０８は三次元情報計算部を、７０９は三次元情報表示部を、７１０は模様画像生成部を、７１１は生成モデル出力部を、それぞれ示す。
【００２７】
まず、画像入力部７０１において、使用する複数の画像をビデオ画像または複数の静止画像として、画像入力装置等を用いて画像記憶部７０２へ取り込む。画像入力装置としては、電子スチルカメラやデジタルビデオカメラ等が考えられるが、これに限定されるものではない。
【００２８】
一方、基本モデル登録部７０３において、対象として想定される物体の三次元モデル情報を入力して、基本モデル記憶部７０４に格納する。基本モデルは、頂点の三次元座標と頂点のグラフにより構成される。次に、基本モデル選択部７０５において、基本モデル記憶部７０４に格納されているモデル群から、対象画像中でキャリブレーションを行う際に基準として使用する部分に最も適合する三次元モデルをユーザが選択する。
【００２９】
そして、基本モデルに基づく画像キャリブレーション部７０６において、対象となる画像のキャリブレーションを行い、当該画像の外部カメラパラメータ及び内部カメラパラメータを決定することで、基本モデルに含まれる面の当該画像における配置が決定される。ここで、外部カメラパラメータとは、カメラが見ている方向や位置を意味し、対象となる画像への視点を策定するパラメータである。また、内部カメラパラメータとは、焦点距離や歪みを意味し、対象となる画像を三次元モデル化する際の微調整に用いられるパラメータである。
【００３０】
次に、面構成及び対応点指定部７０７において、対応関係を与えたい点を画像上で指定し、当該指定された点と基本モデル中の複数の任意点を結ぶことで面を構成する。したがって、対応関係を与えたい点は基本モデルに新たに加わった頂点となる。かかる作業は、与えられた複数の画像すべてについて行う。
【００３１】
さらに、三次元情報計算部７０８において、面構成及び対応点指定部７０７で複数の画像上で指定された点について、三角測量の原理に基づいて三次元座標を計算する。したがって、一つの点は最低限２枚の画像上で指定されている必要がある。一つの画像上でしか指定されていない場合には、仮の三次元座標を与える処理を行う。
【００３２】
また、三次元情報表示部各画像７０９において、面構成及び対応点指定部７０７で求めた面構成情報と三次元情報計算部７０８で計算した指定点の三次元位置情報に基づいて、新たに点が追加されたことにより構成された物体の三次元形状を画面上に表示する。表示されることで、使用者は、新しい頂点や面の構成が意図していたものと一致しているか否かの判断をすることができる。意図していたものと一致していない場合には、面構成及び対応点指定部７０７に戻って修正する。望みの頂点数、望みの面情報が生成されるまで、以上の処理を繰り返し行う。
【００３３】
最後に、模様画像生成部７１０において、最終的な三次元モデルと画像との対応関係に基づいて三次元モデルの表面に貼り付ける模様画像を生成し、生成モデル出力部７１１において三次元モデル表示システムのデータ形式に変換後出力する。
【００３４】
次に、本発明にかかる三次元モデル変換装置の一実施例について図面を参照しながら説明する。図８は、本実施例にかかる三次元モデル変換装置の構成図である。
【００３５】
図８において、８０１は画像入力装置を、８０２は画像記憶装置を、８０３は基本モデル登録装置を、８０４は基本モデル記憶装置を、８０５は基本モデル選択装置を、８０６は基本モデルに基づく画像キャリブレーション装置を、８０７は面構成及び対応点指定装置を、８０８は三次元情報計算装置を、８０９は三次元情報表示装置を、８１０は模様画像生成装置を、８１１は生成モデル出力装置を、それぞれ示す。
【００３６】
まず、図８において、画像入力装置８０１には、ビデオやＣＣＤカメラ等を用いて画像を入力する。この場合、ビデオ画像については、フレームに分解しようとしまいとどちらでも構わない。しかし、基本モデルに基づく画像キャリブレーション装置８０６において画像のキャリブレーションを行う場合には対象フレームを特定することが必要となるので、ユーザの指示に従って、フレームを特定できる機能を有することが必要である。市販のビデオデッキが有するようなコマ送り表示機能と同等であれば良い。
【００３７】
画像入力装置８０１から入力された画像は画像記憶装置８０２へ取り込まれる。画像記憶装置８０２としては、磁気ディスク装置に代表される記憶メディア装置であれば特に限定されるものではない。
【００３８】
一方、基本モデル登録装置８０３において、対象として想定される物体の三次元モデル情報を入力して、基本モデル記憶装置８０４に格納する。なお、基本モデル記憶装置８０４としては、画像記憶装置８０２と同様に、磁気ディスク装置に代表される記憶メディア装置であれば特に限定されるものではない。
【００３９】
また、対象物体を表現する基本モデルとしては、直方体、錐体、柱体、球等の三次元形状モデルを用意する。なお、基本モデルとしては、これらのモデルに限定されるものではなく、これら形状の複合体であっても構わない。
【００４０】
さらに、ここでは基本モデルについてすべてポリゴン形式で表現する。したがって、従来からのコンピュータグラフィックスにおけるデータ形式と同様に、三次元のモデル座標系における三次元座標によってモデルを表現する。
【００４１】
例えば、基本モデルとして直方体の場合を考えると、８つの頂点は三次元座標において、それぞれ（０，０，０）、（１，０，０）、（０，ｈ，０）、（１，ｈ，０）、（０，０，ｄ）、（１，０，ｄ）、（０，ｈ，ｄ）、（１，ｈ，ｄ）で表わすことができる。ここで、ｈ、ｄは変数であり、ｈは高さを表わし、ｄは奥行きを表わす。かかるｈとｄを決定することで、直方体モデルの実体として、対象となる物体の形状を決定することになる。
【００４２】
また、正ｎ角柱体の場合も同様に、（cos（2πi/n），sin（2πi/n），０）、（cos（2πi/n），sin（2πi/n），ｄ）（iは整数、i=０，…，n-1）とし、正ｎ角錐体の場合も（cos（2πi/n），sin（2πi/n），０）（iは整数、i=０，…，n-1）、（０，０，ｄ）とし、いずれも変数ｄを決定すれば、基本モデルの実体として、対象となる物体の形状を決定することができる。他の基本モデルについても、ｄ、ｈと同様の媒介変数を用意することにより、基本モデルに対して実体としての形状を決定することができる。
【００４３】
かかる頂点は、各頂点を識別するための頂点番号を有する。そして、モデルの各面については、頂点番号のグラフによって表示することができる。直方体のモデルにおいては、各頂点に０：（０，０，０）、１：（１，０，０）、２：（０，ｈ，０）、３：（１，ｈ，０）、４：（０，０，ｄ）、５：（１，０，ｄ）、６：（０，ｈ，ｄ）、７：（１，ｈ，ｄ）と頂点番号を付すると、各面は４つの頂点により構成されるので、各面に面番号を与えて、０：０−１−３−２、１：４−５−７−６、２：０−１−５−４、３：２−３−７−６、４：０−２−６−４、５：１−３−７−５と表わすことが可能となる。
【００４４】
そこで、基本モデルの登録情報として、上記の形式を有するデータを基本モデル情報として取り込むことになる。かかる形式は、通常のＣＧ（Computer
Graphics）モデルの記述に準じているので、各種のＣＧモデル表現形式を読み込むことのできるデータ変換ツールを準備することで、様々な書式のデータ取り込みに対応することが可能となる。その際には、入力したモデルを画面で自由に閲覧させる機能を提供し、マウス等のポインティングデバイスを用いることにより、パラメータ化させる部分を指定できる機能を準備することで、最も適した基本モデルを取り込むことが容易となる。
【００４５】
次に、基本モデル選択装置８０５において、基本モデル記憶装置８０４に格納されているモデル群から、対象画像中でキャリブレーションを行う際に基準として使用する部分に最も適合する三次元モデルをユーザが選択する。
【００４６】
図９には基本モデル選択指示ウインドウを例示した。複数のビデオ画像等がある場合には、かかるインタフェースを用いることにより、ユーザが閲覧しながら選択できることが有用である。
【００４７】
そして、基本モデルに基づく画像キャリブレーション装置８０６において、対象となる画像のキャリブレーションを行い、当該画像の外部カメラパラメータ及び内部カメラパラメータを決定することで、基本モデルに含まれる面の当該画像における配置が決定される。ここで、外部カメラパラメータとは、カメラが見ている方向や位置を意味し、対象となる画像への視点を策定するパラメータである。また、内部カメラパラメータとは、焦点距離や歪みを意味し、対象となる画像を三次元モデル化する際の微調整に用いられるパラメータである。
【００４８】
次に、基本モデルに基づくキャリブレーションは、以下の手順で行う。すなわち、基本モデルにおける各頂点と、各頂点が投影されている画像上での座標を、与えられた複数の画像すべてにおいて結びつける。かかる基本モデルにおける各頂点と複数の画像上での各座標との関連情報によって、共線条件連立方程式が成立する。この共線条件連立方程式を解くことにより、与えられた複数の画像すべてについて、外部カメラパラメータと内部カメラパラメータを得ることが可能となる。なお、基本モデル自体がパラメータで表現されている場合には、上記共線条件連立方程式に変数として当該パラメータを加えた上で解けば足りる。
【００４９】
以上の処理によって、与えられた複数の画像各々について視点の位置を決定することができ、画像上での任意点に対して視線方程式を導くことが可能となることから、画像上の点を指定することで、三次元空間上の座標を計算することができるようになる。
【００５０】
そして、キャリブレーションされた結果に基づいて、各画像上に基本モデルが重畳表示されることで、各画像における頂点と面が判別できる。例えば、図１０のように直方体の箱に人形が座っている画像に対して、基本モデルとして直方体の基本モデルを選択した場合には、キャリブレーションを行った上で、人形が座っている直方体の箱について、基本モデルが重畳表示される。
【００５１】
ここで、面構成及び対応点指定装置８０７において、対応関係を与えたい点を画像上で指定し、当該指定された点と基本モデル中その点を含む面の頂点を結ぶことで面を構成する。したがって、対応関係を与えたい点は基本モデルに新たに加わった頂点となる。かかる作業は、与えられた複数の画像のうち、その頂点が観察される２枚以上の画像について行う。
【００５２】
さらに、三次元情報計算部８０８において、面構成及び対応点指定部８０７で複数の画像上で指定された点について、三角測量の原理に基づいて三次元座標を計算する。一つの画像上でしか指定されていない場合には、仮の三次元座標を与える処理を行う。
【００５３】
さらに、三次元情報表示装置８０９において、面構成及び対応点指定装置８０７で求めた面構成情報と三次元情報計算部８０８で計算した指定点の三次元位置情報に基づいて、新たに点が追加されたことにより構成された物体の三次元形状を画面上に表示する。表示されることで、使用者は、新しい頂点や面の構成が意図していたものと一致しているか否かの判断をすることができる。意図していたものと一致していない場合には、面構成及び対応点指定装置８０７に戻って、再度対応点及び面構成をやり直すことで修正する。望みの頂点数、望みの面情報が生成されるまで、以上の処理を繰り返し行う。
【００５４】
具体的には、与えられた画像上で基本モデルが投影された面の内部、あるいは辺の中途部分を指示することによって行う。例えば、図１１においては、人形が座っている直方体の上面において、新しい頂点Ｐを指定している。新しい頂点Ｐを指定すると、指定された頂点Ｐから頂点Ｐが含まれる面の各頂点とを結ぶことによって、面情報を仮設定することができる。図１１では、直方体の上面に指定された点Ｐから、直方体上面の各頂点が結ばれている。
【００５５】
また、辺上に新しい頂点が設定された場合には、新しい頂点から新しい頂点を含む辺を共有する二つの面におけるすべての頂点を結ぶことで、面情報を仮設定することが可能となる。なお、新しい頂点の設定は、マウス等のポインティングデバイスでクリックすること等で容易に行うことができる。
【００５６】
面情報が仮設定されたら、新しい頂点を各画像上で望みの位置へ移動させる。移動は、通常マウス等のポインティングデバイスのドラッグアンドドロップによって行う。例えば、図１２のように、新しい頂点を人形の耳の先端として指定したい場合には、直方体の上面に設定された新しい頂点をマウス等のポインティングデバイスでドラッグして、人形の耳の先端位置まで移動させてからドロップする。これによって、人形の耳の先端位置を三次元座標計算の対象として設定することができる。
【００５７】
新しい頂点の設定は、少なくとも二つの画面上で行う必要がある。三角測量の原理を用いて三次元座標を計算しているからである。したがって、図１２の視点からの画像上での設定に加えて、視点の異なる図１３においても、新しい頂点の位置を人形の耳の先端位置へドラッグアンドドロップにより移動させる必要がある。
【００５８】
新しい頂点が望みの位置へ移動された場合の三次元座標の計算は、キャリブレーション結果に基づいて、各画像上での視線方程式を連立させて、これを解くことで求められる。三次元座標の計算結果は、図１４に示すようにポリゴンとして表示される。かかる表示機能を設けるのは、画像に基づいて測定した三次元モデルを、画像と独立して評価するためであり、生成された三次元モデルが意図に沿ったものか否かを、三次元モデルを回転させて確認する機能も有している。
【００５９】
かかる表示機能は、面情報を仮設定した場合においても利用できる。例えば、直方体の一辺上に新しい点を指定した場合には、図１５に示すような三次元モデルを表示することが可能である。
【００６０】
得られた三次元モデルが意図したものでない場合には、辺の位置を修正することでも三次元モデルを変更することができる。例えば、ある一辺を指定し、その辺を共有する二つの隣接面がある場合において、当該二つの隣接面における他の頂点を連結して、新たに設定される一辺に基づいた新たな面張り状態を提示する。当該辺を共有する二つの隣接面が三角形であったならば、新たに設定される一辺は一義的に特定することができるので、面張りの状態も特定することができる。
【００６１】
例えば、図１６に示すように、当初は図１６（ａ）のような形状として三次元モデルが得られていた場合を考える。図１６（ａ）においては、点Ｓ１、Ｓ２が手前に位置し、点Ｔ１、Ｔ２が奥に位置するものとしている。したがって、辺Ｓ１−Ｓ２を共有する二つの三角形状の隣接面である面Ｔ１―Ｓ１―Ｓ２と面Ｔ２―Ｓ１―Ｓ２によって、辺Ｓ１―Ｓ２が手前に飛び出している凸部形状を形成している。
【００６２】
この場合に、当該凸部形状が当初意図していなかった三次元形状であるものとすると、当該凸部形状を生成した手順において一辺として認識していなかった一辺、すなわち図１６（ａ）の破線で示した辺Ｔ１―Ｔ２を新しい一辺として図１６（ｂ）のように面張りを行うことができる。すなわち図１６（ｂ）においても、点Ｓ１、Ｓ２が手前に位置し、点Ｔ１、Ｔ２が奥に位置するという関係は変化しないので、辺Ｔ１−Ｔ２を共有する二つの三角形状の隣接面である面Ｓ１―Ｔ１―Ｔ２と面Ｓ２―Ｔ１―Ｔ２によって、辺Ｔ１―Ｔ２が奥に引っ込んだ凹部形状として再認識することが可能となる。
【００６３】
また、隣接する二つの面が三角形状でない場合には、複数の辺に基づいて面張りを変更することができる。この場合には、利用者に複数の辺に基づいた面張りの状態を順次提示する機能を提供して、複数の辺に基づいた面張りの状態から利用者が選択できるようにすれば良い。
【００６４】
さらに、指定した新しい頂点が不必要になった場合には、新しい頂点を削除する機能も提供する必要がある。この場合は、削除したい新しい頂点を指定した上で、その頂点に至るすべての辺を削除することで、その点を共有している面を連結する。連結してできた多角形は、三次元空間中で同一平面上になければ、多角形の適当な頂点を結んで分割する。分割解は複数に及ぶので、まずいずれかの解を提示し、使用者の欲する解が得られるまで次候補を提示する。
【００６５】
そして、基本モデルが最終的に求めたい形状に含みたくない場合には、基本モデルの頂点を削除する機能も必要となる。新しい頂点の削除を、基本モデルの頂点のみに対して繰り返し行うものである。
【００６６】
こうして獲得した三次元モデルは、基本モデルとして登録する機能も有効である。追加された頂点や面情報は、基本モデルの形式に準じているので、類似する三次元モデルの生成に活用することが可能だからである。
【００６７】
最後に、模様画像生成装置８１０において、最終的な三次元モデルと画像との対応関係に基づいて三次元モデルの表面に貼り付ける模様画像を生成し、生成モデル出力装置８１１において三次元モデル表示システムのデータ形式に変換後出力する。
【００６８】
模様画像は、最終的に設定された面情報、頂点の三次元座標と画像への投射位置によって生成する。すなわち、最終的な三次元モデルの各面に対して、その面を正面から観察した場合の画像として、与えられた画像情報を変換する。複数の画像で部分的に見えていた場合には、それらを正面にして、重ねあわせた画像として模様画像を生成すれば良い。かかる画像情報の変換式は、射影過程を表わすパラメータ及び射影幾何学から導き出すことができる。
【００６９】
多くの場合、同一面は複数の画像上で見ることができるので、複数の模様画像が獲得できる。また、該当面は、複数の画面各々で異なる方向から見えているので、その面積は異なる。該当面を正面からではなく斜めから見ている画像ほど、原画像上では見かけの面積が小さく、模様画像が伸びたように見えて解像度が悪くなる。
【００７０】
したがって、生成された複数の模様画像は、複数の視点に応じた複数の模様画像として獲得しても良いし、その中からもっとも解像度の高い模様画像を代表模様画像としても良い。また、複数の模様画像を解像度に応じた重み付け平均によって一つにまとめても良い。
【００７１】
こうして得られた最終的な三次元モデルに関する情報は、三次元モデルの各頂点の座標、辺、面をなす頂点のグラフ、各面に貼り付ける模様画像で構成される。かかる情報は、VRML（Virtual Reality Modeling Language ）等の既存の書式にしたがって出力すれば良い。
【００７２】
以上のように本実施の形態によれば、三次元モデルの形状を定める場合に模様の関係も同時に考慮しつつ定めることができ、完成した三次元モデルにおいて模様のズレ等の発生しない自然な三次元モデルとして三次元シーンにおける形状等を復元することが可能となる。
【００７３】
次に、本発明の実施の形態にかかる三次元モデル変換装置を実現するプログラムの処理の流れについて説明する。図１７に本発明の実施の形態にかかる三次元モデル変換装置を実現するプログラムの処理の流れ図を示す。
【００７４】
図１７において、対象となる複数の画像を入力（ステップ１７０１）した後に、画像のキャリブレーションを行って、与えられた画像について外部カメラパラメータ及び内部カメラパラメータを決定して、基本モデルに含まれている面の画像上での配置が決定される（ステップ１７０２）。
【００７５】
次に、複数の画像間での対応関係を与えたい点を各画像上で指定し、当該指定された点と基本モデル中の複数の任意点を結ぶことで面を構成する（ステップＳ１７０３）。かかる作業は、与えられた複数の画像すべてについて行う。同時に、複数の画像上で指定された点について、三角測量の原理に基づいて三次元座標を計算する。
【００７６】
最後に、最終的に得られた三次元モデルと画像との対応関係に基づいて三次元モデルの表面に貼り付ける模様画像を生成し（ステップＳ１７０４）、三次元モデル表示システムのデータ形式に変換後出力する（ステップＳ１７０５）。
【００７７】
なお、本発明の実施の形態にかかる三次元モデル変換装置を実現するプログラムを記憶した記録媒体は、図１８に示す記録媒体の例に示すように、ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体だけでなく、通信回線の先に備えられた他の記憶装置や、コンピュータのハードディスクやＲＡＭ等の記録媒体のいずれでも良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００７８】
また、本発明の実施の形態にかかる三次元モデル変換装置により生成された三次元モデルデータ等を記録した記録媒体も、図１８に示す記録媒体の例に示すように、ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体だけでなく、通信回線の先に備えられた他の記憶装置や、コンピュータのハードディスクやＲＡＭ等の記録媒体のいずれでも良く、例えば本発明にかかる三次元モデル変換装置を利用する際にコンピュータにより読み取られる。
【００７９】
【発明の効果】
以上のように本発明にかかる三次元モデル変換方法及び装置によれば、オクルージョンが発生した場合であっても利用者の意図に沿った三次元モデルへの変換をすることができ、さらに利用者が三次元モデルの生成状態を確認しながら操作することができるので、利用者の意図する三次元形状に近い三次元モデルを生成することが可能となる。
【図面の簡単な説明】
【図１】 従来の三次元モデル変換方法における処理流れ図
【図２】 従来の三次元モデル変換方法における複数の点を連結して面を指定する処理を三次元空間の計算前に行う方法の処理流れ図
【図３】 従来の三次元モデル変換方法における複数の点を連結して面を指定する処理を三次元空間の計算後に行う方法の処理流れ図
【図４】 オクルージョンの説明図
【図５】 視点の相違による投影状況の説明図
【図６】 オクルージョンによる三次元形状生成状態の説明図
【図７】 本発明の実施の形態にかかる三次元モデル変換装置の構成図
【図８】 本発明の一実施例にかかる三次元モデル変換装置の構成図
【図９】 本発明の一実施例にかかる三次元モデル変換装置における基本モデル選択指示ウインドウの例示図
【図１０】 本発明の一実施例にかかる三次元モデル変換装置におけるキャリブレーション終了時の例示図
【図１１】 本発明の一実施例にかかる三次元モデル変換装置における新しい頂点指定時の例示図
【図１２】 本発明の一実施例にかかる三次元モデル変換装置における新しい頂点指定時の例示図
【図１３】 本発明の一実施例にかかる三次元モデル変換装置における新しい頂点指定時の例示図
【図１４】 本発明の一実施例にかかる三次元モデル変換装置における三次元形状表示状態図
【図１５】 本発明の一実施例にかかる三次元モデル変換装置における三次元形状表示状態図
【図１６】 本発明の一実施例にかかる三次元モデル変換装置における三次元モデルを変更する方法の説明図
【図１７】 本発明の実施の形態にかかる三次元モデル変換装置における処理の流れ図
【図１８】 記録媒体の例示図
【符号の説明】
７０１ 画像入力部
７０２ 画像記憶部
７０３ 基本モデル登録部
７０４ 基本モデル記憶部
７０５ 基本モデル選択部
７０６ 基本モデルに基づく画像キャリブレーション部
７０７ 面構成及び対応点指示部
７０８ 三次元情報計算部
７０９ 三次元情報表示部
７１０ 模様画像生成部
７１１ 生成モデル出力部
８０１ 画像入力装置
８０２ 画像記憶装置
８０３ 基本モデル登録装置
８０４ 基本モデル記憶装置
８０５ 基本モデル選択装置
８０６ 基本モデルに基づく画像キャリブレーション装置
８０７ 面構成及び対応点指示装置
８０８ 三次元情報計算装置
８０９ 三次元情報表示装置
８１０ 模様画像生成装置
８１１ 生成モデル出力装置
１８０１ 回線先の記憶装置
１８０２ ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体
１８０２−１ ＣＤ−ＲＯＭ
１８０２−２ フロッピーディスク
１８０３ コンピュータ
１８０４ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体

Claims (7)

1. 複数の画像に基づいて三次元物体の形状を測定して三次元モデルに変換する三次元モデル変換装置であって、
   複数の前記画像を取り込む画像入力部と、
   取り込んだ前記画像を格納する画像記憶部と、
   前記画像に含まれる基準物体を表す基本モデルを格納する基本モデル格納部と、
   前記画像中の対象物体における幾何学的性質を規定する前記基本モデルを選択する基本モデル選択部と、
   選択された前記基本モデルに基づいて複数の画像について画像キャリブレーションを実行し、前記基本モデルを前記複数の画像それぞれに重畳して前記基本モデルの頂点の三次元座標を決定する画像キャリブレーション実行部と、
   前記画像キャリブレーションの結果と前記決定された基本モデルの頂点の三次元座標に基づいて、前記複数の画像のうち少なくとも２枚の画像において、基本モデルが投影された面の内部あるいは、辺の途中でユーザによって指定された点を新しい頂点として、前記基本モデル中の前記面の各頂点あるいは前記辺を共有する面の各頂点と結ぶことによって面情報を仮設定して、新しい頂点を各画像上におけるユーザの操作に従ってユーザの望みの位置へ移動させて三次元モデルを構成する面構成及び対応点指示部と、
   前記新しい頂点が指定されると同時に前記新しい頂点の三次元位置情報を計算する三次元情報計算部と、
   前記三次元モデルを表示する三次元形状表示部と、
   前記新しい頂点の追加により最終的に得られた三次元モデルと各画像間の対応関係に基づいて、前記三次元モデルの表面の模様画像を生成する模様画像生成部と、
   最終的に完成した前記三次元モデルのデータを出力する生成モデル出力部を有することを特徴とした三次元モデル変換装置。
2. 前記面構成及び対応点指示部で構成された前記三次元モデルにおける前記新しい頂点の移動を、ユーザの操作に基づいて行う請求項１記載の三次元モデル変換装置。
3. 前記基本モデルを取り込む場合に、パラメータ変数を用いたデータ形式によって取り込むことができる請求項１記載の三次元モデル変換装置。
4. 前記新しい頂点がパラメータ変数を用いたデータ形式によって表現され、複数の前記画像に対する前記キャリブレーション実行時に、前記パラメータの値を決定する請求項１記載の三次元モデル変換装置。
5. 変換途上における三次元モデルを前記基本モデルの一つとして登録することができる請求項１記載の三次元モデル変換装置。
6. 複数の画像に基づいて三次元物体の形状を測定して三次元モデルに変換する三次元モデル変換方法であって、
   複数の前記画像を取り込み、取り込んだ前記画像を格納する工程と、
   前記画像に含まれる基準物体を表す基本モデルを格納する工程と、
   前記画像中の対象物体における幾何学的性質を規定する前記基本モデルを選択する工程と、
   選択された前記基本モデルに基づいて複数の画像について画像キャリブレーションを実行し、前記基本モデルを前記複数の画像それぞれに重畳して前記基本モデルの頂点の三次元座標を決定する工程と、
   前記画像キャリブレーションの結果と前記決定された基本モデルの頂点の三次元座標に基づいて、前記複数の画像のうち少なくとも２枚の画像において、基本モデルが投影された 面の内部あるいは、辺の途中でユーザによって指定された点を新しい頂点として、前記基本モデル中の前記面の各頂点あるいは前記辺を共有する面の各頂点と結ぶことによって面情報を仮設定して、新しい頂点を各画像上におけるユーザの操作に従ってユーザの望みの位置へ移動させて三次元モデルを構成するとともに、同時に前記新しい頂点の三次元位置情報を計算し、対象物体の三次元モデルを表示する工程と、
   前記新しい頂点の追加により最終的に得られた三次元モデルと各画像間の対応関係に基づいて、前記三次元モデルの表面の模様画像を生成する工程と、
   最終的に完成した前記三次元モデルのデータを出力する工程を有することを特徴とする三次元モデル変換方法。
7. 複数の画像に基づいて三次元物体の形状を測定して三次元モデルに変換する処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   複数の前記画像を取り込み、取り込んだ前記画像を格納する処理と、
   前記画像に含まれる基準物体を表す基本モデルを格納する処理と、
   前記画像中の対象物体における幾何学的性質を規定する前記基本モデルを選択する処理と、
   選択された前記基本モデルに基づいて複数の画像について画像キャリブレーションを実行し、前記基本モデルを前記複数の画像それぞれに重畳して前記基本モデルの頂点の三次元座標を決定する処理と、
   前記画像キャリブレーションの結果と前記決定された基本モデルの頂点の三次元座標に基づいて、前記複数の画像のうち少なくとも２枚の画像において、基本モデルが投影された面の内部あるいは、辺の途中でユーザによって指定された点を新しい頂点として、前記基本モデル中の前記面の各頂点あるいは前記辺を共有する面の各頂点と結ぶことによって面情報を仮設定して、新しい頂点を各画像上におけるユーザの操作に従ってユーザの望みの位置へ移動させて三次元モデルを構成するとともに、同時に前記新しい頂点の三次元位置情報を計算し、対象物体の三次元モデルを表示する処理と、
   前記新しい頂点の追加により最終的に得られた三次元モデルと各画像間の対応関係に基づいて、前記三次元モデルの表面の模様画像を生成する処理と、
   最終的に完成した前記三次元モデルのデータを出力する処理とをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images