JP2000067267A - 三次元シーンにおける形状及び模様の復元方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 複数画像による三次元シーンにおける形状及
び模様の復元において、処理の開始時から三次元モデル
を意識した処理を実現し、精度良く復元する方法及び装
置を提供する。 【解決手段】 複数の画像を取り込み、格納した画像か
ら処理を適用する複数のフレームを選択し、複数の画像
間の対応関係を抽出するとともに、基礎となる三次元モ
デルを入力し、画像中の対象物体における幾何学的性質
を規定する三次元モデルを選択し、画像と三次元モデル
との対応関係を指定した上で、画像間の対応関係及び画
像と三次元モデルとの対応関係の双方を満たしながら三
次元モデルの形状変形を行い、三次元モデルの形状と、
三次元モデルと画像間の対応関係に基づいて表面に貼り
付ける模様画像を生成して、最終的な三次元モデルを出
力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル化された
複数の映像、又は動画像に写っている三次元シーンの一
部、又は全体を三次元状に復元し、コンピュータグラフ
ィックスにて表示するための三次元モデルに変換するた
めの処理に関する。

【０００２】

【従来の技術】複数の映像、又は動画像等の三次元の物
体を写した二次元画像である三次元シーンを用いて三次
元形状の復元を行うには、複数映像間、又は複数フレー
ム間（以下、「画像間」という。）の対応を適格に把握
することが必要である。

【０００３】図１に、従来の三次元シーンにおける形状
及び模様の復元方法における処理の流れ図を示す。図１
において、復元対象となる複数の映像、又は動画像等の
二次元データが与えられると（ステップＳ１０１）、画
像間の対応を探索する（ステップＳ１０２）。従来の方
法では、三次元形状の頂点の整合性をとることが主流で
あり、この時点では各面や辺、特に各面内の模様や面内
の任意の点における整合性等については何の考慮も払わ
れていない。

【０００４】そして、頂点の対応関係から三次元形状の
みを復元する（ステップＳ１０３）。ここでは、三角測
量等の要領で頂点のみによって三次元形状を再現してお
り、辺や面は存在していない。そこで、幾何モデルを当
てはめる（ステップＳ１０４）ことにより、面や辺等の
存在する三次元モデルを復元する。最後に、テクスチャ
ーを三次元モデルの各面に貼りつけて模様を復元する
（ステップＳ１０５）ことで、三次元形状の復元が完了
する。復元された三次元モデルを使用するコンピュータ
グラフィックのデータ形式に合わせて出力することで
（ステップＳ１０６）、三次元モデルがベクトル値とし
て活用できる。

【０００５】このような画像間の対応探索及び三次元形
状への復元において、三次元形状への復元精度を高める
ためには、従来から適当なモデルを活用することが良く
行われている。例えば、特開平９−６９１７０号公報に
おいては、三次元形状への復元をするに当たり、特にテ
クスチャー模様情報を含んだ平面モデルを三次元形状に
当てはめ、三次元モデルの各表面に当該平面モデルに貼
り付けることで三次元モデルを生成する方法が開示され
ている。

【０００６】

【発明が解決しようとする課題】しかし、かかる方法で
は、三次元モデルにおける奥行き等が平面モデルとして
モデル化されるテクスチャー模様情報獲得時には考慮さ
れておらず、奥行きと模様画像の間にズレを生じ、不自
然な三次元モデルになるという問題点があった。また、
単に平面モデルとして三次元モデルに貼り付けるだけで
近似できる部分についても、三次元形状の獲得時におい
て誤差を生じた場合には、不適当なテクスチャー模様情
報として排除されるため、最終的に三次元モデルに貼り
つけられないという弊害も生じていた。

【０００７】本発明は、上記課題を克服し、複数画像に
よる三次元シーンにおける形状及び模様の復元におい
て、処理の開始時から三次元モデルを意識した処理を実
現し、精度良く復元する方法及び装置を提供することを
目的とする。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に本発明にかかる三次元シーンにおける形状及び模様の
復元方法は、複数の画像に基づいてコンピュータグラフ
ィックスに用いる三次元モデルを作成する三次元シーン
における形状及び模様の復元方法であって、複数の画像
を取り込み、取り込んだ画像を格納し、格納した画像か
ら処理を適用する複数のフレームを選択し、複数の画像
間の対応関係を抽出する工程と、基礎となる三次元モデ
ルを入力し、入力された三次元モデルを格納し、画像中
の対象物体における幾何学的性質を規定する三次元モデ
ルを選択し、画像と三次元モデルとの対応関係を指定す
る工程と、獲得した画像間の対応関係及び獲得した画像
と三次元モデルとの対応関係の双方を満たしながら三次
元モデルの形状変形を行う工程と、形状変形により得ら
れた最後の三次元モデルの形状と、最後の三次元モデル
と獲得した画像間の対応関係に基づいて表面に貼り付け
る模様画像を生成する工程と、完成した最後の三次元モ
デルを出力する工程を有することを特徴とする。

【０００９】かかる構成により、三次元モデルの形状を
定める場合に模様の関係を考慮しつつ定めることがで
き、完成した三次元モデルにおいて模様のズレ等の発生
しない自然な三次元モデルとして三次元シーンにおける
形状等を復元することが可能となる。

【００１０】また、本発明にかかる三次元シーンにおけ
る形状及び模様の復元方法は、複数の画像間の対応関係
を抽出する工程において、対応関係をユーザが指定でき
ることが望ましい。システム的には検出できない、又は
検出しにくい対応関係についても、ユーザが自由に追加
できることで、より実際に近い三次元モデルとして復元
することが可能だからである。

【００１１】また、本発明にかかる三次元シーンにおけ
る形状及び模様の復元方法は、複数の画像間の対応関係
を抽出する工程において、複数の画像間の対応関係を画
像の輝度及び輝度を加工した情報に基づいて決定するこ
とが好ましい。模様として対応関係を抽出するだけで
は、写真等の露出の違いや光源の強弱による画像の変化
に対応できないからである。

【００１２】次に、上記課題を解決するために本発明に
かかる三次元シーンにおける形状及び模様の復元方法
は、複数の画像に基づいてコンピュータグラフィックス
に用いる三次元モデルを作成する三次元シーンにおける
形状及び模様の復元方法であって、複数の画像を取り込
み、取り込んだ画像を格納し、格納した画像から処理を
適用する複数のフレームを選択する工程と、基礎となる
三次元モデルを入力し、入力された三次元モデルを格納
し、画像中の対象物体における幾何学的性質を規定する
三次元モデルを選択し、画像と三次元モデルとの対応関
係を指定する工程と、画像間において、獲得した画像と
三次元モデルとの対応関係を満たす箇所を探索しながら
三次元モデルの形状変形を行う工程と、形状変形により
得られた最後の三次元モデルの形状と、最後の三次元モ
デルと獲得した画像間の対応関係に基づいて表面に貼り
付ける模様画像を生成する工程と、完成した最後の三次
元モデルを出力する工程を有することを特徴とする。

【００１３】かかる構成により、三次元モデルの形状を
定める場合に模様の関係を考慮しつつ定めることがで
き、完成した三次元モデルにおいて模様のズレ等の発生
しない自然な三次元モデルとして三次元シーンにおける
形状等を復元することが可能となる。

【００１４】また、本発明にかかる三次元シーンにおけ
る形状及び模様の復元方法は、三次元モデルの形状変形
を行う工程と三次元モデルの表面に模様画像を生成する
工程において、三次元モデルの幾何学的性質の部分的な
変更をユーザが指定できることが望ましい。三次元モデ
ル適用の微調整を行うことで、より実体に近い三次元モ
デルとして三次元シーンを復元するためである。

【００１５】また、本発明にかかる三次元シーンにおけ
る形状及び模様の復元方法は、三次元モデルの形状変形
を行う工程と三次元モデルの表面に模様画像を生成する
工程において、三次元モデルを差し替えることができる
ことが好ましい。より適当な三次元モデルを用いる機会
を設けることで復元精度を高めることができるからであ
る。

【００１６】次に、上記課題を解決するために本発明に
かかる三次元シーンにおける形状及び模様の復元装置
は、複数の画像に基づいてコンピュータグラフィックス
に用いる三次元モデルを作成する三次元シーンにおける
形状及び模様の復元装置であって、複数の画像を取り込
む画像入力部と、前記画像入力部から取り込んだ画像を
格納する画像記憶部と、画像記憶部に格納した画像から
処理を適用する複数のフレームを選択する画像選択部
と、複数の画像間の対応関係を抽出する画像間対応関係
獲得部と、基礎となる三次元モデルを入力する三次元モ
デル入力部と、三次元モデル入力部から入力された三次
元モデルを格納する三次元モデル記憶部と、画像中の対
象物体における幾何学的性質を規定する三次元モデルを
選択する三次元モデル選択部と、画像と三次元モデルと
の対応関係を指定する画像・三次元モデル間対応関係獲
得部と、画像間対応関係獲得部において獲得した画像間
の対応関係及び画像・三次元モデル間対応関係獲得部に
おいて獲得した画像と三次元モデルとの対応関係の双方
を満たしながら三次元モデルの形状変形を行う三次元情
報復元部と、三次元情報復元部において得られた最後の
三次元モデルの形状と、最後の三次元モデルと獲得した
画像間の対応関係に基づいて表面に貼り付ける模様画像
を生成する模様画像生成部と、完成した最後の三次元モ
デルを出力する生成モデル出力部を有することを特徴と
する。

【００１７】かかる構成により、三次元モデルの形状を
定める場合に模様の関係を考慮しつつ定めることがで
き、完成した三次元モデルにおいて模様のズレ等の発生
しない自然な三次元モデルとして三次元シーンにおける
形状等を復元することが可能となる。

【００１８】また、本発明にかかる三次元シーンにおけ
る形状及び模様の復元装置は、画像間対応関係獲得部に
おいて、対応関係をユーザが指定できることが望まし
い。システム的には検出できない、又は検出しにくい対
応関係についても、ユーザが自由に追加できることで、
より実際に近い三次元モデルとして復元することが可能
だからである。

【００１９】また、本発明にかかる三次元シーンにおけ
る形状及び模様の復元装置は、画像間対応関係獲得部に
おいて、複数の画像間の対応関係を画像の輝度及び輝度
を加工した情報に基づいて決定することが好ましい。模
様として対応関係を抽出するだけでは、写真等の露出の
違いや光源の強弱による画像の変化に対応できないから
である。

【００２０】次に、上記課題を解決するために本発明に
かかる三次元シーンにおける形状及び模様の復元装置
は、複数の画像に基づいてコンピュータグラフィックス
に用いる三次元モデルを作成する三次元シーンにおける
形状及び模様の復元装置であって、複数の画像を取り込
む画像入力部と、画像入力部から取り込んだ画像を格納
する画像記憶部と、画像記憶部に格納した画像から処理
を適用する複数のフレームを選択する画像選択部と、基
礎となる三次元モデルを入力する三次元モデル入力部
と、三次元モデル入力部から入力された三次元モデルを
格納する三次元モデル記憶部と、画像中の対象物体にお
ける幾何学的性質を規定する三次元モデルを選択する三
次元モデル選択部と、画像と三次元モデルとの対応関係
を指定する画像・三次元モデル間対応関係獲得部と、画
像間において、画像・三次元モデル間対応関係獲得部に
おいて獲得した画像と三次元モデルとの対応関係を満た
す箇所を探索しながら三次元モデルの形状変形を行う画
像間対応探索及び三次元情報復元同時実行部と、画像間
対応探索及び三次元情報復元同時実行部において得られ
た最後の三次元モデルの形状と、最後の三次元モデルと
獲得した画像間の対応関係に基づいて表面に貼り付ける
模様画像を生成する模様画像生成部と、完成した最後の
三次元モデルを出力する生成モデル出力部を有すること
を特徴とする。

【００２１】かかる構成により、三次元モデルの形状を
定める場合に模様の関係を考慮しつつ定めることがで
き、完成した三次元モデルにおいて模様のズレ等の発生
しない自然な三次元モデルとして三次元シーンにおける
形状等を復元することが可能となる。

【００２２】また、本発明にかかる三次元シーンにおけ
る形状及び模様の復元装置は、画像間対応探索及び三次
元情報復元同時実行部及び模様画像生成部において、三
次元モデルの幾何学的性質の部分的な変更をユーザが指
定できることが望ましい。三次元モデル適用の微調整を
行うことで、より実体に近い三次元モデルとして三次元
シーンを復元するためである。

【００２３】また、本発明にかかる三次元シーンにおけ
る形状及び模様の復元装置は、画像間対応探索及び三次
元情報復元同時実行部及び模様画像生成部において、三
次元モデルを差し替えることができることが好ましい。
より適当な三次元モデルを用いる機会を設けることで復
元精度を高めることができるからである。

【００２４】次に、上記課題を解決するために本発明に
かかるコンピュータに実行させるプログラムを記録した
コンピュータ読み取り可能な記録媒体は、複数の画像に
基づいてコンピュータグラフィックスに用いる三次元モ
デルを作成するコンピュータに実行させるプログラムを
記録したコンピュータ読み取り可能な記録媒体であっ
て、複数の画像を取り込むステップと、取り込んだ画像
を格納するステップと、格納した画像から処理を適用す
る複数のフレームを選択するステップと、複数の画像間
の対応関係を抽出するステップと、基礎となる三次元モ
デルを入力するステップと、入力された三次元モデルを
格納するステップと、画像中の対象物体における幾何学
的性質を規定する三次元モデルを選択するステップと、
画像と三次元モデルとの対応関係を指定するステップ
と、獲得した画像間の対応関係及び獲得した画像と三次
元モデルとの対応関係の双方を満たしながら三次元モデ
ルの形状変形を行うステップと、形状変形により得られ
た最後の三次元モデルの形状と、最後の三次元モデルと
獲得した画像間の対応関係に基づいて表面に貼り付ける
模様画像を生成するステップと、完成した最後の三次元
モデルを出力するステップを有することを特徴とする。

【００２５】かかる構成により、コンピュータ上へ当該
プログラムをロードさせ実行することで、三次元モデル
の形状を定める場合に模様の関係を考慮しつつ定めるこ
とができ、完成した三次元モデルにおいて模様のズレ等
の発生しない自然な三次元モデルとして三次元シーンを
復元することが可能な三次元シーンにおける形状及び模
様の復元装置が実現できる。

【００２６】

【発明の実施の形態】（実施の形態１）以下、本発明の
実施の形態１にかかる三次元シーンにおける形状及び模
様の復元装置について、図面を参照しながら説明する。
図２は本発明の実施の形態１にかかる三次元シーンにお
ける形状及び模様の復元装置の構成図である。

【００２７】図２において、２０１は画像入力部を、２
０２は画像記憶部を、２０３は画像選択部を、２０４は
三次元モデル入力部を、２０５は三次元モデル記憶部
を、２０６は三次元モデル選択部を、２０７は画像間対
応関係獲得部を、２０８は画像・三次元モデル間対応関
係獲得部を、２０９は三次元情報復元部を、２１０は模
様画像作成部を、２１１は生成モデル出力部をそれぞれ
示す。

【００２８】まず、画像入力部２０１において、使用す
る複数の画像をビデオ画像または複数の静止画像とし
て、画像入力装置等を用いて画像記憶部２０２へ取り込
む。次に、画像選択部２０３において、処理を適用する
複数のフレームをユーザが選択する。

【００２９】一方、三次元モデル入力部２０４におい
て、対象として想定される物体の三次元モデルを入力し
て、三次元モデル記憶部２０５に格納する。次に、三次
元モデル選択部２０６において、三次元モデル記憶部２
０５に格納されているモデル群から、対象画像中の物体
に最も適合する三次元モデルをユーザが選択する。

【００３０】そして、画像間対応関係獲得部２０７にお
いて、複数画像間で相互に対応する部分をユーザが指定
するとともに、画像・三次元モデル間対応関係獲得部２
０８において、各画像と三次元モデルとの間の相互に対
応する部分についてもユーザが指定する。例えば、模様
から判断できる同一位置を指定したり、三次元モデルに
合わせて頂点の位置を微調整する作業等がこれに該当す
る。

【００３１】各対応関係が定まったら、三次元情報復元
部２０９において、双方の対応関係を満足するように三
次元モデルの形状変形を行う。そして、最終的な三次元
モデルの形状を確定すると共に、最終的な三次元モデル
と画像との対応関係についても確定する。

【００３２】最後に、模様画像生成部２１０において、
最終的な三次元モデルと画像との対応関係に基づいて三
次元モデルの表面に貼り付ける模様画像を生成し、生成
モデル出力部２１１において三次元モデル表示システム
のデータ形式に変換後出力する。

【００３３】次に、本実施の形態１にかかる三次元シー
ンにおける形状及び模様の復元装置の実施例について図
面を参照しながら説明する。図２において、画像入力部
２０１には、ビデオやＣＣＤカメラ等を用いて画像を入
力する。この場合、ビデオ画像については、フレームに
分解しようとしまいとどちらでも構わない。しかし、画
像選択部２０３において画像を選択する場合には、対象
フレームを指定することが必要となるので、ユーザの指
示に従って、フレームを特定できる機能を有することが
必要である。市販のビデオデッキが有するようなコマ送
り表示機能と同等であれば良い。

【００３４】図３には画像選択指示ウインドウを例示し
た。複数のビデオ画像等がある場合には、かかるインタ
フェースを用いることにより、ユーザが閲覧しながら選
択できることが有用である。

【００３５】また、対象物体を表現する三次元モデルと
しては、直方体、錐体、柱体、球等を用意する。三次元
モデルとしてこれに限定されるものではなく、これら形
状の複合体であっても構わない。

【００３６】さらに、三次元モデルはすべてポリゴン形
式にて表現する。したがって、従来からのコンピュータ
グラフィックスにおけるデータ形式と同様に、三次元の
モデル座標系における三次元座標によってモデルを表現
する。

【００３７】三次元モデルの選択には、図４に示すよう
なモデル選択指示ウインドウを用意する方が良い。三次
元モデルを閲覧しつつ、最も適当なモデルをユーザが選
択できるようにするためである。

【００３８】また、三次元モデルの幾何学的性質の表現
は、モデルの変形規則を用意することで表現する。例え
ば、直方体に対しては各面が対面に対して垂直方向にの
み移動可能であるとか、柱体に対しては二つの各底面が
他の底面に対して垂直方向にのみ移動可能であるとか、
錐体に対しては底面に属さない唯一の頂点が底面に対し
て垂直方向にのみ移動可能であるといった変形規則によ
って、三次元モデルの幾何学的性質を維持した形状変形
を表現することが可能となる。

【００３９】次に、画像間の対応関係について、図５を
用いて説明する。図５に示すように一つの建物を別の角
度から見た画像二枚を処理対象フレームとして選択した
場合、対応関係は二枚の画像中の同一部分をユーザがマ
ウス等により指定することにより決定される。例えば、
図５では、二枚の画像の中央付近に白い×印が明記され
ているが、この×印によって二枚の画像間の対応関係が
確定される。対応関係の指示は、マウス等のインタフェ
ースによって、容易に指定することができる。すなわ
ち、対応関係は一方の画像の識別子、対応箇所の画像座
標、もう一方の画像の識別子、もう一方の画像上での画
像座標により構成される。なお、対応関係は、一つの物
体の復元に対して少なくとも一つ指定すれば良く、複数
個指定しても構わない。

【００４０】また、画像と三次元モデルとの対応関係に
よって、三次元モデルが各フレーム上のどこに位置する
のかを明確にする。図６のように単純な直方体を示す画
像に対して三次元モデルを適用する場合を考えると、三
次元モデルをワイヤーフレームで表現し、マウス等のド
ラッギングによって、頂点が対象画像中の物体の輪郭に
一致するように変形させる。最終的には、図６に示すよ
うに画像中の対象物体の輪郭とワイヤーフレームとが一
致すれば良い。

【００４１】次に、画像間の対応関係及び画像と三次元
モデルとの対応関係のすべてを満足させる三次元モデル
の決定手段の詳細について説明する。例示三次元モデル
として、図６と同様の直方体の場合を考える。

【００４２】この場合、８つの頂点は、三次元座標にお
いて、それぞれ（０，０，０）、（１，０，０）、
（０，ｈ，０）、（１，ｈ，０）、（０，０，ｄ）、
（１，０，ｄ）、（０，ｈ，ｄ）、（１，ｈ，ｄ）で表
わすことができる。ここで、ｈ、ｄは変数であり、ｈは
高さを表わし、ｄは奥行きを表わす。かかるｈとｄを決
定することで、直方体モデルの実体として、対象となる
物体の形状を決定することになる。

【００４３】また、正ｎ角柱体の場合も同様に、（cos
（2πi/n），sin（2πi/n），０）、（cos（2πi/n），
sin（2πi/n），ｄ）（iは整数、i=０，…，n-1）と
し、正ｎ角錐体の場合も（cos（2πi/n），sin（2πi/
n），０）（iは整数、i=０，…，n-1）、（０，０，
ｄ）とし、いずれも変数ｄを決定すれば、三次元モデル
の実体として、対象となる物体の形状を決定することが
できる。他の三次元モデルについても、ｄ、ｈと同様の
媒介変数を用意することにより、三次元モデルに対して
実体としての形状を決定することができる。

【００４４】かかる頂点は、各頂点を識別するための頂
点番号を有する。そして、モデルの各面については、頂
点番号のグラフによって表示することができる。直方体
のモデルにおいては、各頂点に０：（０，０，０）、
１：（１，０，０）、２：（０，ｈ，０）、３：（１，
ｈ，０）、４：（０，０，ｄ）、５：（１，０，ｄ）、
６：（０，ｈ，ｄ）、７：（１，ｈ，ｄ）と頂点番号を
付すると、各面は４つの頂点により構成されるので、各
面に面番号を与えて、０：０−１−３−２、１：４−５
−７−６、２：０−１−５−４、３：２−３−７−６、
４：０−２−６−４、５：１−３−７−５と表わすこと
が可能となる。

【００４５】そこで、各画像と三次元モデルとの対応関
係を指定するには、三次元モデルを透視射影にて画像上
へ投影させることが必要となる。基本となる画像は複数
あるので、各画像にフレーム番号を付し、先述した変数
ｈ、ｄを調整しながら透視投影過程を表わす変数を決定
することで、各画像と三次元モデルとの対応関係を満足
させる解を求めることになる。

【００４６】透視投影過程を数式を用いて表わすと、三
次元モデルの頂点を（ｘ，ｙ，ｚ）として、画像上の点
（ｒ，ｃ）に（数１）と射影されるとして表わされる。

【００４７】

【数１】

【００４８】ここで、ｒ、ｃはそれぞれ画像の行番号、
列番号に当たり、Ａは３×３の回転行列、Ｏは画面上の
移動を表わす原点ベクトルである。したがって、回転行
列は三つの回転角によって表わされること、原点ベクト
ルの次数は３であることから、それぞれ三つの変数で構
成されることは明らかである。また、ｆは焦点距離を示
す。

【００４９】また、各画像間の対応関係を表現するに
は、該当する対応点の三次元モデル上の座標を（ｘ，
ｙ，ｚ）として、（数１）に示す射影式に基づく射影位
置が指定座標になるものと考えれば良い。

【００５０】すなわち、対応関係がｐ個あった場合、第
ｑ（ｑ＝０ ,…，ｐ−１）番目の対応関係は、以下の要
素により構成される。すなわち、任意の点の三次元モデ
ル座標系における座標（ｘ_q，ｙ_q，ｚ_q ）、及びその点
が存在する面の面番号Ｓ_q 、その点が観察される一方の
フレーム番号ｉ_q,1 、及びその画像での射影位置である
（ｒ_q,1，ｃ_q,1）, その点が観察されるもう一方のフレ
ーム番号ｉ_q,2 、及びその画像での射影位置である（ｒ
_q,2，ｃ_q,2）により構成される。このうち、（ｘ_q，
ｙ_q，ｚ_q ）は未知数であるので、対応関係一組に対し
て３個の未知数を持つことになる。

【００５１】以上の考察から、結局未知数は以下の通り
となる。すなわち、モデルの形状パラメータｈとｄ、も
しくはｄのみ、フレームの枚数ｎ分の焦点距離ｆ_i（ｉ
＝０,…，ｎ―１）、回転行列Ａ_i（ｉ＝０, …，ｎ―
１）、そして原点ベクトルＯ_i（ｉ＝０, …，ｎ―
１）、対応関係ｐ個分の対応座標（ｘ_q，ｙ_q，ｚ_q ）
（ｑ＝０,…,ｐ−１）である。したがって、未知数の個
数は、２＋７ｎ＋３ｐもしくは１＋７ｎ＋３ｐとなる。

【００５２】反対に与えられる条件としては以下の通り
である。すなわち、モデルがｍ個の頂点からなる場合、
モデルの各頂点Ｐ_j ＝（ｘ_j，ｙ_j，ｚ_j ）（ｊ＝０,…,
ｍ−１）が第ｉフレーム上で見えている画像の座標（ｒ
_ij,ｃ_ij）（ｉ＝０, …,ｎ−１，ｊ＝０,…,ｍ−１）、
第ｑ（ｑ＝０,…,ｐ−１）番目の対応関係に対して対応
関係が与えられている点（ｘ_q，ｙ_q，ｚ_q ）を有する面
番号Ｓ_q 、一方のフレーム番号ｉ_q,1 、及びそのフレー
ム上での射影位置である（ｒ_q,1，ｃ_q,1）、もう一方の
フレーム番号ｉ_q,2、及びそのフレーム上での射影位置
である（ｒ_q,2，ｃ_q,2）である。

【００５３】したがって、三次元モデル座標系の点
（ｘ，ｙ，ｚ）が第ｉフレームに射影される変換式を焦
点距離ｆ_i、回転行列Ａ_i、及び原点ベクトルＯ_i を用い
て、Ｆ（ｘ，ｙ，ｚ；ｆ_i，Ａ_i，Ｏ_i ）とすると、（数
２）に示す連立方程式が成立する。

【００５４】

【数２】

【００５５】さらに、拘束条件として、第Ｓ番目の面の
方程式をＳ（ｘ，ｙ，ｚ；ｓ）と記述すると、（数３）
が成立する。

【００５６】

【数３】

【００５７】そして、これらを解くことによって三次元
モデルの形状パラメータを決定することができ、副次的
に三次元モデルの画フレームへの射影式、対応点の座標
を求めることが可能となる。

【００５８】かかる連立方程式は、これらの式の数が変
数の個数と等しいか、あるいは変数の個数よりも多い場
合に解くことができる。解法としては、特に限定するも
のではなく、一般的な最小二乗法でも良いし、最尤度推
定法やマーカート法、ロバスト推定法等各種方法でも構
わない。

【００５９】上記手順にて、三次元モデルが決定した
ら、最終的な三次元モデルと画像との対応関係に基づい
て模様画像を求める。最終的な三次元モデルが、図７及
び図８の白線のように求まった場合の生成例を図９に示
す。

【００６０】三次元モデルの模様は、その三次元モデル
の各面に対して、その面を正面から観察した場合の画像
として、与えられた画像情報を変換する。図７、図８の
ように複数のフレームで部分的に見えていた場合には、
それらを正面にして、重ねあわせた画像として図９のよ
うに模様画像を生成すれば良い。かかる画像情報の変換
式は、射影過程を表わすパラメータ及び射影幾何学から
導き出すことができる。

【００６１】こうして得られた三次元モデルに関する情
報は、三次元モデルの各頂点の座標、辺、面をなす頂点
のグラフ、各面に貼り付ける模様画像で構成される。か
かる情報は、VRML（Virtual Reality Modeling Languag
e ）等の既存の書式にしたがって出力すれば良い。

【００６２】以上のように本実施の形態１によれば、三
次元モデルの形状を定める場合に模様の関係も同時に考
慮しつつ定めることができ、完成した三次元モデルにお
いて模様のズレ等の発生しない自然な三次元モデルとし
て三次元シーンにおける形状等を復元することが可能と
なる。

【００６３】（実施の形態２）次に本発明の実施の形態
２について、図面を参照しながら説明する。図１０は本
発明の実施の形態２にかかる三次元シーンにおける形状
及び模様の復元装置の構成図である。図１０において、
３０１は画像入力部を、３０２は画像記憶部を、３０３
は画像選択部を、３０４は三次元モデル入力部を、３０
５は三次元モデル記憶部を、３０６は三次元モデル選択
部を、３０７は画像・三次元モデル間対応関係獲得部
を、３０８は画像間対応検索及び三次元情報復元同時実
行部を、３０９は模様画像作成部を、３１０は生成モデ
ル出力部をそれぞれ示す。

【００６４】図１０が本発明の実施の形態１にかかる三
次元シーンにおける形状及び模様の復元装置の構成図で
ある図２と顕著に相違するのは、画像間及び画像・三次
元モデル間の対応関係の獲得方法についてである。

【００６５】図１０においては、まず図２と同様に画像
入力部３０１において、使用する複数の画像をビデオ画
像または複数の静止画像として、画像入力装置等を用い
て画像記憶部３０２へ取り込む。次に、画像選択部３０
３において、処理を適用する複数のフレームをユーザが
選択する。

【００６６】一方、三次元モデル入力部３０４におい
て、対象として想定される物体の三次元モデルを入力し
て、三次元モデル記憶部３０５に格納する。次に、三次
元モデル選択部３０６において、三次元モデル記憶部３
０５に格納されているモデル群から、対象画像中の物体
に最も適合する三次元モデルをユーザが選択する。

【００６７】そして、画像・三次元モデル間対応関係獲
得部３０７において、選択された各画像と三次元モデル
との間の相互に対応する部分についてはユーザが指定す
る。例えば、模様から判断できる同一位置を指定した
り、三次元モデルに合わせて頂点の位置を微調整する作
業等がこれに該当する。

【００６８】各画像と三次元モデルとの間の対応関係が
定まったら、画像間対応検索及び三次元情報復元同時実
行部３０８において、各画像と三次元モデルとの間の対
応関係に合致するように、各画像間で相互に対応する箇
所を探索しながら三次元モデルの形状変形を行う。そし
て、最終的な三次元モデルの形状を確定すると共に、最
終的な三次元モデルと画像との対応関係についても確定
する。

【００６９】最後に、模様画像生成部３０９において、
最終的な三次元モデルと画像との対応関係に基づいて三
次元モデルの表面に貼り付ける模様画像を生成し、生成
モデル出力部３１０において三次元モデル表示システム
のデータ形式に変換後出力する。

【００７０】このように、画像間の対応関係の探索と、
三次元情報の復元を同時に実行する場合の三次元モデル
の決定手段については、実施の形態１で示した対応関係
を用いるのではなく、三次元モデルの同一部分に対する
模様情報がフレーム間で等しい、という条件を数式化し
て実施の形態１で示した連立方程式に追加すれば良い。

【００７１】例えば、三次元モデル上の任意の点（ｘ，
ｙ，ｚ）の色が第ｉフレーム上で三次元ベクトル関数Ｃ
（ｘ，ｙ，ｚ；ａ_i）で表現できるものとする。ここ
で、ａ_iは三次元モデルの色を第ｉフレームで見た場合
の色に変化するパラメータベクトルであり、各フレーム
を撮影したときのカメラの絞りの調整等によって明るさ
が変わった場合等の調整等を意味する。

【００７２】第ｉ（０≦ｉ≦ｎ−１）フレーム上の点
（ｒ_i, ｃ_i）が面ｓの上に存在する場合、（数４）に示
す連立方程式を解くことにより、三次元モデル上の座標
（ｘ，ｙ，ｚ）を求めることができる。

【００７３】

【数４】

【００７４】さらに、第ｊ（ｊ≠ｉ，０≦ｊ≦ｎ−１）
フレーム上で、（数５）を満たす点（ｒ_j,ｃ_j）に射影
されるものとする。

【００７５】

【数５】

【００７６】ここで、第ｉフレーム（ｒ，ｃ）における
色がベクトル Ｉ_i（ｒ，ｃ）で表わされるものとする
と、先の模様の一致条件は、Ｉ_i（ｒ_i，ｃ_i）＝ Ｃ
（ｘ，ｙ，ｚ；ａ_i）、Ｉ_j（ｒ_j，ｃ_j）＝ Ｃ（ｘ，
ｙ，ｚ；ａ_j）と表わすことができる。画面上で三次元
モデルに含まれる範囲のすべての点に対してこの方程式
を設定することで連立方程式を立てることができ、（数
２）の方程式群と連立させることにより、各画像間で対
応関係を定めることなく、三次元モデル及び射影の未知
数である以下の未知数を求めることができる。

【００７７】すなわち、三次元モデルの形状パラメータ
ｈとｄ、もしくはｄのみ、フレームの枚数ｎ分の焦点距
離ｆ_i（ｉ＝０,…，ｎ―１）、回転行列Ａ_i（ｉ＝０,
…，ｎ―１）、そして原点ベクトルＯ_i（ｉ＝０,…，ｎ
―１）である。

【００７８】これらの連立方程式を解くためには、方程
式のうち、模様の一致条件に関する式がａiの次数のｎ
倍よりも多いことが必要である。解法としては、特に限
定するものではなく、一般的な最小二乗法でも良いし、
最尤度推定法やマーカート法、ロバスト推定法等各種方
法でも構わない。

【００７９】以上のように本実施の形態２によれば、三
次元モデルの形状を定める場合に事前に模様の関係を定
めておくことなく、三次元モデルの復元時に同時に考慮
しつつ三次元モデルを定めることで、完成した三次元モ
デルにおいて模様のズレ等の発生しない自然な三次元モ
デルとして三次元シーンにおける形状等を復元すること
が可能となる。

【００８０】次に、本発明の実施の形態１にかかる三次
元シーンにおける形状及び模様の復元装置を実現するプ
ログラムの処理の流れについて説明する。図１１に本発
明の実施の形態１にかかる三次元シーンにおける形状及
び模様の復元装置を実現するプログラムの処理の流れ図
を示す。

【００８１】図１１において、対象となる複数の画像を
入力（ステップ４０１）した後に、一方では複数の画像
間の対応関係を探索し（ステップ４０２）、他方では各
画像と三次元モデルとの対応関係を定めるべく適当な三
次元モデルの当てはめを行う（ステップ４０３）。それ
ぞれの対応関係が定まったら、その対応関係を満足させ
ながら三次元モデルの形状を変形させることで三次元情
報を復元する（ステップ４０４）。最後に、それぞれの
対応関係に基づいて模様画像を三次元モデルの各面に貼
り付け（ステップ４０５）、三次元モデルを出力する
（ステップ４０６）。

【００８２】なお、本発明の実施の形態１にかかる三次
元シーンにおける形状及び模様の復元装置を実現するプ
ログラムを記憶した記録媒体は、図１２に示す記録媒体
の例に示すように、ＣＤ−ＲＯＭやフロッピーディスク
等の可搬型記録媒体だけでなく、通信回線の先に備えら
れた他の記憶装置や、コンピュータのハードディスクや
ＲＡＭ等の記録媒体のいずれでも良く、プログラム実行
時には、プログラムはローディングされ、主メモリ上で
実行される。

【００８３】また、本発明の実施の形態１にかかる三次
元シーンにおける形状及び模様の復元装置により生成さ
れた三次元モデルデータ等を記録した記録媒体も、図１
２に示す記録媒体の例に示すように、ＣＤ−ＲＯＭやフ
ロッピーディスク等の可搬型記録媒体だけでなく、通信
回線の先に備えられた他の記憶装置や、コンピュータの
ハードディスクやＲＡＭ等の記録媒体のいずれでも良
く、例えば本発明にかかる三次元シーンにおける形状及
び模様の復元装置を利用する際にコンピュータにより読
み取られる。

【００８４】

【発明の効果】以上のように本発明にかかる三次元シー
ンにおける形状及び模様の復元方法及び装置によれば、
三次元モデル表面の模様の整合性を考慮しながら三次元
モデルの形状を変形できるので、三次元シーンの実体に
近い三次元モデルを復元することが可能となる。

【図面の簡単な説明】

【図１】 従来の三次元シーンにおける形状及び模様の
復元方法の処理流れ図

【図２】 本発明の実施の形態１にかかる三次元シーン
における形状及び模様の復元装置の構成図

【図３】 本発明の一実施例にかかる画像選択指示ウィ
ンドウの例示図

【図４】 本発明の一実施例にかかる三次元モデル選択
指示ウインドウの例示図

【図５】 本発明の一実施例にかかる画像間対応関係の
説明図

【図６】 本発明の一実施例にかかる三次元モデルと画
像の対応関係の説明図

【図７】 本発明の一実施例にかかる復元した三次元モ
デルと画像の対応説明図

【図８】 本発明の一実施例にかかる復元した三次元モ
デルと画像の対応説明図

【図９】 本発明の一実施例にかかる復元した三次元モ
デルの説明図

【図１０】 本発明の実施の形態２にかかる三次元シー
ンにおける形状及び模様の復元装置の構成図

【図１１】 本発明の実施の形態１にかかる三次元シー
ンにおける形状及び模様の復元装置の処理流れ図

【図１２】 記録媒体の例示図

【符号の説明】

２０１，３０１ 画像入力部 ２０２，３０２ 画像記憶部 ２０３，３０３ 画像選択部 ２０４，３０４ 三次元モデル入力部 ２０５，３０５ 三次元モデル記憶部 ２０６，３０６ 三次元モデル選択部 ２０７ 画像間対応関係獲得部 ２０８，３０７ 画像・三次元モデル間対応関係獲得部 ２０９ 三次元情報復元部 ２１０，３０９ 模様画像生成部 ２１１，３１０ 生成モデル出力部 １２０１ 回線先の記憶装置 １２０２ ＣＤ−ＲＯＭやフロッピーディスク等の可搬
型記録媒体 １２０２−１ ＣＤ−ＲＯＭ １２０２−２ フロッピーディスク １２０３ コンピュータ １２０４ コンピュータ上のＲＡＭ／ハードディスク等
の記録媒体

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１０年１１月６日（１９９８．１１．
６）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】請求項８

【補正方法】変更

【補正内容】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】請求項９

【補正方法】変更

【補正内容】

───────────────────────────────────────────────────── フロントページの続き (72)発明者 太田 雅明 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 (72)発明者 遠藤 進 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 (72)発明者 原田 裕明 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 Ｆターム(参考） 5B050 BA07 BA11 CA07 EA13 EA18 EA22 EA28 FA02 FA12 5B057 CD01 DA11 DB03 DC09

Claims (13)

【特許請求の範囲】
1. 【請求項１】 複数の画像に基づいてコンピュータグラ
   フィックスに用いる三次元モデルを作成する三次元シー
   ンにおける形状及び模様の復元方法であって、 複数の前記画像を取り込み、取り込んだ前記画像を格納
   し、格納した前記画像から処理を適用する複数のフレー
   ムを選択し、複数の前記画像間の対応関係を抽出する工
   程と、 基礎となる前記三次元モデルを入力し、入力された前記
   三次元モデルを格納し、前記画像中の対象物体における
   幾何学的性質を規定する前記三次元モデルを選択し、前
   記画像と前記三次元モデルとの対応関係を指定する工程
   と、 獲得した前記画像間の前記対応関係及び獲得した前記画
   像と前記三次元モデルとの前記対応関係の双方を満たし
   ながら前記三次元モデルの形状変形を行う工程と、 前記形状変形により得られた最後の三次元モデルの形状
   と、前記最後の三次元モデルと獲得した前記画像間の前
   記対応関係に基づいて表面に貼り付ける模様画像を生成
   する工程と、 完成した前記最後の三次元モデルを出力する工程を有す
   ることを特徴とする三次元シーンにおける形状及び模様
   の復元方法。
2. 【請求項２】 複数の前記画像間の前記対応関係を抽出
   する工程において、前記対応関係をユーザが指定できる
   請求項１記載の三次元シーンにおける形状及び模様の復
   元方法。
3. 【請求項３】 複数の前記画像間の前記対応関係を抽出
   する工程において、複数の前記画像間の前記対応関係を
   前記画像の輝度及び輝度を加工した情報に基づいて決定
   する請求項１記載の三次元シーンにおける形状及び模様
   の復元方法。
4. 【請求項４】 複数の画像に基づいてコンピュータグラ
   フィックスに用いる三次元モデルを作成する三次元シー
   ンにおける形状及び模様の復元方法であって、 複数の前記画像を取り込み、取り込んだ前記画像を格納
   し、格納した前記画像から処理を適用する複数のフレー
   ムを選択する工程と、 基礎となる前記三次元モデルを入力し、入力された前記
   三次元モデルを格納し、前記画像中の対象物体における
   幾何学的性質を規定する前記三次元モデルを選択し、前
   記画像と前記三次元モデルとの対応関係を指定する工程
   と、 前記画像間において、獲得した前記画像と前記三次元モ
   デルとの前記対応関係を満たす箇所を探索しながら前記
   三次元モデルの形状変形を行う工程と、 形状変形により得られた最後の三次元モデルの形状と、
   前記最後の三次元モデルと獲得した前記画像間の前記対
   応関係に基づいて表面に貼り付ける模様画像を生成する
   工程と、 完成した前記最後の三次元モデルを出力する工程を有す
   ることを特徴とする三次元シーンにおける形状及び模様
   の復元方法。
5. 【請求項５】 前記三次元モデルの形状変形を行う工程
   と前記三次元モデルの表面に模様画像を生成する工程に
   おいて、前記三次元モデルの幾何学的性質の部分的な変
   更をユーザが指定できる請求項１又は４記載の三次元シ
   ーンにおける形状及び模様の復元方法。
6. 【請求項６】 前記三次元モデルの形状変形を行う工程
   と前記三次元モデルの表面に模様画像を生成する工程に
   おいて、前記三次元モデルを差し替えることができる請
   求項１又は４記載の三次元シーンにおける形状及び模様
   の復元方法。
7. 【請求項７】 複数の画像に基づいてコンピュータグラ
   フィックスに用いる三次元モデルを作成する三次元シー
   ンにおける形状及び模様の復元装置であって、 複数の前記画像を取り込む画像入力部と、 前記画像入力部より取り込んだ前記画像を格納する画像
   記憶部と、 前記画像記憶部に格納した前記画像から処理を適用する
   複数のフレームを選択する画像選択部と、 複数の前記画像間の対応関係を抽出する画像間対応関係
   獲得部と、 基礎となる前記三次元モデルを入力する三次元モデル入
   力部と、 前記三次元モデル入力部から入力された前記三次元モデ
   ルを格納する三次元モデル記憶部と、 前記画像中の対象物体における幾何学的性質を規定する
   前記三次元モデルを選択する三次元モデル選択部と、 前記画像と前記三次元モデルとの対応関係を指定する画
   像・三次元モデル間対応関係獲得部と、 前記画像間対応関係獲得部において獲得した前記画像間
   の前記対応関係及び前記画像・三次元モデル間対応関係
   獲得部において獲得した前記画像と前記三次元モデルと
   の前記対応関係の双方を満たしながら前記三次元モデル
   の形状変形を行う三次元情報復元部と、 前記三次元情報復元部において得られた最後の三次元モ
   デルの形状と、前記最後の三次元モデルと獲得した前記
   画像間の前記対応関係に基づいて表面に貼り付ける模様
   画像を生成する模様画像生成部と、 完成した前記最後の三次元モデルを出力する生成モデル
   出力部を有することを特徴とした三次元シーンにおける
   形状及び模様の復元装置。
8. 【請求項８】 前記画像間対応関係獲得部において、前
   記対応関係をユーザが指定できる請求項１記載の三次元
   シーンにおける形状及び模様の復元装置。
9. 【請求項９】 前記画像間対応関係獲得部において、複
   数の前記画像間の前記対応関係を前記画像の輝度及び輝
   度を加工した情報に基づいて決定する請求項１記載の三
   次元シーンにおける形状及び模様の復元装置。
10. 【請求項１０】 複数の画像に基づいてコンピュータグ
    ラフィックスに用いる三次元モデルを作成する三次元シ
    ーンにおける形状及び模様の復元装置であって、 複数の前記画像を取り込む画像入力部と、 前記画像入力部から取り込んだ前記画像を格納する画像
    記憶部と、 前記画像記憶部に格納した前記画像から処理を適用する
    複数のフレームを選択する画像選択部と、 基礎となる前記三次元モデルを入力する三次元モデル入
    力部と、 前記三次元モデル入力部から入力された前記三次元モデ
    ルを格納する三次元モデル記憶部と、 前記画像中の対象物体における幾何学的性質を規定する
    前記三次元モデルを選択する三次元モデル選択部と、 前記画像と前記三次元モデルとの対応関係を指定する画
    像・三次元モデル間対応関係獲得部と、 前記画像間において、前記画像・三次元モデル間対応関
    係獲得部において獲得した前記画像と前記三次元モデル
    との前記対応関係を満たす箇所を探索しながら前記三次
    元モデルの形状変形を行う画像間対応探索及び三次元情
    報復元同時実行部と、 前記画像間対応探索及び三次元情報復元同時実行部にお
    いて得られた最後の三次元モデルの形状と、前記最後の
    三次元モデルと獲得した前記画像間の前記対応関係に基
    づいて表面に貼り付ける模様画像を生成する模様画像生
    成部と、 完成した前記最後の三次元モデルを出力する生成モデル
    出力部を有することを特徴とした三次元シーンにおける
    形状及び模様の復元装置。
11. 【請求項１１】 前記画像間対応探索及び三次元情報復
    元同時実行部及び模様画像生成部において、前記三次元
    モデルの幾何学的性質の部分的な変更をユーザが指定で
    きる請求項７又は１０記載の三次元シーンにおける形状
    及び模様の復元装置。
12. 【請求項１２】 前記画像間対応探索及び三次元情報復
    元同時実行部及び模様画像生成部において、前記三次元
    モデルを差し替えることができる請求項７又は１０記載
    の三次元シーンにおける形状及び模様の復元方法。
13. 【請求項１３】 複数の画像に基づいてコンピュータグ
    ラフィックスに用いる三次元モデルを作成するコンピュ
    ータに実行させるプログラムを記録したコンピュータ読
    み取り可能な記録媒体であって、 複数の前記画像を取り込むステップと、 取り込んだ前記画像を格納するステップと、 格納した前記画像から処理を適用する複数のフレームを
    選択するステップと、 複数の前記画像間の対応関係を抽出するステップと、 基礎となる前記三次元モデルを入力するステップと、 入力された前記三次元モデルを格納するステップと、 前記画像中の対象物体における幾何学的性質を規定する
    前記三次元モデルを選択するステップと、 前記画像と前記三次元モデルとの対応関係を指定するス
    テップと、 獲得した前記画像間の前記対応関係及び獲得した前記画
    像と前記三次元モデルとの前記対応関係の双方を満たし
    ながら前記三次元モデルの形状変形を行うステップと、 形状変形により得られた最後の三次元モデルの形状と、
    前記最後の三次元モデルと獲得した前記画像間の前記対
    応関係に基づいて表面に貼り付ける模様画像を生成する
    ステップと、 完成した前記最後の三次元モデルを出力するステップを
    有することを特徴とするコンピュータに実行させるプロ
    グラムを記録したコンピュータ読み取り可能な記録媒
    体。