【発明の詳細な説明】
三次元ワイヤーフレームの創成と三次元 ステレオモーフィングのための方法及び装置
本出願は、1994年10月21日に、ブルース・ダブリュウ・ビンス、スーザン・イ
ー・ウエーヴァーによって出願され、通し番号08/327,472が付与された「高速で
三次元のワイヤーフレーム上のフォトリアリスチック面をレンダリングする方法
と装置」(整理番号No.2345-003)なる出願に関する。この出願内容の総てはこ
こに引用され取り入れられる。
本出願は亦、1995年3月31日、チャールズ・エス・パームによって出願され、
通し番号08/414,651が付与された「カメラの位置及び方向の決定のためイメージ
データを用いる方法と装置」(整理番号No.2345-005)なる出願に関する。この
出願内容もその総てがここに引用され取り入れられる。
本出願は更に亦、1994年10月4日に、ブルース・ダブリュウ・ビンス、ロドニ
イ・エム・プライス、チャールズ・エス・パーム、スーザン・イー・ウエーヴァ
ーによって出願され、同じく通し番号No.08/318,047が付与された「三次元イメ
ージ作成のためのインターアクティブイメージ相関関係のための方法と装置」(
整理番号No.2345-001)なる出願にも関する。この出願内容もその総てがここに
引用され取り入れられる。
技術分野
この発明は画像処理、特に三次元ワイヤーフレームを高速で創成するための方
法と装置に関する。
発明の背景
三次元物体のコンピュータ表示の創成、処理と使用は、多くの技術的な試行の
中で重要なユーティリティーを持っている。例えば、コンピュータ支援のデザイ
ンに於いては、大きさの点で非常に大きい建物から、コンポーネントがマイクロ
ジオメトリーを有する自動車までに渡るブジェクトのコンピュータ化された表現
を創成することが可能であることは大変便利である。コンピュータ・アニメーシ
ョンで、三次元シーンの遠近画法ビューを作成する時、オブジェクトの三次元表
示を利用することが望ましい。典型的に、三次元オブジェクトはコンピュータ処
理と利用のために「ワイヤーフレーム」として表現される。ワイヤーフレームは
、座標系で特定された三次元空間で多くのヴァーテイクス(即ち、ポイント)か
ら成る。三次元空間の頂点はそれぞれ線で繋がれ、互いにリンク又は関連したポ
リゴンを形成する。それぞれのポリゴンは、通常オブジェクトの一部を示す一般
に平らな表面要素を表す。ある特定のアプリケーションのために、表面ポリゴン
は、三つの点は常に同一平面上にあることが保証されていることから、望ましく
は三角形である。然しながら、ある特定のコマーシャルソフトウェアパッケージ
では、頂点が同一平面上にある四角形又は頂点が4より多いポリゴンが利用され
る。
ワイヤーフレームの解は、ヴァーテイクスの数と、それらの間隔によって決定
される。極めて多数の数の表面要素が利用され、かつ、それらの表面要素が非常
に小さいときは、三次元ワイヤーフレームは、表されているオブジェクトの表面
に極めて近いものとなるであろう。これに反して、ヴァーテイクスが極めて少な
く、そして表面要素が大きい場合には、オブジェクトの表現は、表面要素の最小
大きさより小さい細部を省略したものとなるであろう。これは例えば1フィート
四方の幾つかの繋がれた段ボールを利用して、椅子を表現しようとすることに似
ている。このような表示は、幾ら良く作られたとしても、非常に不細工なものと
なるであろう。然しながら、椅子を表現するために、スリップカバーの糸で区切
られた四角形の領域が用いられるならば、表現はずっと細やかになり、そして1
フィート角の段ボール紙によって表されたものよりも、遙に多くの細部が表現さ
れるであろう。
ワイヤーフレームを表すことについての問題の一つは、滑らかに変化する輪郭
の上で、ポイントの占める場所を識別しなければならないということである。滑
らかな輪郭の上には、異なった視点から見たイメージビューから容易に識別でき
る基準点がない。それ故に、深度を計算することに対して、2つのイメージの上
で互いに対応するポイントを識別することが困難である。
先行技術では、人間の顔の迫真のワイヤーフレーム表示を創成することは困難
であった。これは、表現のためにヴァーテイクスとしていずれのポイントを利用
するべきかを選択することについて、若干の判断が要求されることと、顔の三次
元ワイヤーフレーム表面のレンダリング(即ち、ワイヤーフレーム上の「皮膚」
の割付)が実在的なプレゼンテーションをもたらさないことによるものである。
伝統的なレンダリング技術では、一様な色彩と質感とを与え、そしてそれらを種
々のライテイングとシャドウでレンダリングするに過ぎない。色彩は一目で人工
のものと分かる程、均一である。更に、先行技術では、ワイヤーフレームの粗雑
さと使用されるレンダリング技術の間にトレードオフがある。非常に解像度の高
いワイヤーフレームは、伝統的なレンダリング技術によっても、粗いワイヤーフ
レームに比してより受容し得るレンディションを行うことができるが、粗いワイ
ヤーフレームは、均一な質感と色彩の不自然さによって、表面エレメントの境界
線において不自然な不連続性を生じる。
更に、先行技術は、ステレオイメージが変化せしめられている間のモーフィン
グシーケンス中に、ズーミングによってカメラ(ビューアー)のビューポイント
を変える能力を有しない。
発明の開示
上記背景に対して、本発明によって達成される一つの利点は、特定の種類のオ
ブジェクトのためワイヤーフレームを創成する際に要求される困難性を軽減する
ことである。
本発明によって達成された二番目の利点は、ワイヤーフレームを作成する際の
スピードを向上させることである。
本発明の他の利点は、表される表面の滑らかな輪郭面上のワイヤーフレームの
ためのヴァーテイクス識別が容易となることである。
本発明によって達成された他の利点は、ワイヤーフレーム表現の真に生き写し
の表面レンダリング、特に顔面を表わすワイヤーフレームの写実的なレンダリン
グの創成が可能となることである。
本発明によって得られた利点の一つは、解像度の低いワイヤーフレームを用い
ても、写実的なレンダリングによって、オブジェクトの迫真的表現が得られるこ
とである。
本発明の他の目的は、三次元ステレオモーフィングを達成することである。
本発明は、ワイヤーフレーム表現の中に捕捉されるオブジェクトの上にパター
ンを投影することにより、ワイヤーフレームを形成する方法に関し、その特徴は
上記オブジェクトの表面上のポイントに関する位置情報を計算するため、基準点
として当該のイメージの可視的投影パターンを有する上記オブジェクトを少なく
とも二つの視点からイメージを捉えることにある。映されたパターンは、例えば
充分にランダムに選ばれたカラーの、不特定間隔で配置された明るいスポットか
ら成る格子又は多色の紙吹雪パターンである。パターンの解像度は可変とされて
おり、投影のとき、又は、投影の後に、パターンのサンプリングポイントがワイ
ヤーフレームの中に包含されるように選択することができる。
本発明は亦、入出力装置、ディスプレイ、メモリ及び大量の記憶装置と;その
大量の記憶装置に記録された汎用のワイヤーフレームと;上記野ワイヤーフレー
ム表現を創成するために上記一汎用のワイヤーフレームを編集するソフトウェア
とを有するコンピュータをを具備し、高速で三次元オブジェクト表示を含むワイ
ヤーフレームを創成する装置に向けられている。汎用のワイヤーフレームはそれ
ぞれ異なった複数のオブジェクトに対応する複数のワイヤーフレームを有するツ
ールボックスとしてアレンジされたものであっても良い。
ワイヤーフレームを編集するためのソフトウェアは、汎用のワイヤーフレーム
のヴァーテイクスを選定し、そしてディスプレイの上の一つの場所からもう一つ
の場所までそのヴァーテイクスをドラッグし、更に、ワイヤーフレームの二つの
ヴァーテイクスの間に新たなヴァーテイクスを加えたり、そしてワイヤーフレー
ムの二つのヴァーテイクスの間にある他の一つのヴァーテイクスを削除する機能
を有する。ヴァーテイクスが削除されたときは、適切な相互関係を反映するため
削除の前後のヴァーテイクスのデータベースエントリーが書き換えられる。
本発明は、その三次元オブジェクトの属する種類の典型的な汎用のワイヤーフ
レームの少なくとも一つのビューを示し、上記汎用のワイヤーフレームの少なく
とも一つのビューを整列させ、そのイメージを同時にディスプレイされている上
記オブジェクトのイメージと対応させ、重ね合わせ、上記汎用のワイヤーフレー
ムの上記ビューに適応させ、これにより少なくとも一つのポイントを、上記イメ
ージと共有させ、上記汎用のワイヤーフレームのヴァーテイクスをその上記汎用
のワイヤーフレーム上の元の位置からドラグして上記イメージの対応するポイン
トにドロップすることにより、上記汎用のワイヤーフレームの上記ビューの少な
くとも一つのヴァーテイクスを修正することにより、高速で三次元オブジェクト
のカスタムワイヤーフレームを作成する方法に向けられている。カスタムワイヤ
ーフレームは、上記イメージの部分に分布している変換されたビットを用いるこ
とによりレンダリングされる。
本発明は、レンダーされた三次元ワイヤーフレームの受容できるディスプレイ
を達成するため必要なポイントの数を減少させ、三次元ワイヤーフレームを表示
するヴァーテイクスの数を減らし、上記ワイヤーフレームに依って表示されるオ
ブジェクトのイメージの変換されたビットマップドポーションを用いて上記ワイ
ヤーフレームをレンダリングする方法に向けられている。
本発明は亦、記録媒体と、その記録媒体にストアされ、それぞれ三次元オブジ
ェクトの属する種類の典型的な原型を示す複数のワイヤーフレームとから成るワ
イヤーフレームツールキットに向けられている。
本発明は更に亦、原型のワイヤーフレームのヴァーテイクスと、目的とするワ
イヤーフレームの対応するヴァーテイクスとを組み合わせるため選択し、それぞ
れのポイントの組合せについて、原型のイメージの上の上記ヴァーテイクスから
目的のイメージの上の上記ヴァーテイクスに到るベクトルを決定し、それぞれ原
型フレームヴァーテイクスから目的とするフレームヴァーテイクスに向かって上
記ベクトルにそって内挿配列さたヴァーテイクスを有するワイヤーフレームから
成る複数のインターミディエイトフレームを決定し、一部は上記原型のワイヤー
フレームから、他の一部は上記レンダードワイヤーフレームから得られたレンダ
リング情報を用いて、上記インターミディエイトフレームをレンダリングする方
法に向けられている。
本発明は、原型の三次元ステレオレンダードワイヤーフレームのイメージを、
異なったカメラビューポイントを有する目標の三次元ステレオレンダードワイヤ
ーフレームのイメージにモーフィングする方法に向けられている。これは原型の
ワイヤーフレームを、目標とするワイヤーフレームの中にマッピングすることに
よってなされる。原型のワイヤーフレームのヴァーテイクスから目標とするワイ
ヤーフレームのヴァーテイクス迄の間に内挿配置された少なくとも一つのインタ
ーミディエイトフレームを用いて行われる。ワイヤーフレームのカメラビューポ
イントは、上記マッピングが行われている間に変化せしめられる。このカメラビ
ューポイントの変化は、上記ワイヤーフレームのズームイン及びアウト、ワイヤ
ーフレームの周りのカメラビューポイントの回転、又はそのズーミングと回転の
両方である。
本発明の更に他の目的と利点が、次の詳細な記述から、当業者には容易に明白
になるであろう。そこでは、本発明を実施するための最適の態様のみを図示する
ことにより、本発明の最も望ましい実施例が示され、記述されている。理解され
るであろうように、発明は他の、そして異なった態様で実施することができ、そ
してその幾つかの細部は種々の明白な点で、すべて本発明から外れることなく変
更が可能である。従って、以下の図面と記述は単に本発明の資質を説明するもの
で、本発明はこれに限定されるものではない。
図画の簡単な説明
図1は、ワイヤーフレーム表示を創作するため用いられる一人物の顔のイラス
トである。
図2は、図1で示したのと同一の顔のイラストであり、顔の写実的なワイヤー
フレーム表示のため重要な特定のポイントにおいて、ある特定のワイヤーフレー
ムのヴァーテイクス(頂点)の配置を示す図である。
図3は、図2で示された特定のワイヤーフレームのヴァーテイクスのイラスト
である。
図4Aは、図1〜3で示されたものとは異なった顔のイラストである。
図4Bは、図3で示した特定のワイヤーフレームのヴァーテイクスを図4Aの
顔に重ねて示す図である。
図5は、ワイヤーフレームインフォメーションの獲得を支援するためのプロジ
ェクターの使用を示すイラストである。
図6は、発明を実施するため適切なコンピュータ装置のイラストである。
図7は、汎用のワイヤーフレームを特定のアプリケーションのためにカストマ
イズする方法を示すフローチャートである。
図8は、ワイヤーフレームヴァーテイクスのデータベースのためのデータベー
スエントリーを示すイラストである。
図9は、ドラッグ・アンド・ドロップを用いてワイヤーフレームのヴァーテイ
クスを修正する方法を示すフローチャートである。
図10は、ヴァーテイクスを削除する方法を示すフローチャートである。
図11は、ヴァーテイクスを追加する方法を示すフローチャートである。
図12は、一つのレンダードワイヤーフレームステレオイメージを、他のレンダ
ードグワイヤーフレームステレオイメージの中にステレオモーフィングするとき
のプロセスを示すフローチャートである。
発明を実施するための最良の態様
図1に示されたような複雑なイメージのワイヤーフレーム表現の創作、例えば
、人物の頭部のような複雑なオブジェクトの全体的な構造の写実的な近似を与え
ることは、そのために多数のヴァーテイクスを定義しなくてはならないから、大
変に困難である。ここに、そして前述の特許出願に記述されているように、三次
元空間にあるポイントの場所を識別する方法の一つは、二つの異なった視点から
得られた二つのイメージを使用することである。二つのイメージの上に対応する
ポ
イントを識別することによって、そしてカメラの場所についてある一定の情報を
得ることによって、三次元座標系内で共通のポイントの場所を算出することがで
きるようになる。
三次元座標系内の頭のような複雑なオブジェクトのワイヤーフレームを創作す
るためには、二つのイメージがその上のポイントを対応させながら見られるよう
にし、同時に対をなすポイントを決定するため、冗長なプロセスが要求され、そ
れぞれの対をなすポイントに就いて三次元座標系の中のポイントの位置を特定す
るための計算が行われる。次いで、ワイヤーフレーム表示のヴァーテイクスを定
義するために、三次元座標系内のポイントのデータベースが利用される。複雑な
表面のために、写実的なワイヤーフレーム表示を作るために何百又は何千ものポ
イントを識別することが必要となるであろう。これは長く、そして冗長なプロセ
スであり、技術の機敏な使用を阻止するものである。
図2は、図1に示された顔面のイラストに、ワイヤーフレームの作成で利用さ
れるかもしれない特定の幾つかのポイントを付けたものである。
三次元ワイヤーフレームの作成と関連する他の問題は、幾つかのオブジェクト
が、特に顕著な特徴のない広く滑らかな表面を有し、そのため、異なった視点か
ら得られたイメージの中で対応するポイントの特定が困難となるという事実であ
る。例えば、図2に於いて、頬のエリアは、異なった視点から得られた二つのイ
メージの中で対応するポイントを識別するときランドマークとして利用できるよ
うな明瞭なデテールが欠如している。そのため、このような滑らかなエリアから
正確なプロフィール情報を得ることは難しい。
図3は、図2中に示されたワイヤーフレームヴァーテイクスを示す透視図であ
る。図3に見られるように、ワイヤーフレームは、遠近情報を有するが、実在の
オブジェクトをレンダリングするために必要な表面のデテールを欠如している。
ワイヤーフレームに表面のデテールを加えるプロセスは、ワイヤーフレームに皮
膚を張りつけ、リアルに見せることに類似しており、『レンダリング』と呼ばれ
る。ワイヤーフレームをレンダリングするための有用な技術の詳細は、1994年10
月21日にブルース・ダブリュウ・ビンス、チャールス・エス・パーム及びスザン
ヌ・イー・ウエーヴァーによって出願された通し番号08/327,471の「三次元ワイ
ヤーフレーム上の写実的表面(photo-realistic surface)を自動的に高速レンダ
リングするための方法と装置」なるタイトルの出願(整理番号No.2345-003)に
示されている。この出願で開示されたレンダリングの写実性は極めて高く、比較
的少数のヴァーテイクスしか用いられていないワイヤーフレームに於いても、写
実的な表現が可能である。何故ならば、オリエンテーションのために適切に変形
された表面の表現が、その奥行きに他の方法では失われたであろうリアルなキュ
ー(queues)を与えるためである。それで、前述の出願の表現技術を使用すれば、
それほど多くのポイントのセットを処理する必要がないから、ワイヤーフレーム
の取り込みをより容易にするため、選択するヴァーテイクスをより少数とするこ
とができる。このようなレンダリングによれば、処理すべきポイントが少ないた
め、イメージプロセッシングソフトウェアとハードウェアの処理必要条件が緩和
される。図3のワイヤーフレームが適切にレンダリングされるときは、ワイヤー
フレーム表現は回転させたり、又は、三次元空間でマニュピュレートしたりする
ことができ、三次元ステレオや通常の透視が可能であるから、その目的は、勿論
、図1で示されているような再構築された表現を実現することである。
図4Aに示した顔面のような、第二の複雑なイメージのワイヤーフレームの入
手を望むときは、ワイヤーフレームのためにポイントを決定することについて、
上記退屈な、そして骨が折れるプロセスの全部を体験する必要があろう。本発明
によれば、ワイヤーフレームの創造は、捕捉するオブジェクトの種類のためのプ
ロトタイプ又は汎用のワイヤーフレームを利用することによって非常に単純化さ
れる。例えば、図3に示されたワイヤーフレームが得られたときは、それは、図
4Aに示されたような顔のワイヤーフレームの創造のための、汎用のワイヤーフ
レーム又はテンプレートとして利用し得る。
図4Bは、図4Aのイメージに図3のワイヤーフレームを重ねた状態を示して
いる。図3の汎用のワイヤーフレームは、取り分け顔の認識のため視覚的にいっ
そう重要なポイントを含むヴァーテイクスから成る。これらのポイントは、目の
角や、口のエッジ、眉の両端、鼻のポイントと鼻の幅を定めるポイントを含む。
図4Bについて考えると、1つのポイント、望ましくは鼻のポイントは、三次
元ワイヤーフレームとして描かれることを望まれるイメージの上に重ねられる汎
用のワイヤーフレームの位置を決めるために利用される。汎用のワイヤーフレー
ムがワイヤーフレームで表示される顔に適合することは期待しなくて良い。然し
ながら、この積み重ねによって、対応するイメージの上にドラッグしたりドロッ
プしたりすることにより、ヴァーテイクスの位置を修正することは比較的容易な
仕事となり、そのため、汎用のワイヤーフレームのポイントは、ワイヤーフレー
ム表示の中に取り込まれるイメージ対応するポイントと一致させるため再配置さ
れる。而して、関係するヴァーテイクスのドラッグ及びドロップを用いて、汎用
のワイヤーフレームを編集することにより、汎用のワイヤーフレームを、それに
よって表されたオブジェクトの属する種類の中の特定のオブジェクトを包摂する
カスタム又は特定のワイヤーフレームに変換し得る。図4Bに於いて、これは小
円に依って表された特定のヴァーテイクスの、汎用のワイヤーフレームの中のそ
れらの位置から、イメージ4Aの上の適切な位置までの動きを示す矢印によって
示されている。これらの修正によって、汎用のワイヤーフレームは捕捉さるべき
イメージを表す特定のワイヤーフレームにカスタマイズされる。この編集プロセ
スを、原型イメージからワイヤーフレームを形成するために必要な時間と労力で
比較すると、非常に単純化されている。
別の種類のオブジェクトは、それら固有の基準の又は汎用のワイヤーフレーム
を持ち得ることは明らかであろう。例えば、自動車のワイヤーフレームは、新し
い乗物の模型の製作を必要とせず、異なった透視図から得られるモデルのイメー
ジからワイヤーフレームを得ることにより、新しい乗物のデザインと結合した新
たなワイヤーフレームの創成のためのベースとして利用される。本発明によれば
、ユーザーのニーズに適合したカスタムワイヤーフレームを速やかに製作するた
めの編集ソフトを取りまとめて収容して成る、汎用のワイヤーフレームのための
ツールボックスを供給することが望まれる。又はその代わりに、オブジェクトの
種類の特定のもののために作られたワイヤーフレームの最初の作品を、異なった
形態を持っている追加の作品を作るための汎用のワイヤーフレームとして利用す
る
こともできる。
図5は、識別できるデテールのない滑らかなかなり広い表面が存在するところ
から、ワイヤーフレーム情報を獲得するための技術を示している。それは、異な
った斜視図から得られたイメージ上の共通の実体的な一点に対応するポイントの
組合せを特定し得る。滑らかな表面を持つ球500は、何方か一つのカメラが位置5
10から位置520まで移動するか、若しくは、それぞれ位置510及び520にある2台
のカメラで得られた二つのイメージの上の対応するポイントを特定することが困
難なオブジェクトである。
本発明によるときは、滑らかな表面に、表面上のポイントの認識のため用いら
れるパターンを投影するためプロジェクター530が使用される。一実施例に於い
て、パターンはグリッドである。然しながら、望ましい実施例では、パターンは
着色された紙吹雪である。即ち、パターンは表面にランダムに配置された明るい
色をしたドットから成る。これらの明るい色をしたドットは、イメージの中に現
われるであろう。そして前述の特許出願、通し番号第08/318,047(整理番号No.
2345-001)に記載されたタイプの単純化されたイメージプロセッシングを用いて
対応するポイントの位置を決めるために用いられる。投影さたパターンを用いれ
ば、二つのイメージの中の対応するポイントを特定するために、前述の特許出願
に開示された自動的相互関係決定技術を利用でき、そして、前述の特許願に記載
されているように、二つのイメージの上にポイントをマニュアルエントリーする
ことを必要とせず、滑らかな表面に対して、非常に正確な奥行きあるプロフィル
を入手し得る。
パターンの投影は、オンの状態のプロジェクターを使用して得られる二つのイ
メージの中で対応するポイントを識別するために利用される。色彩のあるドット
は、イメージが得られた後、イメージプロセッシング技術により、そのイメージ
から除去されるか、あるいは又、プロジェクターをオフとし、同じカメラ位置か
ら得られた別々のイメージからレンダリング情報を得ることができる。投影され
たパターンをレファレンスポイントとして利用することにより、両イメージの中
の対応するポイントを特定することができ、そして極めて正確なワイヤーフレー
ムが得られる。
オブジェクトの周囲、上方及び下方からの多数の透視図からイメージを得るこ
とにより、三次元イメージの完全なワイヤーフレーム表示が得られる。図5に示
したようにそれぞれのイメージは、カメラの位置によって定まる視点を有する。
カメラのポジションは、本質的には、カメラで撮影したイメージの視点と同一で
ある。得られたイメージは、カメラが置かれた位置により異なる。それは近くに
(ズームイン)置くことも、又、遠く離れた位置に(ズームアウト)に置くこと
もでき、オブジェクトの周囲、上方及び下方の如何なる位置に設けても良いもの
である。
オブジェクトを見るために三次元ワイヤーフレームを用いるときは、観察者の
位置は、カメラの位置と同様に、ワイヤーフレームがどのように見えるかを決定
する。
図6は、本発明を実施するのに用いられるコンピューターハードウェアとソフ
トウェアを示している。
CPU600は、適切なディスプレイ610、望ましくは高解像度ディスプレイを備
えた標準的なパーソナルコンピューター級のCPU、望ましくは、68486クラス
のものである。入出力装置は、キーボード620及びマウス630から成るが、オプシ
ョン又は代替品として種々のI/Oデバイスの中のどれかを選んでも良い。ハー
ドウェアコンプリメントは、特許出願通し番号08/318,047号(整理番号No.23-00
1)の中で示されたタイプであって、その特許出願の中で述べられたように使用
されるアクセラレーターボード640を具備する。オペレーティング・システムと
コミュニケーションソフトウェアの通常の装備に加えて、コンピュータは幾つか
の特別なファイルと650に示されたようソフトウェアを装備している。汎用のワ
イヤーフレームか一組ストアされており、様々な種類のワイヤーフレームを創成
するときアクセスされる。三次元ステレオイメージを創成するためのソフトウェ
アは、ここに述べられたワイヤーフレームをエディットするためのソフトウェア
と共に上記ソフトウェアに含まれている。ワイヤーフレームイメージをレンダリ
ングするためのソフトウェアとしては、ウエストレークビレッジ、カリフォル
ニアのシンソニック社からQuickLookなる商品名の下で市販されているレンダリ
ングパッケージが推奨される。
図7は、汎用のワイヤーフレームを特定のアプリケーションに合わせてカスタ
マイズする方法を示すフローチャートである。ステップ700において、ワイヤー
フレームの中に捕捉される一つ又はそれ以上のイメージがコンピュータ700のメ
モリにロードされ、そしてディスプレイスクリーンの上に表示される。これは、
上述の如く、イメージ4Aに対応する。図3に示されたような汎用のワイヤーフ
レームは、ステップ700でロードされたイメージの上に重ねられ、そして、少な
くとも1つの普通のポイント、例えば鼻のポイントのようなポイント、がイメー
ジ(710)の上の対応するポイントと重なるようにする。
ステップ720に於いて、汎用のワイヤーフレームは、その上のポイントを、ド
ラッグとドロップを用いて、ワイヤーフレームの中で、表現されるべきイメージ
の上のポイントに対応する位置まで移動することにより修正される。図4Bに示
す如く、汎用のワイヤーフレームから得られたワイヤーフレームのヴァーテイク
スの内の幾つかは、ワイヤーフレームで表現されるべき顔の上の対応するポイン
トとは一致しない。然しながら、それらの多くは一致する。図4Bに於いては、
鼻の近辺のヴァーテイクスに対しては僅かな移動が要求されるのみであるが、眉
の上方部分に近いヴァーテイクスに対しては、より多くの相当な移動が必要とさ
れる。汎用のワイヤーフレームを使用すれば、ワイヤーフレームの作成で使われ
るヴァーテイクスの識別や場所の決定と不可分であった退屈な作業の多くが回避
される。存在するヴァーテイクスが、ワイヤーフレームにより捕捉されるべきイ
メージによりピッタリと接近し得る新しい位置まで、ドラッグ・アンド・ドロッ
プ技法により簡単に動かされる。
ステップ 730に於いて、全方向360°の汎用のワイヤーフレームが用いられる
ときは、上方及び下方と同様、360°全回転をカバーする視点から見た、ワイヤ
ーフレームで表示されるオブジェクトのイメージを持つことが望ましい。ステッ
プ730は、ワイヤーフレームの中に捕捉さるべきイメージの互いに異なった複数
のビューがシーケンシャルにロードされ、そして、汎用ののワイヤーフレーム
は、イメージのビューにより良くマッチするよう整合される。
それから、イメージの新しいビューと整合していないヴァーテイクスは、ドラッ
グ・アンド・ドロップを使用して、適切な位置まで移動、調整される(ステップ
740)。
このプロセスは、望ましい三次元ステレオワイヤーフレーム表現を得るために
必要な限り、多数のイメージを得るため繰り返される。
ワイヤーフレームヴァーテイクス又はポイントについての情報は、ポイントデ
ータベースに保持されている。図8にそのサンプルが示されている。それぞれの
ヴァーテイクスには、データベースに入力された順序に従ってポイント番号が割
り当てられている。それぞれのポイント番号と共に、そのポイントが現われる位
置の左のイメージの座標と、同じポイントが右のビューに現われる位置の右のイ
メージの座標である。実在世界座標系は、特許出願通し番号08/414,651(整理番
号No.2345-005)に記載されたように定義され、実在世界座標系は、ビューを横
切っている三次元空間内にポイントを位置付けるため用いられる。各ポイントは
、プレデセッサー及びサクセッサーポイントを特定するためのオプショナルフィ
ルドを有し、それは、ポイントを加除し、更に細部を加えたり、不要な細部を表
示から除去したりするために用いられる。
図9は、ドラッグ・アンド・ドロップを使用して、ワイヤーフレームのヴァー
テイクスの位置を修正する方法を示すフローチャートである。初めに、ユーザー
は、動かされるヴァーテイクスの上又はその近くにカーソルを置き、マウスボタ
ン(900)を押し下げる。マウスボタンが押し下げられると、XYスクリーン
の上のカーソルの位置が検出され(910)、ポイントデータベース中でカーソ
ルのXYポジションに最も近いヴァーテイクスを特定するためのサーチ(920
)が行われる。マウスボタンを押し下げた状態に保ち、カーソルを左右いずれか
のイメージの新しい位置までドラッグし、マウスボタンを開放する。マウスボタ
ンが放されたとき、新しいXY座標はポイントデータベース中の適切なエントリ
ーに記録される。同じ操作が左と右のイメージ他の一方について繰り返される。
ヴァーテイクスが左右の両方のイメージで移動させられたときは、実在世界座標
系での新しいXYZ位置が計算され、データベースが更新(950)される。
図10は、ワイヤーフレームからヴァーテイクスを削除する方法を示すフローチ
ャートである。マウスを使って、カーソルを削除されるヴァーテイクス(100
0)の上又はその近くに置き、マウスボタンを押し下げる。カーサーのXY位置
が検出(1010)され、ポイントデータベース(1020)中でカーサーのX
Y位置に最も近いヴァーテイクスを特定するためサーチが実行される。『ヴァー
テイクス削除』の機能が選択され(1030)、実行される。実行の間に、ポイ
ントデータベースは、プレデセッサー及びサクセッサーのエントリーを修正した
後、選択さたヴァーテイクスのエントリーを削除し、これによりプレデセッサー
ヴァーテイクスは、除去されるヴァーテイクスの代わりに、除去されるヴァーテ
イクスのサクセッサーに連結され、同時に、サクセッサーヴァーテイクスは、除
去されるヴァーテイクスの代わりに、除去されるヴァーテイクスのプレデセッサ
ーに連結される。これにより、プレデセッサーヴァーテイクスとサクセッサーヴ
ァーテイクスのチェーンの連続性が保たれる。
図11はワイヤーフレームにヴァーテイクスを追加する方法を示すフローチャー
トである。このような付加は、追加して描写すべきデテールが必要となり、そし
て二つのヴァーテイクスの間のパスが一つ又はそれ以上の追加のポイントを通す
ようルートを変更する必要があるとき要望されよう。ヴァーテイクスを加えるた
めに、それらの間に追加のヴァーテイクスを加えるべき(1100)二つのヴァ
ーテイクスを結ぶリンクの両端のヴァーテイクスをクリックし、追加実行モード
を選択(1110)する。そして、左右何れか一方のイメージのヴァーテイクス
を追加すべきポイントがクリックされ、次いで他の一方のイメージで対応するポ
イントがクリックされる。新たなエントリーがポイントデータベース(1130
)に加えられ、左右のイメージのそれぞれのためのXY座標が新たなXYZにス
トアされ、実在世界座標系が計算され、ポイントデータベース(1130)に挿
入される。新たなヴァーテイクスのプレデセッサーとサクセッサーのエントリー
が追加され(1140)、ステップ1100で特定されたプレデセッサー及びサ
クセッサーヴァーテイクスと連携するようになる。
上述の如く、汎用の三次元ワイヤーフレームは、異なった望ましい形状に適応
するために編集され、修正され得る。それで、汎用のワイヤーフレームを用いる
ことによって、カスタムワイヤーフレームを作成するための労力の多くが単純な
ドラッグ・アンド・ドロップエディットの効果により免除される。
一つのイメージの形を連続的に他の一つのイメージのそれに変えることが度々
要求される。このプロセスはモーフィングと呼ばれる。本発明によれば、一つの
三次元ワイヤーフレームを、異なった三次元ワイヤーフレームにモーフィングす
ることは可能である。このプロセスは図12に示されている。原型ワイヤーフレー
ムの各ヴァーテイクスのXYZ座標は、実在世界座標系(1200)で識別され
る。同様に、それぞれの目標ワイヤーフレームのヴァーテイクスのXYZ座標は
実在世界座標標系(1210)で識別される。原型ワイヤーフレームの上のポイ
ントが目標ワイヤーフレームの上のポイントと対にされ、原型ポイントと目標ポ
イント(1220)の間のベクトルが計算される。原型ワイヤーフレームから目
標ワイヤーフレームへの変換は、一つ又は複数のインターミディエイトワイヤー
フレームを定義することにより実行される。各インターミディエイトワイヤーフ
レームは、原型ワイヤーフレームのヴァーテイクスからそれらにそれぞれ対応す
る目標ワイヤーフレームのヴァーテイクスの間に、対応するベクトル(1230
)に沿って内挿配置されるヴァーテイクスを有する。インターミディエイトワイ
ヤーフレームを通じて移行することにより、原型ワイヤーフレームは漸進的に目
標ワイヤーフレームに変換される。そして、原型ワイヤーフレームの形状は、漸
進的に目標ワイヤーフレームの形状にモーフされる。
三次元ステレオモーフィングをリアリスティックに表現するために、各ワイヤ
ーフレームは適正にレンダリングされる。原型ワイヤーフレームはリアリスティ
ックに見せるため、特に「皮膚」でレンダリングされる。目標ワイヤーフレーム
は、原型ワイヤーフレームとは全く異なったリアリスティックな皮膚によってレ
ンダリングされる。モーフィングのプロセスに於いて、原型ワイヤーフレームの
形を目標ワイヤーフレーム形に変えるのに加えて、外観またはスキン表現を原型
ワイヤーフレームから目標ワイヤーフレームまで漸進的に変化させることが望ま
しい。これは、それぞれ部分的に原型ワイヤーフレームと目標ワイヤーフレーム
から得られるレンダリング情報を用いて、インターミディエイトワイヤーフレー
ムをレンダリングすることによって実行(1240)される。モーフィング行程
は、インターミディエイトワイヤーフレームを通じて原型ワイヤーフレームから
目標ワイヤーフレームまで進行するので、漸進的により多くのレンダリング情報
がレンダリングされた目標ワイヤーフレームから採られるようになり、外見は漸
進的にそして階段状に変化するが、コマが高速で変化するときは、連続している
ように見えるようになる。
写真イメージを観る者の視点は、イメージが再生されたとき、本質的にカメラ
によって撮影されたときのものである。三次元ワイヤーフレームの場合、観る者
の視点はどこにあっても良く、ワイヤーフレームのビューはそれに従って描写さ
れる。
先行のモーフィング技術(二次元)に於いては、ビューアー(カメラ)の描写
は、上記図5に関して論議され、変化することができず、又事実、変化しなかっ
た。然しながら、本発明に係るステレオモーフィングによれば、モーフィングプ
ロセスの間にも、観る者の視点を変えることができる。これは、原型ワイヤーフ
レームが目標ワイヤーフレームに変身する間に、原型と目標の視点の間で、フレ
ーム毎に、カメラのビューポイントを変えることによって実行される。モーフィ
ングプロセスの間、表面エレメントに摘要されるレンダリング情報のビットマッ
プされた変換は、カメラ(ビューアー)の視点に於ける上述の変更(即ち、フレ
ーム毎に)応じて調整し得る。
この方法によれば、本発明はステレオモーフィングは、カメラ(ビューアー)
の視点をモーフィングプロセス中に変えられるという追加の利点を伴って達成さ
れる。
ここには、ワイヤーフレーム情報を獲得し、編集するための、公知の技術に比
べて高速かつ便利な方法と装置が述べられている。その上、汎用のワイヤーフレ
ームの使用が、技術的専門知識を考慮することなく、平均的なユーザーによるワ
イヤーフレームの素早い創作を可能とする。ワイヤーフレーム編集と、高速レン
ダリング技術の組合せが、公知の先行技術により達成されたものよりも粗いワイ
ヤーフレームで、同一の視覚的効果を達成する。更に加えて、三次元ステレオオ
ブジェクトを他のものにモーフィングする技術が記述された。
この開示では、本発明の望ましい実施例のみが示され記述されている。然しな
がら前述の如く、本発明は様々な他の組合せ及び環境で実施し得ること、及び、
ここに述べたように本発明のコンセプトの範囲内で変更又は集成できることを理
解しなければならない。DETAILED DESCRIPTION OF THE INVENTION
Creation of 3D wireframe and 3D Method and apparatus for stereo morphing
This application was filed on October 21, 1994 by Bruce W. Vince, Susan Y.
-Filed by Weber and numbered 08 / 327,472
How to render a photorealistic surface on a three-dimensional wireframe
And Apparatus ”(reference number No. 2345-003). All of the contents of this application
It is quoted and incorporated here.
This application was also filed on March 31, 1995 by Charles S. Palm,
Serial number 08 / 414,651 "Image for determination of camera position and direction
Method and Apparatus Using Data "(reference number No. 2345-005). this
The entire contents of the application are incorporated herein by reference.
The present application is also further filed on October 4, 1994 with Bruce W. Bruins, Rodney.
IM Price, Charles S. Palm, Susan E. Weba
3D image filed with the serial number No. 08 / 318,047.
Method and Apparatus for Interactive Image Correlation for Image Creation "
(No. 2345-001). All of the contents of this application are here
Quoted and incorporated.
Technical field
The present invention is directed to image processing, especially for creating a three-dimensional wire frame at high speed.
Law and equipment.
Background of the Invention
The creation, processing and use of computer representations of three-dimensional objects has been the subject of many technical trials.
Has an important utility inside. For example, a computer assisted design
In components, very large buildings in terms of size,
Computerized representation of objects spanning cars with geometry
It is very convenient to be able to create Computer animation
When creating a perspective view of a 3D scene, use the 3D view of the object.
It is desirable to use indications. Typically, three-dimensional objects are
Expressed as a "wireframe" for reasons and use. Wire frame
, Many verticals (ie, points) in the three-dimensional space specified by the coordinate system
Consisting of The vertices of the three-dimensional space are connected by lines, and are linked or related to each other.
Form Rigon. Each polygon is usually a general part of the object
Represents a flat surface element. Surface polygons for certain applications
Is desirable because the three points are guaranteed to always be coplanar.
Is a triangle. However, certain commercial software packages
Uses a quadrangle with vertices on the same plane or a polygon with more than 4 vertices
You.
The wireframe solution is determined by the number of vertices and their spacing
Is done. A very large number of surface elements are used and these
When small, the three-dimensional wireframe is
Will be very close to On the contrary, very few verticals
And the surface element is large, the representation of the object is
Smaller details will be omitted. This is one foot for example
Similar to trying to represent a chair using several connected cardboards on all sides
ing. Such a sign, even if well crafted, is very ugly
Will be. However, to represent the chair, separate it with the thread of the slip cover.
If a bounded rectangular area is used, the representation becomes much finer and
Much more detail is represented than is represented by the foot-square cardboard
Will be.
One of the problems with representing wireframes is that smoothly changing contours
Above, we have to identify where the points occupy. Smooth
On clear contours, it is easy to distinguish from image views viewed from different perspectives.
There is no reference point. Therefore, for calculating depth, the two images
It is difficult to identify points corresponding to each other.
With the prior art, it is difficult to create a true wireframe display of a human face
Met. This uses any point as a vertex for expression
Some judgment is required in choosing what to do and the tertiary face
Rendering of the original wireframe surface (ie, "skin" on the wireframe)
Assignment does not result in a realistic presentation.
Traditional rendering techniques give uniform colors and textures and then seed them.
It just renders with different lighting and shadows. Color is artificial at a glance
Is so uniform that Further, in the prior art, coarse
There is a trade-off between the rendering technology used. Very high resolution
Wireframes can be rough wireframes, even with traditional rendering techniques.
Renditions that are more acceptable than frames
Yerframes have a uniform texture and unnatural color, resulting in borders between surface elements.
This causes unnatural discontinuities in the lines.
Further, the prior art discloses morphing while the stereo image is being changed.
Viewing point of camera (viewer) during zooming sequence during zooming
Does not have the ability to change
Disclosure of the invention
Against the above background, one advantage achieved by the present invention is that certain types of
Reduce the difficulty required when creating a wireframe for a project
That is.
A second advantage achieved by the present invention is that when creating wireframes,
It is to improve speed.
Another advantage of the present invention is that the wire frame on a smooth contoured surface of the surface represented
The purpose is to make it easy to identify the verticals.
Another advantage achieved by the present invention is that it truly replicates the wireframe representation.
Surface renderings, especially wire-frame realistic renderings of faces
Is to be able to create
One of the advantages gained by the present invention is the use of low resolution wireframes.
However, photorealistic rendering can provide a true representation of the object.
And
Another object of the invention is to achieve three-dimensional stereo morphing.
The present invention provides a method for putting patterns on objects captured in a wireframe representation.
The method of forming a wire frame by projecting
A reference point to calculate location information for points on the surface of the object
The object having the visible projection pattern of the image in question
Both are about capturing images from two viewpoints. The projected pattern is, for example,
Bright spots of randomly chosen color, spaced at unspecified intervals
Grid or multicolor confetti pattern. The resolution of the pattern is variable
At the time of projection or after projection,
Can be selected to be contained within the frame.
The invention also relates to an input / output device, a display, a memory and a mass storage device;
A general-purpose wireframe recorded in a large amount of storage;
Software to edit the above-mentioned general-purpose wireframe to create a system expression
Comprising a computer having a three-dimensional object display at high speed.
It is directed to a device for creating a frame. General-purpose wireframe is it
A tool having a plurality of wireframes corresponding to a plurality of different objects, respectively.
It may be arranged as a toolbox.
The software for editing wireframes is a generic wireframe
And select one from the top of the display
Drag that vertex to the location of
You can add new vertaks between vertaks and wireframe
Ability to delete one other vertex between two
Having. When a vertex is removed, it reflects the appropriate interaction
The database entries of the vertex before and after the deletion are rewritten.
The present invention relates to a typical general-purpose wireframe of the type to which the three-dimensional object belongs.
Showing at least one view of the frame and less of the generic wireframe above
And one view are aligned and their images are displayed at the same time.
To the image of the object, superimpose it,
To the above view of the system, so that at least one point
Page and share the general-purpose wireframe version with the general-purpose
Drag from the original position on the wireframe to the corresponding point in the above image
Drop into the view to reduce the view of the general wireframe.
Modifying at least one of the vertices allows fast 3D objects
How to create custom wireframes. Custom wire
-The frame uses the transformed bits distributed in the part of the image.
Is rendered by
The present invention relates to a rendered three-dimensional wireframe acceptable display.
Reduce the number of points needed to achieve and display 3D wireframe
Reduce the number of vertices that
Using the converted bitmap portion of the object image
It is directed to a method of rendering a frame.
The present invention also provides a storage medium and a three-dimensional object stored on the storage medium.
A wireframe showing a typical prototype of the type to which the project belongs.
Intended for the earframe toolkit.
The present invention also provides a prototype wireframe vertex and a target
Select to combine with the corresponding verticals of the earframe,
About the combination of these points, from the above vertex on the original image
Determine the vectors leading to the above vertex on the target image, and
Up from the type frame ver take to the target frame ver take
From a wireframe with vertices interpolated along the vector
A plurality of intermediate frames, some of which are
Rendered from the frame, partly from the rendered wireframe above
How to render the above intermediate frame using ring information
Oriented to the law.
The present invention provides an image of the original three-dimensional stereo rendered wireframe,
3D stereo rendered wire of target with different camera viewpoints
-Aimed at how to morph into a frame image. This is the prototype
To map a wireframe into a target wireframe
This is done. From the prototype wireframe vertex
At least one interface interpolated between the frame frames
-This is performed using a medium frame. Wireframe camera bureau
Int is changed while the mapping is being performed. This camera
The change of the view point can be performed by zooming in and out of the wire frame,
-Rotate the camera viewpoint around the frame, or zoom and rotate it
Both.
Still other objects and advantages of the present invention will be readily apparent to those skilled in the art from the following detailed description.
Will be. Here, only the best mode for carrying out the present invention is illustrated.
Thus, the most preferred embodiments of the present invention have been shown and described. Understood
As will be realized, the invention may be embodied in other and different ways.
Some details, however, may be varied in various obvious respects, all without departing from the invention.
Changes are possible. Accordingly, the following drawings and description are merely illustrative of the nature of the invention.
However, the present invention is not limited to this.
Brief description of the drawing
Figure 1 shows an illustration of a single person's face used to create a wireframe display.
It is.
FIG. 2 is an illustration of the same face as shown in FIG.
Certain wireframes at specific points important for frame display
FIG. 6 is a diagram showing the arrangement of the vertex (vertex) of the music.
FIG. 3 is an illustration of the specific wireframe vertex shown in FIG.
It is.
FIG. 4A is an illustration of a face different from that shown in FIGS.
FIG. 4B shows the specific wireframe vertices shown in FIG. 3 in FIG. 4A.
It is a figure superimposed on a face and shown.
Figure 5 shows a project to support the acquisition of wireframe information.
It is an illustration showing the use of a vector.
FIG. 6 is an illustration of a computer device suitable for practicing the invention.
Figure 7 shows a general-purpose wireframe customized for a particular application.
9 is a flowchart showing a method of performing the following.
Figure 8 shows the database for the Wireframe Vertex database.
It is an illustration showing the entry.
Figure 9 shows the wireframe version using drag and drop.
9 is a flowchart illustrating a method for correcting a mix.
FIG. 10 is a flowchart showing a method of deleting the verticals.
FIG. 11 is a flowchart illustrating a method of adding a vertex.
Figure 12 shows one rendered wireframe stereo image being converted to another
When stereo morphing into dog wire frame stereo images
6 is a flowchart showing the process of FIG.
BEST MODE FOR CARRYING OUT THE INVENTION
Creation of a wireframe representation of a complex image as shown in FIG. 1, for example
Gives a realistic approximation of the overall structure of a complex object such as a human head
It is important to define a large number of
It is strangely difficult. Here, and as described in the aforementioned patent application, tertiary
One way to identify the location of a point in the source space is from two different perspectives
Using the two images obtained. Corresponding on two images
Po
By identifying the location of the camera and some information about the location of the camera.
This allows us to calculate the location of a common point in a three-dimensional coordinate system.
I will be able to.
Create wireframes of complex objects such as heads in a 3D coordinate system
In order for the two images to be seen with the corresponding points on it
And redundant processes are required to determine the points to be paired at the same time.
Locate each point in the three-dimensional coordinate system for each pair of points
Is calculated. Next, determine the wireframe display version
For this purpose, a database of points in a three-dimensional coordinate system is used. Complex
Hundreds or thousands of points to create a realistic wireframe display for a surface
It will be necessary to identify the points. This is a long and redundant process
And prevent the agile use of technology.
Figure 2 shows the face illustration shown in Figure 1 used to create a wireframe.
With some specific points that may be used.
Another problem associated with creating 3D wireframes is that some objects
Have a wide, smooth surface with no particularly noticeable features, so that different perspectives
The fact that it is difficult to identify the corresponding points in the obtained image
You. For example, in FIG. 2, the area of the cheek shows two images obtained from different viewpoints.
It can be used as a landmark when identifying the corresponding point in the image
Lack of clear detail. So from such a smooth area
It is difficult to get accurate profile information.
FIG. 3 is a perspective view showing the wire frame vertex shown in FIG.
You. As can be seen in FIG. 3, the wireframe has perspective information,
Lack of surface detail needed to render the object.
The process of adding surface detail to the wireframe is a
It is similar to sticking the skin and making it look real, called "rendering"
You. For more information on useful techniques for rendering wireframes, see Oct. 1994.
Bruce W. Vince, Charles S. Palm and Susan on March 21
Serial Number 08 / 327,471, filed by Nu Weber
Automatically renders photo-realistic surfaces on frame frames automatically
Application No. 2345-003 titled "Method and Apparatus for Ringing"
It is shown. The renderings disclosed in this application are extremely realistic
Even in a wireframe where only a few verticals are used,
Practical expressions are possible. Because it deforms properly for orientation
The representation of the surface that has been created is, in its depth, a realistic cue that would otherwise have been lost.
To give the queues. So, using the expression technology of the aforementioned application,
You don't have to deal with as many sets of points, so wireframe
Select fewer verticals to make it easier to capture
Can be. According to such rendering, there are few points to process.
Reduces image processing software and hardware processing requirements
Is done. When the wireframe in Figure 3 renders properly,
Frame representations can be rotated or manipulated in 3D space
And three-dimensional stereo and ordinary fluoroscopy are possible.
, To realize a reconstructed representation as shown in FIG.
Inserting a wireframe of a second complex image, such as the face shown in FIG. 4A.
When you want a hand, about determining points for a wireframe,
You will need to experience all of the boring and painstaking processes described above. The present invention
According to the creation of wireframes,
Extremely simplified by using rototypes or universal wireframes
It is. For example, when the wire frame shown in FIG. 3 is obtained,
4A, a general-purpose wireframe for the creation of a facial wireframe
Can be used as a frame or template.
FIG. 4B shows a state where the wire frame of FIG. 3 is superimposed on the image of FIG. 4A.
I have. The general-purpose wire frame shown in FIG.
So it consists of important points including important points. These points are
Includes corners, mouth edges, both ends of eyebrows, nose points and points defining the width of the nose.
Considering FIG. 4B, one point, preferably the nose point, is tertiary.
Pan overlaid on the image that is desired to be drawn as the original wireframe
Used to determine the position of the wireframe for the application. General-purpose wire frame
Don't expect the system to match the face displayed in the wireframe. But
However, this stack allows you to drag and drop over the corresponding image.
And it is relatively easy to correct the position of the
It is a job, so the point of a general-purpose wire frame is
The images captured in the image display have been rearranged to match the corresponding points.
It is. Thus, using the drag and drop of the relevant vertex,
By editing the wire frame of the general-purpose wire frame
Subsumes a particular object in the kind to which the represented object belongs
Can be converted to custom or specific wireframe. In FIG. 4B, this is a small
A particular vertex represented by a circle, in a general-purpose wireframe
From these positions, arrows indicating movement from the position to the appropriate position on image 4A
It is shown. With these fixes, generic wireframes should be captured
Customized to a specific wireframe representing the image. This editing process
With the time and effort required to form a wireframe from a prototype image
By comparison, it is very simplified.
Another type of object is their own reference or generic wireframe
It should be clear that For example, car wireframes are new
Images of models obtained from different perspectives without the need to build
New wireframe design combined with new vehicle design
It is used as a base for the creation of tannery wireframes. According to the present invention
To quickly produce custom wireframes that meet the needs of the user.
For general-purpose wireframes that collects and stores editing software for
It is desirable to provide a toolbox. Or alternatively, the object
The first piece of wireframe, made for a particular one of a kind,
Use it as a general-purpose wireframe to create additional pieces that have a form
To
You can also.
Figure 5 shows where there is a smooth, fairly wide surface with no discernible detail
2 shows a technique for acquiring wireframe information from a computer. It is strange
Points that correspond to a common substantive point on the image obtained from the perspective view
Combinations can be specified. A sphere 500 with a smooth surface has one camera at position 5
Move from 10 to position 520 or two at position 510 and 520 respectively
It is difficult to identify the corresponding points on the two images obtained by different cameras
A difficult object.
According to the invention, a smooth surface is used for the recognition of points on the surface.
A projector 530 is used to project the pattern to be projected. In one embodiment
The pattern is a grid. However, in the preferred embodiment, the pattern is
It is colored confetti. That is, the pattern is bright, randomly arranged on the surface
Consists of colored dots. These brightly colored dots appear in the image
Will be. The above-mentioned patent application, serial number 08 / 318,047 (reference number No.
2345-001) using simplified image processing of the type described in
Used to determine the location of the corresponding point. Using the projected pattern
For example, to identify the corresponding points in the two images,
Can utilize the automatic correlation determination technique disclosed in US Pat.
Manually enter points on the two images as shown
Highly accurate depth profile for smooth surfaces without the need for
Can be obtained.
The projection of the pattern is achieved by using the two projectors
Used to identify the corresponding point in the image. Colored dots
After the image is obtained, the image processing technology
From the camera, or turn off the projector and use the same camera position.
The rendering information can be obtained from the obtained separate images. Projected
By using the reference pattern as a reference point,
The corresponding point of the
Is obtained.
Images can be obtained from multiple perspectives around, above and below the object.
The result is a complete wireframe representation of the three-dimensional image. As shown in FIG.
As described above, each image has a viewpoint determined by the position of the camera.
The camera position is essentially the same as the viewpoint of the image taken by the camera.
is there. The image obtained depends on where the camera is located. It is near
Place (zoom in) or place (zoom out) far away
Can be provided at any position around, above, or below the object.
It is.
When using a 3D wireframe to view an object,
Position determines how the wireframe looks, as well as the position of the camera
I do.
FIG. 6 illustrates the computer hardware and software used to implement the present invention.
Software.
CPU 600 has a suitable display 610, preferably a high resolution display.
Standard personal computer grade CPU, preferably 68486 class
belongs to. The input / output device consists of a keyboard 620 and a mouse 630.
Any of the various I / O devices may be selected as an alternative or alternative. Her
The hardware complement is patent application serial number 08 / 318,047 (reference number No. 23-00
1) the type indicated in 1) and used as stated in the patent application
The accelerator board 640 is provided. Operating system and
In addition to the usual equipment of communication software, some computers
Equipped with special files and software as shown in 650. General purpose
Stored as a pair of ear frames, create various types of wire frames
When you are accessed. Software for creating 3D stereo images
A is a software for editing the wireframe described here
Together with the above software. Render wireframe images
West Lake Village, California
Rendering marketed under the brand name QuickLook by ShinSonic of Near
Packaging packages are recommended.
Figure 7 shows a general-purpose wireframe customized for a specific application.
It is a flowchart which shows the method of mizing. In step 700, the wire
One or more images captured in the frame are stored in the computer 700
Loaded into the memory and displayed on the display screen. this is,
As described above, it corresponds to image 4A. General-purpose wireframe as shown in FIG.
The frame is overlaid on top of the image loaded in step 700, and
At least one ordinary point, such as a nose point, is an image
To overlap the corresponding point on the edge (710).
In step 720, the general-purpose wireframe moves the point above
Images to be represented in wireframes using rugs and drops
By moving to the position corresponding to the point above the. As shown in FIG.
As you can see, a wireframe vertex obtained from a general-purpose wireframe
Some of the corresponding points on the face to be represented in wireframe
Does not match However, many of them match. In FIG. 4B,
Only a small movement is required for the verticals near the nose,
More significant movement is needed for the verticals near the upper part of the
It is. If a general-purpose wireframe is used, it will be used in the creation of the wireframe.
Avoids many of the tedious tasks that were inseparable from identifying and locating a vertex
Is done. Any existing verticals must be captured by the wireframe.
Drag and drop to a new location that is more accessible to the image.
It is easily moved by the loop technique.
In step 730, a general-purpose wireframe with 360 ° in all directions is used
When viewed from the perspective of covering the full 360 ° rotation as well as above and below,
It is desirable to have an image of the object displayed in the frame. Step
The 730 provides a distinct set of images to be captured in the wireframe.
Views are loaded sequentially, and a generic wireframe
Are aligned to better match the view of the image.
Then the verticals that are not consistent with the new view of the image
Move and adjust to the appropriate position using step and drop (step
740).
This process is used to obtain the desired 3D stereo wireframe representation.
Repeat as needed to obtain multiple images.
Information about wireframe verticals or points
Database. FIG. 8 shows the sample. each
Vertakes are assigned point numbers according to the order entered in the database.
Have been assigned. The position where the point appears with each point number
The coordinates of the left image and the right image where the same point appears in the right view.
The coordinates of the image. The real world coordinate system is based on the serial number 08 / 414,651
No. 2345-005), and the real world coordinate system
Used to locate a point in the cutting three-dimensional space. Each point is
Optional filters to identify predecessor and successor points
Field, which adds and subtracts points, adds more detail, and displays unwanted details.
It is used to remove from the display.
Figure 9 shows a wireframe version using drag and drop.
It is a flowchart which shows the method of correcting the position of a take. First, the user
Place the cursor on or near the moved
Down (900). XY screen when mouse button is depressed
Is detected (910), and the cursor is
Search to identify the closest vertex to the XY position (920)
) Is performed. Hold down the mouse button and move the cursor left or right
Drag to the new position of the image and release the mouse button. Mouse button
When the button is released, the new XY coordinates are replaced by the appropriate entry in the point database.
Will be recorded. The same operation is repeated for the other of the left and right images.
When the vertex is moved in both the left and right images, the real world coordinates
The new XYZ position in the system is calculated and the database is updated (950).
Figure 10 is a flowchart showing how to remove a vertex from a wireframe.
It is a chart. Use the mouse to delete the cursor (Vertakes (100
0) or near it and press the mouse button down. XY position of the cursor
Is detected (1010), and the X of the cursor is found in the point database (1020).
A search is performed to identify the closest vertex to the Y position. 『Var
The function of "takes deletion" is selected (1030) and executed. Poi during the run
Database modified predecessor and successor entries
Later, the entry for the selected vertex is deleted, and the predecessor
The vertices replace the removed vertices with the removed vertices.
Connected to the current successor, and at the same time, the successor
The predecessor of the removed vertex instead of the removed one
Connected to This allows predecessor server takes and successors
The continuity of the chain of art take is maintained.
Figure 11 is a flow chart showing how to add a vertex to a wireframe
It is. Such additions require additional detail to be described, and
The path between the two vertices passes through one or more additional points
You will be requested when you need to change the route. I added a vertex
In order to do this, add an additional version between them (1100).
-Click on the vertex at both ends of the link that connects the take
Is selected (1110). Then, either the left or right image
Is clicked, and then the corresponding point in the other image
The point is clicked. New entry is in the point database (1130)
), And the XY coordinates for each of the left and right images are added to the new XYZ.
The real world coordinate system is calculated and inserted into the point database (1130).
Is entered. New Vertaix Predecessor and Successor entries
Is added (1140), and the predecessor and server identified in step 1100 are added.
Cooperate with Xesser Vertakes.
As mentioned above, universal 3D wireframes adapt to different desired shapes
Can be edited and modified to So, use a general-purpose wireframe
By making much of the effort to create custom wireframes simple
Exempted by the effect of drag and drop edit.
Often, changing the shape of one image continuously to that of another image
Required. This process is called morphing. According to the present invention, one
Morph a 3D wireframe into a different 3D wireframe
It is possible. This process is illustrated in FIG. Prototype wire frame
The XYZ coordinates of each vertex of the system are identified in the real world coordinate system (1200).
You. Similarly, the XYZ coordinates of the vertex of each target wireframe are
It is identified by the real world coordinate system (1210). Poi on prototype wireframe
Point is paired with a point on the target wireframe and the prototype point and target point
The vector between points (1220) is calculated. Eye from prototype wireframe
Conversion to standard wireframes requires one or more intermediate wires.
This is done by defining a frame. Each intermediate wire
The frames correspond to each of them from the prototype wireframe vertices.
The corresponding vector (1230) during the target wireframe
) Are interpolated along the vertical axis. Intermediate W
The prototype wireframe progressively looks
It is converted to a standard wireframe. And the shape of the prototype wire frame gradually
Progressively morphs into the shape of the target wireframe.
In order to realistically represent 3D stereo morphing, each wire
-Frames are rendered properly. Prototype wire frame is rearisty
Rendered specifically for "skin" to make it look good. Target wireframe
Is created by realistic skin that is completely different from the original wireframe.
Is rendered. In the morphing process,
In addition to changing the shape to the target wireframe shape, the appearance or skin expression is prototyped
Desirable to change gradually from wireframe to target wireframe
New This is partly the prototype wireframe and the target wireframe, respectively.
Intermediate wire frame using the rendering information obtained from
Performed by rendering the system (1240). Morphing process
From the original wireframe through the intermediate wireframe
Progressive to the target wireframe, so progressively more rendering information
Are now taken from the rendered target wireframe, and the appearance
It changes progressively and stepwise, but is continuous when the frame changes at high speed
It looks like.
The viewer's point of view of a photographic image is essentially the camera when the image is played.
It was taken by In the case of a three-dimensional wireframe, the viewer
Point of view can be anywhere, and the wireframe view is drawn accordingly
It is.
In the advanced morphing technology (two-dimensional), description of the viewer (camera)
Is discussed with respect to FIG. 5 above and cannot be changed, and in fact, does not change.
Was. However, according to the stereo morphing of the present invention, the morphing
During the process, the viewpoint of the viewer can be changed. This is a prototype wireframe
While the frame transforms into the target wireframe, frame between the prototype and the target perspective
This is performed by changing the viewpoint of the camera for each frame. Morph
During the mapping process, a bitmap of the rendering information assigned to the surface elements
The transformed transformation is the above-mentioned change (ie, frame) in the camera (viewer) viewpoint.
May be adjusted accordingly.
According to this method, the invention provides stereo morphing using a camera (viewer).
Achieved with the added benefit of being able to change the point of view during the morphing process.
It is.
Here, compared to known techniques for acquiring and editing wireframe information.
All described are fast and convenient methods and apparatus. In addition, general-purpose wire
The use of the system is controlled by the average user without regard to technical expertise.
Enables quick creation of ear frames. Wireframe editing and high-speed rendering
The combination of dulling techniques may result in a coarser wire than that achieved by the known prior art.
Achieve the same visual effect with the tier frame. In addition, three-dimensional stereo
Techniques for morphing objects into others have been described.
In this disclosure, only preferred embodiments of the present invention are shown and described. But
However, as noted above, the present invention can be implemented in various other combinations and environments, and
It is understood that modifications or arrangements can be made within the concept of the invention as described herein.
Must understand.
─────────────────────────────────────────────────────
フロントページの続き
(81)指定国 EP(AT,BE,CH,DE,
DK,ES,FI,FR,GB,GR,IE,IT,L
U,MC,NL,PT,SE),OA(BF,BJ,CF
,CG,CI,CM,GA,GN,ML,MR,NE,
SN,TD,TG),AP(KE,LS,MW,SD,S
Z,UG),EA(AM,AZ,BY,KG,KZ,MD
,RU,TJ,TM),AL,AM,AT,AU,AZ
,BB,BG,BR,BY,CA,CH,CN,CZ,
DE,DK,EE,ES,FI,GB,GE,HU,I
S,JP,KE,KG,KP,KR,KZ,LK,LR
,LS,LT,LU,LV,MD,MG,MK,MN,
MW,MX,NO,NZ,PL,PT,RO,RU,S
D,SE,SG,SI,SK,TJ,TM,TR,TT
,UA,UG,UZ,VN────────────────────────────────────────────────── ───
Continuation of front page
(81) Designated countries EP (AT, BE, CH, DE,
DK, ES, FI, FR, GB, GR, IE, IT, L
U, MC, NL, PT, SE), OA (BF, BJ, CF)
, CG, CI, CM, GA, GN, ML, MR, NE,
SN, TD, TG), AP (KE, LS, MW, SD, S
Z, UG), EA (AM, AZ, BY, KG, KZ, MD
, RU, TJ, TM), AL, AM, AT, AU, AZ
, BB, BG, BR, BY, CA, CH, CN, CZ,
DE, DK, EE, ES, FI, GB, GE, HU, I
S, JP, KE, KG, KP, KR, KZ, LK, LR
, LS, LT, LU, LV, MD, MG, MK, MN,
MW, MX, NO, NZ, PL, PT, RO, RU, S
D, SE, SG, SI, SK, TJ, TM, TR, TT
, UA, UG, UZ, VN