JP2832463B2 - 3次元モデルの再構成方法および表示方法 - Google Patents

3次元モデルの再構成方法および表示方法

Info

Publication number
JP2832463B2
JP2832463B2 JP1278006A JP27800689A JP2832463B2 JP 2832463 B2 JP2832463 B2 JP 2832463B2 JP 1278006 A JP1278006 A JP 1278006A JP 27800689 A JP27800689 A JP 27800689A JP 2832463 B2 JP2832463 B2 JP 2832463B2
Authority
JP
Japan
Prior art keywords
image
dimensional
model
input
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP1278006A
Other languages
English (en)
Other versions
JPH03138784A (ja
Inventor
伸一郎 宮岡
誠 能見
誠 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP1278006A priority Critical patent/JP2832463B2/ja
Publication of JPH03138784A publication Critical patent/JPH03138784A/ja
Application granted granted Critical
Publication of JP2832463B2 publication Critical patent/JP2832463B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Generation (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は、3次元モデルの再構成方法および表示方法
に関し、特に、商品紹介等のプレゼンテーション,新商
品企画等における意匠デザイン,景観シミュレーション
等において有用である。
[従来の技術] 画像情報からの3次元モデルの再構成については、コ
ンピュータ・ビジョンの技術がある。
例えば「直交性仮説による多面体の3次元形状復元
(電子情報通信学会論文誌Vol.J72−D−II No.6 pp.88
7−895)」において、1枚の画像から3次元形状を復元
する技術が論じられている。
コンピュータ・ビジョンは、物体や環境の視覚認識を
行うことに主眼があり、空間監視装置やロボット等への
応用に力点が置かれている。
一方、3次元モデルの表示については、コンピュータ
グラフィクスの技術がある。
例えば「3次元コンピュータグラフィックス(中前,
西田供著 昭晃堂)」において、3次元モデルを表示す
る種々の技術が解説されている。
コンピュータグラフィクスは、プレゼンテーションを
目的とした技術であり、シミュレーションやCAD等に応
用されている。
[発明が解決しようとする課題] 上記従来技術のうち、コンピュータ・ビジョンでは、
再構成した3次元モデルから任意視点方向から見たとき
の投影画像を生成して、これをプレゼンテーションに利
用するといった面からの検討がなされていない。
このため、任意視点から見たときの投影画像を写実的
に生成するには、再構成した3次元モデルの表現形式,
精度,属性情報等の点において不十分なものである。
一方、コンピュータグラフィックスでは、3次元モデ
ルの構築のためのデータの入力を人間が行っている。
しかし、人間が入力できるデータには限界があり、写
実的な画像を表示することは困難である。
また、模様となる画像を3次元モデルに張り付けるテ
クスチャマッピングの技術により3次元モデルの表面の
模様を表現しているが、その模様となる画像は別個に入
力しなければならず、煩雑である。
そこで、本発明は、対象物体の画像から、プレゼンテ
ーションに利用可能な高品質の3次元モデルを再構成す
る方法を提供することを目的とする。また、その3次元
モデルに基づいて、任意方向から見た写実的な画像を表
示する方法を提供することを目的とする。また、対象物
体の画像から模様となる画像を抽出してテクスチャマッ
ピングを行ない、写実的な画像を表示する方法を提供す
ることを目的とする。
[課題を解決するための手段」 第1の観点では、本発明は、画像入力装置から入力さ
れた少なくとも1枚の画像から該画像中の対象物体の3
次元的形状を記述する3次元モデルを再構成する3次元
モデル再構成ステップと、視点方向の入力指示に従い前
記再構成した3次元モデルを該視点方向から見たときの
投影画像を作成する投影画像作成ステップと、前記作成
した投影画像を画像出力装置にて表示する投影画像表示
ステップとを有する3次元モデルの表示方法であって、
前記3次元モデル再構成ステップでは、既知物体の概略
形状を表わす3次元ジェネリックモデルを先験的知識に
基づき作成して記憶装置に保持し、入力画像中の対象物
体とそれに対応する前記既知物体の3次元ジェネリック
モデルの間で頂点等の幾何学的特徴点の対応付けを行う
ことにより前記対象物体の3次元モデルを再構成すると
共に、再構成した3次元モデルの投影画像を画像出力装
置に表示し、該投影画像に対し形状修正指示を行い、こ
の修正指示に基づき、透視変換の性質および物体形状に
関する先験的知識を利用して、3次元モデルの修正を行
うことを特徴とする3次元モデルの表示方法を提供す
る。
第2の観点では、本発明は、既知物体の概略形状を表
わす3次元ジェネリックモデルを先験的知識に基づき作
成して記憶装置に保持し、入力画像中の対象物体とそれ
に対応する前記既知物体の3次元ジェネリックモデルの
間で頂点等の幾何学的特徴点の対応付けを行うことによ
り前記対象物体の3次元モデルを再構成すると共に、再
構成した3次元モデルの投影画像を画像出力装置に表示
し、該投影画像に対し形状修正指示を行い、この修正指
示に基づき、透明変換の性質および物体形状に関する先
験的知識を利用して、3次元モデルの修正を行うことを
特徴とする3次元モデルの再構成方法を提供する。
入力画像中の対象物体とそれに対応する3次元ジェネ
リックモデルの間での頂点等の対応付けは、入力画像と
3次元ジェネリックモデルの投影画像とを画像出力装置
に並べて又は重ね合わせて表示し、対応する頂点等を入
力装置を用いて指示することにより行なうことが出来
る。
3次元モデルの再構成は、入力画像中の対象物体の1
つ以上の頂点座標から目的関数を構成し、物体形状に関
する先験的知識から制約条件を構成して、該制約条件の
下で前記目的関数を最小化する3次元モデルを求めるこ
とにより行うことが出来る。
また、入力画像から対象物体のテクスチャを抽出し、
該テクスチャを、入力画像から再構成した3次元モデル
の表面にマッピングし、テクスチャを有する3次元モデ
ルを再構成することが出来る。
その際、複数枚の入力画像から対象物体のテクスチャ
を抽出し、それらのテクスチャを物体表面上での位置の
対応を取りながら合成し、入力画像から再構成した3次
元モデルの表面にマッピングするのが好ましい。
入力画像としては、実世界の情景等の自然画像を用い
ることが出来る。また、スケッチ,コンピュータグラフ
ィックス等の人工画像を用いることが出来る。
[作用] 本発明では、透視変換の性質および物体形状に関する
先験的知識(頂点の接続関係,稜線の直交性、平行性
等)を利用して、入力画像中の対象物体の2次元的形状
から該対象物体の3次元的形状を再構成する。さらに、
再構成した3次元モデルの投影画像を画像出力装置に表
示し、形状修正指示が与えられると、その修正指示に基
づき、透視変換の性質および物体形状に関する先験的知
識を利用して、3次元モデルの修正を行う。
例えば、先験的知識に基づき既知物体の概略の3次元
形状を表わす3次元ジェネリックモデルを予め作成し、
入力画像中の対象物体とそれに対応する3次元ジェネリ
ックモデルの間で頂点等の対応付けを行うことにより、
透視変換の関係を利用して、3次元ジェネリックモデル
を修正し、対象物体を精密に表現する3次元モデルを得
る。
再構成した3次元モデルに対し、指定された視点方向
から定まる透視変換を施こせば、該視点方向に対応する
投影画像が得られる。これを表示し、形状修正指示が与
えられると、その修正指示に基づき、透視変換の性質お
よび物体形状に関する先験的知識を利用して、3次元モ
デルの修正を行う。
さらに、入力画像中の対象物体のテクスチャを抽出し
て、3次元モデルの表面にマッピングすることにより、
陰影や模様を有する写実的な投影画像を得ることが出来
る。
[実施例] 以下、本発明の実施例を第1図〜第13図を参照して説
明する。なお、これにより本発明が限定されるものでは
ない。
第1図は、本発明の3次元モデルの再構成方法および
表示方法の一実施例を示すフローチャートである。この
フローチャートは、第2図に示す画像処理システム210
により実行される。
まず、第1図の処理ブロック100では、第2図の画像
入力装置202を用いて、プロセッサ200に画像入力を行
う。
入力画像は、情景写真のような自然画像であってもよ
いし、また、コンピュータグラフィックス、スケッチ等
の人工画像であってもよい。
入力画像の枚数は、異なる視点から対象物体を撮影あ
るいは描画した複数枚が好ましいが、3次元の情報が含
まれておれば、1枚の画像であっても良い。
ここでは、第4図(a),(b)に示すような2枚の
画像300,301を入力するものとする。画像300は自動車を
前方斜め上から写した写真であり、画像301は同じ自動
車を側方やや前上から写した写真である。
次に、第1図の処理ブロック101では、プロセッサ200
が、入力画像中の対象物体に対応する3次元ジェネリッ
クモデルを記憶装置201から取り出し、両者の間で頂点
の対応付けを行う。
ここで、3次元ジェネリックモデルとは、画像入力さ
れる可能性のある物体の一般的な概略形状を表わす3次
元モデルであり、頂点間の接続関係,線分間の平行ある
いは直行関係,形状対称性などに関する先験的知識に基
づき構成され、予め記憶装置201に格納されている。例
えば自動車の3次元ジェネリックモデルを第3図の302
に示す。
記憶装置201に格納された多数の3次元ジェネリック
モデルの中から入力画像中の対象物体に対応するものを
取り出すのは、入力画像を画像処理して特徴を抽出し、
その特徴を含むインデックス情報をもつ3次元ジェネリ
ックモデルを取り出せばよい。あるいは、操作者がキー
ボード204から直接指定してもよい。
入力画像中の対象物体と,取り出した3次元ジェネリ
ックモデルの間での頂点の対応付けは、上記と同様に特
徴抽出により行なうことが出来るが、ここでは次のよう
にして行なう。
すなわち、プロセッサ200は、第5図に示すように、
1枚の入力画像300と,3次元ジェネリックモデルの投影
画像304とを表示装置203に並べて表示する。操作者は、
両者を比較し、座標入力装置205を用いて、対応点を直
接指示する。例えば、第5図では、入力画像300の頂点3
05と,3次元ジェネリックモデルの投影画像304の頂点306
とを対応点として指示する。
そして、入力画像が複数枚のときは、各入力画像に対
して頂点の対応付けを行う。
このため、操作者は、キーボード204から指示を与え
て、他の入力画像を表示させたり,3次元ジェネリックモ
デルの投影画像の視点位置を変えることが出来るように
なっている。
次に、第1図の処理ブロック102では、処理ブロック1
01での対応付け結果に基づいて、入力画像中の対象物体
と整合するように3次元ジェネリックモデルを補正し、
3次元インスタンスモデルを作成する。
例えば、入力画像300,301と対応づけされることによ
り、第3図に示す3次元ジェネリックモデル302が補正
されて、第6図に示す3次元インスタンスモデル307が
作成される。3次元インスタンスモデルでは、対象物体
の3次元座標値まで特定されたものとなる。
ここで、3次元インスタンスモデルの作成方法につい
て、第7図,第8図,第9図を参照して説明する。
まず、第7図における3次元座標系とスクリーン(画
像)座標系の関係を説明する。
3次元座標系X−Y−ZのX−Y平面上にスクリーン
403を置き、Z軸上,スクリーン403の後方fの位置に視
点400を置く。
3次元空間内のある点401の座標を(X,Y,Z)とする
と、この点401のスクリーン403上への透視変換による投
影の座標(x,y)は、次式により得られる。
3次元インスタンスモデルの作成では、対象物体の画
像中での頂点位置(x,y)が与えられたとき、その頂点
の3次元座標(X,Y,Z)を計算することが必要となる。
単一の頂点、単一の視点に対する関係式(1),(2)
からこの計算を行うことは困難であるが、頂点の数,視
点の数が複数となった場合あるいは対象物体を構成する
線分の平行性や直交性に関する先験的知識を用いること
ができる場合には計算が可能となる。
さて、第8図では、第1の視点407に対応する第1の
スクリーン404があり、その第1のスクリーン404をX−
Y平面とする第1の3次元座標系X1−Y1−Z1がある。ま
た、第2の視点408に対応する第2のスクリーン405があ
り、その第2のスクリーン405をX−Y平面とする第2
の3次元座標系X2−Y2−Z2がある。
第2の視点408,スクリーン405および3次元座標系X2
−Y2−Z2は、(X1,Y1,Z1)=(0,0,d)の点406を中心に
X1−Z1平面内で角度θだけ第1の視点407,スクリーン40
4および3次元座標系X1−Y1−Z1を回転した関係にあ
る。
すなわち、第1および第2の3次元座標系の間の関係
は、次式で与えられる。
X2=X1cosθ+(Z1−d)sinθ …(3) Y2=Y1 …(4) Z2=−X1sinθ+(Z1−d)cosθ+d …(5) 従って、3次元空間内の任意の頂点iの第1の3次元
座標系における座標が(X1i,Y1i,Z1i)であり、第2の
3次元座標系における座標が(X2i,Y2i,Z2i)であると
すると、次式が成立する。
X2i=X1icosθ+(Z1i−d)sinθ …(6) Y2i=Y1i …(7) Z2i=−X1isinθ+(Z1i−d)cosθ+d …(8) 頂点iのスクリーン404への透視変換は、次式で与え
られる。
また、スクリーン405への透視変換は、次式により与
えられる。
ここで、 と置く。[…]は転置行列である。
は頂点iの第1の3次元座標系における座標である。
は第2の3次元座標系における座標である。
また、表記の都合上、 と置く。
上記(6)〜(12)式を整理すると、 となる。
さらに、表記の都合上、 と置く。
は、スクリーン404,405における頂点iの座標から定ま
る4×3のマトリクスである。
は、スクリーン404,405における頂点iの座標と第1お
よび第2の座標の関係から定まる4×1のマトリクスで
ある。
(19)〜(21)式から を消去して、さらに整理すると、次式を得る。
この(24)式を用いて を求めることが、画像から3次元インスタンスモデルを
再構成することである。
具体的方法は、次の3つの場合がある。
(i)回転角θ,回転中心の座標dが既知の場合 撮影条件や,対象物体の基準的な特徴量から、θ,dが
推定できる場合は、(22)式の (23)式の が求まる。このときは、(24)式により を独立に計算することが出来る。ただし、(24)式にお
いて、式の数の方が変数の数よりも多くなっているた
め、(24)式を厳密に満足する解はない。そこで、次の
最小化問題を解くことが必要となる。
この解は容易に求まり、次式で与えられる。
この(26)式を用いれば、 が求まる。
(ii)回転角θ,回転中心の座標dが未知の場合 この場合は、(25)式に基づき、θ,dも含めて計算す
る必要がある。このため、(25)式によって得られる残
差を、全頂点に関し総和したものを、θ,dの関数として
表わす。
Eはd,θの関数となるので、これをE(d,θ)と表わ
すことにする。ここで、E(d,θ)を最小化するように
d,θの値を定めれば、残差の総和を最小化するd,θの値
が得られる。すなわち、次の最小化問題を解けば良い。
この計算には、最大勾配法,共役傾斜法等の良く知ら
れた非線形最適化法を用いることが出来る。
求めたd,θを(22),(23)式に代入して を計算した後、(24)式を用いれば、 を計算することが出来る。
(iii)回転角θ,回転中心の座標dが未知であるが、
物体形状に関する先験的知識を用いることが出来る場合 先験的知識としては、対象物体の稜線(線分)の平行
性,直交性あるいは対象物体の形状の対称性などがあ
る。例えば、2つの線分 の平行性,直交性は、それぞれ次式で表現することが出
来る。
このような先験的知識に基づく拘束条件をまとめて、 と表わすことにする。そこで、この(iii)の場合は、
(31)式の制約を満たしながら、(27)式の残差の総和
を最小化するように、 を決定すれば良い。
この最も一般的ケースについて、処理手順を第9図の
フローチャートに示す。
第9図の処理ブロック500では、対象物体の頂点の画
像上での座標に基づいて、目的関数E を生成する。
第9図の処理ブロック501では、物体形状に関する先
験的知識から、制約条件 を生成する。
第9図の処理ブロック502では、制約条件付きの最小
化問題を解き、 を決定する。最小化問題を解くためには、制約条件付き
の最適化方法(例えば、ラグランジェ乗数法、ペナルテ
ィ法など)を使用することが出来る。
以上で、第1図の処理ブロック102における3次元イ
ンスタンスモデルの作成方法についての説明を終る。
さて、第1図の処理ブロック103では、第2図のキー
ボード204あるいは座標入力装置205を用いて、新たな視
点方向λを入力する。
処理ブロック104では、上記のようにして作成した3
次元インスタンスモデルに対し、視点角度λで透視変換
を行い、投影画像を表示装置203に出力する。
この透視変換は、まず、(3),(4),(5)式の
第1の3次元座標系X1−Y1−Z1として3次元インスタン
スモデルを記述する3次元座標系を用い、回転角度θと
して視点角度λを用いて、視点角度λにおける3次元座
標系の座標を計算し、次に、得られた座標を(11),
(12)式に入れて、視点角度λにおけるスクリーン上の
座標を得るものである。
第1図の処理ブロック105では、表示された投影画像
に対し、操作者が修正の必要の有無を判断する。
修正が必要な場合は、処理ブロック106で、修正指示
を入力する。
修正指示は、例えば、第10図に示すように、3次元イ
ンスタンスモデルの投影画像600に対し、画像上での位
置601にある頂点を位置602に変更するといった形で行
う。
第1図の処理ブロック107では、前記修正指示にした
がって3次元インスタンスモデルの頂点の3次元座標を
修正する。この修正は、以下のようにして行う。
すなわち、頂点の元の座標を(X,Y,Z)、その修正量
を(δX,δY,δZ)、頂点の投影画像上での修正された
座標を(x′,y′)とすると、(1)式(透視変換)か
ら、 の関係がある。
ここで、頂点の元の座標(X,Y,Z)、頂点の投影画像
上での修正された座標(x′,y′)は既知であるから、
(32),(33)式の制約を満足しながら、修正量の2乗
和J(=δX2+δY2+δZ2)を最小化するように計算す
れば、各修正量δX,δY,δZが得られる。この最小化計
算も、ラグランジェ乗数法などの方法を用いて容易に行
うことが出来る。
第1図の処理ブロック103〜107は、3次元インスタン
スモデルの修正が必要でなくなるまで、繰り返し行な
う。
第1図の処理ブロック108では、作成した3次元イン
スタンスモデルに対し、入力画像から抽出したテクスチ
ャ(模様、陰影など)をマッピングする。
例えば、第11図に概念的に示すように、3次元インス
タンスモデル700の表面に、入力画像300,301(第4図)
から抽出したテクスチャ張り付けられ、表面に模様や陰
影を持った3次元モデル701が得られる。
以下では、第12図,第13図を参照してテクスチャマッ
ピングの方法を説明する。なお、3次元インスタンスモ
デルの表面は一般に多角形で表現されるとしているが、
第12図に示すように、多角形は三角形に分割可能なの
で、三角形に対するテクスチャマッピングの方法を示せ
ば良い。
いま、第13図において、800,803が入力画像であり、8
11が入力画像800,803に基づいて得られた3次元インス
タンスモデルである。この3次元インスタンスモデル81
1の表面の三角形806に対して、入力画像800の三角形801
および入力画像803の三角形804のテクスチャを合成マッ
ピングする場合を考える。
三角形806の中の任意の点807の座標 は、三角形806の3頂点812,813,814の座標 を用いて、次のように表わせる。
ここで、パラメータα1を〔0,1〕の範囲で動か
すことにより、 は三角形806の中の全ての点を表わすことになる。
と置いて、(6)〜(12)式の関係を用いると、3次元
インスタンスモデル811の点807は、入力画像800中の点8
02および入力画像803中の点805に透視変換される。
テクスチャは、デジタル画像の場合は、画素に対して
定められた輝度の集まりとして得られる。入力画像中の
点802および805の輝度をそれぞれQ1,Q2とすると、3次
元インスタンスモデルの点807の輝度Qは、Q1とQ2の合
成値として次式により計算することが出来る。
Q=(Q1+Q2)/2 …(35) あるいは、透視変換のときの各画像の角度を考慮した
重みw1,w2を用いて、 Q=w1Q1+w2Q2 …(36) により計算することも出来る。
(34)式でα1をそれぞれ〔0,1〕の範囲で離散
化して動かし、各(α1)の組に対し、(35)式あ
るいは(36)式を用いて、輝度Qを計算すると、第14図
に示す三角形900の内部が輝度Qの値で充填された数表
が得られる。そこで、例えば3次元インスタンスモデル
811内の点807に対応する(α1)が三角形900中の
点901に対応するならば、その点901に、点807に対し計
算された輝度値が書き込まれている。
このようにして、3次元インスタンスモデル811の表
面の三角形806のテクスチャ(輝度値の分布)を表現す
ることが出来る。従って、表面に模様や陰影を持った3
次元モデルが再構成されることになる。
さて、第1図の処理ブロック109では、前記処理ブロ
ック103と同様に、視点方向を入力する。すなわち、対
象物体を見たい角度を指定する。
第1図の処理ブロック110では、前記再構成した3次
元モデルに基づいて、指定された視点方向に対応する投
影画像を生成し、表示装置203に表示する。
この投影画像におけるテクスチャの生成を、第13図を
用い、三角形の場合について説明する。
3次元モデル811中の三角形806を、指定された視点方
向に対し、(6)(7)(8)式および(9)(10)式
を用いて透視変換し、三角形809を得る。808が、該視点
方向での全体投影画像である。三角形806中の点807は、
同様に、(6)(7)(8)式および(9)(10)式を
用いて透視変換し、点810に移る。このとき、3次元モ
デル811中の点807の輝度Qは、第14図の(α1)の
数表から求めることが出来るので、それを投影画像808
中の点810の輝度Qとして割り当てれば良い。このよう
にして3次元モデルの三角形806中の全ての点(離散化
された標本点)の輝度Qを、投影画像808中の三角形809
の中にマッピングすることによって、テクスチャを有す
る投影画像が得られることになる。
第1図の処理ブロック111では、終了判定を行い、投
影画像を再生成する要求があれば、前記処理ブロック10
9,110を繰り返す。
[発明の効果] 本発明の3次元モデルの再構成方法および表示方法に
よれば、情景画像のような自然画像やデザインスケッチ
のような人工画像から、その画像中の対象物体の3次元
モデルを、模様や陰影等を表わすテクスチャまで含めて
再構成し、任意視点から見たときの画像を表示できるよ
うになる。
このため、自動車,ビル等の数枚の写真やスケッチが
あれば、それらを立体的に且つ角度を変えて見ることが
出来るようになるので、プレゼンテーションに極めて有
用となる。
また、コンピュータグラフィックスによる場合に必要
だった3次元モデルのデータ入力の膨大な手間が、格段
に軽減される効果がある。
また、3次元モデルの再構成に3次元ジェネリックモ
デル等の先験的知識を用いているので、計算が比較的容
易になると共に、常識と矛盾した3次元モデルを構築し
てしまうことを防止できるようになる。
【図面の簡単な説明】
第1図は本発明の3次元モデルの再構成方法および表示
方法の一実施例の作動のフローチャート、第2図は本発
明を実施する画像処理システムのブロック図、第3図は
3次元ジェネリックモデルの一例の概念図、第4図
(a)(b)は入力された画像の例示図、第5図は頂点
対応づけ時の表示画面の例示図、第6図は3次元インス
タンスモデルの例示図、第7図は透視変換の原理説明
図、第8図は異なる視点における座標の説明図、第9図
は入力情報から3次元インスタンスモデルを生成する作
動のフローチャート、第10図は3次元インスタンスモデ
ルの修正時の画面の例示図、第11図はテクスチャマッピ
ングの概念説明図、第12図は多角形の3角形による分割
の説明図、第13図はテクスチャマッピングの具体例説明
図、第14図は輝度値の数表の概念図である。 (符号の説明) 210……画像処理システム 200……プロセッサ 202……画像入力装置 203……表示装置 204……キーボード 205……座標入力装置 300,301,800,803……入力画像 302……3次元ジェネリックモデル 307……3次元インスタンスモデル 701,811……3次元モデル。
フロントページの続き (72)発明者 加藤 誠 神奈川県川崎市麻生区王禅寺1099番地 株式会社日立製作所システム開発研究所 内 (56)参考文献 特公 平1−42026(JP,B2)

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】画像入力装置から入力された少なくとも1
    枚の画像から該画像中の対象物体の3次元的形状を記述
    する3次元モデルを再構成する3次元モデル再構成ステ
    ップと、視点方向の入力指示に従い前記再構成した3次
    元モデルを該視点方向から見たときの投影画像を作成す
    る投影画像作成ステップと、前記作成した投影画像を画
    像出力装置にて表示する投影画像表示ステップとを有す
    る3次元モデルの表示方法であって、前記3次元モデル
    再構成ステップでは、既知物体の概略形状を表わす3次
    元ジェネリックモデルを先験的知識に基づき作成して記
    憶装置に保持し、入力画像中の対象物体とそれに対応す
    る前記既知物体の3次元ジェネリックモデルの間で頂点
    等の幾何学的特徴点の対応付けを行うことにより前記対
    象物体の3次元モデルを再構成すると共に、再構成した
    3次元モデルの投影画像を画像出力装置に表示し、該投
    影画像に対し形状修正指示を行い、この修正指示に基づ
    き、透視変換の性質および物体形状に関する先験的知識
    を利用して、3次元モデルの修正を行うことを特徴とす
    る3次元モデルの表示方法。
  2. 【請求項2】既知物体の概略形状を表わす3次元ジェネ
    リックモデルを先験的知識に基づき作成して記憶装置に
    保持し、入力画像中の対象物体とそれに対応する前記既
    知物体の3次元ジェネリックモデルの間で頂点等の幾何
    学的特徴点の対応付けを行うことにより前記対象物体の
    3次元モデルを再構成すると共に、再構成した3次元モ
    デルの投影画像を画像出力装置に表示し、該投影画像に
    対し形状修正指示を行い、この修正指示に基づき、透視
    変換の性質および物体形状に関する先験的知識を利用し
    て、3次元モデルの修正を行うことを特徴とする3次元
    モデルの再構成方法。
  3. 【請求項3】入力画像と3次元ジェネリックモデルの投
    影画像とを画像出力装置に並べて又は重ね合わせて表示
    し、対応する頂点等を入力装置を用いて指示することに
    より、入力画像中の対象物体とそれに対応する3次元ジ
    ェネリックモデルの間で頂点等の対応付けを行なうこと
    を特徴とする請求項1または請求項2の方法。
  4. 【請求項4】入力画像中の対象物体の1つ以上の頂点座
    標から目的関数を構成し、物体形状に関する先験的知識
    から制約条件を構成して、該制約条件の下で前記目的関
    数を最小化することにより、3次元モデルの再構成を行
    うことを特徴とする請求項1から請求項3のいずれかの
    方法。
  5. 【請求項5】入力画像から対象物体のテクスチャを抽出
    し、該テクスチャを、入力画像から再構成した3次元モ
    デルの表面にマッピングし、テクスチャを有する3次元
    モデルを再構成することを特徴とする請求項1から請求
    項4のいずれかの方法。
  6. 【請求項6】複数枚の入力画像から対象物体のテクスチ
    ャを抽出し、それらのテクスチャを物体表面上での位置
    の対応を取りながら合成し、入力画像から再構成した3
    次元モデルの表面にマッピングして、テクスチャを有す
    る3次元モデルを再構成することを特徴とする請求項1
    から請求項5のいずれかの方法。
  7. 【請求項7】入力画像として、実世界の情景等の自然画
    像を用いる請求項1から請求項6のいずれかの方法。
  8. 【請求項8】入力画像として、スケッチ,コンピュータ
    グラフィックス等の人工画像を用いる請求項1から請求
    項6のいずれかの方法。
JP1278006A 1989-10-25 1989-10-25 3次元モデルの再構成方法および表示方法 Expired - Fee Related JP2832463B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1278006A JP2832463B2 (ja) 1989-10-25 1989-10-25 3次元モデルの再構成方法および表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1278006A JP2832463B2 (ja) 1989-10-25 1989-10-25 3次元モデルの再構成方法および表示方法

Publications (2)

Publication Number Publication Date
JPH03138784A JPH03138784A (ja) 1991-06-13
JP2832463B2 true JP2832463B2 (ja) 1998-12-09

Family

ID=17591320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1278006A Expired - Fee Related JP2832463B2 (ja) 1989-10-25 1989-10-25 3次元モデルの再構成方法および表示方法

Country Status (1)

Country Link
JP (1) JP2832463B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200021115A (ko) * 2018-08-20 2020-02-28 한양대학교 산학협력단 자동화된 디자인 생성 방법 및 시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3030485B2 (ja) * 1994-03-17 2000-04-10 富士通株式会社 3次元形状抽出方法及び装置
JP3245336B2 (ja) * 1995-09-29 2002-01-15 富士通株式会社 モデリング方法およびモデリングシステム
US6567085B1 (en) * 1999-12-22 2003-05-20 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
WO2002009037A2 (en) * 2000-07-24 2002-01-31 Reflex Systems Inc. Modeling human beings by symbol manipulation
EP1694821B1 (en) * 2003-12-11 2017-07-05 Strider Labs, Inc. Probable reconstruction of surfaces in occluded regions by computed symmetry
CN111354080A (zh) * 2020-03-18 2020-06-30 深圳市创真视界科技有限公司 一种基于内容的三维重构数据补充采集方法
JP2024003402A (ja) * 2022-06-27 2024-01-15 株式会社Jvcケンウッド 情報処理装置、及び情報処理方法
CN115374298A (zh) * 2022-09-20 2022-11-22 支付宝(杭州)信息技术有限公司 基于索引的虚拟形象数据处理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61289468A (ja) * 1985-06-18 1986-12-19 Toshiba Corp 立体再生システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200021115A (ko) * 2018-08-20 2020-02-28 한양대학교 산학협력단 자동화된 디자인 생성 방법 및 시스템
KR102095118B1 (ko) 2018-08-20 2020-04-23 한양대학교 산학협력단 자동화된 디자인 생성 방법 및 시스템

Also Published As

Publication number Publication date
JPH03138784A (ja) 1991-06-13

Similar Documents

Publication Publication Date Title
CN111986307B (zh) 使用光度网格表示的3d对象重建
CN108648269B (zh) 三维建筑物模型的单体化方法和系统
Van den Heuvel 3D reconstruction from a single image using geometric constraints
US6229549B1 (en) High-speed three-dimensional texture mapping systems and methods
El-Hakim et al. A multi-sensor approach to creating accurate virtual environments
US7728848B2 (en) Tools for 3D mesh and texture manipulation
US6417850B1 (en) Depth painting for 3-D rendering applications
JP5299173B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
Tolba et al. A projective drawing system
JPH0757117A (ja) テクスチャマップへの索引を生成する方法及びコンピュータ制御表示システム
CN113808261B (zh) 一种基于全景图的自监督学习场景点云补全的数据集生成方法
JP2000067267A (ja) 三次元シーンにおける形状及び模様の復元方法及び装置
Brosz et al. Single camera flexible projection
Kolivand et al. Cultural heritage in marker-less augmented reality: A survey
EP0727764A1 (en) 3D graphics apparatus
JP2832463B2 (ja) 3次元モデルの再構成方法および表示方法
JPH10111953A (ja) 画像処理方法および装置および記憶媒体
Sandnes Sketching 3D immersed experiences rapidly by hand through 2D cross sections
JPH11504452A (ja) 2次元投影図に基づいて3次元の対象物を再現し、取り扱うための装置と方法
Petkov et al. Interactive visibility retargeting in vr using conformal visualization
Frommholz et al. Inlining 3d reconstruction, multi-source texture mapping and semantic analysis using oblique aerial imagery
JPH06176129A (ja) コンピュータ・グラフィックス制作装置
Bærentzen Volume sculpting: intuitive, interactive 3D shape modelling
JP3850080B2 (ja) 画像生成表示装置
EP3779878A1 (en) Method and device for combining a texture with an artificial object

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees