JP2000076481A - ３次元画像処理方法及び３次元画像処理装置 - Google Patents
３次元画像処理方法及び３次元画像処理装置Info
- Publication number
- JP2000076481A JP2000076481A JP18235299A JP18235299A JP2000076481A JP 2000076481 A JP2000076481 A JP 2000076481A JP 18235299 A JP18235299 A JP 18235299A JP 18235299 A JP18235299 A JP 18235299A JP 2000076481 A JP2000076481 A JP 2000076481A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- image
- dimensional image
- world
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 23
- 238000000034 method Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 8
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 238000002372 labelling Methods 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract 4
- 230000002093 peripheral effect Effects 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
(57)【要約】
【課題】ビデオ画像や写真等の２次元画像を３次元世界
の一部を表現する目的で用いられる３次元バーチャルリ
アリティにおける、ユーザの移動による、２次元画像が
注意深くその世界に“一致”するように較正された地点
以外のところから見る場合に発生する画像の不連続を抑
制する。 【解決手段】 本発明に従って、視点の変化を、ユーザ
の移動に従って画像の消失点を調節するように当該２次
元画像を歪ませることにより、取り扱うことが可能であ
る。このようにして、本発明に従った画像歪曲は、ユー
ザが理想的な視点から移動するにつれて、２次元画像と
周囲の世界との間の不連続を制限するように機能する。
の一部を表現する目的で用いられる３次元バーチャルリ
アリティにおける、ユーザの移動による、２次元画像が
注意深くその世界に“一致”するように較正された地点
以外のところから見る場合に発生する画像の不連続を抑
制する。 【解決手段】 本発明に従って、視点の変化を、ユーザ
の移動に従って画像の消失点を調節するように当該２次
元画像を歪ませることにより、取り扱うことが可能であ
る。このようにして、本発明に従った画像歪曲は、ユー
ザが理想的な視点から移動するにつれて、２次元画像と
周囲の世界との間の不連続を制限するように機能する。
Description
【０００１】
【発明の属する技術分野】本発明は、リアルな３次元仮
想現実感（バーチャルリアリティ）体験を実現する目的
での３次元コンピュータグラフィックスと２次元画像と
の統合に関する。
想現実感（バーチャルリアリティ）体験を実現する目的
での３次元コンピュータグラフィックスと２次元画像と
の統合に関する。
【０００２】
【従来の技術】３次元バーチャルリアリティ世界のユー
ザに対する表示にはかなりの計算力が必要であり、それ
を行なうために必要とされる高度に詳細なモデルを開発
することには、通常、かなりの費用が必要とされる。こ
の問題を簡潔化する目的で、例えばビデオ画像や写真な
どの２次元画像が、３次元世界の一部を表現すなわちシ
ミュレートする目的で用いられる。それゆえ、そのよう
な装置を利用すると計算力及び費用が大幅に低減され
る。
ザに対する表示にはかなりの計算力が必要であり、それ
を行なうために必要とされる高度に詳細なモデルを開発
することには、通常、かなりの費用が必要とされる。こ
の問題を簡潔化する目的で、例えばビデオ画像や写真な
どの２次元画像が、３次元世界の一部を表現すなわちシ
ミュレートする目的で用いられる。それゆえ、そのよう
な装置を利用すると計算力及び費用が大幅に低減され
る。
【０００３】
【課題を解決するための手段】この種の世界の限界は、
ユーザがその世界内を移動して、その世界を、２次元画
像が注意深くその世界に“フィットする(fit into)”よ
うに較正された地点以外のところから見る場合に発生す
る。元画像の理想的な視点以外の位置から見ると、画像
がその３次元世界の周囲の物体とは揃っていないことに
なる。本発明の原理に従って、視点の変化を、ユーザの
移動に従って画像の消失点を調節するように当該２次元
画像を歪ませることにより、取り扱うことが可能である
ことを本発明の発明者は見出した。このようにして、本
発明に従った画像歪曲は、ユーザが理想的な視点から移
動するにつれて、２次元画像と周囲の世界との間の不連
続を制限するように機能する。
ユーザがその世界内を移動して、その世界を、２次元画
像が注意深くその世界に“フィットする(fit into)”よ
うに較正された地点以外のところから見る場合に発生す
る。元画像の理想的な視点以外の位置から見ると、画像
がその３次元世界の周囲の物体とは揃っていないことに
なる。本発明の原理に従って、視点の変化を、ユーザの
移動に従って画像の消失点を調節するように当該２次元
画像を歪ませることにより、取り扱うことが可能である
ことを本発明の発明者は見出した。このようにして、本
発明に従った画像歪曲は、ユーザが理想的な視点から移
動するにつれて、２次元画像と周囲の世界との間の不連
続を制限するように機能する。
【０００４】
【発明の実施の形態】本発明をよりよく理解する目的
で、図１及び２は、ユーザが３次元バーチャルリアリテ
ィ世界内で移動して、理想的な視点（ＩＶＰ）及び相異
なった位置すなわち画像本来のコンテクストとは異なっ
た位置から３次元世界の一部を表現している２次元画像
を見た場合に、ユーザの目に映る画像を示している。２
次元画像が当該世界の周囲に“フィットする”ように注
意深く較正されていることに留意されたい。以下、記述
を簡略化する目的で、２次元画像という術語をビデオク
リップあるいは写真を指し示す目的で利用する。本発明
の原理に従って、ユーザが理想的な視点から移動する場
合の２次元画像とその周囲との間の不連続が、ユーザの
移動に従って当該画像を歪ませることによって最小化さ
れる。
で、図１及び２は、ユーザが３次元バーチャルリアリテ
ィ世界内で移動して、理想的な視点（ＩＶＰ）及び相異
なった位置すなわち画像本来のコンテクストとは異なっ
た位置から３次元世界の一部を表現している２次元画像
を見た場合に、ユーザの目に映る画像を示している。２
次元画像が当該世界の周囲に“フィットする”ように注
意深く較正されていることに留意されたい。以下、記述
を簡略化する目的で、２次元画像という術語をビデオク
リップあるいは写真を指し示す目的で利用する。本発明
の原理に従って、ユーザが理想的な視点から移動する場
合の２次元画像とその周囲との間の不連続が、ユーザの
移動に従って当該画像を歪ませることによって最小化さ
れる。
【０００５】図１は、３次元バーチャルリアリティ世界
１０５の例を示している。これは、例えばニューヨーク
のセントラルパークのような公園内の自転車道路であ
る。世界１０５の表示において、本発明は、透視画法的
な回廊状の画像として取り扱われることが可能であるよ
うな道路、街路あるいは経路の中心を見つめるような視
界を較正する画像に共通の性質、すなわち、画像の中心
により近く位置する物体は見る者からはより遠くに位置
している、という特徴を利用する。従って、自転車道路
とその直近に位置するものは、その床面が自転車道路の
路面で構成され、その天井が空によって構成され、そし
てその側面が自転車道路脇の物体によって構成されるよ
うな、３次元的な回廊状の画像として取り扱われる。こ
のように、一点透視画法の原理が、以下に議論されてい
るように、見る者の移動に従って風景画像を歪ませる目
的で用いられる。
１０５の例を示している。これは、例えばニューヨーク
のセントラルパークのような公園内の自転車道路であ
る。世界１０５の表示において、本発明は、透視画法的
な回廊状の画像として取り扱われることが可能であるよ
うな道路、街路あるいは経路の中心を見つめるような視
界を較正する画像に共通の性質、すなわち、画像の中心
により近く位置する物体は見る者からはより遠くに位置
している、という特徴を利用する。従って、自転車道路
とその直近に位置するものは、その床面が自転車道路の
路面で構成され、その天井が空によって構成され、そし
てその側面が自転車道路脇の物体によって構成されるよ
うな、３次元的な回廊状の画像として取り扱われる。こ
のように、一点透視画法の原理が、以下に議論されてい
るように、見る者の移動に従って風景画像を歪ませる目
的で用いられる。
【０００６】世界１０５は、スチル写真、画像あるいは
ビデオクリップの現時点でのフレームが表示されるスク
リーンあるいはパネル１１０と、コンピュータグラフィ
ックス技術を用いて表現され、本明細書においてコンピ
ュータグラフィックス（ＣＧパート）１２０と呼称され
る周囲の部分とに分割される。ＣＧパート１２０内に
は、例えばバーチャルリアリティモデリング言語（ＶＲ
ＭＬ）等においてモデル化された、種々の合成された３
次元風景あるいは物体が存在する。２次元画像１１５
は、世界１０５における風景すなわち地形部分をシミュ
レートし、そこが歩いたり、走ったりあるいは自転車を
こいだりするバーチャル道路となる。
ビデオクリップの現時点でのフレームが表示されるスク
リーンあるいはパネル１１０と、コンピュータグラフィ
ックス技術を用いて表現され、本明細書においてコンピ
ュータグラフィックス（ＣＧパート）１２０と呼称され
る周囲の部分とに分割される。ＣＧパート１２０内に
は、例えばバーチャルリアリティモデリング言語（ＶＲ
ＭＬ）等においてモデル化された、種々の合成された３
次元風景あるいは物体が存在する。２次元画像１１５
は、世界１０５における風景すなわち地形部分をシミュ
レートし、そこが歩いたり、走ったりあるいは自転車を
こいだりするバーチャル道路となる。
【０００７】３次元世界１０５が実際には２次元平面に
変換され得ないものであるが、３次元的に見えるように
２次元平面上に投影されて表示されうる、ということに
留意されたい。従って、本発明に係る技法は、２次元平
面上にあたかも３次元であるかのように画像を表示する
のに充分な程度に高度化されたコンピュータ及びソフト
ウエアと共に用いられることが望ましい。世界をよりリ
アリスティックにする目的で、コンピュータグラフィッ
クスディスプレイ技法が、ユーザの視点からの関数とし
てｘ及びｙ成分をスケーリングするために物体のｚ成分
を利用する、ということにも留意されたい。
変換され得ないものであるが、３次元的に見えるように
２次元平面上に投影されて表示されうる、ということに
留意されたい。従って、本発明に係る技法は、２次元平
面上にあたかも３次元であるかのように画像を表示する
のに充分な程度に高度化されたコンピュータ及びソフト
ウエアと共に用いられることが望ましい。世界をよりリ
アリスティックにする目的で、コンピュータグラフィッ
クスディスプレイ技法が、ユーザの視点からの関数とし
てｘ及びｙ成分をスケーリングするために物体のｚ成分
を利用する、ということにも留意されたい。
【０００８】２次元画像１１５は、ＣＧパート１２０よ
りなる周囲の環境との連続性を実現するように、注意深
く配置され、トリミングされ、かつその大きさが調節さ
れている。当該画像が、ＣＧパート１２０内の道路の左
端及び右端が、それぞれ画像１１５における道路の左底
面のエッジ部分及び右底面のエッジ部分を通るように画
像がクリップされていることに留意されたい。このクリ
ップにより、道路の路面が仮想的な回廊の底面をマッピ
ングすることが保証される。このことを行なう際、２次
元画像１１５とＣＧパート１２０との間の境界の一部が
コプラナーになっている、すなわち、ユーザの視点から
同一の距離に位置している。しかしながら、２次元画像
１１５をＣＧパート１２０に“フィットさせる”際に
は、当該画像のコンテクストがＣＧパート１２０よりな
る周囲の環境に適切に対応する視点は１カ所しか存在し
ない。この唯一の位置は、当該画像の理想的な視点（Ｉ
ＶＰ）と呼称される。図１においては、２次元画像１１
５はその理想的な視点から眺められているものであり、
この視点からは当該画像１１５がＣＧパート１２０より
なる周囲の物体によく揃っている。
りなる周囲の環境との連続性を実現するように、注意深
く配置され、トリミングされ、かつその大きさが調節さ
れている。当該画像が、ＣＧパート１２０内の道路の左
端及び右端が、それぞれ画像１１５における道路の左底
面のエッジ部分及び右底面のエッジ部分を通るように画
像がクリップされていることに留意されたい。このクリ
ップにより、道路の路面が仮想的な回廊の底面をマッピ
ングすることが保証される。このことを行なう際、２次
元画像１１５とＣＧパート１２０との間の境界の一部が
コプラナーになっている、すなわち、ユーザの視点から
同一の距離に位置している。しかしながら、２次元画像
１１５をＣＧパート１２０に“フィットさせる”際に
は、当該画像のコンテクストがＣＧパート１２０よりな
る周囲の環境に適切に対応する視点は１カ所しか存在し
ない。この唯一の位置は、当該画像の理想的な視点（Ｉ
ＶＰ）と呼称される。図１においては、２次元画像１１
５はその理想的な視点から眺められているものであり、
この視点からは当該画像１１５がＣＧパート１２０より
なる周囲の物体によく揃っている。
【０００９】しかしながら、ユーザは、画像をその理想
的視点から見ることはほとんどない。ユーザが世界１０
５内を移動する際、例えば道路１２５の左あるいは右に
移動する際、あるいはカーブを曲がったり当該画像に近
づいたり遠ざかったりする際に、ユーザは当該画像１１
５を理想的視点とは異なる位置から見ることになる。本
発明を用いない場合には、このような視点の変化は、画
像内の物体すなわち構造物が、図２により詳細に示され
ているように、周囲の環境と正しく揃わなくなる。
的視点から見ることはほとんどない。ユーザが世界１０
５内を移動する際、例えば道路１２５の左あるいは右に
移動する際、あるいはカーブを曲がったり当該画像に近
づいたり遠ざかったりする際に、ユーザは当該画像１１
５を理想的視点とは異なる位置から見ることになる。本
発明を用いない場合には、このような視点の変化は、画
像内の物体すなわち構造物が、図２により詳細に示され
ているように、周囲の環境と正しく揃わなくなる。
【００１０】しかしながら、本発明の原理に従って、ス
クリーンあるいはパネル１１０が、視点の変化に対処す
るように２次元画像１１５を周囲のＣＧパート１０５を
３次元空間内に表示するための“ピラミッドパネル構
造”と呼称されるディスプレイ構造を利用する。ピラミ
ッドパネル構造に係る変換は、２次元画像を見る者の位
置に従って動的に歪ませ、見る者の移動に係る画像の消
失点を調節する。見る者が画像の理想的視点から移動す
るにつれて、このような歪みが、画像１１５と周囲のＣ
Ｇパート１２０との間の不連続を制限する。
クリーンあるいはパネル１１０が、視点の変化に対処す
るように２次元画像１１５を周囲のＣＧパート１０５を
３次元空間内に表示するための“ピラミッドパネル構
造”と呼称されるディスプレイ構造を利用する。ピラミ
ッドパネル構造に係る変換は、２次元画像を見る者の位
置に従って動的に歪ませ、見る者の移動に係る画像の消
失点を調節する。見る者が画像の理想的視点から移動す
るにつれて、このような歪みが、画像１１５と周囲のＣ
Ｇパート１２０との間の不連続を制限する。
【００１１】図３は、本発明に係る、見る者の位置に従
って画像の消失点を調節するための処理プロセス例を示
している。当該プロセスは、見る者の視点が変更された
と判断された時点で開始される。
って画像の消失点を調節するための処理プロセス例を示
している。当該プロセスは、見る者の視点が変更された
と判断された時点で開始される。
【００１２】ＣＧパート１０５の仮想世界の道路のモデ
ルを用いると、道路１２５の方向に対応するベクトルＣ
￣（以下、文字Ｘの上に横線が付けられたものをＸ￣で
表すこととする）が、画像１１５が表示されるパネルあ
るいはスクリーン１１０に対して、当該画像の理想的視
点ＩＶＰから投影される（段階１３５）。パネルは２次
元であるが、その中心により近い対象物が見る者の存在
する面からはより離れているように３次元空間を表現す
ることに留意されたい。パネル構造は図４に示されてい
る。スクリーンあるいはパネル１１０との交点は画像の
消失点Ｐである。しかしながら、消失点は、必要とされ
る場合には、ユーザによって、あるいは当業者には既知
の他の適切なコンピュータグラフィックス処理技法によ
って可視的に設定されうるものであることに留意された
い。次に、段階１４０において、スクリーンあるいはパ
ネル１１０が、４つの三角形領域１４５1-4に分割され
る。これらの領域の各々はＣＧパート１２０によって囲
われており、４つの領域の交点が消失点Ｐに位置してい
る。
ルを用いると、道路１２５の方向に対応するベクトルＣ
￣（以下、文字Ｘの上に横線が付けられたものをＸ￣で
表すこととする）が、画像１１５が表示されるパネルあ
るいはスクリーン１１０に対して、当該画像の理想的視
点ＩＶＰから投影される（段階１３５）。パネルは２次
元であるが、その中心により近い対象物が見る者の存在
する面からはより離れているように３次元空間を表現す
ることに留意されたい。パネル構造は図４に示されてい
る。スクリーンあるいはパネル１１０との交点は画像の
消失点Ｐである。しかしながら、消失点は、必要とされ
る場合には、ユーザによって、あるいは当業者には既知
の他の適切なコンピュータグラフィックス処理技法によ
って可視的に設定されうるものであることに留意された
い。次に、段階１４０において、スクリーンあるいはパ
ネル１１０が、４つの三角形領域１４５1-4に分割され
る。これらの領域の各々はＣＧパート１２０によって囲
われており、４つの領域の交点が消失点Ｐに位置してい
る。
【００１３】段階１５０においては、ユーザの現在の視
点Ｖが決定され、理想的視点ＩＶＰから現在の視点の位
置ＶへのベクトルＴ￣が投影される。本発明の原理に従
って、見る者が移動するに連れて、新たな消失点Ｐ'
が、Ｐ'＝Ｐ＋Ｔ￣という表式に従って計算される。４
つの三角形領域１４５1-4は、画像の中心により近い物
体がユーザの視点からより遠くに表示されるようなマッ
ピングを表現する目的で、仮想世界の３次元空間におい
て歪ませられる（段階１５５）。４つの三角形領域は新
たな消失点Ｐ'で交わり、所謂“ピラミッドパネル”１
４５'1-4を形成する。この様子は図５に示されている。
段階１６０においては、領域１４５1-4に表示されてい
る対応する画像が、それぞれピラミッドパネル１４５'
1-4に“テクスチャマッピング”される。このようにし
て、見る者が画像の理想的視点ＩＶＰから移動するに連
れて、画像の消失点のＰからＰ'への移動に起因する画
像の歪みが、画像１１５とＣＧパート１０５との間の不
連続を制限するように機能する。
点Ｖが決定され、理想的視点ＩＶＰから現在の視点の位
置ＶへのベクトルＴ￣が投影される。本発明の原理に従
って、見る者が移動するに連れて、新たな消失点Ｐ'
が、Ｐ'＝Ｐ＋Ｔ￣という表式に従って計算される。４
つの三角形領域１４５1-4は、画像の中心により近い物
体がユーザの視点からより遠くに表示されるようなマッ
ピングを表現する目的で、仮想世界の３次元空間におい
て歪ませられる（段階１５５）。４つの三角形領域は新
たな消失点Ｐ'で交わり、所謂“ピラミッドパネル”１
４５'1-4を形成する。この様子は図５に示されている。
段階１６０においては、領域１４５1-4に表示されてい
る対応する画像が、それぞれピラミッドパネル１４５'
1-4に“テクスチャマッピング”される。このようにし
て、見る者が画像の理想的視点ＩＶＰから移動するに連
れて、画像の消失点のＰからＰ'への移動に起因する画
像の歪みが、画像１１５とＣＧパート１０５との間の不
連続を制限するように機能する。
【００１４】図５に示された例においては、消失点をＰ
からＰ'へと移動するように画像１１５を歪ませること
は、四面ピラミッドを構成するピラミッドパネル構造を
形成する。ここで、ピラミッドパネル構造の底部が固定
されていて元のスクリーンあるいはパネル１１０に対応
しており、そのピークがＰ'に位置していて、見る者の
現時点での位置Ｖに従って移動することに留意された
い。ユーザの視点が画像に近づくあるいは画像から離れ
るに連れて、消失点はユーザの視点からそれぞれより遠
ざかるあるいはより近づく。
からＰ'へと移動するように画像１１５を歪ませること
は、四面ピラミッドを構成するピラミッドパネル構造を
形成する。ここで、ピラミッドパネル構造の底部が固定
されていて元のスクリーンあるいはパネル１１０に対応
しており、そのピークがＰ'に位置していて、見る者の
現時点での位置Ｖに従って移動することに留意された
い。ユーザの視点が画像に近づくあるいは画像から離れ
るに連れて、消失点はユーザの視点からそれぞれより遠
ざかるあるいはより近づく。
【００１５】図６Ａから図８Ｂは、スクリーンあるいは
パネル１１０への２次元画像１１５の表示を、本発明に
係る“ピラミッド”パネルを用いた同一画像と比較して
いる。より詳細に述べれば、図６Ａ、８及び１０は、本
発明を利用しない場合に、画像の理想的視点ＩＶＰから
それぞれ左、上方、及び右前方に移動した地点から２次
元画像１１５を見た場合の様子を示している。これらの
図においては、ＣＧパート１０５の３次元空間と道路の
エッジの間に不連続が生じていることに留意されたい。
図６Ｂ、９及び１１は、本発明の原理に従ってピラミッ
ドパネル１４５'1-4上に歪ませてテクスチャマッピング
された同一の２次元画像を示している。これらの図にお
いては、道路のエッジの不連続は実質的に除去されてい
る。
パネル１１０への２次元画像１１５の表示を、本発明に
係る“ピラミッド”パネルを用いた同一画像と比較して
いる。より詳細に述べれば、図６Ａ、８及び１０は、本
発明を利用しない場合に、画像の理想的視点ＩＶＰから
それぞれ左、上方、及び右前方に移動した地点から２次
元画像１１５を見た場合の様子を示している。これらの
図においては、ＣＧパート１０５の３次元空間と道路の
エッジの間に不連続が生じていることに留意されたい。
図６Ｂ、９及び１１は、本発明の原理に従ってピラミッ
ドパネル１４５'1-4上に歪ませてテクスチャマッピング
された同一の２次元画像を示している。これらの図にお
いては、道路のエッジの不連続は実質的に除去されてい
る。
【００１６】本発明の別の実施例においては、修正ピラ
ミッドパネル構造が、単一の消失点ではなく複数個の消
失点を有する曲がった道路、街路、経路及び他の回廊状
画像を含む２次元画像を処理する目的で利用される。こ
のような場合には、スクリーンあるいはパネル１１０
は、複数個の消失点を用いて、所謂“有節（articulate
d）ピラミッドパネル構造”を形成するように分割され
る。有節ピラミッドパネル構造に係る変換は、見る者の
位置に従って、見る者の移動による画像の愛顧となった
消失点を調節する目的で２次元画像１１５の相異なった
部分を動的に歪ませる。同様に、見る者が画像の理想的
視点から移動するに連れて、この歪みは、２次元画像１
１５と周囲のＣＧ部分１２０との間の不連続を制限する
ように機能する。
ミッドパネル構造が、単一の消失点ではなく複数個の消
失点を有する曲がった道路、街路、経路及び他の回廊状
画像を含む２次元画像を処理する目的で利用される。こ
のような場合には、スクリーンあるいはパネル１１０
は、複数個の消失点を用いて、所謂“有節（articulate
d）ピラミッドパネル構造”を形成するように分割され
る。有節ピラミッドパネル構造に係る変換は、見る者の
位置に従って、見る者の移動による画像の愛顧となった
消失点を調節する目的で２次元画像１１５の相異なった
部分を動的に歪ませる。同様に、見る者が画像の理想的
視点から移動するに連れて、この歪みは、２次元画像１
１５と周囲のＣＧ部分１２０との間の不連続を制限する
ように機能する。
【００１７】図９は、本発明の原理に従った、有節ピラ
ミッドパネル構造を用いる２次元画像１１５を歪ませる
方法例を示す流れ図である。このプロセスは、見る者の
位置が変更されたと決定された時点で段階１７０から開
始される。一般に、曲がった道路１２５は、それぞれの
端部を接続された、スクリーンあるいはパネル１１０の
裏面側から延在する２つの直線状回廊として取り扱われ
る。各回廊は、世界１０５を構成する３次元空間内の道
路１２５の相異なった部分を構成しており、中心により
近い対象物はユーザの視点からより遠くに離れている。
ミッドパネル構造を用いる２次元画像１１５を歪ませる
方法例を示す流れ図である。このプロセスは、見る者の
位置が変更されたと決定された時点で段階１７０から開
始される。一般に、曲がった道路１２５は、それぞれの
端部を接続された、スクリーンあるいはパネル１１０の
裏面側から延在する２つの直線状回廊として取り扱われ
る。各回廊は、世界１０５を構成する３次元空間内の道
路１２５の相異なった部分を構成しており、中心により
近い対象物はユーザの視点からより遠くに離れている。
【００１８】ＣＧパート１０５における仮想世界の道路
のモデルを用いると、各回廊の対応する方向ベクトルＣ
1及びＣ2が段階１７５において決定される。ここで、ユ
ーザの視点に近い側の道路部分がＣ1によって表現さ
れ、より遠い部分がＣ2によって表現されていることに
留意されたい。次に、段階１８０において、ベクトルＣ
1及びＣ2を用いて、これらのベクトルを画像の理想的視
点ＩＶＰから投影することによって、各回廊に関して対
応する消失点Ｐ1及びＰ2がそれぞれ決定される。あるい
は、消失点Ｐ1及びＰ2は、ユーザあるいは当業者には既
知のなんらかの適切な手段によって決定されうる。段階
１８５においては、第一回廊の消失点Ｐ1を利用して、
図１０に示されているように、消失点Ｐ1において交差
するピラミッドパネル１９０1-4の第一の組が決定され
る。
のモデルを用いると、各回廊の対応する方向ベクトルＣ
1及びＣ2が段階１７５において決定される。ここで、ユ
ーザの視点に近い側の道路部分がＣ1によって表現さ
れ、より遠い部分がＣ2によって表現されていることに
留意されたい。次に、段階１８０において、ベクトルＣ
1及びＣ2を用いて、これらのベクトルを画像の理想的視
点ＩＶＰから投影することによって、各回廊に関して対
応する消失点Ｐ1及びＰ2がそれぞれ決定される。あるい
は、消失点Ｐ1及びＰ2は、ユーザあるいは当業者には既
知のなんらかの適切な手段によって決定されうる。段階
１８５においては、第一回廊の消失点Ｐ1を利用して、
図１０に示されているように、消失点Ｐ1において交差
するピラミッドパネル１９０1-4の第一の組が決定され
る。
【００１９】段階１９５においては、以下の表式を用い
て結合比αが計算される：α＝ｌ／（ｌ−ｄ）。ここ
で、ｌは第一回廊の長さ、そしてｄは画像の理想的視点
（ＩＶＰ）とピラミッドパネル１９０1-4の底部との間
の距離である。底部の角と消失点Ｐ1とを接続する各線
分は、この結合比αに従って点を配置することにより分
割される。より詳細に述べれば、パネル１９０1-4の底
部の角からの各々の線分の長さｌ'は、ｌ'＝αｌ"で与
えられる。ここで、ｌ"は、パネルの角と消失点Ｐ 1との
間の全体の長さである。これらＱ１からＱ４とラベルが
付された４つの点は、互いに接続されて、図１０に示さ
れているように、より大きなパネルに埋め込まれたより
小さなピラミッドパネル２００1-4の組の底部を構成す
る（段階２０５）。ピラミッドパネル２００1-4の交点
は、Ｐ1から消失点Ｐ2へ移行する。
て結合比αが計算される：α＝ｌ／（ｌ−ｄ）。ここ
で、ｌは第一回廊の長さ、そしてｄは画像の理想的視点
（ＩＶＰ）とピラミッドパネル１９０1-4の底部との間
の距離である。底部の角と消失点Ｐ1とを接続する各線
分は、この結合比αに従って点を配置することにより分
割される。より詳細に述べれば、パネル１９０1-4の底
部の角からの各々の線分の長さｌ'は、ｌ'＝αｌ"で与
えられる。ここで、ｌ"は、パネルの角と消失点Ｐ 1との
間の全体の長さである。これらＱ１からＱ４とラベルが
付された４つの点は、互いに接続されて、図１０に示さ
れているように、より大きなパネルに埋め込まれたより
小さなピラミッドパネル２００1-4の組の底部を構成す
る（段階２０５）。ピラミッドパネル２００1-4の交点
は、Ｐ1から消失点Ｐ2へ移行する。
【００２０】有節ピラミッドパネル構造に関して、ユー
ザの現時点での視点Ｖが決定され、理想的視点ＩＶＰか
ら見る者の現時点での位置ＶへのベクトルＴ￣が投影さ
れる（段階２１０）。見る者が移動すると、新たな消失
点Ｐ2'が、Ｐ2'＝Ｐ2＋Ｔ￣として段階２１５において
計算され、その後、パネル２００1-4がＰ2'において交
わるように歪ませられる。見る者が移動するに連れて、
内部の点Ｑ１からＱ４が見る者のの移動に合わせて、Ｑ
i'＝Ｑi＋αＴ￣という関係式に従ってマッピングされ
る（段階２２０）。このようにすることによって、ピラ
ミッドパネルの第一の組１９０1-4が歪ませられること
に留意されたい。段階２２５においては、元パネルにお
ける対応する画像が、見る者の移動に従って歪ませられ
た有節ピラミッドパネル１９０1-4及び２００1-4にテク
スチャマッピングされる。パネル１９０1-4に明確にテ
クスチャマッピングするもくてきで、これらのパネルは
各々２つの三角形のサブ領域に分割されてその後にテク
スチャマッピングされる。図１１に示されているのは、
本発明に係る有節ピラミッドパネル構造を用いて、画像
の理想的視点から離れた位置から見た画像１１５であ
る。
ザの現時点での視点Ｖが決定され、理想的視点ＩＶＰか
ら見る者の現時点での位置ＶへのベクトルＴ￣が投影さ
れる（段階２１０）。見る者が移動すると、新たな消失
点Ｐ2'が、Ｐ2'＝Ｐ2＋Ｔ￣として段階２１５において
計算され、その後、パネル２００1-4がＰ2'において交
わるように歪ませられる。見る者が移動するに連れて、
内部の点Ｑ１からＱ４が見る者のの移動に合わせて、Ｑ
i'＝Ｑi＋αＴ￣という関係式に従ってマッピングされ
る（段階２２０）。このようにすることによって、ピラ
ミッドパネルの第一の組１９０1-4が歪ませられること
に留意されたい。段階２２５においては、元パネルにお
ける対応する画像が、見る者の移動に従って歪ませられ
た有節ピラミッドパネル１９０1-4及び２００1-4にテク
スチャマッピングされる。パネル１９０1-4に明確にテ
クスチャマッピングするもくてきで、これらのパネルは
各々２つの三角形のサブ領域に分割されてその後にテク
スチャマッピングされる。図１１に示されているのは、
本発明に係る有節ピラミッドパネル構造を用いて、画像
の理想的視点から離れた位置から見た画像１１５であ
る。
【００２１】上述された有節ピラミッド構造は、２組よ
りも多いピラミッドパネル構造であっても構わないこと
に留意されたい。曲がった道路を２つの直線状回廊とし
て取り扱う代わりに、それぞれの端部が接続された、ス
クリーンあるいはパネル１１０の裏側から延在する複数
個の回廊が用いられ得る。同様に、各々の回廊は、世界
１０５の３次元空間における道路１２５の相異なった部
分を表現しており、画像の中心により近い対象物がユー
ザの視点からより離れている。このような場合には、各
々の有節ピラミッドパネルの各々の組は、上述の手続き
を利用することによって、反復的に形成される。
りも多いピラミッドパネル構造であっても構わないこと
に留意されたい。曲がった道路を２つの直線状回廊とし
て取り扱う代わりに、それぞれの端部が接続された、ス
クリーンあるいはパネル１１０の裏側から延在する複数
個の回廊が用いられ得る。同様に、各々の回廊は、世界
１０５の３次元空間における道路１２５の相異なった部
分を表現しており、画像の中心により近い対象物がユー
ザの視点からより離れている。このような場合には、各
々の有節ピラミッドパネルの各々の組は、上述の手続き
を利用することによって、反復的に形成される。
【００２２】以上の説明は、本発明の一実施例に関する
もので，この技術分野の当業者であれば、本発明の種々
の変形例が考え得るが、それらはいずれも本発明の技術
的範囲に包含される。
もので，この技術分野の当業者であれば、本発明の種々
の変形例が考え得るが、それらはいずれも本発明の技術
的範囲に包含される。
【００２３】
【発明の効果】以上述べたごとく、本発明によれば、３
次元バーチャルリアリティ世界における２次元画像と周
囲の世界との間の不連続を制限する３次元画像処理方法
及びその装置が提供される。
次元バーチャルリアリティ世界における２次元画像と周
囲の世界との間の不連続を制限する３次元画像処理方法
及びその装置が提供される。
【図１】 ３次元世界の一部を表現している２次元画像
を理想的な視点からユーザが見た場合にユーザの目に映
るものを表現した図。
を理想的な視点からユーザが見た場合にユーザの目に映
るものを表現した図。
【図２】 図１の世界内でユーザが移動して理想的な視
点以外の場所から当該２次元画像を見た場合に、本発明
を用いない場合にユーザの目に映るものを表現した図。
点以外の場所から当該２次元画像を見た場合に、本発明
を用いない場合にユーザの目に映るものを表現した図。
【図３】 本発明の原理に従って、画像の消失点をユー
ザの移動に従うように調節するピラミッドパネル構造を
用いて２次元画像を歪ませるプロセス例を示す流れ図。
ザの移動に従うように調節するピラミッドパネル構造を
用いて２次元画像を歪ませるプロセス例を示す流れ図。
【図４】 ユーザの移動に従って画像の消失点を調節す
る目的で２次元画像を歪ませる本発明に係るピラミッド
パネル構造を示す図。
る目的で２次元画像を歪ませる本発明に係るピラミッド
パネル構造を示す図。
【図５】 ユーザの移動に従って画像の消失点を調節す
る目的で２次元画像を歪ませる本発明に係るピラミッド
パネル構造を示す図。
る目的で２次元画像を歪ませる本発明に係るピラミッド
パネル構造を示す図。
【図６】 （Ａ）ユーザが画像の理想的な視点から左に
ずれた地点から本発明を利用せずに見た場合のユーザの
目に映るものを表現した図。 （Ｂ）ユーザが画像の理想的な視点から左にずれた地点
から本発明を利用して見た場合のユーザの目に映るもの
を表現した図。
ずれた地点から本発明を利用せずに見た場合のユーザの
目に映るものを表現した図。 （Ｂ）ユーザが画像の理想的な視点から左にずれた地点
から本発明を利用して見た場合のユーザの目に映るもの
を表現した図。
【図７】 （Ａ）ユーザが画像の理想的な視点から上に
ずれた地点から本発明を利用せずに見た場合のユーザの
目に映るものを表現した図。 （Ｂ）ユーザが画像の理想的な視点から上にずれた地点
から本発明を利用して見た場合のユーザの目に映るもの
を表現した図。
ずれた地点から本発明を利用せずに見た場合のユーザの
目に映るものを表現した図。 （Ｂ）ユーザが画像の理想的な視点から上にずれた地点
から本発明を利用して見た場合のユーザの目に映るもの
を表現した図。
【図８】 （Ａ）ユーザが画像の理想的な視点から前方
右側にずれた地点から本発明を利用せずに見た場合のユ
ーザの目に映るものを表現した図。 （Ｂ）ユーザが画像の理想的な視点から前方右側にずれ
た地点から本発明を利用して見た場合のユーザの目に映
るものを表現した図。
右側にずれた地点から本発明を利用せずに見た場合のユ
ーザの目に映るものを表現した図。 （Ｂ）ユーザが画像の理想的な視点から前方右側にずれ
た地点から本発明を利用して見た場合のユーザの目に映
るものを表現した図。
【図９】 本発明に従って、画像内の複数個の消失点を
ユーザの移動に従うように調節する目的の有節ピラミッ
ドパネル構造を用いて２次元画像を歪ませるプロセス例
を示す流れ図。
ユーザの移動に従うように調節する目的の有節ピラミッ
ドパネル構造を用いて２次元画像を歪ませるプロセス例
を示す流れ図。
【図１０】 本発明に係る有節ピラミッドパネル構造例
を示す図。
を示す図。
【図１１】 本発明に係る有節ピラミッドパネル構造を
用いた場合に、ユーザが２次元画像の理想的な視点から
離れた地点から世界を見る際にユーザの目に映るものを
示す図。
用いた場合に、ユーザが２次元画像の理想的な視点から
離れた地点から世界を見る際にユーザの目に映るものを
示す図。
１０５ ３次元バーチャルリアリティ世界 １１０ スクリーンあるいはパネル １１５ ２次元画像 １２０ ＣＧパート １２５ 道路 １４５ 三角形領域 １９０、２００ ピラミッドパネル １３０ 開始 １３５ ＩＶＰからパネルあるいはスクリーンへ投影さ
れた道路の方向に対応するベクトルＣ￣を決定 １４０ パネルを、それらの交点が消失点Ｐに位置する
ような４つの三角形領域に分割 １５０ ユーザの現時点での視点Ｖを決定してＩＶＰか
らＶへベクトルＴ￣を投影 １５５ Ｐ'＝Ｐ＋Ｔ￣によって新たな消失点Ｐ'を計算
し、点Ｐ'において交点を有するように４つの三角形領
域を歪ませる １６０ 領域１４５1−１４５4に表示された画像をピラ
ミッドパネル１４５1'−１４５4'にテクスチャマッピン
グ １６５ 終了 １７０ 開始 １７５ 道路の２つの部分に対応するベクトルＣ1￣及
びＣ2￣の方向と長さを決定 １８０ 道路の各部分に対応する消失点Ｐ1及びＰ2を決
定 １８５ 消失点Ｐ1において交差する第一ピラミッドパ
ネルを構成 １９５ 結合比αを計算 ２０５ 消失点Ｐ1をＰ2に移動させた場合の、四隅の点
をＱ1−Ｑ4とする第二のピラミッドパネルの組を構成 ２１０ ユーザの現時点での視点Ｖを決定し、理想的視
点ＩＶＰから現在の位置ＶへベクトルＴ￣を投影 ２１５ Ｐ2'≡Ｐ2＋Ｔ￣に従って新たな消失点Ｐ2'を
計算し、Ｐ2'で交差するように第二のパネルの組を歪ま
せる ２２０ Ｑi'＝Ｑi＋αＴ￣に従って内部の点Ｑ1−Ｑ4
を変換 ２２５ 有節ピラミッドパネルへ画像をテクスチャマッ
ピング ２３０ 終了
れた道路の方向に対応するベクトルＣ￣を決定 １４０ パネルを、それらの交点が消失点Ｐに位置する
ような４つの三角形領域に分割 １５０ ユーザの現時点での視点Ｖを決定してＩＶＰか
らＶへベクトルＴ￣を投影 １５５ Ｐ'＝Ｐ＋Ｔ￣によって新たな消失点Ｐ'を計算
し、点Ｐ'において交点を有するように４つの三角形領
域を歪ませる １６０ 領域１４５1−１４５4に表示された画像をピラ
ミッドパネル１４５1'−１４５4'にテクスチャマッピン
グ １６５ 終了 １７０ 開始 １７５ 道路の２つの部分に対応するベクトルＣ1￣及
びＣ2￣の方向と長さを決定 １８０ 道路の各部分に対応する消失点Ｐ1及びＰ2を決
定 １８５ 消失点Ｐ1において交差する第一ピラミッドパ
ネルを構成 １９５ 結合比αを計算 ２０５ 消失点Ｐ1をＰ2に移動させた場合の、四隅の点
をＱ1−Ｑ4とする第二のピラミッドパネルの組を構成 ２１０ ユーザの現時点での視点Ｖを決定し、理想的視
点ＩＶＰから現在の位置ＶへベクトルＴ￣を投影 ２１５ Ｐ2'≡Ｐ2＋Ｔ￣に従って新たな消失点Ｐ2'を
計算し、Ｐ2'で交差するように第二のパネルの組を歪ま
せる ２２０ Ｑi'＝Ｑi＋αＴ￣に従って内部の点Ｑ1−Ｑ4
を変換 ２２５ 有節ピラミッドパネルへ画像をテクスチャマッ
ピング ２３０ 終了
───────────────────────────────────────────────────── フロントページの続き (71)出願人 596077259 600 Ｍｏｕｎｔａｉｎ Ａｖｅｎｕｅ, Ｍｕｒｒａｙ Ｈｉｌｌ， Ｎｅｗ Ｊｅ ｒｓｅｙ 07974−0636Ｕ．Ｓ．Ａ. (72)発明者 ジョン ティー．エドマーク アメリカ合衆国，10024 ニューヨーク, ニューヨーク，ブロードウェイ 2350，ア パートメント 925
Claims (44)
- 【請求項１】 ３次元世界像を処理する際に用いられる
方法において、前記３次元世界の第一部分はコンピュー
タグラフィックスとしてモデル化されていて前記３次元
世界の第二部分は２次元透視画像によって表現されてお
り、当該方法が、前記２次元透視画像の現時点における
ユーザの視点を決定する段階；ここで、前記画像は、前
記２次元透視画像の一部に消失点を与えるように、前記
画像における所定の点により近い対象物が前記ユーザの
視点からより離れているように設定されている；及び、
前記２次元透視画像を、前記２次元透視画像の前記部分
の前記消失点を前記ユーザの現時点の視点に従って移動
させる目的で、歪ませる段階；を有することを特徴とす
る３次元画像処理方法。 - 【請求項２】 前記所定の点が前記２次元画像の中心に
実質的に近いことを特徴とする請求項１記載の３次元画
像処理方法。 - 【請求項３】 前記方法が、さらに、コンピュータグラ
フィックスとしてモデル化された前記世界の前記第一部
分とマージして前記歪ませられた２次元透視画像を表示
する段階；を有することを特徴とする請求項１記載の３
次元画像処理方法。 - 【請求項４】 前記２次元透視画像がビデオフレームで
あることを特徴とする請求項１記載の３次元画像処理方
法。 - 【請求項５】 前記２次元画像がスチール写真であるこ
とを特徴とする請求項１記載の３次元画像処理方法。 - 【請求項６】 前記方法が、さらに、前記２次元透視画
像を前記世界内の前記周囲の大きさの関数として較正す
る段階を有することを特徴とする請求項１記載の３次元
画像処理方法。 - 【請求項７】 ３次元世界像を処理する際に用いられる
方法において、前記３次元世界の第一部分はコンピュー
タグラフィックスとしてモデル化されていて前記３次元
世界の第二部分は２次元透視画像によって表現されてお
り、当該方法が、前記２次元透視画像の現時点における
ユーザの視点を決定する段階；ここで、前記画像は、前
記２次元透視画像の相異なった複数個の部分に消失点を
与えるように、前記画像における所定の点により近い対
象物が前記ユーザの視点からより離れているように設定
されている；及び、前記２次元透視画像の前記複数個の
部分を、前記２次元透視画像の前記部分の前記複数個の
消失点を前記ユーザの現時点の視点に従って移動させる
目的で、歪ませる段階；を有することを特徴とする３次
元画像処理方法。 - 【請求項８】 前記所定の点が前記２次元画像の中心に
実質的に近いことを特徴とする請求項７記載の３次元画
像処理方法。 - 【請求項９】 前記方法が、さらに、コンピュータグラ
フィックスとしてモデル化された前記世界の前記第一部
分とマージして前記歪ませられた２次元透視画像を表示
する段階；を有することを特徴とする請求項７記載の３
次元画像処理方法。 - 【請求項１０】 前記２次元透視画像がビデオフレーム
であることを特徴とする請求項７記載の３次元画像処理
方法。 - 【請求項１１】 前記２次元画像がスチール写真である
ことを特徴とする請求項７記載の３次元画像処理方法。 - 【請求項１２】 前記方法が、さらに、前記２次元透視
画像を前記世界内の前記周囲の大きさの関数として較正
する段階を有することを特徴とする請求項７記載の３次
元画像処理方法。 - 【請求項１３】 ３次元世界像を処理する際に用いられ
る方法において、前記３次元世界の第一部分はコンピュ
ータグラフィックスとしてモデル化されていて前記３次
元世界の第二部分は２次元画像によって表現されてお
り、当該方法が、前記画像の所定の点により近い対象物
がユーザの視点からより離れているような前記２次元画
像を、前記ユーザの現時点での視点の関数として前記２
次元画像の一部の対応する消失点を調節する目的で歪ま
せる段階；を有することを特徴とする３次元画像処理方
法。 - 【請求項１４】 前記所定の点が、前記２次元画像の中
心に実質的に近いことを特徴とする請求項１３記載の３
次元画像処理方法。 - 【請求項１５】 第一部分がコンピュータグラフィック
スによってモデル化されていて第二部分がパネル上にテ
クスチャマッピングされた２次元画像によって表現され
ている３次元世界の光景を処理する際に用いられる方法
において、当該方法が、ユーザの現時点での視点Ｖを決
定する段階；前記パネルを三角形領域に分割する段階；
前記三角形領域をピラミッドパネルを形成するように歪
ませる段階；このことによって、前記２次元画像のある
部分の対応する消失点Ｐが前記ユーザの前記現時点での
視点の関数として移動する；及び、前記２次元画像を前
記ピラミッドパネルにテクスチャマッピングする段階；
を有することを特徴とする３次元画像処理方法。 - 【請求項１６】 前記方法が、さらに、前記２次元透視
画像内に含まれる経路の一部の方向に対応するベクトル
Ｃ￣（ここで、Ｘ￣は、文字Ｘの上部に線が引かれたも
のを表わす）を決定する段階；及び、前記パネルに対し
て前記ベクトルＣ￣を前記画像の理想的視点ＩＶＰから
投影する段階；ここで、前記ベクトルＣ￣と前記パネル
との交点が前記画像の消失点Ｐとして示されている；を
有することを特徴とする請求項１５記載の３次元画像処
理方法。 - 【請求項１７】 前記三角形領域を歪ませる段階が、関
係式Ｐ'＝Ｐ＋Ｔ￣に従って前記２次元画像に係る新た
な消失点Ｐ'を決定する段階；ここで、Ｔ￣は、前記画
像の理想的視点ＩＶＰから現時点での視点Ｖへのベクト
ルである；を有することを特徴とする請求項１５記載の
３次元画像処理方法。 - 【請求項１８】 前記方法が、さらに、前記２次元透視
画像を前記世界内の前記周囲の大きさの関数として較正
する段階を有することを特徴とする請求項１５記載の３
次元画像処理方法。 - 【請求項１９】 第一部分がコンピュータグラフィック
スによってモデル化されていて第二部分がパネル上にテ
クスチャマッピングされた２次元画像によって表現され
ている３次元世界の光景を処理する際に用いられる方法
において、当該方法が、ユーザの現時点での視点を決定
する段階；前記パネルを前記２次元画像の相異なった部
分に対応する相異なった領域に分割する段階；ここで、
前記画像は前記画像の所定の点により近い対象物が前記
ユーザの視点からより離れているように構成されてい
て、前記２次元画像の前記相異なった部分に相異なった
消失点を与えている；及び、前記パネルの前記相異なっ
た領域を有節ピラミッドパネルを形成するように歪ませ
る段階；このことによって、前記２次元画像の前記相異
なった部分の対応する消失点が前記ユーザの前記現時点
での視点の関数として移動する；及び、前記２次元画像
を前記有節ピラミッドパネルにテクスチャマッピングす
る段階；を有することを特徴とする３次元画像処理方
法。 - 【請求項２０】 前記所定の点が前記２次元画像の中心
に実質的に近いことを特徴とする請求項１９記載の３次
元画像処理方法。 - 【請求項２１】 前記２次元透視画像がビデオフレーム
であることを特徴とする請求項１９記載の３次元画像処
理方法。 - 【請求項２２】 前記２次元画像がスチール写真である
ことを特徴とする請求項１９記載の３次元画像処理方
法。 - 【請求項２３】 前記方法が、さらに、前記２次元透視
画像を前記世界内の前記周囲の大きさの関数として較正
する段階を有することを特徴とする請求項１９記載の３
次元画像処理方法。 - 【請求項２４】 前記２次元画像の前記第一及び第二部
分が、道路の同一ではない方向を有する部分を含んでい
ることを特徴とする請求項１９記載の３次元画像処理方
法。 - 【請求項２５】 第一部分がコンピュータグラフィック
スによってモデル化されていて第二部分がパネル上にテ
クスチャマッピングされた２次元画像によって表現され
ている３次元世界の光景を処理する際に用いられる方法
において、前記２次元画像は透視画法によって描かれた
物体を有し、前記画像中の所定の点により近い前記物体
がユーザの視点からより離れているように構成されてお
り、当該方法が、前記３次元世界における前記透視画法
的物体の方向に対応するベクトルＣ￣を決定する段階；
前記２次元画像の理想的視点ＩＶＰから前記ベクトルＣ
￣を前記パネルに投影する段階；ここで、前記ベクトル
Ｃ￣と前記パネルとの交点が画像の消失点Ｐとして示さ
れる；前記パネルを前記画像の前記消失点Ｐにおいて交
差する三角形領域に分割する段階；前記ユーザの現時点
での視点Ｖ及び前記画像の前記理想的視点ＩＶＰから前
記現在の視点へのベクトルＴ￣を投影する段階；Ｐ'＝
Ｐ＋Ｔ￣という関係式に従って前記２次元画像の新たな
消失点を決定する段階；前記３次元世界空間における前
記三角形領域をそれらが前記新たな消失点Ｐ'において
交差するように歪ませる段階；及び、前記三角形領域内
の前記２次元画像を前記歪ませられた三角形領域にテク
スチャマッピングする段階；を有することを特徴とする
３次元画像処理方法。 - 【請求項２６】 前記所定の点が実質的に前記２次元画
像の中心に近いことを特徴とする請求項２５記載の３次
元画像処理方法。 - 【請求項２７】 前記方法が、さらに、前記テクスチャ
マッピングされた２次元画像をコンピュータグラフィッ
クスとしてモデル化された前記世界の前記第一部分とマ
ージして表示する段階を有することを特徴とする請求項
２５記載の３次元画像処理方法。 - 【請求項２８】 前記方法が、さらに、前記２次元画像
を前記世界内の前記周囲の大きさの関数として較正する
段階を有することを特徴とする請求項２５記載の３次元
画像処理方法。 - 【請求項２９】 第一部分がコンピュータグラフィック
スによってモデル化されていて第二部分がパネル上にテ
クスチャマッピングされた２次元画像によって表現され
ている３次元世界の光景を処理する際に用いられる方法
において、前記２次元画像は透視画法によって描かれた
経路を有し、前記画像中の所定の点により近い前記物体
がユーザの視点からより離れているように構成されてお
り、当該方法が、前記経路を第一及び第二部分に分割す
る段階；前記第一及び第二部分の方向及び長さにそれぞ
れ対応するベクトルＣ1￣及びＣ2￣を決定する段階；前
記２次元画像の理想的視点ＩＶＰから前記ベクトルＣ1
￣及びＣ2￣を前記パネルに投影する段階；ここで、前
記ベクトルＣ1￣及びＣ2￣と前記パネルとの交点がそれ
ぞれ画像の消失点Ｐ1及びＰ2として示される；前記パネ
ルを前記画像の前記消失点Ｐ1において交差する４つの
三角形領域よりなる組に分割する段階；α＝ｌ（ｌ＋
ｄ）によって与えられる結合比を決定する段階；ここ
で、ｌはベクトルＣ1￣の長さであり、ｄは前記画像の
理想的視点ＩＶＰと前記パネルとの間の距離である；前
記４つの三角形領域の前記第一の組の前記パネルの角へ
接続されている４つの線分をそれぞれ分割し、かつ、そ
れらの点に対してＱ１からＱ４までのラベルを付す段
階；ここで、それらの外部が有節ピラミッドパネルの第
一の組を構成する；前記点Ｑ１からＱ４の内部の領域を
消失点Ｐ2において交差する４つの三角形領域の第二の
組に分割する段階；前記４つの三角形領域の前記第一及
び第二の組の交点をＰ1からＰ2に移動する段階；前記ユ
ーザの現時点での視点Ｖを決定し、かつ、前記画像の前
記理想的視点ＩＶＰから前記現在の視点Ｖへのベクトル
Ｔ￣を投影する段階；Ｐ2'＝Ｐ2＋Ｔ￣という関係式に
従って前記２次元画像の前記第二部分に係る新たな消失
点を決定する段階；前記３次元世界空間内の前記４つの
三角形領域の前記第二の組を前記新たな消失点Ｐ2'にお
いて交差するように歪ませる段階；このことによって、
有節ピラミッドパネルの第二の組が形成される；Ｑi'＝
Ｑi＋αＴ￣という関係式に従って前記点Ｑ1からＱ4を
Ｑ1'からＱ4'にマッピングする段階；ここで、ｉは１か
ら４までの整数である；及び、前記第一及び第二の三角
形領域の組における前記２次元画像の前記対応する第一
及び第二部分を前記有節ピラミッドパネルの前記第一及
び第二の組にそれぞれテクスチャマッピングする段階；
を有することを特徴とする３次元画像処理方法。 - 【請求項３０】 前記所定の点が前記２次元画像の中心
に実質的に近いことを特徴とする請求項２９記載の３次
元画像処理方法。 - 【請求項３１】 前記方法が、さらに、前記テクスチャ
マッピングされた画像をコンピュータグラフィックスと
してモデル化された前記世界の前記第一部分とマージし
て表示する段階；を有することを特徴とする請求項２９
記載の３次元画像処理方法。 - 【請求項３２】 前記方法が、さらに、前記２次元画像
を前記世界内の前記周囲の大きさの関数として較正する
段階；を有することを特徴とする請求項２９記載の３次
元画像処理方法。 - 【請求項３３】 ３次元世界像を処理する際に用いられ
る装置において、前記３次元世界の第一部分はコンピュ
ータグラフィックスとしてモデル化されていて前記３次
元世界の第二部分は２次元透視画像によって表現されて
おり、当該装置が、前記２次元透視画像の現時点におけ
るユーザの視点を決定する手段；ここで、前記透視画像
は、透視対象物に消失点を与えるように、前記透視画像
における所定の点により近い当該透視対象物が前記ユー
ザの視点からより離れているように設定されている；及
び、前記２次元透視画像を、前記画像内の前記透視対象
物の前記対応する消失点を前記ユーザの現時点の視点に
従って調節する目的で、歪ませる手段；を有することを
特徴とする３次元画像処理装置。 - 【請求項３４】 前記所定の点が前記２次元画像の中心
に実質的に近いことを特徴とする請求項３３記載の３次
元画像処理装置。 - 【請求項３５】 前記装置が、さらに、コンピュータグ
ラフィックスとしてモデル化された前記世界の前記第一
部分とマージして前記歪ませられた２次元透視画像を表
示する手段；を有することを特徴とする請求項３３記載
の３次元画像処理装置。 - 【請求項３６】 前記２次元透視画像がビデオフレーム
であることを特徴とする請求項３３記載の３次元画像処
理装置。 - 【請求項３７】 前記２次元画像がスチール写真である
ことを特徴とする請求項３３記載の３次元画像処理装
置。 - 【請求項３８】 前記装置が、さらに、前記２次元透視
画像を前記世界内の前記周囲の大きさの関数として較正
する手段を有することを特徴とする請求項３３記載の３
次元画像処理装置。 - 【請求項３９】 ３次元世界像を処理する際に用いられ
る装置において、前記３次元世界の第一部分はコンピュ
ータグラフィックスとしてモデル化されていて前記３次
元世界の第二部分は２次元透視画像によって表現されて
おり、当該装置が、前記２次元透視画像の現時点におけ
るユーザの視点を決定する手段；ここで、前記２次元透
視画像は、前記２次元透視画像の相異なった複数個の相
異なった部分に消失点を与えるように、前記画像におけ
る所定の点により近い対象物が前記ユーザの視点からよ
り離れているように設定されている；及び、前記２次元
透視画像の前記複数個の部分を、前記２次元画像の前記
相異なった部分の前記対応する消失点を前記ユーザの現
時点の視点に従って調節する目的で、歪ませる手段；を
有することを特徴とする３次元画像処理装置。 - 【請求項４０】 前記所定の点が前記２次元画像の中心
に実質的に近いことを特徴とする請求項３９記載の３次
元画像処理装置。 - 【請求項４１】 前記装置が、さらに、コンピュータグ
ラフィックスとしてモデル化された前記世界の前記第一
部分とマージして前記歪ませられた２次元透視画像を表
示する手段；を有することを特徴とする請求項３９記載
の３次元画像処理装置。 - 【請求項４２】 前記２次元透視画像がビデオフレーム
であることを特徴とする請求項３９記載の３次元画像処
理装置。 - 【請求項４３】 前記２次元画像がスチール写真である
ことを特徴とする請求項３９記載の３次元画像処理装
置。 - 【請求項４４】 前記装置が、さらに、前記２次元透視
画像を前記世界内の前記周囲の大きさの関数として較正
する手段を有することを特徴とする請求項３９記載の３
次元画像処理装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/107059 | 1998-06-30 | ||
| US09/107,059 US6229548B1 (en) | 1998-06-30 | 1998-06-30 | Distorting a two-dimensional image to represent a realistic three-dimensional virtual reality |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000076481A true JP2000076481A (ja) | 2000-03-14 |
Family
ID=22314630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18235299A Pending JP2000076481A (ja) | 1998-06-30 | 1999-06-28 | ３次元画像処理方法及び３次元画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6229548B1 (ja) |
| EP (1) | EP0969415A2 (ja) |
| JP (1) | JP2000076481A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7034832B2 (en) | 2001-04-05 | 2006-04-25 | Konami Corporation | Computer readable medium storing 3-D image processing program, 3-D image processing method and device, 3-D image processing program, and video game device |
| JP2006318015A (ja) * | 2005-05-10 | 2006-11-24 | Sony Corp | 画像処理装置および画像処理方法、画像表示システム、並びに、プログラム |
| US7281802B2 (en) | 2003-03-28 | 2007-10-16 | Kabushiki Kaisha Toshiba | Stereoscopic display device and method |
| KR20150062418A (ko) * | 2013-11-29 | 2015-06-08 | (주) 유라시아디지털문화유산연구소 | 실제 길거리에 어우러진 가상 영상 출력 시스템 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7239331B2 (en) * | 2004-02-17 | 2007-07-03 | Corel Corporation | Method and apparatus for correction of perspective distortion |
| US20080018668A1 (en) * | 2004-07-23 | 2008-01-24 | Masaki Yamauchi | Image Processing Device and Image Processing Method |
| JP4759524B2 (ja) * | 2007-01-09 | 2011-08-31 | 富士フイルム株式会社 | 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置 |
| US20120197428A1 (en) * | 2011-01-28 | 2012-08-02 | Scott Weaver | Method For Making a Piñata |
| KR102115930B1 (ko) * | 2013-09-16 | 2020-05-27 | 삼성전자주식회사 | 디스플레이 장치 및 영상 처리 방법 |
| CN104182632B (zh) * | 2014-08-21 | 2017-04-26 | 北京航空航天大学 | 一种基于扰动图像的长时间曝光深空视景仿真图像合成方法 |
| CN105094335B (zh) * | 2015-08-04 | 2019-05-10 | 天津锋时互动科技有限公司 | 场景提取方法、物体定位方法及其系统 |
| CN105354873B (zh) * | 2015-09-18 | 2018-07-06 | 四川大学 | 用于多孔介质三维重构的模式密度函数模拟方法 |
| CN112969035A (zh) * | 2021-01-29 | 2021-06-15 | 新华智云科技有限公司 | 一种可视化视频制作方法及制作系统 |
| CN113012490A (zh) * | 2021-03-09 | 2021-06-22 | 沙艾霖 | 一种基于虚拟场景的语言学习系统及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5124693A (en) * | 1985-10-29 | 1992-06-23 | International Business Machines | Three dimensional graphic display with user defined vanishing point |
| US5261041A (en) * | 1990-12-28 | 1993-11-09 | Apple Computer, Inc. | Computer controlled animation system based on definitional animated objects and methods of manipulating same |
| US5748199A (en) * | 1995-12-20 | 1998-05-05 | Synthonics Incorporated | Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture |
-
1998
- 1998-06-30 US US09/107,059 patent/US6229548B1/en not_active Expired - Lifetime
-
1999
- 1999-06-23 EP EP99304906A patent/EP0969415A2/en not_active Withdrawn
- 1999-06-28 JP JP18235299A patent/JP2000076481A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7034832B2 (en) | 2001-04-05 | 2006-04-25 | Konami Corporation | Computer readable medium storing 3-D image processing program, 3-D image processing method and device, 3-D image processing program, and video game device |
| US7281802B2 (en) | 2003-03-28 | 2007-10-16 | Kabushiki Kaisha Toshiba | Stereoscopic display device and method |
| US7506984B2 (en) | 2003-03-28 | 2009-03-24 | Kabushiki Kaisha Toshiba | Stereoscopic display device and method |
| US7726816B2 (en) | 2003-03-28 | 2010-06-01 | Kabushiki Kaisha Toshiba | Stereoscopic display device and method |
| US7736005B2 (en) | 2003-03-28 | 2010-06-15 | Kabushiki Kaisha Toshiba | Stereoscopic display device and method |
| JP2006318015A (ja) * | 2005-05-10 | 2006-11-24 | Sony Corp | 画像処理装置および画像処理方法、画像表示システム、並びに、プログラム |
| KR20150062418A (ko) * | 2013-11-29 | 2015-06-08 | (주) 유라시아디지털문화유산연구소 | 실제 길거리에 어우러진 가상 영상 출력 시스템 |
| KR102145574B1 (ko) | 2013-11-29 | 2020-08-18 | (주)문화유산기술연구소 | 실제 길거리에 어우러진 가상 영상 출력 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0969415A2 (en) | 2000-01-05 |
| US6229548B1 (en) | 2001-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6504535B1 (en) | Display techniques for three-dimensional virtual reality | |
| El-Hakim et al. | A multi-sensor approach to creating accurate virtual environments | |
| EP0451875B1 (en) | Image displaying system | |
| Raskar et al. | Table-top spatially-augmented realty: bringing physical models to life with projected imagery | |
| CN102968809B (zh) | 在增强现实领域实现虚拟信息标注及绘制标注线的方法 | |
| Kang et al. | Tour into the picture using a vanishing line and its extension to panoramic images | |
| CN109685891A (zh) | 基于深度图像的建筑物三维建模与虚拟场景生成系统 | |
| JP2000076481A (ja) | ３次元画像処理方法及び３次元画像処理装置 | |
| US20030043152A1 (en) | Simulating motion of static objects in scenes | |
| US20170032560A1 (en) | Robust attribute transfer for character animation | |
| JPH0757117A (ja) | テクスチャマップへの索引を生成する方法及びコンピュータ制御表示システム | |
| GB2256567A (en) | Modelling system for imaging three-dimensional models | |
| Brosz et al. | Single camera flexible projection | |
| JPH10198822A (ja) | 画像合成装置 | |
| US6236402B1 (en) | Display techniques for three-dimensional virtual reality | |
| Sandnes | Sketching 3D immersed experiences rapidly by hand through 2D cross sections | |
| US6351262B1 (en) | Display techniques for three-dimensional virtual reality | |
| JP5165819B2 (ja) | 画像処理方法および画像処理装置 | |
| Tsai et al. | Polygon‐based texture mapping for cyber city 3D building models | |
| JP2004117579A (ja) | 画像表示方法および画像表示装置 | |
| Dorffner et al. | Generation and visualization of 3D photo-models using hybrid block adjustment with assumptions on the object shape | |
| CN114972612B (zh) | 一种基于三维简化模型的图像纹理生成方法及相关设备 | |
| JP4530214B2 (ja) | 模擬視界発生装置 | |
| Ono et al. | A photo-realistic driving simulation system for mixed-reality traffic experiment space | |
| JPH09185712A (ja) | 三次元画像データ作成方法 |