JP2000057378A - 画像処理装置および画像処理方法、媒体、並びに輪郭抽出装置および輪郭抽出方法 - Google Patents

画像処理装置および画像処理方法、媒体、並びに輪郭抽出装置および輪郭抽出方法

Info

Publication number
JP2000057378A
JP2000057378A JP11146797A JP14679799A JP2000057378A JP 2000057378 A JP2000057378 A JP 2000057378A JP 11146797 A JP11146797 A JP 11146797A JP 14679799 A JP14679799 A JP 14679799A JP 2000057378 A JP2000057378 A JP 2000057378A
Authority
JP
Japan
Prior art keywords
image
dimensional
point
displayed
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP11146797A
Other languages
English (en)
Inventor
Rui Yamada
類 山田
Mitsuharu Oki
光晴 大木
Takushi Totsuka
卓志 戸塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP11146797A priority Critical patent/JP2000057378A/ja
Publication of JP2000057378A publication Critical patent/JP2000057378A/ja
Withdrawn legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 ２次元画像に対して、容易に、３次元的な編
集等を施す。 【解決手段】 家屋を模した３次元物体が表示された２
次元画像（図１１（Ａ））が、注目バッファに記憶され
ている場合において、例えば、格子模様の壁が長方形で
ある旨の形状情報ととともに、その壁の４つの頂点が、
特徴点として、ユーザにより指定されると、その形状情
報および特徴点に基づいて、格子模様の壁を、２次元平
面上に展開した展開画像（図１１（Ｂ））が生成され、
ペーストバッファに記憶される。そして、例えば、円柱
の２次元画像（図１１（Ｃ））が、注目バッファに記憶
され、円柱の側面である旨の形状情報とともに、その側
面上の所定の点が、特徴点として、ユーザにより指定さ
れると、その形状情報および特徴点に基づいて、ペース
トバッファに記憶された画像（図１１（Ｂ））が、注目
バッファの円柱の側面に貼り付けられる（図１１
（Ｄ））。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、媒体、並びに輪郭抽出装置および輪郭
抽出方法に関し、特に、例えば、２次元画像に表示され
た３次元物体に対して、容易に、３次元的な編集等を施
すことができるようにする画像処理装置および画像処理
方法、媒体、並びに輪郭抽出装置および輪郭抽出方法に
関する。
【０００２】
【従来の技術】従来より、２次元画像に対して、各種の
処理を施し、また、その処理を施すために必要な情報
を、２次元画像から抽出する様々な方法が提案されてい
る。かかる方法が記載された文献としては、例えば、Ja
mes D.Foley, Andries van Dam,Steven K.Feiner, John
F.Hughes, "Computer Graphics, principles and prac
tice", ADDISON-WESLEY PUBLISHING COMPANY, 1996（以
下、文献１という）、Paul E.Debevec, Camillo J.Tayl
or, Jitendra Malik, "Modeling and Rendering Archit
ecture from Photographs: A hybrid geometry-and ima
ge-based approach", proceedings of SIGGRAPH 96, p
p.11-20（以下、文献２という）、Oliver Faugeras, "T
hree-dimensional computer version", The MIT press
（以下、文献３という）、Kenneth P.Fishkin, Brian
A.Barsky, "A Family of New Algorithms for Soft Fil
ling", proceedings of SIGGRAPH 84, pp235-244（以
下、文献４という）、Pat Hanrahan and Paul Haeberl
i, "Direct WYSIWYG Painting andTexuturing on 3D Sh
apes", proceedings of SIGGRAPH 90, pp.215-233（以
下、文献５という）、Youichi Horry, Ken-ichi Anjyo,
Kiyoshi Arai, "Tour Into the Picture: Using a Spi
dery Mesh Interface to Make Animation from a Singl
e Image", proceedings of SIGGRAPH 97, pp.255-232
（以下、文献６という）、Michael Gleicher, "Image S
napping", proceedings of SIGGRAPH 95, pp.183-190
（以下、文献７という）などがある。
【０００３】文献１には、デザイナなどが、絵筆やエア
ブラシ（絵の具を粉末状にして紙に飛ばして絵を描く技
術）を用いて、紙に絵を描くのと同様の作業をコンピュ
ータに行わせる、２Ｄ（２次元）ペイントと呼ばれる画
像処理技術が記載されている。
【０００４】しかしながら、従来の２Ｄペイントでは、
画像に３次元物体が表示されている場合でも、画像自体
が２次元の平面で取り扱われるため、そのような２次元
画像に表示された３次元物体の３次元空間における向き
等を考慮せずに、文字を描画したり、また、図形を追加
すると、画像が不自然なものとなる。
【０００５】即ち、例えば、図１（Ａ）に示すような、
家屋を模した３次元物体が、２次元画像に表示されてい
る場合において、家屋の壁の部分に、その向きを考慮せ
ずに、文字を描いたときには、図１（Ｂ）に示すよう
に、文字は、壁に描かれているようにはならない。ま
た、家屋の壁の部分に、直方体形状の部屋を追加しよう
として、長方形を描いても、その向きを考慮せずに、長
方形を描いたのでは、図１（Ｃ）に示すように、画像は
不自然なものとなる。さらに、例えば、図２（Ａ）に示
すように、円柱が、２次元画像に表示されている場合に
おいて、その側面に文字を描いても、その側面の向きを
無視したのでは、図２（Ｂ）に示すように、文字は、円
柱の側面に描かれているようにはならない。
【０００６】従って、２Ｄペイントを行う場合におい
て、画像を不自然なものとしないようにするには、２次
元画像に表示された３次元物体の向きにあわせて、文字
や図形を変形しながら、その描画を行う必要があるが、
そのような描画のための操作を行うには、ある程度の熟
練を要する。
【０００７】そこで、ユーザに、２次元画像に表示され
た３次元物体の傾き角などを、テンキーやＧＵＩ（Grap
hic User Interface）などを用いて入力してもらい、コ
ンピュータにおいて、その入力に基づいて、新たに描画
する文字や図形を変形する方法がある。しかしながら、
この方法では、ユーザが、描画結果を見ながら、それが
不自然なものにならないように、コンピュータに入力す
る３次元物体の傾き角を調整する必要があり、その調整
には、やはり、ある程度の熟練を要する。
【０００８】上述のように、ユーザが、２次元画像に表
示された３次元物体の向きを考慮せずに、文字や図形を
描画した場合に、コンピュータにおいて、その描画結果
を自然なものとすること、即ち、あたかも、その文字や
図形が存在する状態で撮影を行ったかのような描画結果
を得ることができないのは、２次元画像に表示された３
次元物体が、３次元空間上のどこに位置し、さらに、そ
の２次元画像が、どの位置から撮影を行うことにより得
られたものであるかに関する情報（２次元画像が絵画を
撮影したものである場合には、その絵画に表された風景
等を観察した位置）が欠落していることに起因する。
【０００９】そこで、２次元画像から、そこに表示され
た３次元物体の３次元空間における位置およびその撮影
位置を、画像認識（Computer Vision）の技術を用いて
求める方法がある。
【００１０】即ち、文献２では、複数枚の写真に撮影さ
れた建造物に、直方体などの３次元形状を、ＧＵＩを用
いて対応させ、その建造物のサイズおよび撮影位置を求
める方法が開示されている。また、文献３では、３次元
物体の位置およびその撮影位置を求めるための、その他
の各種の方法が開示されている。
【００１１】しかしながら、このような画像認識の技術
を用いた３次元物体の位置およびその撮影位置の算出方
法は、三角測量の原理を利用している。従って、同一の
３次元物体を、複数の撮影位置から撮影した複数の画像
が必要となるが、２Ｄペイントを行う場合に、そのよう
な複数の画像を用意することができるとは限らないし、
さらに、２次元画像が絵画を撮影したものであるときに
は、上述のような複数の画像が存在しないのが一般的で
ある。
【００１２】また、同一の３次元物体を、複数の撮影位
置から撮影した複数の画像を用意することができる場合
であっても、コンピュータに、その複数の画像から、３
次元物体の位置およびその撮影位置を算出させるには、
複数の画像に表示された同一の３次元物体どうしの対応
する位置（例えば、３次元物体である建造物の屋根の頂
点など）を指定する必要があり、複数の画像それぞれに
ついて、そのような指定を行う操作は面倒であり、時間
も要する。さらに、２次元画像に表示された３次元物体
の３次元空間における位置および撮影位置に基づいて、
３次元的に自然な描画を行う場合には、２次元画像を取
り扱うのにもかかわらず、撮影位置から３次元物体を見
たときの３次元の座標等の３次元のデータを処理しなけ
ればならず、そのための計算量は膨大なものとなる。
【００１３】次に、文献４では、２Ｄペイントを行う際
の色の処理方法が開示されている。
【００１４】即ち、２Ｄペイントでは、例えば、ユーザ
が、ＧＵＩによって、描画に用いる色を選択し、その色
で描画を行うが、２次元画像に表示された３次元物体の
色や明るさは、その面の向きと光源との位置関係によっ
て変化する。従って、例えば、３次元物体のある面の全
体を、同一の色（同一のＲＧＢ（Red, Green, Blue）
値）で塗ると、その描画結果は不自然なものとなる。従
って、描画結果を自然なものとするには、色を塗る面の
向きと光源との位置関係を考慮して、塗る色を段階的に
変化させる必要がある。特に、色を塗る面が曲面である
場合においては、描画結果を自然なものとするには、画
素値を連続的に変化させる必要があり、従って、例え
ば、数画素ごとに、塗る色を選択し直さなければなら
ず、その作業量は膨大なものとなる。
【００１５】そこで、文献４では、画素の色が、ある２
色を混合したものであり、かつその２色が分かっている
場合には、そのうちの一色を別の色に変更することがで
きるティントフィル（tint fill）と呼ばれる方法が記
載されている。しかしながら、ティントフィルでは、例
えば、前景と背景とが混ざっているような部分には有効
に対処することができるが、物体の陰影や、物体による
照明の反射に対処するのは困難である。
【００１６】次に、文献５では、タブレットやマウスな
どを操作することにより入力した文字や手書きの図形
を、２次元画像に表示された３次元物体の面（表面）に
沿うように変形して貼り付ける方法が開示されている。
【００１７】しかしながら、文献５に開示されている方
法は、２次元画像に表示された３次元物体に関する３次
元情報（例えば、３次元空間における３次元物体の位
置、撮影位置、サイズ、傾きなど）を用いるものであ
り、従って、その３次元情報を、上述したような画像認
識技術を利用して正確に認識する必要があるが、３次元
情報を、画像認識技術を利用して認識する場合には、上
述したように、複数の画像が必要となり、計算量も多く
なる。
【００１８】また、文献５の方法は、コンピュータ内部
で生成した３次元物体の３次元モデルを利用することも
可能であるが、この場合でも、３次元のデータを取り扱
うことが必要であり、その計算量は膨大なものとなる。
【００１９】ここで、３次元モデルを生成する方法とし
ては、例えば、画像認識の技術を用いて、２次元画像か
ら、そこに表示された３次元物体の形状の概略を抽出
し、その形状の表面に、撮影した画像を貼り付ける（テ
クスチャマッピングを行う）ものがあり、この方法を用
いて、自由な視点から見た（自由な撮影位置から撮影し
た）２次元画像を生成する手法が、上述の文献２に開示
されている。しかしながら、この手法は、画像認識の技
術を用いて、２次元画像から、そこに表示された３次元
物体の形状の概略を抽出するために、上述した場合と同
様に、複数の画像が必要となる。
【００２０】次に、文献６では、１枚の２次元画像か
ら、その撮影位置以外の視点から見た画像を生成する方
法が開示されている。しかしながら、この方法では、撮
影位置以外の別の視点から見た画像が生成されるだけで
あり、さらに、２次元画像に表示された物体やその周囲
にある物が、板状の極めて単純な形状であることを前提
としているため、別の視点から見た画像を近似的に生成
するだけであれば、それほど大きな問題はないが、２次
元画像に文字や図形を追加等する場合に、その描画結果
を自然なものとすることは困難である。具体的には、例
えば、２次元画像に円柱が表示されている場合に、その
円柱の側面等に文字や図形を追加した、自然な画像を得
るのは困難である。
【００２１】また、２次元画像を対象とした処理を行う
場合、ユーザには、その２次元画像中の、例えば、３次
元物体の頂点などの所定の特徴点の指定を行うことが要
求されることが多い。この指定は、マウスや、ペンなど
が操作されることにより行われるが、２次元画像中の３
次元物体の頂点などを、正確に指定するのは困難であ
る。そこで、文献７では、２次元画像の中のエッジ（明
るさや色が大きく変化する部分）を抽出し、カーソル
が、エッジの近傍に位置する場合には、カーソルをエッ
ジ上に移動させる方法が開示されている。しかしなが
ら、文献７の方法では、２次元画像の中のエッジすべて
を検出するため、その２次元画像のノイズやテクスチャ
に敏感に反応し、不必要な位置に、カーソルが移動され
ることがある。
【００２２】
【発明が解決しようとする課題】以上のように、従来よ
り、多くの画像処理技術が提案されているが、２次元画
像に対して、文字や図形の３次元的な追加や削除、移
動、変形、色や模様の変更、光源の変更等の編集や加工
等を施す場合に、特に適した方法は、まだ提案されてい
ない。
【００２３】即ち、従来の方法では、２次元画像に対し
て、３次元的な編集や加工等を施すには、ある程度の操
作の熟練と時間を要したり、同一物を異なる方向から撮
影した複数の画像を必要とする。また、計算量が膨大に
なることや、不要なカーソルの移動がされることなどが
ある。さらに、２次元画像中の３次元物体等を削除した
場合には、その削除後の領域に、その背景を再現する必
要があるが、上述の文献１乃至７に記載された方法で
は、そのような背景の再現は困難である。
【００２４】本発明は、このような状況に鑑みてなされ
た物であり、２次元画像に対して、容易に、３次元的な
編集等を施すことができるようにするものである。
【００２５】
【課題を解決するための手段】本発明の画像処理装置
は、３次元物体を構成する面の形状に関する形状情報
と、その面を構成する、２次元画像上の点である特徴点
とを指定するときに操作される操作手段と、形状情報お
よび特徴点に基づいて、２次元画像の中の３次元物体を
構成する面を、展開画像に変換するための変換式を算出
する算出手段と、変換式に基づいて、２次元画像の中の
３次元物体を構成する面を、展開画像に変換する変換手
段とを備える。
【００２６】本発明の画像処理方法は、形状情報および
特徴点に基づいて、２次元画像の中の３次元物体を構成
する面を、展開画像に変換するための変換式を算出する
算出ステップと、変換式に基づいて、２次元画像の中の
３次元物体を構成する面を、展開画像に変換する変換ス
テップとを備える。
【００２７】本発明の媒体がコンピュータに実行させる
コンピュータプログラムは、形状情報および特徴点に基
づいて、２次元画像の中の３次元物体を構成する面を、
展開画像に変換するための変換式を算出する算出ステッ
プと、変換式に基づいて、２次元画像の中の３次元物体
を構成する面を、展開画像に変換する変換ステップとを
備える。
【００２８】本発明の他の画像処理装置は、３次元物体
を構成する面の形状に関する形状情報と、その面を構成
させる２次元画像上の点である特徴点とを指定するとき
に操作される操作手段と、形状情報および特徴点に基づ
いて、２次元平面上の所定の画像を、投影画像に変換す
るための変換式を算出する算出手段と、変換式に基づい
て、所定の画像を、投影画像に変換する変換手段と、所
定の画像から得られた投影画像を、２次元画像における
特徴点によって特定される部分に貼り付ける貼り付け手
段とを備える。
【００２９】本発明の他の画像処理方法は、形状情報お
よび特徴点に基づいて、２次元平面上の所定の画像を、
投影画像に変換するための変換式を算出する算出ステッ
プと、変換式に基づいて、所定の画像を、投影画像に変
換する変換ステップと、所定の画像から得られた投影画
像を、２次元画像における特徴点によって特定される部
分に貼り付ける貼り付けステップとを備える。
【００３０】本発明の他の媒体がコンピュータに実行さ
せるコンピュータプログラムは、形状情報および特徴点
に基づいて、２次元平面上の所定の画像を、投影画像に
変換するための変換式を算出する算出ステップと、変換
式に基づいて、所定の画像を、投影画像に変換する変換
ステップと、所定の画像から得られた投影画像を、２次
元画像における特徴点によって特定される部分に貼り付
ける貼り付けステップとを備える。
【００３１】本発明の輪郭抽出装置は、所定の空間にお
ける物体の輪郭を定義する、１以上のパラメータを用い
て表される関数ｆによる式ｆ＝０上の点のスカラー量の
微分値のうちの、その点における法線ベクトルの方向の
成分である法線方向成分を最大にするパラメータを求め
るパラメータ算出手段と、そのパラメータを用いて表さ
れる関数ｆによる式ｆ＝０上の点を、物体の輪郭として
抽出する輪郭抽出手段とを備える。
【００３２】本発明の輪郭抽出方法は、所定の空間にお
ける物体の輪郭を定義する、１以上のパラメータを用い
て表される関数ｆによる式ｆ＝０上の点のスカラー量の
微分値のうちの、その点における法線ベクトルの方向の
成分である法線方向成分を最大にするパラメータを求
め、そのパラメータを用いて表される関数ｆによる式ｆ
＝０上の点を、物体の輪郭として抽出する。
【００３３】
【発明の実施の形態】図３は、本発明を適用した画像処
理装置の一実施の形態の構成例を示している。この画像
処理装置は、コンピュータをベースに構成されており、
２次元画像に対して、容易に、３次元的な編集等を施す
ことができるようになされている。
【００３４】即ち、演算処理回路１は、例えば、ＣＰＵ
（Central Processing Unit）などで構成され、プログ
ラムメモリ２に記憶（ロード）されたＯＳ（Operating
System）の制御の下、同じくプログラムメモリ２に記憶
されたアプリケーションプログラムを実行することで、
２次元画像に対して、後述するような各種の処理を施す
ようになされている。プログラムメモリ２は、例えば、
ＲＡＭ（Random Access Memory）などでなり、外部記憶
装置７に記憶（記録）されているＯＳやアプリケーショ
ンプログラムを一時記憶するようになされている。デー
タメモリ３は、例えば、ＲＡＭなどでなり、演算処理回
路１の処理上必要なデータを一時記憶するようになされ
ている。フレームメモリ４は、例えば、ＲＡＭなどでな
り、画像表示装置５に表示させる画像データを記憶する
ようになされている。画像表示装置５は、例えば、ＣＲ
Ｔ（Cathode Ray Tube）や液晶ディスプレイなどでな
り、フレームメモリ４に記憶された画像データを表示す
るようになされている。入力装置６は、例えば、マウス
や、ペンおよびタブレットの組み合わせ、キーボードな
どでなり、必要なコマンドやデータを入力するときや、
画像表示装置５に画面上の所定の位置を指示するときな
どに操作されるようになされている。外部記憶装置７
は、例えば、ハードディスクやフロッピーディスク、Ｃ
Ｄ−ＲＯＭ（Compact Disc ROM）、光磁気ディスクなど
でなり、ＯＳやアプリケーションプログラムを記憶して
いる。また、外部記憶装置７は、演算処理回路１の動作
上必要なデータや、処理の対象となる２次元画像（ディ
ジタルデータ）も記憶するようになされている。外部イ
ンターフェイス８は、例えば、カメラ９などで撮影され
た２次元画像や、図示せぬ通信回線を介して送信されて
くるデータなど、外部から供給されるデータを取り込む
ためのインターフェイスとして機能するようになされて
いる。
【００３５】なお、演算処理装置１、プログラムメモリ
２、データメモリ３、フレームメモリ４、入力装置６、
外部記憶装置７、外部インターフェイス８は、相互に、
バスを介して接続されており、プログラムやデータ等
は、このバスを介して、各ブロックの間でやりとりされ
る。
【００３６】以上のように構成される画像処理装置で
は、電源が投入されると、外部記憶装置７に記憶された
ＯＳが読み出され、プログラムメモリ２に展開されて、
演算処理回路１により実行される。そして、アプリケー
ションプログラムを実行するように、入力装置６が操作
されると、演算処理回路１において、ＯＳの制御の下、
外部記憶装置７からアプリケーションプログラムが読み
出され、プログラムメモリ２に展開されて実行される。
これにより、例えば、カメラ９によって撮影され、外部
インターフェイス８を介して、外部記憶装置７に記憶さ
れた２次元画像に対して、各種の処理が施される。
【００３７】図４は、演算処理回路１がアプリケーショ
ンプログラムを実行することにより実現される、図３の
画像処理装置の機能的構成例を示している。
【００３８】入力イベント処理部１１には、ＯＳからの
ＧＵＩイベントが供給されるようになされており、入力
イベント処理部１１は、そのＧＵＩイベントを解析し、
その解析結果にしたがって、コピー操作処理部１２、ペ
ースト操作処理部１３、ペーストバッファ選択処理部１
４、イレース操作処理部１５、マット操作処理部１６、
物体属性操作処理部１７、ペイント処理部１８を起動し
て処理を行わせるようになされている。
【００３９】ここで、ＧＵＩイベントとしては、例え
ば、マウスカーソルの移動、マウスのクリック（マウス
ボタンの押し下げや押し上げ）、ＧＵＩ上のメニューの
選択やボタンの操作などがある。ＧＵＩイベントは、例
えば、X Windowなどのウインドウシステムで定義されて
いる。
【００４０】コピー操作処理部１２は、後述するペース
トバッファに画像を記憶させる（コピーする）コピー処
理を行うようになされている。ペースト操作処理部１３
は、ペーストバッファに記憶された画像を、後述する画
像バッファに記憶された２次元画像に貼り付ける（ペー
ストする）ペースト処理を行うようになされている。ペ
ーストバッファ選択処理部１４は、画像バッファの中か
ら、ペーストバッファとするものを選択し、そのバッフ
ァＩＤ（Identification）をバッファＩＤ記憶部２１に
記憶させるペーストバッファ選択処理を行うようになさ
れている。
【００４１】ここで、データメモリ３には、画像の画素
値を、例えば、１画面単位などで記憶する領域が、画像
バッファとして確保されるようになされている。ここで
は、画像バッファは、データメモリ３の中に複数確保さ
れるようになされており、また、各画像バッファには、
それぞれを識別することができるように、バッファＩＤ
が付されている。複数の画像バッファのうち、バッファ
ＩＤ記憶部２１にバッファＩＤが記憶されているもの
が、特に、ペーストバッファと呼ばれる。なお、画像バ
ッファは、２次元画像の画素値（例えば、ＲＧＢ値な
ど）を記憶することができる他、その２次元画像に表示
された物体のマット（matte）も記憶することができる
ようになされている。マットについては後述する。
【００４２】イレース操作処理部１５は、ペーストバッ
ファに記憶された画像の一部を削除するイレース処理を
行うようになされている。マット操作処理部１６は、画
像バッファに記憶された２次元画像に表示された３次元
物体について、マットを生成するマット処理を行うよう
になされている。物体属性操作処理部１７は、画像バッ
ファに記憶された２次元画像に表示された３次元物体の
色や材質感などの、いわゆる材質属性（material prope
rty）を変更する物体属性処理や、光源を変更（画像バ
ッファに記憶された２次元画像中の３次元物体の照明の
具合を変更）する光源変更処理を行うようになされてい
る。ペイント処理部１８は、ペーストバッファに記憶さ
れた画像に対して、２Ｄペイントを施すペイント処理を
行うようになされている。
【００４３】変換指定処理部１９は、コピー操作処理部
１２、ペースト操作処理部１３の指示にしたがって、ユ
ーザが入力装置６を操作することにより指定した、画像
バッファに記憶された２次元画像上の特徴点の位置を補
正し、その補正後の特徴点を、コピー操作処理部１２、
ペースト操作処理部１３に戻すようになされている。画
像変換処理部２０は、コピー操作処理部１２、ペースト
操作処理部１３の指示にしたがい、画像バッファまたは
ペーストバッファに記憶された画像を変換するようにな
されている。バッファＩＤ記憶部２１は、ペーストバッ
ファ選択処理部１４によってペーストバッファとして選
択された画像バッファのバッファＩＤを記憶するように
なされている。なお、バッファＩＤ記憶部２１に記憶さ
れたバッファＩＤは、イレース操作処理部１５、ペイン
ト処理部１８、および画像変換処理部２０に供給される
ようになされており、これにより、イレース操作処理部
１５、ペイント処理部１８、および画像変換処理部２０
は、ペーストバッファとなっている画像バッファを認識
するようになされている。
【００４４】表示処理部２２は、画像バッファに記憶さ
れた２次元画像を、画像表示装置５に表示するのに必要
な処理を施すようになされている。なお、表示処理部２
２が出力する画像データは、ＯＳの表示処理に渡される
ようになされており、これにより、その画像データは、
フレームメモリ４に書き込まれ、画像表示装置５に表示
されるようになされている。
【００４５】なお、図４におけるブロックのうち、デー
タメモリ３およびバッファＩＤ記憶部２１を除いたブロ
ックは、演算処理回路１がアプリケーションプログラム
を実行することで実現されるが、それぞれのブロックに
相当するプログラムは、例えばモジュール化されてい
る。
【００４６】以上のように構成される画像処理装置によ
れば、例えば、図５（Ａ）に示すような、家屋を模した
３次元物体が表示された２次元画像が、画像バッファに
記憶されている場合において、家屋の壁の向きを特に意
識せずに、文字を描いても、図５（Ｂ）に示すように、
文字が、壁に沿って描かれているかのような２次元画像
を得ることができるようになされている。また、家屋の
壁の向きを意識せずに、長方形を描いても、図５（Ｃ）
に示すように、家屋の壁に、直方体形状の部屋が追加さ
れている２次元画像を得ることができるようになされて
いる。さらに、例えば、図６（Ａ）に示すように、円柱
が表示された２次元画像が、画像バッファに記憶されて
いる場合において、その側面の向きを特に意識せずに、
文字を描いても、図６（Ｂ）に示すように、その側面に
沿って文字が描かれているかのような２次元画像を得る
ことができるようになされている。
【００４７】即ち、例えば、ビデオカメラ９で、文字等
の描かれている３次元物体を実際に撮影しなくても、文
字等の描かれていない３次元物体を、ビデオカメラ９で
撮影した２次元画像に、３次元的な操作を加え、これに
より、その文字等の描かれている３次元物体を、実際に
撮影したかのような２次元画像を、容易に得ることがで
きるようになされている。
【００４８】次に、図７のフローチャートを参照して、
図４の画像処理装置の処理について説明する。
【００４９】演算処理回路１（図３）において、アプリ
ケーションプログラムが実行されると、画像表示装置５
には、例えば、図８に示すようなメインウインドウが表
示される。メインウインドウの右側には、コマンドボタ
ン（Command）３１と形状ボタン（Shape）３２が表示さ
れ、その左側には、画像バッファに記憶された２次元画
像が表示されたウインドウ（以下、適宜、バッファウイ
ンドウ）が表示される。
【００５０】ここで、コマンドボタン３１は、コマンド
を入力するときに操作されるもので、図８の実施の形態
では、ペーストバッファ選択処理を行うときに操作され
る「Paste Sel.」ボタン、コピー処理を行うときに操作
される「Copy」ボタン、ペースト処理を行うときに操作
される「Paste」ボタン、イレース処理を行うときに操
作される「Erase」ボタン、マット処理を行うときに操
作される「Matte」ボタン、物体属性処理を行うときに
操作される「Material」ボタン、光源変更処理を行うと
きに操作される「Light」ボタン、ペイント処理を行う
ときに操作される「Paint」ボタンが設けられている。
【００５１】また、形状ボタン３２は、処理対象となる
３次元物体の面の形状（形状情報）を入力するときに操
作されるもので、図８の実施の形態では、長方形である
こと、円柱の側面であること、球面であること、円錐の
側面であることを、それぞれ指定するときに操作される
「Rectangle」ボタン、「Cylinder」ボタン、「Spher
e」ボタン、「Cone」ボタンが設けられている。
【００５２】さらに、図８の実施の形態では、３つのバ
ッファウインドウが表示されており、それぞれには、複
数の画像バッファのうちの、画像バッファ＃１，＃２，
＃３の記憶内容が表示されている（画像バッファ＃ｉの
サフィックスｉは、例えば、バッファＩＤを表す）。な
お、バッファウインドウが複数表示されている場合に
は、その複数のバッファウインドウのうちの、例えば、
後述する注目バッファの記憶内容が表示されているもの
が、最も手前に表示される（アクティブにされる）よう
になされている。
【００５３】メインウインドウの操作は、基本的に、処
理の対象とする画像バッファを選択し、その後に処理を
選択するというユーザインターフェイスに統一されてお
り、従って、ユーザは、まず最初に、メインウインドウ
に表示されたバッファウインドウのうちのいずれかを、
入力装置６を操作することによりクリックすることで、
処理の対象とする画像バッファを選択する。
【００５４】即ち、ユーザが、いずれかのバッファウイ
ンドウをクリックすると、ステップＳ１において、入力
イベント処理部１１は、そのバッファウインドウに記憶
内容が表示されている画像バッファを、注目バッファと
して選択する。
【００５５】その後、ユーザは、コマンドボタン３１の
うちのいずれかをクリックする。この場合、ステップＳ
２において、入力イベント処理部１１は、コマンドボタ
ン３１のうちのいずれがクリックされたかを認識し、ス
テップＳ３に進み、その認識結果に基づいて、どのよう
な処理（操作）を行うことが指示されたのかを判定す
る。ステップＳ３において、ペーストバッファ選択処理
を行うことが指示されたと判定された場合、即ち、コマ
ンドボタン３１の中の「Paste Sel.」ボタンが操作（ク
リック）された場合、ステップＳ４に進み、入力イベン
ト処理部１１は、ペーストバッファ選択処理部１４を起
動し、ペーストバッファ選択処理を行わせる。即ち、こ
の場合、ペーストバッファ選択処理部１４は、注目バッ
ファのバッファＩＤを、バッファＩＤ記憶部２１に上書
きし、これにより、いま注目バッファとなっている画像
バッファを、ペーストバッファとして、ステップＳ１に
戻る。
【００５６】また、ステップＳ３において、コピー処理
またはペースト処理のうちのいずれかを行うことが指示
されたと判定された場合、即ち、コマンドボタン３１の
中の「Copy」ボタンまたは「Paste」ボタンが操作され
た場合、形状ボタン３２が操作されるのを待って、ステ
ップＳ５に進む。即ち、コピー処理は、注目バッファに
記憶された２次元画像に表示された３次元物体を構成す
る面を、２次元平面に展開した展開画像を生成し、ペー
ストバッファに記憶させる処理であり、ペースト処理
は、ペーストバッファに記憶された２次元平面上の画像
を、３次元物体を構成する面に貼り付けてスクリーンに
投影した投影画像を生成し、その投影画像を、注目バッ
ファに記憶された２次元画像に貼り付ける処理であり、
いずれも３次元物体を構成する面を処理の対象とするこ
とから、ユーザは、「Copy」ボタンまたは「Paste」ボ
タンを操作した場合、続けて、コピー処理またはペース
ト処理の対象とする３次元物体の面の形状に関する形状
情報を、形状ボタン３２を操作することで指定（入力）
する。
【００５７】ステップＳ５では、形状ボタン３２の操作
に基づいて、コピー処理またはペースト処理の対象とす
る３次元物体の面の形状（形状情報）が認識される。そ
して、特徴点が入力されるのを待って、ステップＳ６に
進む。即ち、コピー処理では、注目バッファに記憶され
た２次元画像に表示された３次元物体の面を構成する幾
つかの点を指定することによって、展開画像を生成する
部分（面）を特定する必要がある。また、ペースト処理
では、ペーストバッファに記憶された画像の投影画像
を、例えば、注目バッファに記憶された２次元画像に表
示された３次元物体を構成する面に貼り付けるのに、そ
の面を構成する幾つかの点を指定することによって、そ
の面を特定する必要がある。そこで、ユーザは、「Cop
y」ボタンまたは「Paste」ボタンを操作し、続けて、コ
ピー処理またはペースト処理の対象とする３次元物体の
面の形状を、形状ボタン３２を操作することで指定して
後に、さらに、注目バッファに記憶された２次元画像中
の、処理の対象とする３次元物体の面を構成する幾つか
の点を、入力装置６を操作することにより、特徴点とし
て指定する。
【００５８】ステップＳ６では、このようにして指定さ
れた特徴点の、２次元画像中の座標が認識される。
【００５９】なお、上述の場合には、３次元物体の形状
を指定してから、特徴点を指定するようにしたが、先
に、特徴点を指定してから、３次元物体の形状を指定す
るようにすることも可能である。また、ステップＳ５お
よびＳ６の処理は、コピー処理が指令されている場合に
は、コピー操作処理部１２で、ペースト処理が指令され
ている場合には、ペースト操作処理部１３で、それぞれ
行われる。
【００６０】ステップＳ６において、ユーザによって指
定された特徴点を認識したコピー操作処理部１２または
ペースト操作処理部１３は、その特徴点を、変換指定処
理部１９に供給する。変換指定処理部１９は、特徴点を
受信すると、ステップＳ７において、その位置の補正を
行い、補正後の特徴点を、コピー操作処理部１２または
ペースト操作処理部１３のうちの、特徴点を供給してき
た方に供給する。
【００６１】その後、ステップＳ８において、入力イベ
ント処理部１１は、「Copy」ボタンまたは「Paste」ボ
タンのうちのいずれが操作されたのかを判定する。ステ
ップＳ８において、「Copy」ボタンが操作されたと判定
された場合、コピー操作処理部１２において、コピー処
理が行われる。即ち、この場合、ステップＳ８からＳ９
に進み、コピー操作処理部１２において、形状情報およ
び特徴点に基づいて、注目バッファに記憶された２次元
画像の中の３次元物体を構成する面を、展開画像に変換
するための変換式（以下、適宜、逆変換式という）が算
出され、画像変換処理部２０に供給される。画像変換部
２０では、ステップＳ１０において、逆変換式に基づい
て、注目バッファに記憶された２次元画像の中の３次元
物体を構成する面（特徴点によって特定される面）が、
展開画像に変換される。さらに、画像変換部２０は、ス
テップＳ１１において、その展開画像を、バッファＩＤ
記憶部２１にバッファＩＤが記憶されている画像バッフ
ァ、即ち、ペーストバッファにコピー（上書き）し、ス
テップＳ１に戻る。
【００６２】以上のようなコピー処理によれば、例え
ば、図９（Ａ）に示すような、家屋を模した３次元物体
Ｖが表示された２次元画像が、注目バッファに記憶され
ている場合において、形状情報として、縦線のある壁面
Ｓの形状である長方形が指定されるとともに、特徴点と
して、その壁面Ｓの４頂点Ｐ1，Ｐ2，Ｐ3，Ｐ4が指定さ
れたときには、図９（Ｂ）に示すように、３次元物体Ｖ
を、２次元平面上に展開して得られる、縦線のある壁面
Ｓの２次元画像（展開画像）が生成され、ペーストバッ
ファに記憶される。
【００６３】従って、図９（Ａ）に示すような３次元物
体Ｖが表示された２次元画像が、画像バッファに記憶さ
れている場合に、その縦線のある壁面Ｓの展開画像を得
たいときには、ユーザは、第１に、その３次元物体Ｖが
表示された２次元画像の記憶されている画像バッファを
注目バッファとし、第２に、コピー処理を指令する「Co
py」ボタンを操作し、第３に、壁面Ｓの形状を指定する
「Rectangle」ボタンを操作し、第４に、図９（Ａ）に
示したように、２次元画像中の、縦線のある壁面Ｓを構
成する四角形の４頂点Ｐ1，Ｐ2，Ｐ3，Ｐ4を、特徴点と
して指定すれば良い。
【００６４】一方、ステップＳ８において、「Paste」
ボタンが操作されたと判定された場合、ペースト操作処
理部１３において、ペースト処理が行われる。即ち、こ
の場合、ステップＳ８からＳ１２に進み、ペースト操作
処理部１３において、形状情報および特徴点に基づい
て、ペーストバッファに記憶された２次元平面上の画像
（展開画像）を、投影画像に変換するための変換式（以
下、適宜、順変換式という）が算出され、画像変換処理
部２０に供給される。画像変換処理部２０では、ステッ
プＳ１３において、順変換式に基づいて、ペーストバッ
ファに記憶された画像が、投影画像に変換される。さら
に、画像変換部２０は、ステップＳ１４において、その
投影画像を、注目バッファに記憶された２次元画像に表
示された３次元物体の面（特徴点によって特定される
面）に貼り付け、ステップＳ１に戻る。
【００６５】以上のようなペースト処理によれば、例え
ば、図９で説明したコピー処理によって、図１０（Ａ）
に示すような２次元平面上の画像が、ペーストバッファ
に記憶されており、さらに、図１０（Ｂ）に示すよう
な、家屋を模した３次元物体Ｖが表示された２次元画像
が、注目バッファに記憶されている場合において、形状
情報として、無模様の壁面Ｓ’の形状である長方形が指
定されるとともに、特徴点として、壁面Ｓ’の４頂点Ｐ
1’，Ｐ2’，Ｐ3’，Ｐ4’が指定されたときには、図１
０（Ｃ）に示すように、ペーストバッファに記憶された
画像が、３次元物体Ｖの壁面Ｓ’に貼り付けられた状態
で、その３次元物体Ｖをスクリーン上に投影した場合
の、その壁面Ｓ’の部分の投影画像が生成され、注目バ
ッファに記憶された２次元画像に表示された３次元物体
Ｖの、特徴点Ｐ1’乃至Ｐ4’で特定される壁面Ｓ’に貼
り付けられる。
【００６６】従って、図１０（Ａ）に示すような画像
が、ペーストバッファに記憶されているとともに、図１
０（Ｂ）に示すような、家屋を模した３次元物体Ｖが表
示された２次元画像が、画像バッファに記憶されている
場合に、ペーストバッファに記憶された画像を、３次元
物体Ｖの壁面Ｓ’に貼り付けた２次元画像を得たいとき
には、ユーザは、第１に、その３次元物体Ｖが表示され
た２次元画像の記憶されている画像バッファを注目バッ
ファとし、第２に、ペースト処理を指令する「Paste」
ボタンを操作し、第３に、壁面Ｓ’の形状を指定する
「Rectangle」ボタンを操作し、第４に、図１０（Ｂ）
に示したように、２次元画像中の、壁面Ｓ’を構成する
四角形の４頂点Ｐ1’，Ｐ2’，Ｐ3’，Ｐ4’を、特徴点
として指定すれば良い。
【００６７】以上から明らかなように、３次元物体Ｖが
表示された２次元画像が記憶された画像バッファを注目
バッファとして、図９で説明したようなコピー処理を行
い、さらに、図１０で説明したようなペースト処理を行
うことで、壁面Ｓのテクスチャを、別の壁面Ｓ’にコピ
ーすることができる。即ち、ユーザは、壁面Ｓおよび
Ｓ’の向きを特に意識しなくても、上述のようなコピー
処理とペースト処理を行うための操作を行うだけで、２
次元画像中の壁面Ｓのテクスチャを、別の壁面Ｓ’にコ
ピーすることができる。
【００６８】さらに、例えば、ペーストバッファに、
「ＡＢＣ」の文字や、「ＤＥＦ」の文字を、従来の２Ｄ
ペイント等を利用して、平面に文字を描くのと同様にし
て描き、それを、ペースト処理によって、上述の図５
（Ａ）に示した家屋の壁面に貼り付けることで、図５
（Ｂ）に示したような自然な２次元画像を得ることがで
きる。即ち、壁面に沿って、文字を描く必要がない。
【００６９】また、コピー処理を行い、何らかの展開画
像をペーストバッファに記憶させておき、あるいは、何
らかのテクスチャが記憶された画像バッファをペースト
バッファとして選択し、図５（Ｃ）に示す面Ｓ1を構成
する頂点ｐ1，ｐ2，ｐ3，ｐ4、面Ｓ2を構成する頂点
ｐ3，ｐ4，ｐ5，ｐ6、面Ｓ3を構成する頂点ｐ2，ｐ3，
ｐ 6，ｐ7を、それぞれ特徴点として指定して、ペースト
処理を３回行うことで、図５（Ｃ）に示したように、家
屋の壁に、直方体形状の部屋が追加された２次元画像
を、容易に作成することができる（この場合、面Ｓ1乃
至Ｓ3の形状情報としては、いずれも長方形を指定す
る）。
【００７０】ここで、図５に示したことから分かるよう
に、ペースト処理を行う対象とする３次元物体は、注目
バッファに記憶された２次元画像中に表示されていても
良いし、表示されていなくても良い。即ち、図５（Ｂ）
は、ペースト処理を行う対象とする３次元物体（文字が
貼り付けられる３次元物体）が、元の２次元画像（図５
（Ａ）に示した２次元画像）に表示されている場合を表
しており、図５（Ｃ）は、ペースト処理を行う対象とす
る３次元物体（図５（Ｃ）における面Ｓ1，Ｓ2，Ｓ3に
よって規定される直方体）が、元の２次元画像に表示さ
れていない場合を表している。なお、ペースト処理を行
う対象とする３次元物体が、元の２次元画像に表示され
ていない場合には、その３次元物体上の点として、ユー
ザが指定した特徴点の補正、即ち、図７のステップＳ７
の処理はスキップされる。これは、ステップＳ７では、
後述するように、ユーザが指定した特徴点が、３次元物
体の輪郭線上に位置するように補正されるが、３次元物
体が、元の２次元画像に表示されていない場合には、そ
の輪郭線が存在しないためである。
【００７１】また、２次元画像から、コピー処理によっ
て得られた展開画像は、元の２次元画像以外の２次元画
像に貼り付けることができるし、さらに、展開画像を貼
り付ける３次元物体の面は、その展開画像を生成する元
になった３次元物体の面と同一の形状でなくても良い。
即ち、例えば、図１１（Ａ）に示すような２次元画像に
表示された３次元物体（家屋の形状をした３次元物体）
における格子模様の壁面を対象にコピー処理を行い、図
１１（Ｂ）に示すように、その展開画像を、ペーストバ
ッファに記憶させた後、図１１（Ｃ）に示すような２次
元画像に表示された円柱の側面を対象にペースト処理を
行い、図１１（Ｄ）に示すように、格子模様の展開画像
を、円柱の側面に沿って貼り付けることが可能である。
即ち、ある３次元物体のテクスチャを、他の３次元物体
のテクスチャとして貼り付けることができる。
【００７２】さらに、ペーストバッファには、コピー処
理によって得られる画像の他、任意の画像を記憶させる
ことができ、従って、ペースト処理によれば、任意の画
像を、２次元画像に表示された３次元物体（但し、上述
したように、３次元物体は、２次元画像に表示されてい
なくてもかまわない）に貼り付けることができる。
【００７３】また、コピー処理やペースト処理によれ
ば、２次元画像に対して、上述した操作の他にも、各種
の３次元的な操作を施すことができる。即ち、例えば、
２次元画像に表示された３次元物体の面に凹凸がある場
合には、コピー処理によって、その面の展開画像を、ペ
ーストバッファに記憶させ、ペーストバッファ上で、凹
凸の部分を削除し、その削除後の画像を、ペースト処理
によって、元の３次元物体の面に貼り付ければ、凹凸が
取り除かれた３次元物体が表示された２次元画像を得る
ことができる。また、例えば、同一の３次元物体を対象
にコピー処理およびペースト処理を行う場合において、
ペースト処理を行うときに指定する特徴点を、コピー処
理を行うときに指定する特徴点と変えることで、３次元
物体の移動や、拡大、縮小、その他非線形な変形（例え
ば、いわゆる魚眼レンズなどの特殊な光学的特性を有す
るレンズを用いて撮影を行ったかのような変形など）を
行うことができる。
【００７４】図７に戻り、ステップＳ３において、マッ
ト処理を行うことが指示されたと判定された場合、即
ち、コマンドボタン３１の中の「Matte」ボタンが操作
された場合、ステップＳ１５に進み、入力イベント処理
部１１は、マット操作処理部１６を起動し、マット処理
を行わせる。即ち、この場合、マット操作処理部１６
は、注目バッファに記憶された２次元画像に表示された
３次元物体のマットを生成し、注目バッファに記憶させ
て、ステップＳ１に戻る。なお、マット処理の詳細につ
いては、後述する。
【００７５】また、ステップＳ３において、物体属性処
理または光源変更処理を行うことが指示されたと判定さ
れた場合、即ち、コマンドボタン３１の中の「Materia
l」ボタンまたは「Light」ボタンが操作された場合、ス
テップＳ１６に進み、入力イベント処理部１１は、物体
属性操作処理部１７を起動し、物体属性処理または光源
変更処理（物体属性／光源変更処理）を行わせ、ステッ
プＳ１に戻る。なお、物体属性／光源変更処理の詳細に
ついては、後述する。
【００７６】一方、ステップＳ３において、イレース処
理を行うことが指示されたと判定された場合、即ち、コ
マンドボタン３１の中の「Erase」ボタンが操作された
場合、ステップＳ１７に進み、入力イベント処理部１１
は、イレース操作処理部１５を起動し、イレース処理を
行わせ、ステップＳ１に戻る。なお、イレース処理の詳
細については、後述する。
【００７７】また、ステップＳ３において、ペイント処
理を行うことが指示されたと判定された場合、即ち、コ
マンドボタン３１の中の「Paint」ボタンが操作された
場合、ステップＳ１８に進み、入力イベント処理部１１
は、ペイント処理部１８を起動し、ペイント処理を行わ
せ、ステップＳ１に戻る。即ち、ペイント処理では、例
えば、従来と同様の２Ｄペイントを行うペイントツール
によって、ユーザによる入力装置６の操作にしたがい、
ペーストバッファに記憶された画像の一部が消去され、
あるいは、他の画像（文字、図形を含む）が付加され
る。
【００７８】例えば、上述したように、２次元画像に表
示された３次元物体の面に凹凸がある場合において、コ
ピー処理によって、その面の展開画像を、ペーストバッ
ファに記憶させ、そのペーストバッファ上で、ペイント
処理によって、凹凸の部分を削除し、その削除後の画像
を、ペースト処理によって、元の３次元物体の面に貼り
付けることにより、凹凸が取り除かれた３次元物体が表
示された２次元画像を得ることができる。また、例え
ば、図５（Ａ）に示したような３次元物体が表示された
２次元画像を対象に、コピー処理を行い、その壁面の展
開画像を、ペーストバッファに記憶させ、そのペースト
バッファに記憶された画像に、ペイント処理によって、
「ＡＢＣ」の文字や、「ＤＥＦ」の文字を描き、それ
を、ペースト処理によって、元の壁面に貼り付けること
で、図５（Ｂ）に示したような自然な２次元画像を得る
ことができる。即ち、２Ｄペイントによって、３次元的
な描画を、容易に行うことができる。
【００７９】次に、例えば、図９または図１０で説明し
たコピー処理またはペースト処理を行う場合に、図９
（Ａ）または図１０（Ｂ）に示したように、頂点Ｐ1乃
至Ｐ4または頂点Ｐ1’乃至Ｐ4’の位置を、正確に、特
徴点として指定することは、操作に熟練したユーザであ
っても困難である。即ち、例えば、図９に示したような
コピー処理を行う場合において、ユーザが指定する特徴
点Ｐ1乃至Ｐ4は、例えば、図１２に示すように、本来指
定すべき頂点の位置からずれるのが一般的である。さら
に、かなり操作に熟練したユーザであっても、２次元画
像がぼけていたり、また、２次元画像にぶれがある場合
には、本来指定すべき頂点の位置を、正確に、特徴点と
して指定するのは困難である。
【００８０】そこで、図７のステップＳ７では、ユーザ
が指定した特徴点を、本来指定すべき位置に補正する自
動補正処理が行われるようになされている。
【００８１】即ち、コピー操作処理部１２またはペース
ト操作処理部１３は、ステップＳ７において、変換指定
処理部１９を起動し、ユーザが入力装置６を操作するこ
とによって指定した形状情報と特徴点を供給する。
【００８２】変換指定処理部１９は、形状情報および特
徴点を受信すると、その特徴点を補正する自動補正処理
を行う。
【００８３】ここで、特徴点として指定すべき点は、後
述するように、基本的に、コピー処理またはペースト処
理の対象とする３次元形状の面の輪郭線（境界線）上の
点になっている。そこで、変換指定処理部１９では、コ
ピー処理またはペースト処理の対象とする３次元形状
（の面）の輪郭線を抽出し、その輪郭線上に位置するよ
うに、特徴点を補正するようになっている。
【００８４】図１３は、変換指定処理部１９が行う自動
補正処理を説明するフローチャートを示している。な
お、ここでは、説明を簡単にするために、例えば、図１
２に示したように、コピー処理またはペースト処理の対
象となる、２次元画像に表示された３次元物体の面が、
四角形であり、従って、同図に示したように、特徴点と
して、その四角形の４つの頂点を指定すべき場合を例に
説明を行う。
【００８５】変換指定処理部１９では、まず最初に、ス
テップＳ２１において、ユーザが入力（指定）した特徴
点のうちの、隣接する２点の組が選択される。即ち、特
徴点として指定すべき点は、上述したように、基本的
に、コピー処理またはペースト処理の対象とする、２次
元画像に表示された３次元物体の面の輪郭線上の点であ
り、さらに、後述するように、その輪郭線上のどの位置
を指定すべきかは、３次元物体の形状によって、あらか
じめ定められている。従って、ユーザが入力した特徴点
のうち、輪郭線上において隣接する２つの特徴点は、形
状情報に基づいて認識することができるので、変換指定
処理部１９は、そのようにして認識した２つの特徴点の
組のうちの１つを、ステップＳ２１において選択する。
【００８６】その後、ステップ２２に進み、後述するス
テップＳ２３でエッジ検出の対象とする領域（以下、適
宜、エッジ候補領域という）が検出される。即ち、ステ
ップＳ２２では、例えば、ステップＳ２１で選択した２
つの特徴点（以下、適宜、選択特徴点という）を結ぶ線
分が求められ、その線分上の画素から所定の距離（例え
ば、５画素分の距離）の範囲内にある画素が検出され
る。そして、そのような画素で構成される領域が、エッ
ジ候補領域とされる。
【００８７】即ち、例えば、図１２に示したように、特
徴点Ｐ1乃至Ｐ4が指定された場合において、そのうちの
特徴点Ｐ1とＰ2が、選択特徴点として選択されたときに
は、図１４に斜線を付して示すような領域が、エッジ候
補領域として検出される。
【００８８】なお、ステップＳ２２において、２つの選
択特徴点を結ぶ線分上の画素から、どの程度の距離の範
囲内にある画素を検出するかは、あらかじめ設定してお
くこともできるし、ユーザに、入力装置６を操作するこ
とにより入力してもらうようにすることも可能である。
【００８９】エッジ候補領域の検出後は、ステップＳ２
３に進み、そのエッジ候補領域を対象として、エッジの
検出が行われる。
【００９０】ここで、エッジの検出方法としては、従来
より各種の方法が提案されており、そのうちのいずれか
によって行うことも可能であるが、ここでは、例えば、
以下の手法により行う。
【００９１】即ち、ここでは、エッジ候補領域内の画素
が、ソーベルオペレータ（Sobel operator）と呼ばれる
エッジ検出用のフィルタによってフィルタリングされ、
各画素におけるグラディエント（gradient）（グラディ
エントベクトル）が求められる。このグラディエントが
大きい画素をエッジとして検出する手法は、従来より知
られているが、ここでは、さらに、２つの選択特徴点を
結ぶ線分に直交する方向の単位ベクトル、即ち、法線ベ
クトルと、エッジ候補領域内の各画素のグラディエント
それぞれとの内積が演算され、その内積が所定の閾値以
上の画素が、エッジを構成する画素（以下、適宜、エッ
ジ画素という）として検出される。
【００９２】ここで、特徴点としては、図１２に示した
ように、コピー処理またはペースト処理の対象とする３
次元物体を構成する面である四角形の頂点には一致しな
いまでも、それに近い点が指定される。従って、２つの
選択特徴点を結ぶ線分は、コピー処理またはペースト処
理の対象とする３次元物体を構成する面である四角形の
輪郭線にほぼ一致している。その結果、法線ベクトルと
グラディエントとの内積は、グラディエントの、法線ベ
クトル方向の成分、即ち、グラディエントの、輪郭線に
ほぼ直交する方向の成分を表すから、この内積の大小に
よってエッジを検出することにより、グラディエントそ
のものの大小によってエッジを検出する場合に比較し
て、ノイズ等の影響を低減したエッジ検出を行うことが
できる。即ち、２次元画像上のノイズや、縞模様等のテ
クスチャの影響を受けにくいエッジ検出を行うことがで
きる。
【００９３】エッジ画素の検出後は、ステップＳ２４に
進み、そのエッジ画素を通る直線が、例えば、最小自乗
法によって求められる。即ち、ステップＳ２４では、ス
テップＳ２３で検出されたエッジ画素からの距離の自乗
の総和を最小にする直線（以下、適宜、エッジ直線とい
う）が求められる。
【００９４】そして、ステップＳ２５に進み、ユーザが
入力した特徴点のうちの、隣接する２点の組すべてにつ
いて、エッジ直線が求められたかどうかが判定され、ま
だ、隣接する２つの特徴点の組すべてについて、エッジ
直線が求められていないと判定された場合、ステップＳ
２１に戻り、また、エッジ直線が求められていない、隣
接する２つの特徴点が、選択特徴点として選択され、以
下、同様の処理が繰り返される。
【００９５】また、ステップＳ２５において、隣接する
２つの特徴点の組すべてについて、エッジ直線が求めら
れたと判定された場合、即ち、図１２において、特徴点
Ｐ1とＰ2の組、Ｐ2とＰ3の組、Ｐ3とＰ4の組、Ｐ4とＰ1
の組それぞれについて、エッジ直線が求められた場合、
ステップＳ２６に進み、その４つの組について求められ
た４つのエッジ直線の交点が求められる。即ち、特徴点
Ｐ4およびＰ1の組について求められたエッジ直線と特徴
点Ｐ1およびＰ2の組について求められたエッジ直線との
交点（以下、適宜、第１の交点という）、特徴点Ｐ1お
よびＰ2の組について求められたエッジ直線と特徴点Ｐ2
およびＰ3の組について求められたエッジ直線との交点
（以下、適宜、第２の交点という）、特徴点Ｐ2および
Ｐ3の組について求められたエッジ直線と特徴点Ｐ3およ
びＰ4の組について求められたエッジ直線との交点（以
下、適宜、第３の交点という）、特徴点Ｐ3およびＰ4の
組について求められたエッジ直線と特徴点Ｐ4およびＰ1
の組について求められたエッジ直線との交点（以下、適
宜、第４の交点という）が求められる。さらに、ステッ
プＳ２６では、各交点に最も近い特徴点が、その交点の
位置に補正され、即ち、特徴点Ｐ1乃至Ｐ4が、第１乃至
第４の交点の位置にそれぞれ補正され、リターンする。
【００９６】以上のような自動補正処理によれば、ユー
ザが指定した特徴点Ｐ1乃至Ｐ4が、本来、特徴点として
指定すべき四角形の頂点の位置に移動されるので、ユー
ザは、本来、特徴点として指定すべき位置を、正確に指
定せずに済むようになる。即ち、ユーザは、本来、特徴
点として指定すべき位置に近い点を指定するだけで済
む。
【００９７】なお、図７の実施の形態では、特徴点の自
動補正処理を必ず行うようにしたが、自動補正処理は、
ユーザからの指示があった場合にのみ行うようにするこ
とが可能である。また、自動補正処理による補正後の特
徴点を、さらに、ユーザによって補正させるようにする
ことも可能である。
【００９８】次に、特徴点の自動補正処理は、図１３で
説明したエッジ画素の検出方法を利用して、例えば、以
下のように行うことも可能である。
【００９９】即ち、いま、注目バッファに、例えば、図
１５に示すような、２次元画像が記憶されているとす
る。なお、図１５において、斜線を付してある部分が、
２次元画像に表示された３次元物体（これは、３次元空
間における３次元物体を、スクリーンに投影したもので
あるから、以下、適宜、投影画像という）を表してい
る。
【０１００】図１５では、２次元画像について、点ＰA
およびＰBが、３次元物体の投影画像の特徴点として指
定されている。なお、特徴点ＰAおよびＰBは、３次元物
体の投影画像の輪郭線上において、隣接したものとなっ
ている。
【０１０１】いま、注目バッファに記憶された２次元画
像について、図１５に示すように、ｘp軸またはｙp軸
を、それぞれ横軸または縦軸とする２次元座標系（以
下、適宜、スクリーン座標系という）を定義すると、２
次元画像に表示された３次元物体の形状は、形状情報か
ら認識することができ、さらに、３次元物体の形状が分
かれば、その投影画像の、特徴点ＰAとＰBとの間の輪郭
線（投影画像の輪郭線は、基本的に、閉ループを構成す
るから、特徴点ＰAとＰBとの間の輪郭線は２つ存在する
が、ここでは、その２つの輪郭線（図１５において、細
線と太線で示す）のうち、その線上に、他の特徴点が存
在しない方（図１５において、太線で示す））は、一般
に、１以上のパラメータを用いて表される、ｘpおよび
ｙpを変数とする関数ｆによる式ｆ＝０で定義すること
ができる（関数ｆは、３次元物体の形状ごとに、異なる
型（プログラミングでいうところの実装）を有する）。
【０１０２】即ち、いま、パラメータを、Ｃ1，Ｃ2，・
・・，ＣN（Ｎは１以上の整数）と表すと、特徴点ＰAと
ＰBとの間の輪郭線は、次式により定義することができ
る。
【０１０３】 ｆ（ｘp，ｙp，Ｃ1，Ｃ2，・・・，ＣN）＝０ ・・・（１） 一方、真の輪郭線を構成する画素においては、一般に、
その画素値の、輪郭線と直交する方向の成分が急激に変
化している。従って、式（１）で表されるスクリーン座
標系上の画素の画素値の微分値のうちの、その画素にお
ける法線ベクトル方向（輪郭線と直交する方向）の成分
を最大にするパラメータＣ1，Ｃ2，・・・，ＣNを求め
れば、そのパラメータを用いて表される式（１）によっ
て定義される線が、真の輪郭線を表しているということ
ができる。
【０１０４】そこで、式（１）によって定義される特徴
点ＰAとＰBとの間の輪郭線に相当する線（上述したよう
に、投影画像の輪郭線に相当する、特徴点ＰAとＰBとの
間の線は２つ存在するが、その２つの線のうち、他の特
徴点が存在しない方）について、エネルギＥfを、例え
ば、次式で定義する。
【０１０５】
【数１】
【０１０６】・・・（２） ここで、式（２）において、Σは、式（１）で表される
線上の画素すべてについてのサメーションをとることを
表す。また、▽はナブラ演算子を表し、Ｂ（ｘ p，ｙp）
は、スクリーン座標系の位置（ｘp，ｙp）にある画素の
画素値を表す。さらに、ベクトルｎf（ｘp，ｙp）は、
位置（ｘp，ｙp）にある画素における法線ベクトル（図
１５）（式（１）で表される線に直交する方向のベクト
ル（ここでは、輪郭線に囲まれる領域の、外側または内
側のうちの、例えば、外側方向のベクトルとする）の、
位置（ｘp，ｙp）における単位ベクトル）を表す。ま
た、｜ｘ｜は、ベクトルｘのノルムを表し、・は、内積
を表す。さらに、Ｋは、式（１）で表される線上の画素
の総数を表す。
【０１０７】式（２）における▽Ｂ（ｘp，ｙp）は、式
（１）で表される線上の画素の画素値の微分値、つまり
グラディエントを表すが、これは、ソーベルオペレータ
を用いることで求めることができる。即ち、▽Ｂ
（ｘp，ｙp）は、次式にしたがって求めることができ
る。
【０１０８】 ▽Ｂ（ｘp，ｙp）＝（△xＢ（ｘp，ｙp），△yＢ（ｘp，ｙp）） △xB（xp，yp）＝B（xp＋1，yp−1）＋2B（xp＋1，yp） ＋B（xp＋1，yp＋1）−（B（xp−1，yp−1） ＋2B（xp−1，yp）＋B（xp−1，yp＋1）） △yB（xp，yp）＝B（xp−1，yp＋1）＋2B（xp，yp＋1） ＋B（xp＋1，yp＋1）−（B（xp−1，yp−1） ＋2B（xp，yp−1）＋B（xp＋1，yp−1）） ・・・（３） また、エネルギＥfを最大にするパラメータＣn（ｎ＝
１，２，・・・，Ｎ）は、例えば、次のようにして求め
ることができる。即ち、例えば、パラメータＣnの初期
値を、Ｃn’と表すとすると、パラメータＣnを、Ｃn’
−εn乃至Ｃn’＋εnの範囲で変えて、式（２）を計算
し、その値が最大になるときのパラメータＣnを求めれ
ば良い（εnは、所定の微小値とする）。
【０１０９】具体的には、特徴点ＰAとＰBとの間の輪郭
線が、例えば、線分Ｌであるとすると、式（２）は、次
のように表すことができる。
【０１１０】
【数２】
【０１１１】・・・（４） ここで、Σは、上述したように、式（１）で表される
線、即ち、ここでは、線分Ｌ上の画素すべてについての
サメーションをとることを表す。また、ベクトルｎ
Lは、式（２）におけるベクトルｎf（ｘp，ｙp）に相当
し、線分Ｌの法線ベクトルを表す。さらに、式（４）に
おいて、Ｋは、線分Ｌ上の画素の総数を表す。
【０１１２】一方、特徴点ＰAとＰBとの間の輪郭線が線
分の場合、式（１）は、例えば、３つのパラメータ
Ｃ1，Ｃ2，Ｃ3を用いて、次のように表すことができ
る。
【０１１３】 ｆ（ｘp，ｙp，Ｃ1，Ｃ2，Ｃ3）＝Ｃ1ｘp＋Ｃ2ｙp＋Ｃ3＝０ ・・・（５） そして、いま、特徴点ＰAまたはＰBの座標を、（ｘ1，
ｙ1）または（ｘ2，ｙ2）とそれぞれすると、式（５）
におけるパラメータＣ1，Ｃ2，Ｃ3は、次のように表す
ことができる。
【０１１４】 Ｃ1＝ｙ1−ｙ2，Ｃ2＝−ｘ1＋ｘ2，Ｃ3＝ｘ1ｙ2−ｘ2ｙ1 ・・・（６） 従って、この場合、式（６）で表される値を、パラメー
タＣ1，Ｃ2，Ｃ3の初期値Ｃ1’，Ｃ2’，Ｃ3’として、
それぞれの値を変えながら、式（４）で表されるエネル
ギＥfを計算し、そのエネルギＥfが最大になるときのパ
ラメータＣ1，Ｃ2，Ｃ3を求める。このときのパラメー
タＣ1，Ｃ2，Ｃ3を用いて表される式（５）は、特徴点
ＰAとＰBとの間の真の輪郭線を表しており、従って、式
（５）で表される線上に、特徴点ＰAとＰBを移動すれ
ば、特徴点ＰAとＰBは、真の輪郭線上に移動されること
になる。
【０１１５】なお、特徴点ＰAとＰBとの間の輪郭線が線
分の場合、式（６）から明らかなように、パラメータＣ
1，Ｃ2，Ｃ3を変えるということは、特徴点ＰAまたはＰ
Bのそれぞれの座標（ｘ1，ｙ1）または（ｘ2，ｙ2）を
変えることに相当し、従って、座標ｘ1，ｙ1，ｘ2，ｙ2
が、関数ｆのパラメータであるということができる。
【０１１６】また、特徴点ＰAとＰBとの間の輪郭線が線
分の場合には、式（５）における関数ｆの３つのパラメ
ータＣ1，Ｃ2，Ｃ3すべてについて、特徴点ＰAおよびＰ
Bによって初期値が与えられるが、特徴点ＰAとＰBとの
間の輪郭線が曲線の場合には、関数ｆのパラメータすべ
てについて初期値が与えられるとは限らない。この場
合、初期値が与えられないパラメータについては、あら
かじめ設定しておいた値を、初期値として与えても良い
し、あるいは、初期値とする値を、ユーザに入力させて
も良い。
【０１１７】さらに、上述の場合においては、説明を簡
単にするために、隣接する２つの特徴点だけに注目して
説明を行ったが、この場合、実際の処理では、以下のよ
うな問題が生じることがある。即ち、いま、輪郭線上
に、特徴点＃１、それに隣接する特徴点＃２、さらにそ
れに隣接する特徴点＃３の３つの特徴点が指定されたと
して、特徴点＃１および＃２に注目して、上述の自動補
正処理を行い、さらに、特徴点＃２および＃３に注目し
て自動補正処理を行った場合、特徴点＃１および＃２に
注目して自動補正処理を行って得られる補正後の特徴点
＃２の位置と、特徴点＃２および＃３に注目して自動補
正処理を行って得られる補正後の特徴点＃２の位置とが
ずれることがある。
【０１１８】そこで、実際の処理では、特徴点＃１およ
び＃２の間の輪郭線を定義する式（１）のパラメータ
（以下、適宜、第１のパラメータという）、並びに特徴
点＃２および＃３の間の輪郭線を定義する式（１）のパ
ラメータ（以下、適宜、第２のパラメータという）は、
補正後の特徴点＃２の上述したような位置ずれが生じな
いように変えるのが望ましい。この場合、第１と第２の
パラメータは独立ではなくなり、それらの間の関係は、
補正後の特徴点＃２の位置ずれが生じないという条件に
拘束されるため、例えば、特徴点＃１および＃２に注目
して得られる式（２）のエネルギＥfを最大にする第１
のパラメータと、特徴点＃２および＃３に注目して得ら
れる式（２）のエネルギＥfを最大にする第２のパラメ
ータとが、特徴点＃２の位置ずれが生じないという条件
を満足する関係にならないことがある。そこで、この場
合には、例えば、特徴点＃１および＃２に注目して得ら
れる式（２）のエネルギＥfと、特徴点＃２および＃３
に注目して得られる式（２）のエネルギＥfとの和を最
大にする第１および第２のパラメータを求めるようにす
れば良い。
【０１１９】なお、ここでは、説明を簡単にするため
に、１の特徴点＃２の位置がずれる場合を例にしたが、
このずれが生じることは、同一の輪郭線上にある特徴点
すべてについていえるので、同一の輪郭線上にある、隣
接する特徴点の組の間の輪郭線を定義する式（１）のパ
ラメータは、すべての組について、上述の手法を適用し
て求めるのが望ましい。即ち、同一の輪郭線上にある、
隣接する特徴点の組についてのエネルギＥfの総和を求
め、その総和を最大にするパラメータを求めるのが望ま
しい。
【０１２０】次に、図１６のフローチャートを参照し
て、上述の自動補正処理が図７のステップＳ７で行われ
る場合の処理について、さらに説明する。
【０１２１】なお、ここでは、説明を簡単にするため、
投影画像を四角形とし、その四角形の４つの頂点が、特
徴点Ｐ1乃至Ｐ4として指定されているものとする。
【０１２２】また、この場合、式（５）における３つの
パラメータＣ1，Ｃ2，Ｃ3、つまり、式（６）における
２つの特徴点のｘ座標ｘ1，ｘ2とｙ座標ｙ1，ｙ2を変え
ながら、式（４）で表されるエネルギＥfを計算し、そ
の値を最大にするｘ1，ｘ2，ｙ1，ｙ2を求めることとな
るが、この計算量は比較的多いものとなる。そこで、こ
こでは、計算量を少なくするために、簡略化した手法を
用いることとする。
【０１２３】即ち、ここでは、まず最初に、ステップＳ
３１において、４つの特徴点Ｐ1乃至Ｐ4のうちのいずれ
か１つが、注目特徴点として選択され、ステップＳ３２
に進み、その注目特徴点を通る（その注目特徴点と他の
特徴点とを結んでつくられる）四角形の２つの辺のエネ
ルギＥfがそれぞれ求められる。即ち、例えば、いま、
図１７において、斜線で示す投影画像について、点Ｐ1
乃至Ｐ4が特徴点として指定され、そのうちの特徴点Ｐ4
が注目特徴点として選択されたとする。この場合、ステ
ップＳ３２では、四角形Ｐ1Ｐ2Ｐ3Ｐ4の４辺のうちの、
注目特徴点Ｐ 4を通る辺Ｐ4Ｐ1およびＰ3Ｐ4のエネルギ
Ｅfが求められる。
【０１２４】そして、ステップＳ３３に進み、ステップ
Ｓ３２でエネルギＥfが求められた２つの辺のうち、そ
のエネルギＥfの大きい方が、より投影画像の輪郭に沿
ったものとして選択され、その辺を延長した直線（この
直線も、以下、適宜、エッジ直線という）に沿って、注
目特徴点が移動される。そして、その移動後の位置にお
ける注目特徴点と、それに隣接する２つの特徴点それぞ
れとがつくる２つの辺のエネルギＥfが算出される。即
ち、例えば、図１７において、特徴点Ｐ4が注目特徴点
とされている場合に、辺Ｐ4Ｐ1またはＰ3Ｐ4のエネルギ
Ｅfのうちの、例えば、辺Ｐ3Ｐ4のエネルギの方が、辺
Ｐ4Ｐ1のエネルギに比較して大のときには、注目特徴点
Ｐ4が、図中、矢印Ｄで示すように、直線Ｐ3Ｐ4に沿っ
て移動される。そして、その移動後の注目特徴点Ｐ4と
それに隣接する１の特徴点Ｐ3とがつくる辺Ｐ3Ｐ4のエ
ネルギＥf、および移動後の注目特徴点Ｐ4とそれに隣接
する他の１の特徴点Ｐ1とがつくる辺Ｐ4Ｐ1のエネルギ
Ｅfが求められる。
【０１２５】その後、ステップＳ３４に進み、ステップ
Ｓ３３で求められた２つの辺のエネルギＥfの和が最大
値となっているかどうかが判定され、最大値になってい
ないと判定された場合、ステップＳ３３に戻り、注目特
徴点が、再度、エッジ直線に沿って移動され、以下、同
様の処理が繰り返される。
【０１２６】一方、ステップＳ３４において、ステップ
Ｓ３３で求められた２つの辺のエネルギＥfの和が最大
値となっていると判定された場合、即ち、例えば、上述
したように、注目特徴点Ｐ4を、直線Ｐ3Ｐ4に沿って移
動することにより、辺Ｐ4Ｐ1の法線ベクトルｎ14が、本
来、特徴点Ｐ1およびＰ4によって指定されるべき２つの
頂点を結ぶ辺に、ほぼ直交するようになった場合、ステ
ップＳ３５に進み、ユーザによって指定された特徴点Ｐ
1乃至Ｐ4すべてを、注目特徴点として処理を行ったかど
うかが判定され、まだ、ユーザによって指定された特徴
点Ｐ1乃至Ｐ4すべてを、注目特徴点として処理を行って
いないと判定された場合、ステップＳ３１に戻り、ま
だ、注目特徴点とされていない特徴点が、新たに注目特
徴点として選択され、ステップＳ３２以下の処理を繰り
返す。
【０１２７】また、ステップＳ３５において、ユーザに
よって指定された特徴点Ｐ1乃至Ｐ4すべてを、注目特徴
点として処理を行ったと判定された場合、ステップＳ３
６に進み、特徴点Ｐ1乃至Ｐ4の中で、前回のステップＳ
３３の処理で移動した移動量（移動前の特徴点と、移動
後の特徴点との間の距離）が、所定の閾値εより大きい
ものがあるかどうかが判定される。ステップＳ３６にお
いて、特徴点Ｐ1乃至Ｐ4の中で、前回のステップＳ３３
の処理で移動した移動量が、所定の閾値εより大きいも
のがあると判定された場合、ステップＳ３１に戻り、以
下、同様の処理を繰り返す。即ち、再び、特徴点Ｐ1乃
至Ｐ4を、順次、注目特徴点として、各注目特徴点がつ
くる２つの辺のエネルギの和が最大となるように、その
位置が移動される。
【０１２８】一方、ステップＳ３６において、特徴点Ｐ
1乃至Ｐ4の中で、前回のステップＳ３３の処理で移動し
た移動量が、所定の閾値εより大きいものがないと判定
された場合、即ち、前回のステップＳ３３の処理におい
て、特徴点Ｐ1乃至Ｐ4のうちのいずれも、ほとんど移動
されなかった場合、リターンする。
【０１２９】次に、図４のコピー操作処理部１２または
ペースト操作処理部１３では、上述したようして補正さ
れた特徴点と、形状情報とを用いて、逆変換式または順
変換式がそれぞれ算出されるが、この逆変換式および順
変換式の算出方法について説明する。
【０１３０】例えば、カメラ９（図３）によって、図１
８（Ａ）に示すような３次元空間にある３次元物体を撮
影した場合、カメラ９が出力する２次元画像には、図１
８（Ｂ）に示すように、その３次元物体をスクリーンに
投影した投影像（投影画像）が表示される。従って、画
像バッファ（ペーストバッファを除く）には、このよう
な投影画像が表示された２次元画像が記憶される。
【０１３１】一方、ペーストバッファには、図１８
（Ｃ）に示すように、３次元空間にある３次元物体の表
面（図１８（Ａ））を２次元平面に展開した展開画像が
記憶される。即ち、３次元物体の面が平面であれば、例
えば、その平面を正面から見た２次元画像が、ペースト
バッファに記憶される。また、３次元物体の面が円柱の
側面であれば、例えば、その側面を、２次元平面上に展
開して長方形状にした２次元画像が、ペーストバッファ
に記憶される。さらに、３次元物体の面が球面であれ
ば、例えば、地図の作成で用いられる正距円筒図法その
他の手法で、その球面を、２次元平面上に展開した２次
元画像が記憶される。また、例えば、３次元物体の面が
ベジェ（Bezier）曲面などの２つの助変数ｓ，ｔで表さ
れる３次の曲面であれば、助変数ｓまたはｔをそれぞれ
横軸または縦軸にして、その曲面を２次元平面に展開し
た２次元画像が、ペーストバッファに記憶される。さら
に、例えば、３次元物体が回転体であれば、その円周の
方向または回転軸の方向をそれぞれ横軸または縦軸にし
て、その回転体を２次元平面に展開して２次元画像が、
ペーストバッファに記憶される。
【０１３２】コピー処理では、図１８（Ｂ）に示したよ
うに、注目バッファに記憶された２次元画像に表示され
た３次元物体の（面の）投影画像上の幾つかの特徴点
（図１８（Ｂ）において、■印で示す部分）と、その３
次元物体の（面の）形状情報を指定すると、逆変換式が
算出され、その逆変換式にしたがい、図１８（Ｂ）に示
したような投影画像から、図１８（Ｃ）に示したような
展開画像が生成され、ペーストバッファに記憶される。
また、ペースト処理では、図１８（Ｂ）に示したよう
に、注目バッファにおいて、３次元物体の（面の）投影
画像を貼り付ける領域上の幾つかの特徴点（図１８
（Ｂ）において、■印で示す部分）と、その３次元物体
の（面の）形状情報を指定すると、順変換式が算出さ
れ、その順変換式にしたがい、ペーストバッファに記憶
された、図１８（Ｃ）に示したような画像（展開画像）
から、図１８（Ｂ）に示したような投影画像が生成さ
れ、画像バッファに貼り付けられる。
【０１３３】従って、逆変換式および順変換式の算出に
あたっては、３次元空間上にある３次元物体、その投影
画像、およびその展開画像の相互の関係が問題となる。
【０１３４】そこで、いま、例えば、図１９に示すよう
に、展開画像についての２次元座標系、３次元物体につ
いての３次元座標系、および投影画像についての２次元
座標系を考える。なお、展開画像についての２次元座標
系におけるｘ，ｙ座標はｘe，ｙeと、３次元物体につい
ての３次元座標系におけるｘ，ｙ，ｚ座標はｘo，ｙ o，
ｚoと、投影画像についての２次元座標系におけるｘ，
ｙ座標はｘp，ｙpと、それぞれ表す。また、点（ｘp，
ｙp）における投影画像の画素値（注目バッファの記憶
値）をＢ（ｘp，ｙp）と、点（ｘe，ｙe）における展開
画像の画素値（ペーストバッファの記憶値）をＣ
（ｘe，ｙe）と、それぞれ表す。また、展開画像を、３
次元物体の表面に貼り付ける写像をψと、３次元物体を
投影画像に変換する写像をＭと、それぞれ表す。
【０１３５】ここで、展開画像についての２次元座標
系、３次元物体についての３次元座標系、および投影画
像についての２次元座標系は、任意にとることができ
る。即ち、例えば、３次元物体についての３次元座標系
は、その３次元物体の表現に都合の良い形でとることが
可能である。具体的には、例えば、３次元物体が円柱で
ある場合には、２つの底面である円のうちのいずれか一
方の中心を原点（０，０，０）とし、その回転軸（２つ
の底面である円の中心どうしを結ぶ直線）をｙo軸に一
致させるようにすることができる。また、例えば、３次
元物体の面が長方形である場合には、例えば、その長方
形の４つの頂点のうちの最も左下のものを原点（０，
０，０）とし、その長方形の横軸または縦軸を、それぞ
れｘo軸またはｙo軸に一致させるようにすることができ
る。
【０１３６】３次元物体上の点（ｘo，ｙo，ｚo）と、
展開画像上の点（ｘe，ｙe）とは、１対１に対応し、そ
れらの間の関係、即ち、写像ψ（またはψ-1）は、幾何
学的計算により求めることができる。従って、３次元物
体上の点（ｘo，ｙo，ｚo）と、投影画像上の点（ｘp，
ｙp）との関係、即ち、写像Ｍ（またはＭ-1）が分かれ
ば、展開画像上の点（ｘe，ｙe）を、投影画像上の点
（ｘp，ｙp）に変換する写像Ｍψを求めることができ
る。
【０１３７】しかしながら、３次元物体と投影画像とだ
けに注目した場合、写像Ｍは、３次元物体上の点
（ｘo，ｙo，ｚo）が、投影画像上の点（ｘp，ｙp）の
いずれに投影されているのかが分からなければ求めるこ
とができない。そして、３次元物体上の点（ｘo，ｙo，
ｚo）が、投影画像上の点（ｘp，ｙp）のいずれに投影
されているのかを、投影画像から求めるためには、基本
的に、前述したような、複数の２次元画像を用意して三
角測量の原理を用いる必要がある。さらに、３次元物体
の３次元モデルを表すために、３次元空間における３次
元物体上の点（ｘo，ｙo，ｚo）を、視点（後述するカ
メラ座標の原点）から見たときの３次元のデータを、テ
ンポラリとして保持しておくためのメモリが必要とな
り、また、そのような３次元のデータを取り扱う計算も
必要となる。
【０１３８】そこで、ここでは、ユーザによって与えら
れる形状情報に基づいて、写像ψを求めるとともに、ユ
ーザによって与えられる特徴点に基づいて、写像Ｍを求
め、さらに、展開画像と投影画像との関係、即ち、展開
画像を投影画像に変換する写像Ｍψを求めることとす
る。なお、この写像Ｍψが順変換式であり、この写像Ｍ
ψに相当する変換の逆変換を行う写像（Ｍψ）-1が逆変
換式である。従って、逆変換式は、写像Ｍψの逆行列
を、例えば、ガウスの消去法などを用いて計算すること
で求めることができる。
【０１３９】このように、逆変換式（Ｍψ）-1は、順変
換式Ｍψを求めれば、容易に求めることができるので、
ここでは、順変換式Ｍψの算出方法について説明する。
【０１４０】上述したように、３次元物体上の点
（ｘo，ｙo，ｚo）と、展開画像上の点（ｘe，ｙe）と
は、１対１に対応するため、点（ｘo，ｙo，ｚo）は、
写像ψと、点（ｘe，ｙe）を用いて、式（７）のように
表すことができる。
【０１４１】
【数３】
【０１４２】・・・（７） いま、３次元空間において、３次元物体をカメラ９で撮
影して、その投影画像を得た場合、カメラ９の位置（ｘ
c，ｙc，ｚc）を表す３次元座標（以下、適宜、カメラ
座標という）を考えることができ、点（ｘo，ｙo，
ｚo）のカメラ座標（ｘc，ｙc，ｚc）は、３次元空間に
おける回転移動を表す９の要素をｒ11，ｒ1 2，ｒ13，ｒ
21，ｒ22，ｒ23，ｒ31，ｒ32，ｒ33とするとともに、３
次元空間における平行移動を表す３つの要素をｔ1，
ｔ2，ｔ3として、次式で表すことができる。
【０１４３】
【数４】
【０１４４】・・・（８） 投影画像上の点（ｘp，ｙp）は、カメラ座標における３
次元物体上の点（ｘc，ｙc，ｚc）をスクリーン上に投
影したものであり、この変換は、前述の文献１などに記
載されているように、透視変換（射影変換）であるか
ら、分母と分子のいずれもが、ｘ座標、ｙ座標、ｚ座標
のうちのいずれかの一次式（ｘ，ｙ，ｚのうちのいずれ
かの１次の項と定数項）であるような有理式で表すこと
ができる。即ち、ｗを、同次座標を表す任意の数とする
と、スクリーン上の投影画像の点（ｘp，ｙp）は、同次
座標により、例えば、式（９）のように表すことができ
る。
【数５】 ・・・（９） ここで、カメラ９の焦点距離をｆとするとともに、カメ
ラ座標系におけるスクリーンの１画素の横または縦の長
さを、それぞれｈまたはｖとした場合において、式
（９）におけるｆhまたはｆvは、ｆ×ｈまたはｆ×ｖを
それぞれ表す。
【０１４５】式（９）から明らかなように、同次座標の
ｘ座標ｗｘpまたはｙ座標ｗｙpを、そのｚ座標ｗで除算
した値が、投影画像のｘ座標ｘpまたはｙ座標ｙpとな
る。
【０１４６】式（７）乃至（９）から、式（１０）を導
くことができる。
【０１４７】
【数６】
【０１４８】・・・（１０） 式（１０）において、Ｍは、図１９からも明らかなよう
に、ψ（ｘe，ｙe）、つまり（ｘo，ｙo，ｚo）を、
（ｘp，ｙp）に変換する行列であり、次式のように表さ
れる。
【数７】 ・・・（１１） 式（１０）におけるψ（ψ1，ψ2，ψ3）は、ユーザに
よって与えられる形状情報に基づき、幾何学的計算によ
って求めることができる。また、式（１０）における行
列Ｍは、ユーザによって与えられる特徴点に基づいて求
めることができる。即ち、行列Ｍは、式（１１）に示す
ように、一般には、１１の要素ｍ11，ｍ 12，ｍ13，
ｍ14，ｍ21，ｍ22，ｍ23，ｍ24，ｍ31，ｍ32，ｍ33を未
知数として有するから、例えば、投影画像上の、自由度
が２の５点と、自由度が１の１点との合計６点が特徴点
として指定されれば、ｍ11乃至ｍ14，ｍ21乃至ｍ24，ｍ
31乃至ｍ33を求めることができる。なお、投影画像上
の、上述の６点を超える数の点が指定された場合には、
例えば、最小自乗法などを用いることで、１１の要素ｍ
11乃至ｍ14，ｍ21乃至ｍ24，ｍ31乃至ｍ33を求める。
【０１４９】以上のように、ここでは、行列Ｍは、ユー
ザによって与えられる特徴点に基づいて求めることとし
ているため、カメラ座標における３次元物体の３次元の
データを取り扱う必要がなく、従って、その３次元のデ
ータを用いた計算も行う必要がない。さらに、同一の３
次元物体を複数の位置から撮影した複数の２次元画像を
用いる必要もない。即ち、ある位置から３次元物体を撮
影した１つの２次元画像から、行列Ｍを求めることがで
きる。その結果、写像Ｍψ（および（Ｍψ）-1）も、カ
メラ座標における３次元のデータを用いた計算を行った
り、また、複数の２次元画像を用いたりすることなく求
めることができる。
【０１５０】次に、３次元物体として、幾つかのプリミ
ティブな形状のものを用いた場合のψおよびＭの算出方
法について説明する。
【０１５１】３次元物体が、例えば、直方体である場合
においては、式（７）のψ、即ち、直方体のある面（長
方形）の、３次元空間上の点（ｘo，ｙo，ｚo）と、展
開画像上の点（ｘe，ｙe）との関係は、例えば、次のよ
うに表すことができる。
【０１５２】
【数８】
【０１５３】・・・（１２） 但し、ここでは、投影画像についての２次元座標（以
下、適宜、スクリーン座標という）として、３次元物体
についての３次元座標（以下、適宜、単に、３次元座標
という）におけるｚo＝０の平面上の座標であって、
ｘ，ｙ座標が等しいもの（ｘe＝ｘo，ｙe＝ｙo）、つま
り、３次元物体についての３次元座標系のｘｙ平面を使
用することとしている。また、３次元座標系としては、
直方体のある面のうちの１の頂点が、原点に一致し、か
つその面が、ｘｙ平面に含まれるようなものを用いるこ
ととしている。
【０１５４】式（１２）では、ｚo＝０であるから、式
（１１）における行列Ｍの第３列ｍ1 3，ｍ23，ｍ33は不
要となる。即ち、この場合、式（１０）は、次のように
表すことができる。
【０１５５】
【数９】
【０１５６】・・・（１３） 従って、この場合、求めるべき行列Ｍの要素は、ｍ11，
ｍ12，ｍ14，ｍ21，ｍ 22，ｍ24，ｍ31，ｍ32の８個であ
るから、展開画像上の４点に対応する投影画像上の４点
を特徴点として指定すれば（４つの特徴点のｔp，ｙp座
標の合計で８個の情報を与えれば）、これらの８個の要
素ｍ11，ｍ12，ｍ14，ｍ21，ｍ22，ｍ24，ｍ31，ｍ32を
求めることができる。
【０１５７】３次元物体が直方体である場合において
は、その面（長方形）の投影画像は、例えば、図２０
（Ａ）に示すような四角形となる。そこで、ここでは、
ユーザに、例えば、四角形の投影画像の４つの頂点を、
特徴点として指定してもらうこととする。また、ここで
は、例えば、図２０（Ａ）に示したように、四角形の投
影画像の頂点を、左上の頂点から時計回りに、点Ｐ1，
Ｐ2，Ｐ3，Ｐ4とそれぞれするとともに、図２０（Ｂ）
に示すように、ペーストバッファに長方形状に記憶され
る展開画像の頂点を、左上の頂点から時計回りに、点Ｅ
1，Ｅ2，Ｅ3，Ｅ4とそれぞれして、点Ｐ1とＥ1、点Ｐ2
とＥ2、点Ｐ3とＥ3、点Ｐ4とＥ4を、それぞれ対応させ
ることとする。
【０１５８】さらに、展開画像についての２次元座標
（以下、適宜、ペーストバッファ座標という）系におけ
る点Ｅ1，Ｅ2，Ｅ3，Ｅ4の座標を、それぞれ（０，
０），（Ｌ W，０），（ＬW，ＬH），（０，ＬH）とす
る。ここで、ＬWまたはＬHは、それぞれ、長方形状の展
開画像の横または縦の長さを表し、ペーストバッファの
容量の許す範囲で、ユーザが任意に設定することが可能
である。また、ＬWおよびＬHは、このようにユーザに設
定させる他、展開画像が、ペーストバッファの、例えば
８０％などの所定の割合の大きさ（面積）となるような
ものに定めておくことも可能である。
【０１５９】この場合、ユーザによって指定された特徴
点としての点Ｐ1，Ｐ2，Ｐ3，Ｐ4のスクリーン座標を、
それぞれ（ｘp1，ｙp1）,（ｘp2，ｙp2）,（ｘp3，
ｙp3）,（ｘp4，ｙp4）とすると、式（１０）から、次
式が成り立つ。
【０１６０】
【数１０】
【０１６１】・・・（１４） 但し、式（１４）において、ｗ1，ｗ2，ｗ3，ｗ4は、同
次座標を表す任意の数である。
【０１６２】式（１４）における行列Ｍは、式（１３）
における８個の要素ｍ11，ｍ12，ｍ 14，ｍ21，ｍ22，ｍ
24，ｍ31，ｍ32を未知数とするものであり、また、式
（１４）からは、８つの方程式をたてることができるか
ら、８個の未知数ｍ11，ｍ12，ｍ14，ｍ21，ｍ22，
ｍ24，ｍ31，ｍ32、即ち、行列Ｍを求めることができ
る。なお、行列Ｍを求めるための特徴点としては、基本
的に、ユーザによって指定された特徴点を、上述の自動
補正処理により補正したものが用いられる。
【０１６３】３次元物体が、直方体である場合におい
て、その面（長方形）を対象にコピー処理またはペース
ト処理を行うときには、式（１２）によりψを求めると
ともに、式（１４）からＭを求める。そして、ペースト
処理の場合は、写像Ｍψがそのまま順変換式とされ、コ
ピー処理の場合は、写像Ｍψの逆行列が求められ、逆変
換式とされる。ここで、３次元物体が直方体である場合
に限らず、ペースト処理において用いられる変換式は、
写像Ｍψがそのまま使用されるため順変換式と呼び、コ
ピー処理において用いられる変換式は、写像Ｍψの逆写
像が使用されるため逆変換式と呼んでいる。
【０１６４】コピー処理を行う場合においては、画像変
換処理部２０において、注目バッファの、図２０（Ａ）
に示した投影画像である四角形Ｐ1Ｐ2Ｐ3Ｐ4内の画素そ
れぞれが、逆変換式（Ｍψ）-1にしたがい、ペーストバ
ッファの、図２０（Ｂ）に示した長方形Ｅ1Ｅ2Ｅ3Ｅ4内
の対応する位置に書き込まれる。
【０１６５】なお、注目バッファの１画素が、ペースト
バッファの複数の画素に対応する場合には、その複数の
画素すべてについて、注目バッファの１画素の画素値を
書き込むようにしても良いし、また、注目バッファの複
数の画素を用いて補間を行うことにより補間値を求め、
その補間値を、ペーストバッファに書き込むようにして
も良い。即ち、例えば、注目バッファのある画素Ａが、
ペーストバッファの隣接する２つの画素ａ1，ａ2に対応
する場合には、画素ａ1には、画素Ａの画素値を書き込
み、画素ａ2には、画素Ａと、それに隣接する注目バッ
ファの画素との画素値の平均値等を書き込みようにする
ことができる。
【０１６６】逆に、注目バッファの複数の画素が、ペー
ストバッファの１画素に対応する場合には、例えば、そ
の複数の画素のうちのいずれか１の画素値を、ペースト
バッファに書き込んでも良いし、その複数の画素に対し
てフィルタをかけることにより重み付け加算値などを求
め、その重み付け加算値を、ペーストバッファに書き込
んでも良い。
【０１６７】ここで、ペーストバッファへの画素値の書
き込みは、逆変換式（Ｍψ）-1にしたがっていれば、上
述のように、注目バッファの投影画像の各画素が、ペー
ストバッファの展開画像のどの画素に変換されるのかを
計算して行っても良いし、逆に、展開画像の各画素に変
換されるのが、投影画像のどの画素なのかを計算して行
っても良い。
【０１６８】一方、ペースト処理を行う場合において
は、画像変換処理部２０において、ペーストバッファ
の、図２０（Ｂ）に示した展開画像である長方形Ｅ1Ｅ2
Ｅ3Ｅ4内の画素それぞれが、順変換式Ｍψにしたがい、
注目バッファの、図２０（Ａ）に示した四角形Ｐ1Ｐ2Ｐ
3Ｐ4内の対応する位置に書き込まれ、これにより、注目
バッファに記憶された２次元画像上に、投影画像が貼り
付けられる。
【０１６９】なお、ペーストバッファの１画素が、注目
バッファの複数の画素に対応する場合には、コピー処理
における場合と同様に、その複数の画素すべてについ
て、ペーストバッファの１画素の画素値を書き込むよう
にしても良いし、また、ペーストバッファの複数画素を
用いて補間を行うことにより補間値を求め、その補間値
を書き込むようにしても良い。
【０１７０】逆に、ペーストバッファの複数の画素が、
注目バッファの１画素に対応する場合には、例えば、そ
の複数の画素のうちのいずれか１の画素値を、注目バッ
ファに書き込んでも良いし、その複数の画素に対してフ
ィルタをかけることにより重み付け加算値などを求め、
その重み付け加算値を、注目バッファに書き込んでも良
い。
【０１７１】ここで、注目バッファへの画素値の書き込
みも、順変換式Ｍψにしたがっていれば、上述のよう
に、ペーストバッファの展開画像の各画素が、注目バッ
ファの投影画像のどの画素に変換されるのかを計算して
行っても良いし、逆に、投影画像の各画素に変換される
のが、展開画像のどの画素なのかを計算して行っても良
い。
【０１７２】次に、３次元物体が、例えば、円柱である
場合において、その側面の展開画像を生成してペースト
バッファに記憶させるコピー処理、またはペーストバッ
ファに記憶された画像を円柱の側面に貼り付けるペース
ト処理を行うときには、次のようにして、逆変換式また
は順変換式がそれぞれ算出される。
【０１７３】即ち、この場合、図２１（Ａ）に示すよう
に、３次元空間における円柱の位置を表す３次元座標と
して、その上方または下方の底面（円）のうちの、例え
ば、上方の底面の中心を原点（０，０，０）とし、上方
の底面から下方の底面の方向にｙo軸をとり、さらに、
後述する点Ｏ5の方向から上方の底面の中心の方向にｚ o
軸をとったものを考える（ｘo軸は、ｙo軸からｚo軸の
方向に右ねじを回した場合に、その右ねじが進行する方
向にとる）。
【０１７４】そして、例えば、いま、注目バッファの２
次元画像に、図２１（Ａ）の円柱を、点Ｏ5の手前の上
方から撮影して得られる投影画像が表示されているとす
る。この場合、円柱の投影画像は、例えば、図２１
（Ｂ）に影を付して示すようなものとなる。
【０１７５】図２１（Ｂ）において、点Ｐ1およびＰ2、
または点Ｐ3およびＰ4は、投影画像における円柱の側面
と、その上方または下方の底面との交線（図２１（Ｂ）
において太線で示す部分）の端点をそれぞれ表してい
る。即ち、点Ｐ1は、投影画像における円柱の側面の左
側の輪郭線と円柱の上方の底面との交点を、点Ｐ2は、
投影画像における円柱の側面の右側の輪郭線と円柱の上
方の底面との交点を、点Ｐ3は、投影画像における円柱
の側面の右側の輪郭線と円柱の下方の底面との交点を、
点Ｐ4は、投影画像における円柱の側面の左側の輪郭線
と円柱の下方の底面との交点を、それぞれ表している。
【０１７６】そして、図２１（Ａ）における点Ｏ1，
Ｏ2，Ｏ3，Ｏ4は、図２１（Ｂ）における点Ｐ1，Ｐ2，
Ｐ3，Ｐ4にそれぞれ対応している。
【０１７７】また、図２１（Ａ）における点Ｏ5は、弧
Ｏ1Ｏ2（投影画像として見える弧）を２等分する点であ
り、図２１（Ｂ）における点Ｐ5は、この点Ｏ5に対応し
ている。さらに、図２１（Ａ）における点Ｏ6も、弧Ｏ3
Ｏ4（投影画像として見える弧）を２等分する点であ
り、図２１（Ｂ）における点Ｐ6は、この点Ｏ6に対応し
ている。
【０１７８】ここで、上述したように、ｚo軸は、点Ｏ5
の方向から上方の底面の中心の方向を向いており、また
原点である上方の底面の中心を通るから、点Ｏ5は、ｙo
ｚo平面、即ち、ｘo＝０の平面内にある。従って、点Ｏ
6も、ｘo＝０の平面内にある。
【０１７９】また、図２１（Ｂ）において、点Ｐ7は、
円柱の消失点、即ち、直線Ｐ1Ｐ4とＰ2Ｐ3との交点を表
しており、従って、点Ｐ6は、点Ｐ5とＰ7とを結ぶ直線
上に位置する。即ち、点Ｐ6の自由度は、直線Ｐ5Ｐ7の
方向の１つしかない。
【０１８０】図２１（Ａ）における角度θ（ラジアン）
は、点Ｏ1、上方の底面の中心（ここでは、３次元座標
の原点となっている）、および点Ｏ2がつくる角度であ
り（従って、点Ｏ3、下方の底面の中心、および点Ｏ4が
つくる角度でもある）、円柱の底面の半径をｒと表す
と、円柱の側面の投影画像の部分に対応する展開画像が
ペーストバッファに記憶されるとした場合には、半径ｒ
と角度θとの関係は、次のように表すことができる（但
し、ここでは、例えば、円柱の底面の円周方向が、展開
画像の横方向に対応するものとする）。
【０１８１】 ｒ＝ＬW／θ ・・・（１５） 但し、ＬWは、上述したように、展開画像の横幅（横の
長さ）を表す。
【０１８２】また、角度φを、次のようにおく。
【０１８３】 φ＝θ（ｘe−ＬW／２）／ＬW ・・・（１６） なお、ｘeは、ペーストバッファ座標系のｘ座標（水平
方向の座標）を表すが、以下、ペーストバッファ座標系
は、例えば、長方形状の展開画像の左上の頂点を原点と
し、左から右方向または上から下方向に、ｘe軸または
ｙe軸をとるものとする。
【０１８４】円柱について、角度φを式（１６）のよう
においた場合、式（７）のψ、即ち、円柱の側面の、３
次元空間上の点（ｘo，ｙo，ｚo）と、展開画像上の点
（ｘe，ｙe）との関係は、図２１（Ａ）の円柱の展開図
を考えることにより、次のように表すことができる。
【０１８５】
【数１１】
【０１８６】・・・（１７） この場合は、図２０で説明した場合と異なり、行列Ｍに
おいて不要となる要素はなく、従って、式（１１）で説
明した１１の要素ｍ11乃至ｍ14，ｍ21乃至ｍ24，ｍ31乃
至ｍ33を求める必要がある。この１１の要素ｍ11乃至ｍ
14，ｍ21乃至ｍ 24，ｍ31乃至ｍ33は、上述したように、
投影画像上の、所定の５点と、自由度が１の１点との合
計６点が、特徴点として指定されれば求めることができ
る。
【０１８７】そこで、ここでは、ユーザに、例えば、図
２１（Ｂ）に示した６点Ｐ1乃至Ｐ6を特徴点として指定
してもらう。また、ここでは、図２１（Ｃ）に示すよう
に、ペーストバッファに長方形状に記憶される展開画像
の頂点を、左上の頂点から時計回りに、点Ｅ1，Ｅ2，Ｅ
3，Ｅ4とそれぞれするとともに、線分Ｅ1Ｅ2またはＥ 3
Ｅ4を２等分する点を、それぞれ点Ｅ5またはＥ6とし
て、点Ｐ1とＥ1、点Ｐ2とＥ2、点Ｐ3とＥ3、点Ｐ4と
Ｅ4、点Ｐ5とＥ5、点Ｐ6とＥ6を、それぞれ対応させる
こととする。
【０１８８】さらに、ペーストバッファ座標系における
点Ｅ1，Ｅ2，Ｅ3，Ｅ4，Ｅ5，Ｅ6の座標を、それぞれ
（０，０），（ＬW，０），（ＬW，ＬH），（０，
ＬH），（Ｌ W／２，０），（ＬW／２，ＬH）とする。
【０１８９】以上の関係を用いて、式（１０）にしたが
い、１１の要素ｍ11乃至ｍ14，ｍ21乃至ｍ24，ｍ31乃至
ｍ33について方程式をたてて解くことで、これらの１１
の要素ｍ11乃至ｍ14，ｍ21乃至ｍ24，ｍ31乃至ｍ33、即
ち、行列Ｍを求めることができる。
【０１９０】ここで、この場合、行列Ｍを求めるのに用
いる特徴点Ｐ1乃至Ｐ6は、自動補正処理により補正され
るが、特徴点Ｐ5またはＰ6のうちのいずれか一方は、さ
らに、他方の特徴点を自動補正処理により補正したもの
と、消失点Ｐ7とを結ぶ直線上に位置するように補正さ
れる。即ち、例えば、特徴点Ｐ5またはＰ6のうちの一方
の特徴点である、例えば、特徴点Ｐ6は、自動補正処理
により補正され、さらに、他方の特徴点Ｐ5を自動補正
処理により補正したものと、消失点Ｐ7とを結ぶ直線上
に位置するように補正される。これは、特徴点Ｐ6は、
上述したように自由度が１の点であるからである。
【０１９１】なお、図２１（Ａ）の円柱の高さが、図２
１（Ｃ）の展開画像の縦の長さＬHに等しいとすると、
点Ｏ1，Ｏ2，Ｏ3，Ｏ4，Ｏ5，Ｏ6の座標は、それぞれ、
（−ｒｓｉｎ（θ／２），０，−ｒｃｏｓ（θ／
２）），（ｒｓｉｎ（θ／２），０，−ｒｃｏｓ（θ／
２）），（ｒｓｉｎ（θ／２），ＬH，−ｒｃｏｓ（θ
／２）），（−ｒｓｉｎ（θ／２），ＬH，−ｒｃｏｓ
（θ／２）），（０，０，−ｒ），（０，ＬH，−ｒ）
となる。
【０１９２】上述したようにして円柱について求められ
る行列Ｍは、図２１（Ａ）における角度θの関数になっ
ており、従って、この角度θを求める必要がある。さら
に、図２１（Ｂ）においては、２次元画像に、特徴点Ｐ
5と消失点Ｐ7とを結ぶ直線が、ｙp軸と平行になるよう
な円柱の投影画像が表示されているが、一般には、円柱
の投影画像は、例えば、図２２に示すように、特徴点Ｐ
5と消失点Ｐ7とを結ぶ直線が、ｙp軸に対して傾いてい
るようなものとなっていることが多い。
【０１９３】そこで、特徴点Ｐ5と消失点Ｐ7とを結ぶ直
線が、ｘp軸となす角度をαとして、θを求める方法に
ついて説明する。
【０１９４】この場合、スクリーン座標系の座標軸であ
るｘp軸およびｙp軸を、反時計回りにαだけ回転した座
標軸であるｘp’軸およびｙp’軸を考えれば、その座標
軸と、円柱の投影像との関係は、図２１（Ｂ）に示した
場合に一致する。そこで、そのように、ｘp軸およびｙp
軸を、反時計回りにαだけ回転したｘp’軸およびｙp’
軸によって規定される座標系を考えて、θを求めること
とする。
【０１９５】この場合、点（ｘp，ｙp）と点（ｘp’，
ｙp’）との関係は、同次座標を用いて、次式のように
表すことができる。
【０１９６】
【数１２】
【０１９７】・・・（１８） そして、行列Ｍ’を、例えば、次のように定義する。
【数１３】 ・・・（１９） 但し、式（１９）におけるＭは、式（１１）で表され
る。
【０１９８】この場合、式（１０）および（１５）乃至
（１９）により、次式が導かれる。
【０１９９】 ｘp’＝（ｍ11’ｒｓｉｎφ＋ｍ12’ｙe−ｍ13’ｒｃｏｓφ＋ｍ14’） ／（ｍ31’ｒｓｉｎφ＋ｍ32’ｙｅ−ｍ33’ｒｃｏｓφ＋１） ｙp’＝（ｍ21’ｒｓｉｎφ＋ｍ22’ｙe−ｍ23’ｒｃｏｓφ＋ｍ24’） ／（ｍ31’ｒｓｉｎφ＋ｍ32’ｙe−ｍ33’ｒｃｏｓφ＋１） ・・・（２０） 即ち、図２１（Ａ）に示した３次元物体としての円柱に
おいて、投影画像として表示される弧Ｏ1Ｏ5Ｏ2上に、
点Ｏをとると、その点Ｏは、図２１（Ｂ）の投影画像上
の弧Ｐ1Ｐ5Ｐ2上の点Ｐとして投影される。そして、こ
の点Ｐが、図２１（Ｃ）に示すように、ペーストバッフ
ァ座標系において、点Ｅに対応するとすると、この点Ｅ
の、点Ｅ5を基準とする、ｘe座標は、ｘe−Ｌw／２で表
すことができる。
【０２００】また、図２１（Ｃ）のペーストバッファ座
標系において、点Ｅ5または点Ｅは、図２１（Ａ）の３
次元空間にある円柱上の点Ｏ5またはＯにそれぞれ対応
するから、点Ｅの、点Ｅ5を基準とした、ｘe座標である
ｘe−Ｌw／２は、図２１（Ａ）の円柱において、点Ｏ5
を基準とする、円柱の上面（上方の底面）の円周に沿っ
た点Ｏの位置に対応する。
【０２０１】即ち、上述の式（１６）で定義されるφ
は、点Ｏ5、原点、および点Ｏがつくる角度を表し、式
（２０）で表されるｘp’およびｙp’は、点Ｏに対応す
る投影画像上の点Ｐの座標を表す。
【０２０２】いま、点Ｏを、点Ｏ5を基準として、円柱
の上面の円周に沿って移動していった場合、即ち、角度
φを、０ラジアンから変えていった場合、点Ｏに対応す
る、投影画像上の点Ｐも、点Ｐ5を基準として、弧Ｐ5Ｐ
2上や、弧Ｐ5Ｐ1上を移動していくが、その点Ｐ、消失
点Ｐ7、および点Ｐ5がつくる角度を、図２３に示すよう
に、νとする。
【０２０３】ここで、点Ｐの座標は、式（２０）で求め
られる（ｘp’、ｙp’）で表される。従って、点Ｐ7の
座標を（ｘp7’、ｙp7’）と表すと、角度νは、次式で
求めることができる（図２３）。
【０２０４】 ν＝ｔａｎ-1（｜ｙp’−ｙp7’｜／｜ｘp’−ｘp7’｜） ・・・（２１） 角度νは、点Ｐが移動すること、即ち、角度φが変化す
ることによって変化するから、角度φの関数となってい
る。
【０２０５】図２３において、線分Ｐ5Ｐ7を基準とし
て、右回りの方向を、角度νの正の方向とすると、角度
νは、点Ｐが、点Ｐ2に一致したときに最大となり、点
Ｐ1に一致したときに最小となる。
【０２０６】そして、点Ｐが、点Ｐ1または点Ｐ2に一致
するのは、式｜φ｜＝θ／２が成り立つ場合であり（点
Ｐが、点Ｐ1に一致するのは、式φ＝−θ／２が成り立
つ場合であり、点Ｐ2に一致するのは、式φ＝θ／２が
成り立つ場合）、従って、角度νは、式｜φ｜＝θ／２
が成り立つ場合に極値をとる。
【０２０７】そこで、式（２１）の角度νを、φで偏微
分したものを、次のように０とおく。
【０２０８】
【数１４】
【０２０９】・・・（２２） 上述したように、式（２２）は、｜φ｜がθ／２に等し
いときに成立し、このときのθ（＝２φ）が、求めるべ
きθ（図２１において、点Ｐ1またはＰ2が、点Ｏ1また
はＯ2にそれぞれ対応しているときに、点Ｏ1、円柱の上
方の底面の中心、および点Ｏ2がつくる角度）である。
【０２１０】ところで、式（２２）のνをφで偏微分し
たもの（式（２２）の左辺）は、θとφの２変数を有す
る関数となるから、式（２２）を満たすφおよびθを求
める計算は複雑になる。そこで、ここでは、式（２２）
を満たすθを、近似計算によって求めることとする。
【０２１１】即ち、図２４は、式（２２）を満たすθを
近似計算より求める処理（以下、適宜、θ算出処理とい
う）を説明するためフローチャートを示している。な
お、このθ算出処理は、例えば、コピー処理を行う場合
にはコピー操作処理部１２で、ペースト処理を行う場合
にはペースト操作処理部１３でそれぞれ行われる。
【０２１２】θ算出処理では、まず最初に、ステップＳ
４１において、θに、初期値としてのπ（ラジアン）が
セットされ、ステップＳ４２に進み、そのθと特徴点を
用いて、式（２２）を満たす行列Ｍ’が求められる。さ
らに、ステップＳ４３において、ステップＳ４２で求め
られた行列Ｍ’を用いて、式（２１）で表されるνが求
められ、ステップＳ４４に進み、そのνが極値をとると
きのφ、即ち、式（２２）を満たすφが求められ、ステ
ップＳ４５に進む。
【０２１３】式（２１）を満たすφは、２つ求められる
が、いま、これを、φ1およびφ2とすると、ステップＳ
４５では、｜φ1｜＋｜φ2｜が、θに、新たにセットさ
れ、ステップＳ４６に進み、θが収束したかどうか、即
ち、新たなθと、前回のθとの差分の絶対値が所定の閾
値以下であるかどうかが判定される。ステップＳ４６に
おいて、θが収束していないと判定された場合、即ち、
新たなθと、前回のθとの差分の絶対値が所定の閾値以
下でない場合、ステップＳ４２に戻り、新たなθを用い
て、ステップＳ４２以下の処理が繰り返される。
【０２１４】また、ステップＳ４６において、θが収束
したと判定された場合、即ち、新たなθと、前回のθと
の差分の絶対値が所定の閾値以下である場合、新たなθ
が、求めるべきθとして確定され、θ算出処理を終了す
る。
【０２１５】なお、以上においては、円柱の投影画像
（図２１（Ｂ）、図２３）に、消失点Ｐ7が存在する場
合を例に説明を行ったが、消失点が存在しない場合には
（投影画像において、線分Ｐ1Ｐ4と線分Ｐ2Ｐ3とが平行
になる場合には）、式（２０）のｙp’が、式｜φ｜＝
θ／２が成り立つときに極値をとるから、式（２０）の
ｙp’を、φで偏微分したものを、式（２３）のように
０とおき、上述の式（２１）または（２２）にそれぞれ
替えて、式（２０）または（２３）を用いて、図２４の
θ算出処理を行うことにより、ｙp’が極値をとるとき
のθを求めることができる。
【０２１６】
【数１５】
【０２１７】・・・（２３） 次に、３次元物体が、例えば、球である場合において、
その球面の展開画像を生成してペーストバッファに記憶
させるコピー処理、またはペーストバッファに記憶され
た画像を球面に貼り付けるペースト処理を行うときに
は、次のようにして、逆変換式または順変換式がそれぞ
れ算出される。なお、ここでは、球面の展開画像は、例
えば、正距円筒図法により生成されるものとする。
【０２１８】この場合、図２５（Ａ）に示すように、３
次元空間における球の位置を表す３次元座標として、球
の中心を原点（０，０，０）とし、互いに直交するよう
に、ｘo，ｙo，ｚo軸をとったものを考える（但し、ｘo
軸は、ｙo軸からｚo軸の方向に右ねじを回した場合に、
その右ねじが進行する方向にとる）。
【０２１９】ここで、以下、適宜、球とｙo軸との、ｙo
座標が正の交点を、北極といい、球とｘoｚo平面（ｙo
＝０の平面）との交線（円）を、赤道という。
【０２２０】そして、例えば、いま、注目バッファの２
次元画像に、図２５（Ａ）の球を、所定の位置から撮影
して得られる投影画像が、例えば、図２５（Ｂ）に示す
ように表示されているとする。なお、図２５（Ｂ）にお
いては、後述する点Ｐ5とＰ6とを結ぶ直線Ｐ5Ｐ6が、ｘ
p軸に対して、角度αだけ傾いている。
【０２２１】図２５（Ｂ）において、点Ｐ1およびＰ
3は、球とｙoｚo平面（ｘo＝０の平面）との交線（円）
のうち、投影画像に表示された部分の２つの端点であ
り、点Ｐ 1は、北極側の端点で、点Ｐ3は、ｘoｚo平面を
基準としたときに、北極と反対側にある端点である。ま
た、点Ｐ2およびＰ4は、球とｘoｚo平面との交線である
赤道のうち、投影画像に表示された部分の２つの端点
で、点Ｐ2は、ｘo座標が正の側の端点で、点Ｐ4は、ｘo
座標が負の側の端点である。そして、図２５（Ａ）にお
ける点Ｏ1，Ｏ2，Ｏ3，Ｏ4は、図２５（Ｂ）における点
Ｐ1，Ｐ2，Ｐ3，Ｐ4にそれぞれ対応している。
【０２２２】また、図２５（Ａ）における点Ｏ5は、球
の中心を、点Ｏ6は、北極を、点Ｏ7は、赤道に沿った弧
Ｏ2Ｏ4（投影画像として見える弧）を２等分する点を、
それぞれ表しており、図２５（Ｂ）における点Ｐ5，
Ｐ6，Ｐ7は、これらの点Ｏ5，Ｏ 6，Ｏ7にそれぞれ対応
している。
【０２２３】いま、例えば、図２５（Ａ）における球面
全体の、正距円筒図法による展開画像がペーストバッフ
ァに記憶されるとすると、球の半径Ｒは、次のように表
すことができる（但し、ここでは、赤道が、展開画像の
横方向に対応するものとする）。
【０２２４】 Ｒ＝ＬW／（２π） ・・・（２４） また、球面については、式（７）のψ、即ち、球面の、
３次元空間上の点（ｘ o，ｙo，ｚo）と、その正距円筒
図法による展開画像上の点（ｘe，ｙe）との関係は、図
２５（Ａ）の球面の正距円筒図法による展開図を考える
ことにより、次のように表すことができる。
【０２２５】
【数１６】
【０２２６】・・・（２５） この場合も、行列Ｍにおいて不要となる要素はなく、従
って、式（１１）で説明した１１の要素ｍ11乃至ｍ14，
ｍ21乃至ｍ24，ｍ31乃至ｍ33を求める必要がある。
【０２２７】そこで、ここでは、ユーザに、例えば、図
２５（Ｂ）に示した７点Ｐ1乃至Ｐ7を特徴点として指定
してもらう。即ち、例えば、まず、点Ｐ2，Ｐ4，Ｐ5，
Ｐ6を、特徴点として指定してもらう。なお、点Ｐ2，Ｐ
4，Ｐ5，Ｐ6は、いずれも自由度が２の点である。その
後、点Ｐ5とＰ6を結ぶ直線Ｐ5Ｐ6上に位置するように、
点Ｐ1，Ｐ3，Ｐ7を、特徴点として指定してもらう。従
って、点Ｐ1，Ｐ3，Ｐ7は、いずれも直線Ｐ5Ｐ6上の点
であるから、自由度が１の点である。
【０２２８】以上のように、点Ｐ2，Ｐ4，Ｐ5，Ｐ6は、
いずれも自由度が２の点であり、点Ｐ1，Ｐ3，Ｐ7は、
いずれも自由度が１の点であるから、これらの７点Ｐ1
乃至Ｐ 7が分かれば、１１の要素ｍ11乃至ｍ14，ｍ21乃
至ｍ24，ｍ31乃至ｍ33を求めることができる。
【０２２９】なお、ここでは、図２５（Ａ）の球面全体
を、正距円筒図法により展開した展開画像をペーストバ
ッファに記憶させるが、その展開画像は、例えば、図２
５（Ｃ）に示すようになる。
【０２３０】図２５（Ｃ）において、斜線を付してある
部分が、図２５（Ｂ）に示した投影画像の部分の展開画
像を示しており、斜線を付していない部分は、図２５
（Ｂ）に示した投影画像には表示されていない球面の部
分の展開画像を示している。従って、曲線Ｌ1は、図２
５（Ａ）に示した球のうちの、図２５（Ｂ）に示した投
影画像として見える球面と見えない球面との境界線に対
応している。また、長方形状の展開画像の縦方向を２等
分する線分Ｌ2が赤道に対応している。
【０２３１】曲線Ｌ1上にある点Ｅ1，Ｅ2，Ｅ3，Ｅ
4は、図２５（Ｂ）の投影画像上の特徴点Ｐ1，Ｐ2，
Ｐ3，Ｐ4にそれぞれ対応している。なお、点Ｅ1または
点Ｅ3は、曲線Ｌ1上の、ｙe座標が最小または最大の点
であり、点Ｅ2またはＥ4は、それぞれ、曲線Ｌ1と赤道
に対応する線分Ｌ2との２つの交点のうちの、ｘe座標の
大きい方または小さい方の点である。
【０２３２】図２５（Ｃ）において、線分Ｅ6は、ペー
ストバッファ座標系において、原点（０，０）と点（Ｌ
W，０）とを結ぶ線分で、図２５（Ｂ）の点Ｐ6に対応し
ている。また、図２５（Ｃ）において、点Ｅ7は、線分
Ｅ2Ｅ4を２等分する点で、図２５（Ｂ）の点Ｐ7に対応
している。
【０２３３】次に、図２５（Ａ）の球における所定の部
分の角度を、図２６に示すように、μ並びにλ1および
λ2と表すこととする。即ち、球をｘoｚo平面との交線
である円の円周（赤道）のうち、投影画像に表示された
部分の２つの端点Ｐ1およびＰ3と、球の中心Ｏ5がつく
る角度∠Ｏ2Ｏ5Ｏ4を、図２６（Ａ）に示すようにμと
表す。また、図２６（Ｂ）に示すように、球とｙoｚo平
面との交線である円の円周のうち、投影画像に表示され
た部分の、北極と反対側の端点Ｏ3と、点Ｏ7およびＯ5
がつくる角度∠Ｏ3Ｏ5Ｏ7を、λ1と表すとともに、その
北極側の端点Ｏ1と、点Ｏ7およびＯ5がつくる角度∠Ｏ1
Ｏ5Ｏ7を、λ2と表す。ここで、λ1＋λ2が、球とｙoｚ
o平面との交線（円）の円周のうち、投影画像に表示さ
れた部分の２つの端点Ｏ1およびＯ3と、球の中心Ｏ5が
つくる角度∠Ｏ1Ｏ5Ｏ3を表す。
【０２３４】この場合、図２５（Ａ）における点Ｏ1，
Ｏ2，Ｏ3，Ｏ4，Ｏ5，Ｏ6，Ｏ7の座標は、それぞれ、
（０，Ｒｓｉｎλ2，Ｒｃｏｓλ2），（Ｒｓｉｎ（μ／
２），０，Ｒｃｏｓ（μ／２）），（０，−Ｒｓｉｎλ
1，Ｒｃｏｓλ1），（−Ｒｓｉｎ（μ／２），０，Ｒｃ
ｏｓ（μ／２）），（０，０，０），（０，Ｒ，０）、
（０，０，Ｒ）となる。
【０２３５】球面について求められる行列Ｍは、図２６
における角度μ並びにλ1およびλ2の関数になってお
り、従って、これらの角度μ並びにλ1およびλ2を求め
る必要がある。さらに、図２５（Ｂ）においては、球の
中心に相当する点Ｐ5と北極に相当する点Ｐ6とを結ぶ直
線Ｐ5Ｐ6とｘp軸とが、角度αを形成しているから、こ
れを考慮して、角度μ並びにλ1およびλ2を求める必要
がある。
【０２３６】そこで、ここでも、ｘp軸およびｙp軸を、
反時計回りにαだけ回転した座標軸であるｘp’軸およ
びｙp’軸を考えて、角度μ並びにλ1およびλ2を求め
ることとする。
【０２３７】この場合も、点（ｘp，ｙp）と点
（ｘp’，ｙp’）との関係は、同次座標を用いて、式
（１８）で表すことができる。
【０２３８】そして、いま、図２５（Ａ）において、球
面と、ｘo＝０の平面(ｙoｚo平面)との交点（円）を、
（０，Ｒｓｉｎβ，Ｒｃｏｓβ）と表すとともに、球面
とｙ o＝０の平面(ｘoｚo平面)との交点（赤道上の点）
を、（Ｒｓｉｎγ，０，Ｒｃｏｓγ）と表す。また、点
（０，Ｒｓｉｎβ，Ｒｃｏｓβ）がスクリーンに投影さ
れたときのｘp’座標またはｙp’座標を、それぞれｘp1
またはｙp1とするとともに、点（Ｒｓｉｎγ，０，Ｒｃ
ｏｓγ）がスクリーンに投影されたときのｘp’座標ま
たはｙp’座標を、それぞれｘp2またはｙp2とする。こ
の場合、ｘp1またはｙp2は、式（１９）で定義される行
列Ｍ’の要素を用いて、それぞれ、式（２６）または
（２７）で表すことができる。
【０２３９】 ｘp1＝（ｍ12’Ｒｓｉｎβ＋ｍ13’Ｒｃｏｓβ＋ｍ14’） ／（ｍ32’Ｒｓｉｎβ＋ｍ33’Ｒｃｏｓβ＋１） ・・・（２６） ｙp2＝（ｍ21’Ｒｓｉｎγ＋ｍ22’Ｒｃｏｓγ＋ｍ24’） ／（ｍ31’Ｒｓｉｎγ＋ｍ33’Ｒｃｏｓγ＋１） ・・・（２７） 図２５（Ａ）の球については、式（２６）のｘp1は、式
β＝−λ1またはβ＝λ2が成り立つときに、また、式
（２７）のｙp2は、式γ＝μ／２またはγ＝−μ／２が
成り立つときに、それぞれ極値をとる。そこで、式（２
６）のｘp1についてはβで、式（２７）のｙp2について
はγで、それぞれ偏微分したものを、次のように０とお
く。
【０２４０】
【数１７】
【０２４１】・・・（２８）
【０２４２】
【数１８】
【０２４３】・・・（２９） 式（２８）は、βが−λ1またはλ2に等しいときに成立
し、このときのλ1およびλ2が、求めるべきλ1および
λ2である。また、式（２９）は、γがμ／２または−
μ／２に等しいときに成立し、このときのμが、求める
べきμである。
【０２４４】ところで、行列Ｍ’の要素は、μ，λ1，
λ2の関数となるから、式（２８）のｘp1をβで偏微分
したものは、μ，λ1，λ2，βの４変数の関数となり、
また、式（２９）のｙp2をγで偏微分したものは、μ，
λ1，λ2，γの４変数の関数となる。従って、式（２
８）および（２９）を満たすμ並びにλ1およびλ2を求
める計算は、複雑なものとなるが、上述のθ算出処理と
同様に、μ，λ1，λ2について、所定の初期値をセット
して、行列Ｍ’の要素を求め、その要素を用いてβ，γ
を求めて、μ，λ1，λ2を更新していくという近似計算
を用いることにより、μ，λ1，λ2を、比較的容易に求
めることが可能である。
【０２４５】なお、ここでは、球面を、正距円筒図法に
よって展開した展開画像を生成するようにしたが、球面
の展開画像を生成する場合に用いる手法は、これに限定
されるものではない。即ち、球面は、その他、例えば、
メルカトル図法やランベルト等角円錐図法などを用い
て、展開画像に展開することが可能である。
【０２４６】また、球面については、図２５（Ｃ）に示
したように、その全体についての展開画像がペーストバ
ッファに記憶されるが、投影画像に対応しているのは、
図２５（Ｃ）において斜線を付した部分だけであるか
ら、この展開画像を投影画像に変換して、注目バッファ
に記憶された２次元画像に貼り付けたときに、その２次
元画像に表示されるのは、図２５（Ｃ）において斜線を
付した部分だけである。即ち、ペーストバッファに記憶
された画像全体が、２次元画像上の投影画像として表示
されるわけではないため、球面に貼り付ける展開画像に
ついて、２Ｄペイントを行う場合には、その点を考慮し
て、文字等の描画を行う必要がある。即ち、図２５
（Ｂ）の球の投影画像に、文字を貼り付けたい場合に
は、図２５（Ｃ）の斜線部分の範囲内に、その文字を描
画して、ペースト処理を行う必要がある（斜線部分から
はみ出して、文字を描いた場合には、そのはみ出した部
分については、図２５（Ｂ）の投影画像には貼り付けら
れない）。
【０２４７】次に、３次元物体が球である場合における
図２６のμ，λ1，λ2については、上述したように、そ
れぞれに関して、図２４で説明したθ算出処理と同様の
処理を行うことで求めることが可能であるが、μについ
ては、λ1およびλ2を求めた後に、次のような関係から
求めることも可能である。
【０２４８】即ち、図２５（Ａ）に示した点Ｏ1乃至Ｏ7
以外に、図２７に示すように、点Ｏ 5’およびＯ7’を考
える。ここで、点Ｏ5’は、線分Ｏ1Ｏ3に対して、点Ｏ5
から垂らした垂線と、線分Ｏ1Ｏ3との交点であり、点Ｏ
7’は、線分Ｏ2Ｏ4と、線分Ｏ5Ｏ7との交点である。
【０２４９】いま、∠Ｏ5’Ｏ5Ｏ7’を、λ3と表すと、
このλ3は、図２６（Ｂ）に示した∠Ｏ3Ｏ5Ｏ7であるλ
1、および∠Ｏ1Ｏ5Ｏ7であるλ2とを用いて、次のよう
に表すことができる。
【０２５０】 λ3＝（λ1＋λ2）／２−λ1 ＝（λ2−λ1）／２ ・・・（３０） また、図２７の球と、点Ｏ1，Ｏ6，Ｏ7，Ｏ3を通る平面
（ｙoｚo平面）との交面は、図２８に示すような、点Ｏ
5を中心とし、かつ図２７の球と同一半径の円になる
が、この図２８において、線分Ｏ3Ｏ5’の長さをＤ1と
おくと、このＤ1は、次式で求めることができる。
【０２５１】 Ｄ1＝Ｒｓｉｎ（（λ1＋λ2）／２） ・・・（３１） なお、Ｒは、式（２４）に示したように、３次元空間上
における球の半径を表す。
【０２５２】さらに、図２８において、線分Ｏ5’Ｏ7’
の長さをＤ2とおくと、このＤ2は、次式で求めることが
できる。
【０２５３】 Ｄ2＝Ｒｃｏｓ（（λ1＋λ2）／２）ｔａｎλ3 ・・・（３２） 次に、図２７の球と、点Ｏ1，Ｏ2，Ｏ3，Ｏ4を通る平面
との交面は、図２９に示すような、点Ｏ5’を中心と
し、かつ線分Ｏ3Ｏ5’を半径とする円になるが、この図
２９において、線分Ｏ5’Ｏ3と、線分Ｏ5’Ｏ2とは、い
ずれも、点Ｏ5’を中心とする円の半径であるから、互
いに等しく、従って、線分Ｏ5’Ｏ2の長さは、式（３
１）で求められる線分Ｏ5’Ｏ3の長さＤ1に等しい。そ
して、いま、図２９において、線分Ｏ2Ｏ7’の長さをＤ
3とおくと、このＤ3は、三平方の定理により、次式で求
めることができる。
【０２５４】 Ｄ3＝√（Ｄ1 2−Ｄ2 2） ＝Ｒ√（ｓｉｎ2（（λ1＋λ2）／２） −ｃｏｓ2（（λ1＋λ2）／２）ｔａｎ2λ3） ・・・（３３） さらに、図２７の球と、点Ｏ5，Ｏ2，Ｏ7，Ｏ4を通る平
面（ｘoｚo平面）との交面は、図２６（Ａ）に示した場
合と同様の図３０に示すような、点Ｏ5を中心とし、か
つ半径がＲの円になるが、図３０から、角度μ／２の正
弦は、Ｄ3／Ｒを計算することによって求めることがで
きる。従って、角度μと、λ1およびλ2との間には、次
式が成り立つ。
【０２５５】 ｓｉｎ（μ／２）＝Ｄ3／Ｒ ＝√（ｓｉｎ2（（λ1＋λ2）／２） −ｃｏｓ2（（λ1＋λ2）／２）ｔａｎ2λ3） ＝√（ｓｉｎ2（（λ1＋λ2）／２） −ｃｏｓ2（（λ1＋λ2）／２）ｔａｎ2（（λ2−λ1）／２）） ・・・（３４） 以上から、λ1，λ2については、図２４で説明したθ算
出処理と同様の処理を行うことで求め、μについては、
その求まったλ1およびλ2を、式（３４）に代入するこ
とで求めることができる。
【０２５６】θ算出処理によれば、θが収束するまで、
ステップＳ４２乃至Ｓ４５の処理を繰り返し行う必要が
あるが、μを、式（３４）の関係にしたがい、λ1およ
びλ2から求める場合には、そのような繰り返し処理を
行う必要がなく、従って、その分高速に、かつ少ない演
算量で、μを求めることができる。
【０２５７】次に、３次元物体が、例えば、円錐である
場合において、その側面の展開画像を生成してペースト
バッファに記憶させるコピー処理、またはペーストバッ
ファに記憶された画像を円錐の側面に貼り付けるペース
ト処理を行うときには、次のようにして、逆変換式また
は順変換式がそれぞれ算出される。
【０２５８】即ち、この場合、例えば、図３１（Ａ）に
示すように、３次元空間における円錐の位置を表す３次
元座標として、その頂点（円錐の側面を展開して扇形に
したときに、その扇形の中心に対応する点）Ｏ1を原点
（０，０，０）とし、頂点Ｏ1から底面の中心Ｏ5の方向
にｙo軸をとり、さらに、後述する点Ｏ4の方向から底面
の中心Ｏ5の方向にｚo軸をとったものを考える（ｘo軸
は、ｙo軸からｚo軸の方向に右ねじを回した場合に、そ
の右ねじが進行する方向にとる）。
【０２５９】そして、例えば、いま、注目バッファの２
次元画像に、図３１（Ａ）の円錐を、やや上方から撮影
して得られる投影画像が表示されているとする。この場
合、円錐の投影画像は、例えば、図３１（Ｂ）に影を付
して示すようになる。
【０２６０】図３１（Ｂ）において、点Ｐ1または点Ｐ5
は、図３１（Ａ）の点Ｏ1または点Ｏ5にそれぞれ対応し
ている。また、点Ｐ2およびＰ3は、円錐の側面の投影画
像（側面だけを投影したとした場合の投影画像）と、円
錐の底面の投影画像（底面だけを投影したとした場合の
投影画像）との交線の端点（底面の円周の投影画像の端
点）であり、図３１（Ｂ）では、交線の右側または左側
の端点が、それぞれ、点Ｐ2またはＰ3とされている。こ
の点Ｐ2または点Ｐ3は、図３１（Ａ）における点Ｏ2ま
たはＯ3に、それぞれ対応している。
【０２６１】そして、図３１（Ａ）において、点Ｏ4ま
たはＯ6は、点Ｏ2とＯ3との間を、底面の手前側または
奥側の円周それぞれに沿って２等分する点で、図３１
（Ｂ）における点Ｐ4またはＰ6に、それぞれ対応してい
る。
【０２６２】ここで、上述したように、ｚo軸は、点Ｏ4
から底面の中心Ｏ5の方向を向いており、また点Ｏ5は、
ｙo軸上の点である。さらに、上述したことから、点
Ｏ4，Ｏ5，Ｏ6は一直線上に存在し、従って、これらの
点Ｏ4乃至Ｏ6は、すべて、ｙoｚo平面（ｘo＝０の平
面）内にある。これにより、図３１（Ｂ）において、点
Ｏ 4，Ｏ5，Ｏ6にそれぞれ対応する点Ｐ4，Ｐ5，Ｐ6も一
直線上に位置し、点Ｐ4乃至Ｐ6のうちの２点である、例
えば、点Ｐ4およびＰ6が指定されれば、残りの１点であ
る点Ｐ5は、直線Ｐ4Ｐ6上に位置することとなるから、
その自由度は１になる。
【０２６３】図３１（Ａ）における角度θは、∠Ｏ2Ｏ5
Ｏ3を表しており、円錐の底面の半径をｒと表すと、円
錐の側面の投影画像の部分に対応する展開画像がペース
トバッファに記憶されるとした場合には、半径ｒと角度
θとの関係は、図２１で説明した円柱における場合と同
様に、式（１５）で表すことができる（但し、ここで
は、例えば、円錐の底面の円周方向が、展開画像の横方
向に対応するものとする）。
【０２６４】また、角度φを、図２１で説明した円柱に
おける場合と同様に、式（１６）で表すと、円錐の側面
についての式（７）のψ、即ち、円錐の側面の、３次元
空間上の点（ｘo，ｙo，ｚo）と、展開画像上の点
（ｘe，ｙe）との関係は、図３１（Ａ）の円錐の展開図
を考えることにより、次のように表すことができる。
【０２６５】
【数１９】
【０２６６】・・・（３５） この場合、式（１１）で説明した行列Ｍの１１の要素ｍ
11乃至ｍ14，ｍ21乃至ｍ24，ｍ31乃至ｍ33を求める必要
があり、この１１の要素ｍ11乃至ｍ14，ｍ21乃至ｍ24，
ｍ31乃至ｍ33は、上述したように、投影画像上の、自由
度が２の５点と、自由度が１の１点との合計６点が特徴
点として指定されれば求めることができる。
【０２６７】そこで、ここでは、ユーザに、例えば、図
３１（Ｂ）に示した６点Ｐ1乃至Ｐ6を特徴点として指定
してもらう。即ち、自由度が２の５点として、例えば、
点Ｐ 1乃至Ｐ4およびＰ6を、特徴点として指定してもら
い、さらに、自由度が１の１点として、例えば、点Ｐ5
を指定してもらう。ここで、点Ｐ4およびＰ6が指定され
た場合には、点Ｐ5は、上述したように、直線Ｐ4Ｐ6上
に位置するから、自由度が１の点となる。
【０２６８】また、ここでは、図３１（Ｃ）に示すよう
に、ペーストバッファに長方形状に記憶される展開画像
の、ペーストバッファ座標系において、原点（０，０）
と点（ＬW，０）とを結ぶ線分をＥ1と、座標（ＬW，
ＬH），（０，ＬH），（ＬW／２，ＬH）で表される点
を、それぞれ点Ｅ2，Ｅ3，Ｅ4として、点Ｐ1とＥ1、点
Ｐ2とＥ2、点Ｐ3とＥ3、点Ｐ4とＥ4を、それぞれ対応さ
せることとする。
【０２６９】以上の関係を用いて、式（１０）にしたが
い、１１の要素ｍ11乃至ｍ14，ｍ21乃至ｍ24，ｍ31乃至
ｍ33について方程式をたてて解くことで、これらの１１
の要素ｍ11乃至ｍ14，ｍ21乃至ｍ24，ｍ31乃至ｍ33、即
ち、行列Ｍを求めることができる。
【０２７０】ここで、図３１（Ｃ）の実施の形態では、
円錐の側面の展開画像として、長方形状のものを用いる
ようにしたが、円錐の側面の展開画像としては、その
他、例えば、図３１（Ａ）の円錐の側面を、単に展開し
た扇形のものを用いることも可能である。但し、円錐の
側面の展開画像として、扇形のものを用いる場合におい
ては、円錐の側面の投影画像に、その底面と平行な方向
に文字などを貼り付けるときには、その文字を、扇形の
展開画像の円周に沿った形で描く必要がある。これに対
して、図３１（Ｃ）に示したように、円錐の側面の展開
画像として、長方形状のものを用いる場合には、その展
開画像に対して、ｘe軸と平行に文字を描き、ペースト
処理を行うことで、円錐の側面の投影画像に、その底面
と平行な方向に文字を貼り付けることができる。
【０２７１】なお、図３１（Ａ）の円錐の高さが、図３
１（Ｃ）の展開画像の縦の長さＬHに等しいとすると、
点Ｏ1，Ｏ2，Ｏ3，Ｏ4，Ｏ5，Ｏ6の座標は、それぞれ、
（０，０，０），（ｒｓｉｎ（θ／２），ＬH，−ｒｃ
ｏｓ（θ／２）），（−ｒｓｉｎ（θ／２），ＬH，−
ｒｃｏｓ（θ／２）），（０，ＬH，−ｒ），（０，
Ｌ H，０），（０，ＬH，ｒ）となる。
【０２７２】上述したようにして円錐について求められ
る行列Ｍは、図２１で説明した円柱における場合と同様
に、角度θの関数になっており、従って、この角度θを
求める必要がある。さらに、図３１（Ｂ）においては、
２次元画像に、特徴点Ｐ4とＰ5とを結ぶ直線が、ｙp軸
と平行になるような円錐の投影画像が表示されている
が、一般には、円錐の投影画像は、例えば、図３２に示
すように、特徴点Ｐ4とＰ5とを結ぶ直線が、ｙp軸に対
して傾いているようなものとなっていることが多い。
【０２７３】そこで、特徴点Ｐ4とＰ5とを結ぶ直線が、
ｘp軸となす角度をαとして、θを求める方法について
説明する。
【０２７４】いま、上述の式（３５）において、ｙo＝
ｙe＝ＬHとおくと、式（３５）は、円柱についてのψを
表す式（１７）に等しくなる。従って、この場合、円錐
についてのｘp，ｙpは、円柱についてのｘp，ｙpに等し
くなるから、特徴点Ｐ4とＰ5とを結ぶ直線とｘp軸とが
なす角度がαである場合は、ｘp軸およびｙp軸を、反時
計回りにαだけ回転した座標軸であるｘp’軸および
ｙp’軸によって規定される座標系においても、円錐の
底面である円の円周上の点Ｏの、投影画像における点Ｐ
（図３１）は、円柱における場合と同様に表すことがで
きる。
【０２７５】即ち、円錐について、その底面の円周上の
点Ｏに対応する投影画像上の点Ｐのｘp’座標および
ｙp’座標は、式（２０）で表される。さらに、点Ｏに
対応する投影画像上の点Ｐと、点Ｐ1およびＰ4がつくる
角度を、図３３に示すように、νとおくとともに、点Ｐ
1の座標を（ｘp1’、ｙp1’）とおくと、角度νは、次
式で表される。
【０２７６】 ν＝ｔａｎ-1（｜ｙp’−ｙp1’｜／｜ｘp’−ｘp1’｜） ・・・（３６） 式（３６）のνは、円柱における場合と同様に、点Ｏ
が、点Ｏ5および点Ｏ4とともにつくる角度φ（＝∠Ｏ4
Ｏ5Ｏ）（図３１（Ａ））の関数となっており、式｜φ
｜＝θ／２が成り立つ場合に極値をとる。
【０２７７】従って、図３１（Ａ）における円錐のθ
は、式（２１）に替えて、式（３６）を用いることによ
り、円柱における場合と同様にして求めることができ
る。
【０２７８】なお、図３１（Ｂ）や図３３に示した円錐
の投影画像において、頂点Ｐ1が、その投影画像の内部
にある場合は、側面全体が見えていることとなるので、
その場合のθは２π（３６０度）ということになる。
【０２７９】以上、３次元物体として、幾つかのプリミ
ティブな形状のものを用いた場合のψおよびＭの算出方
法について説明したが、上述した形状以外の３次元物体
であっても、その形状を、関数で表現することができる
ものであれば、そのような３次元物体を対象に、ψおよ
びＭを算出することが可能である。
【０２８０】また、特徴点として指定すべき点は、上述
したものに限定されるものではない。即ち、例えば、図
２０では、直方体の面である四角形の投影画像の特徴点
として、その四角形の頂点を指定するようにしたが、四
角形の投影画像の特徴点としては、その他、例えば、そ
の四角形の各辺の中点などを指定するようにすることも
可能である。また、球については、図２５（Ａ）に示す
点Ｏ1乃至Ｏ7に対応する点Ｐ1乃至Ｐ7を特徴点として指
定するようにしたが、図２５（Ａ）の点Ｏ5と点Ｏ7を通
る直線と球との交点のうち点Ｏ7ではない方を点Ｏ8とし
て、例えば、点Ｏ1乃至Ｏ6，Ｏ8のそれぞれの２次元画
像に投影される点を、球の特徴点として指定しても良
い。
【０２８１】さらに、円錐については、例えば、図３４
に示すような点を、特徴点として指定することが可能で
ある。即ち、いま、図３４（Ａ）に示すように、３次元
空間において、円錐の頂点Ｏ1と、底面の中心とを結ぶ
線分の中点をＯ60とする。さらに、底面の円周と、ｘo
ｙo平面との交点をＯ30およびＯ50とするとともに、底
面の円周と、ｙoｚo平面との交点をＯ20およびＯ40とす
る。ここで、点Ｏ20，Ｏ 30，Ｏ40，Ｏ50，Ｏ60の座標
は、それぞれ、（ｒ，ＬH，０），（０，ＬH，−ｒ），
（−ｒ，ＬH，０），（０，ＬH，ｒ），（０，ＬH／
２，０）となる。この場合、点Ｏ1，Ｏ20，Ｏ30，
Ｏ40，Ｏ50，Ｏ60に対応する投影画像上の点を、図３４
（Ｂ）に示すように、それぞれ点Ｐ1，Ｐ20，Ｐ30，Ｐ
40，Ｐ50，Ｐ60とすると、これらの点を特徴点として指
定することができる。
【０２８２】また、上述したことから明らかであるが、
特徴点としては、投影画像として表示される点（見える
点）と、表示されない点（見えない点）のいずれをも指
定することも可能である。
【０２８３】但し、投影画像の特徴点として指定される
点が、ペーストバッファに記憶される展開画像のどの位
置に対応するのかという対応関係は、あらかじめ設定し
ておく必要がある。
【０２８４】次に、ペースト処理においては、基本的に
は、上述したように、ペーストバッファに記憶された画
像が、注目バッファに記憶された２次元画像の、ユーザ
によって指定された特徴点により特定される３次元物体
の面に貼り付けられる。即ち、ペーストバッファに記憶
された画像の画素値が、注目バッファに上書きされる。
しかしながら、例えば、ペースト処理によって、注目バ
ッファに記憶された２次元画像に、新たな３次元物体を
追加する場合に、ペーストバッファに記憶された画像の
画素値を、注目バッファに、単に上書きするのでは、注
目バッファに記憶された２次元画像に既に表示されてい
る３次元物体の手前側に、新たな３次元物体を追加する
ことはできるが、その奥側に、新たな３次元物体を追加
することはできない。
【０２８５】そこで、本実施の形態では、マットを利用
して、注目バッファに記憶された２次元画像に既に表示
されている３次元物体の奥側に、新たな３次元物体を追
加することができるようになされている。
【０２８６】マットは、２次元画像に表示された物体の
形状を表す、いわゆるグレースケールの画像で、その値
は、２次元画像を構成する各画素における物体の寄与率
（αと呼ばれる）を表すことから、α画像とも呼ばれ
る。ここでは、マットは、図７のステップＳ１５におけ
るマット処理が行われることによって、注目バッファに
記憶された２次元画像のマットが生成されるようになさ
れている。なお、２次元画像のマットは、上述したよう
に、その２次元画像が記憶されている画像バッファに記
憶されるようになされている。
【０２８７】ここで、マットを構成する各画素の画素値
は、例えば、０乃至１の範囲の値をとり、いわゆる前景
を構成する画素の画素値は１に、いわゆる背景を構成す
る画素の画素値は０に、前景と背景との境界部分を構成
する画素の画素値は、その画素に含まれる前景と背景と
の割合に応じた値となる（前景の割合が多いほど１に近
い値となり、背景の割合が多いほど０に近い値とな
る）。
【０２８８】従って、例えば、いま、図３５（Ａ）に示
すような家屋の形状をした３次元物体が表示されている
２次元画像が、注目バッファに記憶されている場合にお
いて、家屋の部分を前景とし、それ以外の部分を背景と
して、マット処理が行われると、マット操作処理部１６
では、図３５（Ｂ）に示すようなマットが生成され、注
目バッファに記憶される。なお、図３５（Ｂ）におい
て、影を付してある部分の画素値は１になっており、影
を付していない部分の画素値は０になっている。
【０２８９】ここで、マットの生成方法としては、例え
ば、Eric N.Mortensen, William A.Barrett, "Intellig
ent Scissors for Image Composition", Proceedings o
f SIGGRAPH 95, pp.191-198や、本件出願人が先に提案
した特開平８−３３１４５５号公報、特開平１０−１４
３６５４号などに開示されているものを利用することが
できる。
【０２９０】注目バッファに、２次元画像とともに、そ
のマットが記憶されている場合において、そのマットを
有効または無効とするかは、入力装置６を操作すること
により設定することができるようになされている。
【０２９１】いま、例えば、注目バッファに、図３５
（Ａ）または図３５（Ｂ）にそれぞれ示したような２次
元画像またはマットが記憶されており、新たな３次元物
体として、例えば、円柱を、注目バッファの２次元画像
に貼り付けるペースト処理が指令された場合には、マッ
トが無効とされているときには、円柱の投影画像は、２
次元画像に単に上書きされ、これにより、例えば、図３
５（Ｃ）に示すような、円柱が、家屋の手前にあるよう
な２次元画像が生成される。
【０２９２】一方、マットが有効とされているときに
は、注目バッファに記憶されている２次元画像を構成す
る画素の画素値をＡと、円柱の投影画像を構成する画素
の画素値をＢと、マットを構成する画素の画素値をα
と、ペースト処理により得られる２次元画像をＣと、そ
れぞれ表すと、２次元画像Ｃは、式Ｃ＝αＡ＋（１−
α）Ｂに基づいて生成される。従って、この場合、例え
ば、図３５（Ｄ）に示すような、円柱が、家屋の奥側に
あるような２次元画像が生成される。
【０２９３】以上のように、マットを有効にしてペース
ト処理を行うことで、２次元画像に既に表示されている
３次元物体の奥側に隠れている部分を見えなくする、い
わゆるオクルージョン（Occlusion）を実現することが
でき、従って、この場合、マットは、投影画像の書き込
みを許可するかどうかのフラグとして機能しているとい
うことができる。
【０２９４】なお、マットは、ユーザに作成してもらう
ようにすることも可能である。
【０２９５】次に、図３６のフローチャートを参照し
て、図７のステップＳ１６における物体属性／光源変更
処理について説明する。なお、ここでは、注目バッファ
に記憶された２次元画像のマットが既に生成され、注目
バッファに記憶されているものとする。
【０２９６】物体属性／光源変更処理では、まず最初
に、ステップＳ５１において、注目バッファに記憶され
たマットにより表される、同じく注目バッファに記憶さ
れた２次元画像に表示された物体の領域における色分布
が検出される。即ち、ステップＳ５１では、注目バッフ
ァに記憶された２次元画像に表示された物体の領域が、
注目バッファに記憶されたマットから認識され、その領
域を構成する画素のＲＧＢ値の、ＲＧＢ空間における分
布（色分布）が検出される。
【０２９７】色分布の検出後は、ステップＳ５２に進
み、物体の領域を構成する画素のうち、その色の彩度が
最も大きい画素（以下、適宜、最大彩度画素）が、ステ
ップＳ５１で検出された色分布に基づいて検出される。
【０２９８】即ち、図３７は、ＲＧＢ空間における物体
の色分布（同図において実線で囲んで示す部分）の例を
示している。なお、図３７は、Ｒ，Ｇ，Ｂの最大値を１
に正規化した色分布を示している。従って、図３７のＲ
ＧＢ空間において、（Ｒ，Ｇ，Ｂ）が（０，０，０）の
点は黒を、（１，１，１）の点は白を、それぞれ表す。
【０２９９】ＲＧＢ空間において、彩度は、黒の点と白
の点を結ぶ直線、即ち、図３７では、点（０，０，０）
と（１，１，１）とを結ぶ直線から離れるほど大きくな
る。従って、ステップＳ５２では、ステップＳ５１で検
出された色分布において、点（０，０，０）と（１，
１，１）とを結ぶ直線から最も離れた点に位置する色を
有する画素が、最大彩度画素として検出される。図３７
の実施の形態では、同図においてＣで示す色の画素が、
最大彩度画素として検出される。
【０３００】ここで、最大彩度画素の色（ＲＧＢ値）Ｃ
が、注目バッファに記憶された２次元画像に表示された
物体の本来の色と考えられる。
【０３０１】その後、ステップＳ５３に進み、ステップ
Ｓ５１で検出された色分布が変換され、その変換後の色
分布に対応した画素値（ＲＧＢ値）が、注目バッファに
記憶された２次元画像を構成する、対応する画素に書き
込まれて、リターンする。即ち、ステップ５３では、最
大彩度画素の色Ｃが、所定の色Ｄに変換され、さらに、
所定のルールにしたがって、物体の領域を構成する他の
画素の色も変換される。
【０３０２】具体的には、物体の色や材質感などの材質
属性を変更する物体属性処理が指令された場合、ステッ
プＳ５３では、最大彩度画素の色Ｃが、所定の色Ｄに変
換され、その変換と同様にして、物体の領域を構成する
他の画素の色も、線形的に変換される。
【０３０３】即ち、図３７において、最大彩度画素の色
Ｃが、色Ｄに変更された場合、物体の色分布の中で、色
Ｃと、白色を表す点（１，１，１）との間にある色は、
色Ｄと、白色を表す点（１，１，１）との間にある色
に、線形に変換される。さらに、物体の色分布の中の、
色Ｃと、黒色を表す点（０，０，０）との間にある色
は、色Ｄと、黒色を表す点（０，０，０）との間にある
色に、線形に変換される。その結果、物体の色分布は、
図３７において、実線で示すものから点線で示すものに
変更される。ここでは、色が線形に変換されるため、元
の色分布の中で、最も明るい色Ｑは、変換後の色分布の
中でも、最も明るい色Ｔに変換される。同様に、元の色
分布の中で、最も暗い色Ｐは、変換後の色分布の中で
も、最も暗い色Ｓに変換される。
【０３０４】色Ｃと、白色を表す点（１，１，１）との
間にある色は、物体における、光源からの光の鏡面反射
による鏡面反射成分であり、また、色Ｃと、黒色を表す
点（０，０，０）との間にある色は、物体における、光
源からの光の拡散反射による拡散反射成分であり、上述
のように、物体の色分布を、拡散反射成分と鏡面反射成
分とに分けて、それぞれを線形に変換することにより、
注目バッファに記憶された２次元画像に表示されている
物体の投影画像の色を、元の陰影を保持したまま変更す
ることができる。即ち、上述の場合、２次元画像に表示
された物体の色を、色Ｃから色Ｄに変更することができ
る。
【０３０５】なお、このような色の変更は、ダイクロマ
ティックリフレクションモデル（dichromatic reflecti
on model）の理論に基づくものである。
【０３０６】また、上述の場合には、物体の色分布のう
ちの拡散反射成分または鏡面反射成分それぞれを線形に
変換するようにしたが、ステップＳ５３では、拡散反射
成分や鏡面反射成分を非線形に変換するようにすること
も可能である。即ち、例えば、図３７において、鏡面反
射成分である、色ＣとＱとの間にある色のほとんどを、
色Ｄ付近に変換し、色Ｑおよびその付近の色を、色Ｔ付
近に変換した場合には、物体を、ごく一部において、強
い鏡面反射が生じているようなものとすることができ
る。この場合、例えば、図３８（Ａ）に示すように、拡
散反射が多く、全体的に明るい物体を、図３８（Ｂ）に
示すように、一部で強い鏡面反射が生じている物体に変
更することができる。
【０３０７】以上のように、拡散反射成分や鏡面反射成
分を非線形に変換することで、物体において、鏡面反射
している領域を狭くまたは広くしたり、鏡面反射の強度
を変えたりすることができ、これにより、物体の材質感
を変更することができる。
【０３０８】なお、上述のように、一部で強い鏡面反射
が生じるのは、金属表面に特有の性質であり、従って、
そのように色分布を変更した場合には、物体に、金属の
光沢をもたせることができる。
【０３０９】次に、光源を変更する光源変更処理が指令
された場合、図３６のステップＳ５３では、図３７にお
いて、鏡面反射成分である色ＣとＱとの間にある色が、
色Ｃから、新たな光源の色に沿って分布するように変換
される。即ち、物体の色分布において、最も明るい色
は、光源の色であると考えられるから、図３７におい
て、色Ｃから、最も明るい色Ｑに沿って分布する色を、
色Ｃから、新たな光源の色に沿って分布するように変換
することで、光源が、新たな光源に変更されたかのよう
な効果を得ることができる。
【０３１０】次に、図７のステップＳ１７において行わ
れるイレース処理について説明する。
【０３１１】イレース処理は、上述したように、画像バ
ッファに記憶された２次元画像の一部を削除するもので
あるから、基本的には、そのイレース処理の対象とする
２次元画像が記憶された画像バッファを注目バッファと
して、コピー処理を行い、展開画像をペーストバッファ
に記憶させ、さらに、ペーストバッファに記憶された展
開画像の一部を消去し、ペースト処理を行い、展開画像
に対応する投影画像を、注目バッファの元の位置に貼り
付けることで行うことができる。
【０３１２】しかしながら、例えば、図３９（Ａ）に示
すような２次元画像のうちの、格子状の模様が描かれた
壁に埋め込まれている円柱を削除する場合において、コ
ピー処理を行い、図３９（Ｂ）に示すように、その壁の
展開画像をペーストバッファに記憶させた後、単に、円
柱の部分を削除して、ペースト処理を行ったのでは、円
柱のあった部分が無模様の、不自然な２次元画像が得ら
れることになる。
【０３１３】そこで、イレース処理では、ペーストバッ
ファに記憶された展開画像の一部を削除し、さらに、そ
の削除が行われた部分の背景を再現するようになされて
いる。
【０３１４】即ち、例えば、図３９（Ａ）に示すような
２次元画像のうちの、格子状の模様が描かれた壁に埋め
込まれている円柱を削除する場合において、コピー処理
を行い、図３９（Ｂ）に示すように、その壁の展開画像
が、ペーストバッファに記憶されたときには、イレース
処理では、円柱の部分が削除され、さらに、その削除が
行われた部分の背景が描画される。これにより、ペース
トバッファの展開画像は、例えば、図３９（Ｃ）に示す
ように、全体に、格子状の模様が描かれたものとされ
る。
【０３１５】従って、そのような展開画像を用いて、ペ
ースト処理を行うことにより、図３９（Ｄ）に示すよう
に、円柱が削除され、さらに、その円柱のあった部分に
格子状の模様が再現された、自然な２次元画像を得るこ
とができる。
【０３１６】なお、上述のように、画像の一部を削除
し、その削除が行われた部分に背景を再現する方法とし
ては、例えば、本件出願人が先に提案した特開平９−１
２８５２９号公報（ＥＰ公開番号０７７２１５７に対
応）や特開平１０−１０５７００号（ＵＳＰ５，８９
２，８５３に対応）などに記載されているものなどを採
用することができる。
【０３１７】次に、上述の場合においては、コピー処理
において、注目バッファに記憶された２次元画像に表示
された３次元物体の１面だけの展開画像を生成し、ペー
ストバッファに記憶させるようにしたが、コピー処理で
は、注目バッファに記憶された２次元画像に表示された
３次元物体の隣接する２面以上の部分について、展開画
像を生成し、ペーストバッファに記憶させるようにする
ことも可能である。
【０３１８】即ち、例えば、図４０（Ａ）に示すよう
に、家屋の形状をした３次元物体が表示されている２次
元画像が、注目バッファに記憶されている場合におい
て、格子状の模様が描かれた壁と、それに隣接する無模
様の壁に、連続した文字や図形を付加するときに、格子
状の模様が描かれた壁を対象に、コピー処理を行い、そ
の展開画像をペーストバッファに記憶させ、文字や図形
を描き、ペースト処理を行うことで、文字や図形が描か
れた格子状の模様の壁を貼り付け、さらに、無模様の壁
を対象に、コピー処理を行い、その展開画像をペースト
バッファに記憶させ、文字や図形を描き、ペースト処理
を行うことで、文字や図形が描かれた無模様の壁を貼り
付けるのでは、面倒であり、また、連続した文字や図形
を描きにくい。
【０３１９】そこで、コピー処理では、図４０（Ｂ）に
示すように、格子状の模様が描かれた壁と、それに隣接
する無模様の壁の両方の展開画像を生成し、ペーストバ
ッファに記憶させることができる。この場合、格子状の
模様が描かれた壁と、それに隣接する無模様の壁に、連
続した文字や図形を、容易に描くことができる。
【０３２０】なお、ペースト処理においても同様に、ペ
ーストバッファに記憶された展開画像を、３次元物体の
隣接する２面以上の部分に貼り付けるようにすることが
可能である。
【０３２１】ところで、上述の自動補正処理では、２次
元画像に表示された物体の輪郭線を、画素値の微分値の
法線ベクトル方向成分に基づいて検出し、ユーザが指定
した特徴点を、その輪郭線上に位置するように補正する
ようにしたが、この画素値の微分値の法線ベクトル方向
成分に基づいて、物体の輪郭線を検出する手法は、自動
補正処理の他、広く、物体の輪郭線の検出を必要とする
処理に適用することができる。
【０３２２】そこで、画素値の微分値の法線ベクトル方
向成分に基づいて、物体の輪郭線を検出（抽出）する輪
郭抽出装置について説明する。
【０３２３】図４１は、そのような輪郭抽出装置の一実
施の形態の構成例を示している。
【０３２４】パラメータ算出部４１には、輪郭線を抽出
する物体が表示された画像と、その物体の形状を表す形
状情報が供給されるようになされており、そこでは、形
状情報に基づいて、１以上のパラメータを用いて表され
る関数が、関数記憶部４２から読み出される。即ち、関
数記憶部４２は、物体の形状ごとに、その輪郭線を定義
するための、１以上のパラメータを用いて表される関数
を記憶しており、パラメータ算出部４１は、関数記憶部
４２に記憶されている関数の中から、形状情報に対応し
た形状の物体の輪郭線を表すものを読み出す。
【０３２５】そして、関数記憶部４２から読み出された
関数をｆとすると、パラメータ算出部４１は、その関数
ｆについて、式（２）で表されるエネルギＥfを算出
し、そのエネルギＥfを最大にするパラメータを求め
る。なお、パラメータ算出部４１に供給される画像が、
例えば、２次元画像である場合には、式（２）における
△Ｂ（ｘp，ｙp）として、例えば、画素値などが用いら
れる。また、パラメータ算出部４１に供給される画像
が、例えば、３次元画像（３次元のデータを用いて描画
される画像）である場合には、式（２）における△Ｂ
（ｘp，ｙp）として、ボリュームレンダリングで用いら
れるボリュームデータなどが用いられる。
【０３２６】パラメータ算出部４１は、関数ｆのパラメ
ータを求めると、その関数ｆとともにパラメータを、輪
郭抽出部４３に供給する。輪郭抽出部４３では、パラメ
ータ算出部４１からの関数ｆに、同じくパラメータ算出
部４１からのパラメータをセットして計算を行うこと
で、式ｆ＝０を満たす点を求め、その点を、物体の輪郭
線を構成する点として出力する。
【０３２７】ここで、図４１の輪郭抽出装置では、現実
的には考えにくいが、２次元や３次元以外の次元の画像
に表示された物体の輪郭であっても、その物体を表すた
めのスカラー量が定義されており、かつその輪郭が、１
以上のパラメータを用いて表される関数ｆによる式ｆ＝
０で定義することができるものであれば、検出すること
が可能である。なお、この場合、式（２）における△Ｂ
（ｘp，ｙp）としては、物体を表すためのスカラー量の
微分値が用いられる。
【０３２８】以上のように、ユーザによって指定された
形状情報および特徴点に基づいて、２次元画像の中の３
次元物体を構成する面を、展開画像に変換するための逆
変換式を算出し、その逆変換式に基づいて、２次元画像
の中の３次元物体を構成する面を、展開画像に変換する
一方、ユーザによって指定された形状情報および特徴点
に基づいて、展開画像を、投影画像に変換するための順
変換式を算出し、その順変換式に基づいて、展開画像
を、投影画像に変換し、その投影画像を、２次元画像に
おける特徴点によって特定される部分に貼り付けるよう
にしたので、２次元画像に対して、容易に、３次元的な
編集や加工等を施すことができる。
【０３２９】従って、図３の画像処理装置では、例え
ば、カメラ９で、あるオブジェクトを撮影した画像があ
る場合に、そのオブジェクトを、再度撮影することな
く、その画像中のオブジェクトの位置や、形状、テクス
チャなどを変更することが可能である。また、この画像
処理装置は、例えば、画像の撮影後に、デザイナが、そ
の画像に対して加工を加える場合などに利用することが
できる。さらに、この画像処理装置は、最近盛んに行わ
れている仮想現実空間のデータを作成する場合や、その
他の画像編集一般に利用することが可能である。また、
この画像処理装置では、現実の物体を撮影した画像の
他、絵画を撮影して得られる画像や、コンピュータグラ
フィクスの技術を使用して描画された画像なども、処理
の対象とすることが可能である。
【０３３０】なお、注目バッファに記憶された２次元画
像に表示された３次元物体の面を対象に、コピー処理を
行って、ペーストバッファに記憶させ、そのペーストバ
ッファの記憶内容に加工を加えた後に、それを、ペース
ト処理により、元の３次元物体の面に貼り付ける場合に
は、ペースト処理においては、コピー処理を行う際に用
いられた形状情報と特徴点が、そのまま用いられる。こ
れは、このような場合には、コピー処理とペースト処理
とで用いられる形状情報と特徴点は同一のものであるは
ずなので、コピー処理の際に入力された形状情報および
特徴点と同一の形状情報および特徴点を、ペースト処理
の際に、再度、ユーザに入力させるのは冗長であるから
である。また、ユーザに、コピー処理を行う際と、ペー
スト処理を行う際に、それぞれ特徴点を入力させた場
合、自動補正処理が行われても、コピー処理に用いる特
徴点と、ペースト処理に用いる特徴点とが正確に一致し
ないことが考えられ、この場合、コピー処理により、展
開画像が生成される２次元画像上の領域と、ペースト処
理により、投影画像が貼り付けられる２次元画像上の領
域とが一致しなくなり、ペースト処理後の２次元画像が
不自然なものとなることがあるからである。
【０３３１】次に、図４２を参照して、上述した一連の
処理を実行するプログラムをコンピュータにインストー
ルし、コンピュータによって実行可能な状態とするため
に用いられる媒体について説明する。
【０３３２】プログラムは、図４２（Ａ）に示すよう
に、コンピュータ１０１に内蔵されている記録媒体とし
てのハードディスク１０２（例えば、図３の演算処理回
路１における外部記憶装置７に対応する）に予めインス
トールした状態でユーザに提供することができる。
【０３３３】あるいはまた、プログラムは、図４２
（Ｂ）に示すように、フロッピーディスク１１１、CD-R
OM(Compact Disc Read Only Memory)１１２，MO(Magnet
o optical)ディスク１１３，DVD(Digital Versatile Di
sc)１１４、磁気ディスク１１５、半導体メモリ１１６
などの記録媒体に、一時的あるいは永続的に格納し、パ
ッケージソフトウエアとして提供することができる。
【０３３４】さらに、プログラムは、図４２（Ｃ）に示
すように、ダウンロードサイト１２１から、ディジタル
衛星放送用の人工衛星１２２を介して、コンピュータ１
２３に無線で転送したり、LAN(Local Area Network)、
インターネットといったネットワーク１３１を介して、
コンピュータ１２３に有線で転送し、コンピュータ１２
３において、内蔵するハードディスクなどに格納させる
ようにすることができる。
【０３３５】本明細書における媒体とは、これら全ての
媒体を含む広義の概念を意味するものである。
【０３３６】また、本明細書において、媒体により提供
されるプログラムを記述するステップは、必ずしもフロ
ーチャートとして記載された順序に沿って時系列に処理
する必要はなく、並列的あるいは個別に実行される処理
（例えば、並列処理あるいはオブジェクトによる処理）
も含むものである。
【０３３７】なお、本実施の形態では、図３の演算処理
回路１に、外部記憶装置７に記憶されたアプリケーショ
ンプログラムを実行させることで、図４の画像処理装置
を実現することとしたが、この画像処理装置は、図４に
示した各ブロックに相当するハードウェアによって実現
することも可能である。
【０３３８】
【発明の効果】本発明の画像処理装置および画像処理方
法、並びに媒体によれば、形状情報および特徴点に基づ
いて、２次元画像の中の３次元物体を構成する面を、展
開画像に変換するための変換式が算出され、その変換式
に基づいて、２次元画像の中の３次元物体を構成する面
が、展開画像に変換される。従って、２次元画像の中の
３次元物体を構成する面の展開画像を、容易に得ること
が可能となる。
【０３３９】本発明の他の画像処理装置および画像処理
方法、並びに媒体によれば、形状情報および特徴点に基
づいて、所定の画像を、投影画像に変換するための変換
式が算出され、その変換式に基づいて、所定の画像が、
投影画像に変換される。そして、所定の画像から得られ
た投影画像が、２次元画像における特徴点によって特定
される部分に貼り付けられる。従って、２次元画像の中
に、例えば、３次元物体の投影画像を、容易に貼り付け
ることが可能となる。
【０３４０】本発明の輪郭抽出装置および輪郭抽出方法
によれば、所定の空間における物体の輪郭を定義する、
１以上のパラメータを用いて表される関数ｆによる式ｆ
＝０上の点のスカラー量の微分値のうちの、その点にお
ける法線ベクトルの方向の成分である法線方向成分を最
大にするパラメータが求められ、そのパラメータを用い
て表される関数ｆによる式ｆ＝０上の点が、物体の輪郭
として抽出される。従って、比較的精度良く、物体の輪
郭を抽出することが可能となる。
【図面の簡単な説明】
【図１】従来のペイントツールによる描画結果を示す図
である。
【図２】従来のペイントツールによる描画結果を示す図
である。
【図３】本発明を適用した画像処理装置の一実施の形態
のハードウェアの構成例を示すブロック図である。
【図４】図３の画像処理装置の機能的構成例を示すブロ
ック図である。
【図５】図４の画像処理装置による２次元画像の処理結
果を示す図である。
【図６】図４の画像処理装置による２次元画像の処理結
果を示す図である。
【図７】図４の画像処理装置の処理を説明するためのフ
ローチャートである。
【図８】図４の画像処理装置が起動されたときに表示さ
れるメインウインドウを示す図である。
【図９】コピー処理を説明するための図である。
【図１０】ペースト処理を説明するための図である。
【図１１】コピー処理とペースト処理との組み合わせに
よるテクスチャのコピーを説明するための図である。
【図１２】ユーザによって指定される特徴点を示す図で
ある。
【図１３】図７のステップＳ７の処理の詳細を説明する
ためのフローチャートである。
【図１４】図１３のステップＳ２２の処理を説明するた
めの図である。
【図１５】２次元画像に表示された３次元物体の輪郭線
の抽出方法を説明するための図である。
【図１６】図７のステップＳ７の処理の詳細を説明する
ためのフローチャートである。
【図１７】特徴点の補正方法を説明するための図であ
る。
【図１８】逆変換式および順変換式の算出方法を説明す
るための図である。
【図１９】３次元空間上の３次元物体、展開画像、およ
び投影画像の関係を示す図である。
【図２０】３次元物体が直方体である場合の、逆変換式
および順変換式の算出方法を説明するための図である。
【図２１】３次元物体が円柱である場合の、逆変換式お
よび順変換式の算出方法を説明するための図である。
【図２２】３次元物体が円柱である場合の、逆変換式お
よび順変換式の算出方法を説明するための図である。
【図２３】角度νを説明するための図である。
【図２４】図２１におけるθの算出方法を説明するため
のフローチャートである。
【図２５】３次元物体が球である場合の、逆変換式およ
び順変換式の算出方法を説明するための図である。
【図２６】３次元物体が球である場合の、逆変換式およ
び順変換式の算出方法を説明するための図である。
【図２７】図２６のλ1およびλ2から、μを算出する方
法を説明するための図である。
【図２８】図２６のλ1およびλ2から、μを算出する方
法を説明するための図である。
【図２９】図２６のλ1およびλ2から、μを算出する方
法を説明するための図である。
【図３０】図２６のλ1およびλ2から、μを算出する方
法を説明するための図である。
【図３１】３次元物体が円錐である場合の、逆変換式お
よび順変換式の算出方法を説明するための図である。
【図３２】３次元物体が円錐である場合の、逆変換式お
よび順変換式の算出方法を説明するための図である。
【図３３】角度νを説明するための図である。
【図３４】円錐について指定される特徴点の例を示す図
である。
【図３５】マット処理を説明するための図である。
【図３６】図７のステップＳ１６の処理の詳細を説明す
るためのフローチャートである。
【図３７】図３６のステップＳ５３の処理を説明するた
めの図である。
【図３８】物体の色分布を非線形に変換した変換結果を
示す図である。
【図３９】イレース処理を説明するための図である。
【図４０】コピー処理を説明するための図である。
【図４１】本発明を適用した輪郭抽出装置の一実施の形
態の構成例を示すブロック図である。
【図４２】本発明を適用した媒体を説明するための図で
ある。
【符号の説明】
１ 演算処理回路， ２ プログラムメモリ， ３ デ
ータメモリ， ４ フレームメモリ， ５ 画像表示装
置， ６ 入力装置， ７ 外部記憶装置，８ 外部イ
ンターフェイス， ９ カメラ， １１ 入力イベント
処理部， １２ コピー操作処理部， １３ ペースト
操作処理部， １４ ペーストバッファ選択処理部，
１５ イレース操作処理部， １６ マット操作処理
部， １７ 物体属性操作処理部， １８ ペイント処
理部， １９ 変換指定処理部，２０ 画像変換処理
部， ２１ バッファＩＤ記憶部， ２２ 表示処理
部，３１ コマンドボタン， ３２ 形状ボタン， ４
１ パラメータ算出部，４２ 関数記憶部， ４３ 輪
郭抽出部， １０１ コンピュータ， １０２ハードデ
ィスク， １０３ 半導体メモリ， １１１ フロッピ
ーディスク，１１２ CD-ROM， １１３ MOディスク，
１１４ DVD， １１５ 磁気ディスク， １１６
半導体メモリ， １２１ ダウンロードサイト， １２
２ 衛星， １２３ コンピュータ， １３１ ネット
ワーク

Claims (93)

    【特許請求の範囲】
  1. 【請求項１】 ２次元画像から、その中に表示された３
    次元物体を構成する面を、２次元平面に展開した画像で
    ある展開画像を生成する画像処理装置において、 前記３次元物体を構成する面の形状に関する形状情報
    と、その面を構成する、前記２次元画像上の点である特
    徴点とを指定するときに操作される操作手段と、 前記形状情報および特徴点に基づいて、前記２次元画像
    の中の前記３次元物体を構成する面を、前記展開画像に
    変換するための変換式を算出する算出手段と、 前記変換式に基づいて、前記２次元画像の中の前記３次
    元物体を構成する面を、前記展開画像に変換する変換手
    段とを備える。
  2. 【請求項２】 請求項１に記載の画像処理装置におい
    て、 前記展開画像を、３次元空間上の前記３次元物体を構成
    する面に写像する関数をψと、その３次元物体を、スク
    リーンに投影し、前記２次元画像とする関数をＭと、そ
    れぞれするとき、 前記算出手段は、前記変換式として、関数Ｍψの逆関数
    を算出する。
  3. 【請求項３】 請求項１に記載の画像処理装置におい
    て、 前記３次元物体を構成する面のうちの少なくとも１つが
    長方形である。
  4. 【請求項４】 請求項３に記載の画像処理装置におい
    て、 前記長方形が、前記形状情報として指定されたとき、 前記２次元画像に表示された前記長方形の頂点が、前記
    特徴点として指定される。
  5. 【請求項５】 請求項１に記載の画像処理装置におい
    て、 前記３次元物体が円柱である。
  6. 【請求項６】 請求項５に記載の画像処理装置におい
    て、 前記円柱の側面が、前記形状情報として指定されたと
    き、 前記２次元画像に表示された前記円柱の側面と、前記円
    柱の底面との交線の２つの端点、 または前記円柱における、前記交線に相当する部分を、
    前記円柱の底面の円周に沿って２等分する点に相当す
    る、前記２次元画像に表示された点が、前記特徴点とし
    て指定される。
  7. 【請求項７】 請求項１に記載の画像処理装置におい
    て、 前記３次元物体が球である。
  8. 【請求項８】 請求項７に記載の画像処理装置におい
    て、 前記球が、前記形状情報として指定された場合、前記球
    について、その中心を原点とし、互いに直交するｘ軸、
    ｙ軸、ｚ軸からなる３次元空間座標を考えたときに、 前記２次元画像に表示された前記球の中心、 前記３次元空間座標における、前記球とｙ軸との交点で
    ある極に相当する、前記２次元画像に表示された点、 前記３次元空間座標における、前記球とｘｚ平面との交
    線である赤道の一部に相当する、前記２次元画像に表示
    された部分の２つの端点、 前記２つの端点に相当する、前記赤道上の２点間を、前
    記赤道に沿って２等分する点に相当する、前記２次元画
    像に表示された点、 または前記３次元空間座標における、前記球とｙｚ平面
    との交線の一部に相当する、前記２次元画像に表示され
    た部分の２つの端点 が、前記特徴点として指定される。
  9. 【請求項９】 請求項１に記載の画像処理装置におい
    て、 前記３次元物体が円錐である。
  10. 【請求項１０】 請求項９に記載の画像処理装置におい
    て、 前記円錐の側面が、前記形状情報として指定されたと
    き、 前記２次元画像に表示された前記円錐の側面と、前記円
    錐の底面との交線の２つの端点、 前記円錐における前記交線に相当する部分を、前記円錐
    の底面の円周に沿って２等分する点に相当する、前記２
    次元画像に表示された点、 前記円錐の側面を展開した扇形の中心に相当する、前記
    ２次元画像に表示された点、 または前記円錐の底面の中心に相当する、前記２次元画
    像に表示された点が、前記特徴点として指定される。
  11. 【請求項１１】 請求項１に記載の画像処理装置におい
    て、 前記操作手段が操作されることにより指定された前記特
    徴点を補正する補正手段をさらに備える。
  12. 【請求項１２】 請求項１１に記載の画像処理装置にお
    いて、 前記２次元画像に表示された前記３次元物体の輪郭が、
    １以上のパラメータを用いて表される関数ｆによる式ｆ
    ＝０で定義される場合において、 前記補正手段は、 前記式ｆ＝０で表される線を構成する画素の画素値の微
    分値のうちの、その画素における法線ベクトルの方向の
    成分である法線方向成分を最大にする前記パラメータを
    求め、 そのパラメータを用いて表される前記関数ｆによる式ｆ
    ＝０で表される線上に位置するように、前記特徴点を補
    正する。
  13. 【請求項１３】 請求項１２に記載の画像処理装置にお
    いて、 前記法線方向成分を、前記パラメータを変化させながら
    求めることにより、前記法線方向成分を最大にする前記
    パラメータを求める。
  14. 【請求項１４】 請求項１２に記載の画像処理装置にお
    いて、 前記関数ｆによる式ｆ＝０は直線を表し、 前記パラメータは、前記直線上の２点の座標である。
  15. 【請求項１５】 ２次元画像から、その中に表示された
    ３次元物体を構成する面を、２次元平面に展開した画像
    である展開画像を生成する画像処理方法において、 前記３次元物体を構成する面の形状に関する形状情報
    と、その面を構成する、前記２次元画像上の点である特
    徴点とを指定するときに操作される操作手段によって、
    前記形状情報および特徴点が指定された場合に、前記形
    状情報および特徴点に基づいて、前記２次元画像の中の
    前記３次元物体を構成する面を、前記展開画像に変換す
    るための変換式を算出する算出ステップと、 前記変換式に基づいて、前記２次元画像の中の前記３次
    元物体を構成する面を、前記展開画像に変換する変換ス
    テップとを備える。
  16. 【請求項１６】 請求項１５に記載の画像処理方法にお
    いて、 前記展開画像を、３次元空間上の前記３次元物体を構成
    する面に写像する関数をψと、その３次元物体を、スク
    リーンに投影し、前記２次元画像とする関数をＭと、そ
    れぞれするとき、 前記算出ステップにおいて、前記変換式として、関数Ｍ
    ψの逆関数を算出する。
  17. 【請求項１７】 請求項１５に記載の画像処理方法にお
    いて、 前記３次元物体を構成する面のうちの少なくとも１つが
    長方形である。
  18. 【請求項１８】 請求項１７に記載の画像処理方法にお
    いて、 前記長方形が、前記形状情報として指定されたとき、 前記２次元画像に表示された前記長方形の頂点が、前記
    特徴点として指定される。
  19. 【請求項１９】 請求項１５に記載の画像処理方法にお
    いて、 前記３次元物体が円柱である。
  20. 【請求項２０】 請求項１９に記載の画像処理方法にお
    いて、 前記円柱の側面が、前記形状情報として指定されたと
    き、 前記２次元画像に表示された前記円柱の側面と、前記円
    柱の底面との交線の２つの端点、 または前記円柱における、前記交線に相当する部分を、
    前記円柱の底面の円周に沿って２等分する点に相当す
    る、前記２次元画像に表示された点が、前記特徴点とし
    て指定される。
  21. 【請求項２１】 請求項１５に記載の画像処理方法にお
    いて、 前記３次元物体が球である。
  22. 【請求項２２】 請求項２１に記載の画像処理方法にお
    いて、 前記球が、前記形状情報として指定された場合、前記球
    について、その中心を原点とし、互いに直交するｘ軸、
    ｙ軸、ｚ軸からなる３次元空間座標を考えたときに、 前記２次元画像に表示された前記球の中心、 前記３次元空間座標における、前記球とｙ軸との交点で
    ある極に相当する、前記２次元画像に表示された点、 前記３次元空間座標における、前記球とｘｚ平面との交
    線である赤道の一部に相当する、前記２次元画像に表示
    された部分の２つの端点、 前記２つの端点に相当する、前記赤道上の２点間を、前
    記赤道に沿って２等分する点に相当する、前記２次元画
    像に表示された点、 または前記３次元空間座標における、前記球とｙｚ平面
    との交線の一部に相当する、前記２次元画像に表示され
    た部分の２つの端点 が、前記特徴点として指定される。
  23. 【請求項２３】 請求項１５に記載の画像処理方法にお
    いて、 前記３次元物体が円錐である。
  24. 【請求項２４】 請求項２３に記載の画像処理方法にお
    いて、 前記円錐の側面が、前記形状情報として指定されたと
    き、 前記２次元画像に表示された前記円錐の側面と、前記円
    錐の底面との交線の２つの端点、 前記円錐における、前記交線に相当する部分を、前記円
    錐の底面の円周に沿って２等分する点に相当する、前記
    ２次元画像に表示された点、 前記円錐の側面を展開した扇形の中心に相当する、前記
    ２次元画像に表示された点、 または前記円錐の底面の中心に相当する、前記２次元画
    像に表示された点が、前記特徴点として指定される。
  25. 【請求項２５】 請求項１５に記載の画像処理方法にお
    いて、 前記操作手段が操作されることにより指定された前記特
    徴点を補正する補正ステップをさらに備える。
  26. 【請求項２６】 請求項２５に記載の画像処理方法にお
    いて、 前記２次元画像に表示された前記３次元物体の輪郭が、
    １以上のパラメータを用いて表される関数ｆによる式ｆ
    ＝０で定義される場合において、 前記補正ステップでは、 前記式ｆ＝０で表される線を構成する画素の画素値の微
    分値のうちの、その画素における法線ベクトルの方向の
    成分である法線方向成分を最大にする前記パラメータを
    求め、 そのパラメータを用いて表される前記関数ｆによる式ｆ
    ＝０で表される線上に位置するように、前記特徴点を補
    正する。
  27. 【請求項２７】 請求項２６に記載の画像処理方法にお
    いて、 前記法線方向成分を、前記パラメータを変化させながら
    求めることにより、前記法線方向成分を最大にする前記
    パラメータを求める。
  28. 【請求項２８】 請求項２６に記載の画像処理方法にお
    いて、 前記関数ｆによる式ｆ＝０は直線を表し、 前記パラメータは、前記直線上の２点の座標である。
  29. 【請求項２９】 ２次元画像から、その中に表示された
    ３次元物体を構成する面を、２次元平面に展開した画像
    である展開画像を生成する画像処理を行うためのコンピ
    ュータプログラムを、コンピュータに実行させる媒体に
    おいて、 前記３次元物体を構成する面の形状に関する形状情報
    と、その面を構成する、前記２次元画像上の点である特
    徴点とを指定するときに操作される操作手段によって、
    前記形状情報および特徴点が指定された場合に、前記形
    状情報および特徴点に基づいて、前記２次元画像の中の
    前記３次元物体を構成する面を、前記展開画像に変換す
    るための変換式を算出する算出ステップと、 前記変換式に基づいて、前記２次元画像の中の前記３次
    元物体を構成する面を、前記展開画像に変換する変換ス
    テップとを備えるコンピュータプログラムを、前記コン
    ピュータに実行させる。
  30. 【請求項３０】 請求項２９に記載の媒体において、 前記展開画像を、３次元空間上の前記３次元物体を構成
    する面に写像する関数をψと、その３次元物体を、スク
    リーンに投影し、前記２次元画像とする関数をＭと、そ
    れぞれするとき、 前記算出ステップにおいて、前記変換式として、関数Ｍ
    ψの逆関数を算出する。
  31. 【請求項３１】 請求項２９に記載の媒体において、 前記３次元物体を構成する面のうちの少なくとも１つが
    長方形である。
  32. 【請求項３２】 請求項３１に記載の媒体において、 前記長方形が、前記形状情報として指定されたとき、 前記２次元画像に表示された前記長方形の頂点が、前記
    特徴点として指定される。
  33. 【請求項３３】 請求項２９に記載の媒体において、 前記３次元物体が円柱である。
  34. 【請求項３４】 請求項３３に記載の媒体において、 前記円柱の側面が、前記形状情報として指定されたと
    き、 前記２次元画像に表示された前記円柱の側面と、前記円
    柱の底面との交線の２つの端点、 または前記円柱における、前記交線に相当する部分を、
    前記円柱の底面の円周に沿って２等分する点に相当す
    る、前記２次元画像に表示された点 が、前記特徴点として指定される。
  35. 【請求項３５】 請求項２９に記載の媒体において、 前記３次元物体が球である。
  36. 【請求項３６】 請求項３５に記載の媒体において、 前記球が、前記形状情報として指定された場合、 前記球について、その中心を原点とし、互いに直交する
    ｘ軸、ｙ軸、ｚ軸からなる３次元空間座標を考えたとき
    に、 前記２次元画像に表示された前記球の中心、 前記３次元空間座標における、前記球とｙ軸との交点で
    ある極に相当する、前記２次元画像に表示された点、 前記３次元空間座標における、前記球とｘｚ平面との交
    線である赤道の一部に相当する、前記２次元画像に表示
    された部分の２つの端点、 前記２つの端点に相当する、前記赤道上の２点間を、前
    記赤道に沿って２等分する点に相当する、前記２次元画
    像に表示された点、 または前記３次元空間座標における、前記球とｙｚ平面
    との交線の一部に相当する、前記２次元画像に表示され
    た部分の２つの端点が、前記特徴点として指定される。
  37. 【請求項３７】 請求項２９に記載の媒体において、 前記３次元物体が円錐である。
  38. 【請求項３８】 請求項３７に記載の媒体において、 前記円錐の側面が、前記形状情報として指定されたと
    き、 前記２次元画像に表示された前記円錐の側面と、前記円
    錐の底面との交線の２つの端点、 前記円錐における、前記交線に相当する部分を、前記円
    錐の底面の円周に沿って２等分する点に相当する、前記
    ２次元画像に表示された点、 前記円錐の側面を展開した扇形の中心に相当する、前記
    ２次元画像に表示された点、 または前記円錐の底面の中心に相当する、前記２次元画
    像に表示された点が、前記特徴点として指定される。
  39. 【請求項３９】 請求項２９に記載の媒体において、 前記コンピュータプログラムは、前記操作手段が操作さ
    れることにより指定された前記特徴点を補正する補正ス
    テップをさらに備える。
  40. 【請求項４０】 請求項３９に記載の媒体において、 前記２次元画像に表示された前記３次元物体の輪郭が、
    １以上のパラメータを用いて表される関数ｆによる式ｆ
    ＝０で定義される場合において、 前記補正ステップでは、 前記式ｆ＝０で表される線を構成する画素の画素値の微
    分値のうちの、その画素における法線ベクトルの方向の
    成分である法線方向成分を最大にする前記パラメータを
    求め、 そのパラメータを用いて表される前記関数ｆによる式ｆ
    ＝０で表される線上に位置するように、前記特徴点を補
    正する。
  41. 【請求項４１】 請求項４０に記載の媒体において、 前記法線方向成分を、前記パラメータを変化させながら
    求めることにより、前記法線方向成分を最大にする前記
    パラメータを求める。
  42. 【請求項４２】 請求項４０に記載の媒体において、 前記関数ｆによる式ｆ＝０は直線を表し、 前記パラメータは、前記直線上の２点の座標である。
  43. 【請求項４３】 ２次元画像に対して、３次元物体を構
    成する面を投影した画像である投影画像を貼り付ける画
    像処理装置において、 前記３次元物体を構成する面の形状に関する形状情報
    と、その面を構成させる前記２次元画像上の点である特
    徴点とを指定するときに操作される操作手段と、 前記形状情報および特徴点に基づいて、２次元平面上の
    所定の画像を、前記投影画像に変換するための変換式を
    算出する算出手段と、 前記変換式に基づいて、前記所定の画像を、前記投影画
    像に変換する変換手段と、 前記所定の画像から得られた前記投影画像を、前記２次
    元画像における前記特徴点によって特定される部分に貼
    り付ける貼り付け手段とを備える。
  44. 【請求項４４】 請求項４３に記載の画像処理装置にお
    いて、 前記２次元平面上の所定の画像を、３次元空間上の前記
    ３次元物体を構成する面に写像する関数をψと、その３
    次元物体を、スクリーンに投影し、２次元画像とする関
    数をＭと、それぞれするとき、 前記算出手段は、前記変換式として、関数Ｍψを算出す
    る。
  45. 【請求項４５】 請求項４３に記載の画像処理装置にお
    いて、 前記３次元物体が前記２次元画像に表示されている。
  46. 【請求項４６】 請求項４５に記載の画像処理装置にお
    いて、 前記３次元物体を構成する面のうちの少なくとも１つが
    長方形である。
  47. 【請求項４７】 請求項４６に記載の画像処理装置にお
    いて、 前記長方形が、前記形状情報として指定されたとき、 前記２次元画像に表示された前記長方形の頂点が、前記
    特徴点として指定される。
  48. 【請求項４８】 請求項４５に記載の画像処理装置にお
    いて、 前記３次元物体が円柱である。
  49. 【請求項４９】 請求項４８に記載の画像処理装置にお
    いて、 前記円柱の側面が、前記形状情報として指定されたと
    き、 前記２次元画像に表示された前記円柱の側面と、前記円
    柱の底面との交線の２つの端点、 または前記円柱における、前記交線に相当する部分を、
    前記円柱の底面の円周に沿って２等分する点に相当す
    る、前記２次元画像に表示された点 が、前記特徴点として指定される。
  50. 【請求項５０】 請求項４５に記載の画像処理装置にお
    いて、 前記３次元物体が球である。
  51. 【請求項５１】 請求項５０に記載の画像処理装置にお
    いて、 前記球が、前記形状情報として指定された場合、 前記球について、その中心を原点とし、互いに直交する
    ｘ軸、ｙ軸、ｚ軸からなる３次元空間座標を考えたとき
    に、 前記２次元画像に表示された前記球の中心、 前記３次元空間座標における、前記球とｙ軸との交点で
    ある極に相当する、前記２次元画像に表示された点、 前記３次元空間座標における、前記球とｘｚ平面との交
    線である赤道の一部に相当する、前記２次元画像に表示
    された部分の２つの端点、 前記２つの端点に相当する、前記赤道上の２点間を、前
    記赤道に沿って２等分する点に相当する、前記２次元画
    像に表示された点、 または前記３次元空間座標における、前記球とｙｚ平面
    との交線の一部に相当する、前記２次元画像に表示され
    た部分の２つの端点 が、前記特徴点として指定される。
  52. 【請求項５２】 請求項４５に記載の画像処理装置にお
    いて、 前記３次元物体が円錐である。
  53. 【請求項５３】 請求項５２に記載の画像処理装置にお
    いて、 前記円錐の側面が、前記形状情報として指定されたと
    き、 前記２次元画像に表示された前記円錐の側面と、前記円
    錐の底面との交線の２つの端点、 前記円錐における、前記交線に相当する部分を、前記円
    錐の底面の円周に沿って２等分する点に相当する、前記
    ２次元画像に表示された点、 前記円錐の側面を展開した扇形の中心に相当する、前記
    ２次元画像に表示された点、 または前記円錐の底面の中心に相当する、前記２次元画
    像に表示された点 が、前記特徴点として指定される。
  54. 【請求項５４】 請求項４５に記載の画像処理装置にお
    いて、 前記操作手段が操作されることにより指定された前記特
    徴点を補正する補正手段をさらに備える。
  55. 【請求項５５】 請求項５４に記載の画像処理装置にお
    いて、 前記２次元画像に表示された前記３次元物体の輪郭が、
    １以上のパラメータを用いて表される関数ｆによる式ｆ
    ＝０で定義される場合において、 前記補正手段は、 前記式ｆ＝０で表される線を構成する画素の画素値の微
    分値のうちの、その画素における法線ベクトルの方向の
    成分である法線方向成分を最大にする前記パラメータを
    求め、 そのパラメータを用いて表される前記関数ｆによる式ｆ
    ＝０で表される線上に位置するように、前記特徴点を補
    正する。
  56. 【請求項５６】 請求項５５に記載の画像処理装置にお
    いて、 前記法線方向成分を、前記パラメータを変化させながら
    求めることにより、前記法線方向成分を最大にする前記
    パラメータを求める。
  57. 【請求項５７】 請求項５５に記載の画像処理装置にお
    いて、 前記関数ｆによる式ｆ＝０は直線を表し、 前記パラメータは、前記直線上の２点の座標である。
  58. 【請求項５８】 ２次元画像に対して、３次元物体を構
    成する面を投影した画像である投影画像を貼り付ける画
    像処理装置の画像処理方法において、 前記３次元物体を構成する面の形状に関する形状情報
    と、その面を構成させる前記２次元画像上の点である特
    徴点とを指定するときに操作される操作手段によって、
    前記形状情報および特徴点が指定された場合に、前記形
    状情報および特徴点に基づいて、２次元平面上の所定の
    画像を、前記投影画像に変換するための変換式を算出す
    る算出ステップと、 前記変換式に基づいて、前記所定の画像を、前記投影画
    像に変換する変換ステップと、 前記所定の画像から得られた前記投影画像を、前記２次
    元画像における前記特徴点によって特定される部分に貼
    り付ける貼り付けステップとを備える。
  59. 【請求項５９】 請求項５８に記載の画像処理方法にお
    いて、 前記２次元平面上の所定の画像を、３次元空間上の前記
    ３次元物体を構成する面に写像する関数をψと、その３
    次元物体を、スクリーンに投影し、２次元画像とする関
    数をＭと、それぞれするとき、 前記算出ステップにおいて、前記変換式として、関数Ｍ
    ψを算出する。
  60. 【請求項６０】 請求項５８に記載の画像処理方法にお
    いて、 前記３次元物体が前記２次元画像に表示されている。
  61. 【請求項６１】 請求項６０に記載の画像処理方法にお
    いて、 前記３次元物体を構成する面のうちの少なくとも１つが
    長方形である。
  62. 【請求項６２】 請求項６１に記載の画像処理方法にお
    いて、 前記長方形が、前記形状情報として指定されたとき、 前記２次元画像に表示された前記長方形の頂点が、前記
    特徴点として指定される。
  63. 【請求項６３】 請求項６０に記載の画像処理方法にお
    いて、 前記３次元物体が円柱である。
  64. 【請求項６４】 請求項６３に記載の画像処理方法にお
    いて、 前記円柱の側面が、前記形状情報として指定されたと
    き、 前記２次元画像に表示された前記円柱の側面と、前記円
    柱の底面との交線の２つの端点、 または前記円柱における、前記交線に相当する部分を、
    前記円柱の底面の円周に沿って２等分する点に相当す
    る、前記２次元画像に表示された点が、前記特徴点とし
    て指定される。
  65. 【請求項６５】 請求項６０に記載の画像処理方法にお
    いて、 前記３次元物体が球である。
  66. 【請求項６６】 請求項６５に記載の画像処理方法にお
    いて、 前記球が、前記形状情報として指定された場合、 前記球について、その中心を原点とし、互いに直交する
    ｘ軸、ｙ軸、ｚ軸からなる３次元空間座標を考えたとき
    に、 前記２次元画像に表示された前記球の中心、 前記３次元空間座標における、前記球とｙ軸との交点で
    ある極に相当する、前記２次元画像に表示された点、 前記３次元空間座標における、前記球とｘｚ平面との交
    線である赤道の一部に相当する、前記２次元画像に表示
    された部分の２つの端点、 前記２つの端点に相当する、前記赤道上の２点間を、前
    記赤道に沿って２等分する点に相当する、前記２次元画
    像に表示された点、 または前記３次元空間座標における、前記球とｙｚ平面
    との交線の一部に相当する、前記２次元画像に表示され
    た部分の２つの端点が、前記特徴点として指定される。
  67. 【請求項６７】 請求項６０に記載の画像処理方法にお
    いて、 前記３次元物体が円錐である。
  68. 【請求項６８】 請求項６７に記載の画像処理方法にお
    いて、 前記円錐の側面が、前記形状情報として指定されたと
    き、 前記２次元画像に表示された前記円錐の側面と、前記円
    錐の底面との交線の２つの端点、 前記円錐における、前記交線に相当する部分を、前記円
    錐の底面の円周に沿って２等分する点に相当する、前記
    ２次元画像に表示された点、 前記円錐の側面を展開した扇形の中心に相当する、前記
    ２次元画像に表示された点、 または前記円錐の底面の中心に相当する、前記２次元画
    像に表示された点が、前記特徴点として指定される。
  69. 【請求項６９】 請求項６０に記載の画像処理方法にお
    いて、 前記操作手段が操作されることにより指定された前記特
    徴点を補正する補正ステップをさらに備える。
  70. 【請求項７０】 請求項６９に記載の画像処理方法にお
    いて、 前記２次元画像に表示された前記３次元物体の輪郭が、
    １以上のパラメータを用いて表される関数ｆによる式ｆ
    ＝０で定義される場合において、 前記補正ステップでは、 前記式ｆ＝０で表される線を構成する画素の画素値の微
    分値のうちの、その画素における法線ベクトルの方向の
    成分である法線方向成分を最大にする前記パラメータを
    求め、 そのパラメータを用いて表される前記関数ｆによる式ｆ
    ＝０で表される線上に位置するように、前記特徴点を補
    正する。
  71. 【請求項７１】 請求項７０に記載の画像処理方法にお
    いて、 前記法線方向成分を、前記パラメータを変化させながら
    求めることにより、前記法線方向成分を最大にする前記
    パラメータを求める。
  72. 【請求項７２】 請求項７０に記載の画像処理方法にお
    いて、 前記関数ｆによる式ｆ＝０は直線を表し、 前記パラメータは、前記直線上の２点の座標である。
  73. 【請求項７３】 ２次元画像に対して、３次元物体を構
    成する面を投影した画像である投影画像を貼り付ける画
    像処理を行うためのコンピュータプログラムを、コンピ
    ュータに実行させる媒体において、 前記３次元物体を構成する面の形状に関する形状情報
    と、その面を構成させる前記２次元画像上の点である特
    徴点とを指定するときに操作される操作手段によって、
    前記形状情報および特徴点が指定された場合に、前記形
    状情報および特徴点に基づいて、２次元平面上の所定の
    画像を、前記投影画像に変換するための変換式を算出す
    る算出ステップと、 前記変換式に基づいて、前記所定の画像を、前記投影画
    像に変換する変換ステップと、 前記所定の画像から得られた前記投影画像を、前記２次
    元画像における前記特徴点によって特定される部分に貼
    り付ける貼り付けステップとを備えるコンピュータプロ
    グラムを、前記コンピュータに実行させる。
  74. 【請求項７４】 請求項７３に記載の媒体において、 前記２次元平面上の所定の画像を、３次元空間上の前記
    ３次元物体を構成する面に写像する関数をψと、その３
    次元物体を、スクリーンに投影し、２次元画像とする関
    数をＭと、それぞれするとき、 前記算出ステップにおいて、前記変換式として、関数Ｍ
    ψを算出する。
  75. 【請求項７５】 請求項７３に記載の媒体において、 前記３次元物体が前記２次元画像に表示されている。
  76. 【請求項７６】 請求項７５に記載の媒体において、 前記３次元物体を構成する面のうちの少なくとも１つが
    長方形である。
  77. 【請求項７７】 請求項７６に記載の媒体において、 前記長方形が、前記形状情報として指定されたとき、 前記２次元画像に表示された前記長方形の頂点が、前記
    特徴点として指定される。
  78. 【請求項７８】 請求項７５に記載の媒体において、 前記３次元物体が円柱である。
  79. 【請求項７９】 請求項７８に記載の媒体において、 前記円柱の側面が、前記形状情報として指定されたと
    き、 前記２次元画像に表示された前記円柱の側面と、前記円
    柱の底面との交線の２つの端点、 または前記円柱における、前記交線に相当する部分を、
    前記円柱の底面の円周に沿って２等分する点に相当す
    る、前記２次元画像に表示された点が、前記特徴点とし
    て指定される。
  80. 【請求項８０】 請求項７５に記載の媒体において、 前記３次元物体が球である。
  81. 【請求項８１】 請求項８０に記載の媒体において、 前記球が、前記形状情報として指定された場合、 前記球について、その中心を原点とし、互いに直交する
    ｘ軸、ｙ軸、ｚ軸からなる３次元空間座標を考えたとき
    に、 前記２次元画像に表示された前記球の中心、 前記３次元空間座標における、前記球とｙ軸との交点で
    ある極に相当する、前記２次元画像に表示された点、 前記３次元空間座標における、前記球とｘｚ平面との交
    線である赤道の一部に相当する、前記２次元画像に表示
    された部分の２つの端点、 前記２つの端点に相当する、前記赤道上の２点間を、前
    記赤道に沿って２等分する点に相当する、前記２次元画
    像に表示された点、 または前記３次元空間座標における、前記球とｙｚ平面
    との交線の一部に相当する、前記２次元画像に表示され
    た部分の２つの端点が、前記特徴点として指定される。
  82. 【請求項８２】 請求項７５に記載の媒体において、 前記３次元物体が円錐である。
  83. 【請求項８３】 請求項８２に記載の媒体において、 前記円錐の側面が、前記形状情報として指定されたと
    き、 前記２次元画像に表示された前記円錐の側面と、前記円
    錐の底面との交線の２つの端点、 前記円錐における、前記交線に相当する部分を、前記円
    錐の底面の円周に沿って２等分する点に相当する、前記
    ２次元画像に表示された点、 前記円錐の側面を展開した扇形の中心に相当する、前記
    ２次元画像に表示された点、 または前記円錐の底面の中心に相当する、前記２次元画
    像に表示された点が、前記特徴点として指定される。
  84. 【請求項８４】 請求項７５に記載の媒体において、 前記コンピュータプログラムは、前記操作手段が操作さ
    れることにより指定された前記特徴点を補正する補正ス
    テップをさらに備える。
  85. 【請求項８５】 請求項８４に記載の媒体において、 前記２次元画像に表示された前記３次元物体の輪郭が、
    １以上のパラメータを用いて表される関数ｆによる式ｆ
    ＝０で定義される場合において、 前記補正ステップでは、 前記式ｆ＝０で表される線を構成する画素の画素値の微
    分値のうちの、その画素における法線ベクトルの方向の
    成分である法線方向成分を最大にする前記パラメータを
    求め、 そのパラメータを用いて表される前記関数ｆによる式ｆ
    ＝０で表される線上に位置するように、前記特徴点を補
    正する。
  86. 【請求項８６】 請求項８５に記載の媒体において、 前記法線方向成分を、前記パラメータを変化させながら
    求めることにより、前記法線方向成分を最大にする前記
    パラメータを求める。
  87. 【請求項８７】 請求項８５に記載の媒体において、 前記関数ｆによる式ｆ＝０は直線を表し、 前記パラメータは、前記直線上の２点の座標である。
  88. 【請求項８８】 所定の空間において、スカラー量が定
    義されている物体の輪郭を抽出する輪郭抽出装置におい
    て、 前記所定の空間における前記物体の輪郭が、１以上のパ
    ラメータを用いて表される関数ｆによる式ｆ＝０で定義
    される場合において、 前記式ｆ＝０上の点の前記スカラー量の微分値のうち
    の、その点における法線ベクトルの方向の成分である法
    線方向成分を最大にする前記パラメータを求めるパラメ
    ータ算出手段と、 そのパラメータを用いて表される前記関数ｆによる式ｆ
    ＝０上の点を、前記物体の輪郭として抽出する輪郭抽出
    手段とを備える。
  89. 【請求項８９】 請求項８８に記載の輪郭抽出装置にお
    いて、 前記物体が２次元画像の中に表示され、その画素値が定
    義されている場合において、 前記パラメータ算出手段は、前記式ｆ＝０で表される線
    を構成する画素の画素値の微分値のうちの、前記法線方
    向成分を最大にする前記パラメータを求め、 前記輪郭抽出手段は、そのパラメータを用いて表される
    前記関数ｆによる式ｆ＝０で表される線を、前記２次元
    画像における前記物体の輪郭として抽出する。
  90. 【請求項９０】 請求項８８に記載の輪郭抽出装置にお
    いて、 前記パラメータ算出手段は、前記法線方向成分を、前記
    パラメータを変化させながら求めることにより、前記法
    線方向成分を最大にする前記パラメータを求める。
  91. 【請求項９１】 所定の空間において、スカラー量が定
    義されている物体の輪郭を抽出する輪郭抽出方法におい
    て、 前記所定の空間における前記物体の輪郭が、１以上のパ
    ラメータを用いて表される関数ｆによる式ｆ＝０で定義
    される場合において、 前記式ｆ＝０上の点の前記スカラー量の微分値のうち
    の、その点における法線ベクトルの方向の成分である法
    線方向成分を最大にする前記パラメータを求め、 そのパラメータを用いて表される前記関数ｆによる式ｆ
    ＝０上の点を、前記物体の輪郭として抽出する。
  92. 【請求項９２】 請求項９１に記載の輪郭抽出方法にお
    いて、 前記物体が２次元画像の中に表示され、その画素値が定
    義されている場合において、 前記式ｆ＝０で表される線を構成する画素の画素値の微
    分値のうちの、前記法線方向成分を最大にする前記パラ
    メータを求め、 そのパラメータを用いて表される前記関数ｆによる式ｆ
    ＝０で表される線を、前記２次元画像における前記物体
    の輪郭として抽出する。
  93. 【請求項９３】 請求項９１に記載の輪郭抽出方法にお
    いて、 前記法線方向成分を、前記パラメータを変化させながら
    求めることにより、前記法線方向成分を最大にする前記
    パラメータを求める。
JP11146797A 1998-06-02 1999-05-26 画像処理装置および画像処理方法、媒体、並びに輪郭抽出装置および輪郭抽出方法 Withdrawn JP2000057378A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11146797A JP2000057378A (ja) 1998-06-02 1999-05-26 画像処理装置および画像処理方法、媒体、並びに輪郭抽出装置および輪郭抽出方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10-152823 1998-06-02
JP15282398 1998-06-02
JP11146797A JP2000057378A (ja) 1998-06-02 1999-05-26 画像処理装置および画像処理方法、媒体、並びに輪郭抽出装置および輪郭抽出方法

Publications (1)

Publication Number Publication Date
JP2000057378A true JP2000057378A (ja) 2000-02-25

Family

ID=26477523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11146797A Withdrawn JP2000057378A (ja) 1998-06-02 1999-05-26 画像処理装置および画像処理方法、媒体、並びに輪郭抽出装置および輪郭抽出方法

Country Status (1)

Country Link
JP (1) JP2000057378A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006120166A (ja) * 2004-10-25 2006-05-11 Adobe Syst Inc 二次元画像に対する遠近法編集ツール
WO2006061999A1 (ja) * 2004-12-07 2006-06-15 Matsushita Electric Industrial Co., Ltd. 画像変換方法、装置およびプログラム、テクスチャマッピング方法、装置およびプログラム、並びに、サーバークライアントシステム
JP2009116464A (ja) * 2007-11-02 2009-05-28 Hitachi Software Eng Co Ltd 輪郭情報生成方法及びシステム、並びにプログラム
KR101388133B1 (ko) * 2007-02-16 2014-04-23 삼성전자주식회사 2차원 실사 영상으로부터 3차원 모델을 생성하는 방법 및장치
CN112509105A (zh) * 2020-11-12 2021-03-16 杭州群核信息技术有限公司 一种纹理连续的建筑物表面铺贴方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006120166A (ja) * 2004-10-25 2006-05-11 Adobe Syst Inc 二次元画像に対する遠近法編集ツール
JP2008257752A (ja) * 2004-10-25 2008-10-23 Adobe Syst Inc 二次元画像に対する遠近法編集ツール
WO2006061999A1 (ja) * 2004-12-07 2006-06-15 Matsushita Electric Industrial Co., Ltd. 画像変換方法、装置およびプログラム、テクスチャマッピング方法、装置およびプログラム、並びに、サーバークライアントシステム
US7486837B2 (en) 2004-12-07 2009-02-03 Panasonic Corporation Method, device, and program for image conversion, method, device and program for texture mapping, and server-client system
KR101388133B1 (ko) * 2007-02-16 2014-04-23 삼성전자주식회사 2차원 실사 영상으로부터 3차원 모델을 생성하는 방법 및장치
JP2009116464A (ja) * 2007-11-02 2009-05-28 Hitachi Software Eng Co Ltd 輪郭情報生成方法及びシステム、並びにプログラム
CN112509105A (zh) * 2020-11-12 2021-03-16 杭州群核信息技术有限公司 一种纹理连续的建筑物表面铺贴方法及装置

Similar Documents

Publication Publication Date Title
US6529206B1 (en) Image processing apparatus and method, and medium therefor
JP2000090290A (ja) 画像処理装置および画像処理方法、並びに媒体
US6556195B1 (en) Image processing device and image processing method
US7199793B2 (en) Image-based modeling and photo editing
US6417850B1 (en) Depth painting for 3-D rendering applications
JP3184327B2 (ja) ３次元グラフィックス処理方法及びその装置
JP5299173B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US20150325044A1 (en) Systems and methods for three-dimensional model texturing
US20010056308A1 (en) Tools for 3D mesh and texture manipulation
US20080278514A1 (en) Dynamically adjusted brush for direct paint systems on parameterized multi-dimensional surfaces
EP1008112A1 (en) Techniques for creating and modifying 3d models and correlating such models with 2d pictures
GB2419504A (en) Perspective editing tool
US7167173B2 (en) Method and structure for image-based object editing
US10853990B2 (en) System and method for processing a graphic object
CN109523622B (zh) 一种非结构化的光场渲染方法
US6975334B1 (en) Method and apparatus for simulating the appearance of paving stone on an existing driveway
US6801654B2 (en) Picture processing apparatus, method and recording medium for a natural expansion drawing
Crow Shaded computer graphics in the entertainment industry
JP2000057377A (ja) 画像処理装置および画像処理方法、並びに媒体
JP2000057378A (ja) 画像処理装置および画像処理方法、媒体、並びに輪郭抽出装置および輪郭抽出方法
JP2001266176A (ja) 画像処理装置および画像処理方法、並びに記録媒体
JPH08153213A (ja) 画像合成表示方法
JPH05298460A (ja) 貝殻質感表現装置
JP2973413B2 (ja) コンピュータグラフィックスの照度計算方法及び表示装置
JPH07234949A (ja) 透視図作成支援方法および透視図作成支援システム

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060801