JP2001266176A - 画像処理装置および画像処理方法、並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 自然な展開画像を得て、容易に、編集を行う
ことができるようにする。 【解決手段】 注目面＃１の展開画像としての正方形の
左辺上の点ａ（−１／２，ｙ_e）に対応する投影画像上
の点として、点Ａ（ｘ_p，ｙ_p）が求められるとともに、
点ａに一致する、面＃２の展開画像としての正方形の右
辺上の点ｂ（１／２，ｙ_e）に対応する投影画像上の点
として、点Ｂ（ｘ_p’，ｙ_p’）が求められる。そして、
点Ａ（ｘ_p，ｙ_p）と点Ｂ（ｘ_p’，ｙ_p’）との平均値
（（ｘ_p＋ｘ_p’）／２，（ｙ_p＋ｙ_p’）／２）が求めら
れ、この平均値で表される投影画像上の点Ｃが、注目面
＃１の展開画像としての正方形の左辺上の点ａ（−１／
２，ｙ _e）に対応する投影画像上の点として、新たに対
応付けられる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びに記録媒体に関し、特に、例え
ば、２次元画像に表示された３次元物体に対して、容易
に、３次元的な編集等を施すことができるようにする画
像処理装置および画像処理方法、並びに記録媒体に関す
る。

【０００２】

【従来の技術】従来より、例えば、デザイナなどが、絵
筆やエアブラシ（絵の具を粉末状にして紙に飛ばして絵
を描く技術）を用いて、紙に絵を描くのと同様の作業を
コンピュータに行わせる、２Ｄ（２次元）ペイントと呼
ばれる画像処理技術が知られている。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
２Ｄペイントでは、画像に３次元物体が表示されている
場合でも、画像自体が２次元の平面で取り扱われるた
め、そのような２次元画像に表示された３次元物体の３
次元空間における向き等を考慮せずに、文字を描画した
り、また、図形を追加すると、画像が不自然なものとな
る。

【０００４】即ち、例えば、図１（Ａ）に示すような、
家屋を模した３次元物体が、２次元画像に表示されてい
る場合において、家屋の壁の部分に、その向きを考慮せ
ずに、文字を描いたときには、図１（Ｂ）に示すよう
に、文字は、壁に描かれているようにはならない。ま
た、家屋の壁の部分に、直方体形状の部屋を追加しよう
として、長方形を描いても、その向きを考慮せずに、長
方形を描いたのでは、図１（Ｃ）に示すように、画像は
不自然なものとなる。さらに、例えば、図２（Ａ）に示
すように、円柱が、２次元画像に表示されている場合に
おいて、その側面に文字を描いても、その側面の向きを
無視したのでは、図２（Ｂ）に示すように、文字は、円
柱の側面に描かれているようにはならない。

【０００５】従って、２Ｄペイントを行う場合におい
て、画像を不自然なものとしないようにするには、２次
元画像に表示された３次元物体の向きにあわせて、文字
や図形を変形しながら、その描画を行う必要があるが、
そのような描画のための操作を行うには、ある程度の熟
練を要する。

【０００６】本発明は、このような状況に鑑みてなされ
た物であり、２次元画像に対して、容易に、３次元的な
編集等を施すことができるようにするものである。

【０００７】

【課題を解決するための手段】本発明の画像処理装置
は、２次元画像の中の３次元物体を構成する面の投影画
像と、その面の展開画像との対応関係を規定する変換式
を算出する算出手段と、変換式によって規定される対応
関係を補正し、その補正結果である新対応関係を出力す
る補正手段とを備えることを特徴とする。

【０００８】この画像処理装置には、新対応関係に基づ
いて、３次元物体を構成する複数の面それぞれの投影画
像を、複数の面それぞれの展開画像に変換する投影画像
変換手段と、複数の面それぞれの展開画像を、その複数
の面それぞれの接続関係にしたがって接続した接続画像
を作成する接続手段とをさらに設けることができる。

【０００９】補正手段には、展開画像において隣接する
第１の面と第２の面とが共有する辺上の各点が、投影画
像上の同一の点に対応するように、対応関係を補正させ
ることができる。

【００１０】また、補正手段には、展開画像において隣
接する第１の面と第２の面とが共有する辺上の点が、そ
の点を第１の面についての変換式に基づいて変換した投
影画像上の第１の点と、第２の面についての変換式に基
づいて変換した投影画像上の第２の点との平均値で表さ
れる点に対応するように、対応関係を補正させることが
できる。

【００１１】本発明の画像処理装置には、接続画像を加
工する加工手段と、新対応関係に基づいて、加工後の接
続画像を構成する複数の面それぞれの展開画像を、その
複数の面それぞれの投影画像に変換する展開画像変換手
段とをさらに設けることができる。

【００１２】算出手段には、３次元物体を構成する面の
形状に関する形状情報と、その面の投影画像上の特徴点
とに基づいて、その面についての変換式を算出させるこ
とができる。

【００１３】また、算出手段には、展開画像を、３次元
空間上の３次元物体を構成する面に写像する関数をψ
と、その３次元物体を、スクリーンに投影し、２次元画
像とする関数をＭと、それぞれするとき、変換式とし
て、関数Ｍψまたはその逆関数を算出させることができ
る。

【００１４】本発明の画像処理方法は、２次元画像の中
の３次元物体を構成する面の投影画像と、その面の展開
画像との対応関係を規定する変換式を算出する算出ステ
ップと、変換式によって規定される対応関係を補正し、
その補正結果である新対応関係を出力する補正ステップ
とを備えることを特徴とする。

【００１５】本発明の記録媒体は、２次元画像の中の３
次元物体を構成する面の投影画像と、その面の展開画像
との対応関係を規定する変換式を算出する算出ステップ
と、変換式によって規定される対応関係を補正し、その
補正結果である新対応関係を出力する補正ステップとを
備えるプログラムが記録されていることを特徴とする。

【００１６】本発明の画像処理装置および画像処理方
法、並びに記録媒体においては、２次元画像の中の３次
元物体を構成する面の投影画像と、その面の展開画像と
の対応関係を規定する変換式が算出される。そして、そ
の変換式によって規定される対応関係が補正され、その
補正結果である新対応関係が出力される。

【００１７】

【発明の実施の形態】図３は、本発明を適用した画像処
理装置の一実施の形態の構成例を示している。この画像
処理装置は、コンピュータをベースに構成されており、
２次元画像に対して、容易に、３次元的な編集等を施す
ことができるようになっている。

【００１８】即ち、演算処理回路１は、例えば、ＣＰＵ
（Central Processing Unit）などで構成され、プログ
ラムメモリ２に記憶（ロード）されたＯＳ（Operating
System）の制御の下、同じくプログラムメモリ２に記憶
されたアプリケーションプログラムを実行することで、
２次元画像に対して、後述するような各種の処理を施す
ようになっている。プログラムメモリ２は、例えば、Ｒ
ＡＭ（Random AccessMemory）などでなり、外部記憶装
置７に記憶（記録）されているＯＳやアプリケーション
プログラムを一時記憶するようになっている。データメ
モリ３は、例えば、ＲＡＭなどでなり、演算処理回路１
の処理上必要なデータを一時記憶するようになってい
る。フレームメモリ４は、例えば、ＲＡＭなどでなり、
画像表示装置５に表示させる画像データを記憶するよう
になっている。画像表示装置５は、例えば、ＣＲＴ（Ca
thode Ray Tube）や液晶ディスプレイなどでなり、フレ
ームメモリ４に記憶された画像データを、例えばマルチ
ウインドウで表示するようになっている。入力装置６
は、例えば、マウスや、ペンおよびタブレットの組み合
わせ、キーボードなどでなり、必要なコマンドやデータ
を入力するときや、画像表示装置５に画面上の所定の位
置を指示するときなどに操作されるようになっている。
外部記憶装置７は、例えば、ハードディスクやフロッピ
ー（登録商標）ディスク、ＣＤ−ＲＯＭ（Compact Disc
ROM）、光磁気ディスクなどでなり、ＯＳやアプリケー
ションプログラムを記憶している。また、外部記憶装置
７は、演算処理回路１の動作上必要なデータや、処理の
対象となる２次元画像（ディジタルデータ）も記憶する
ようになっている。外部インターフェイス８は、例え
ば、カメラ９などで撮影された２次元画像や、図示せぬ
通信回線を介して送信されてくるデータなど、外部から
供給されるデータを取り込むためのインターフェイスと
して機能するようになっている。

【００１９】なお、演算処理装置１、プログラムメモリ
２、データメモリ３、フレームメモリ４、入力装置６、
外部記憶装置７、外部インターフェイス８は、相互に、
バスを介して接続されており、プログラムやデータ等
は、このバスを介して、各ブロックの間でやりとりされ
る。

【００２０】以上のように構成される画像処理装置で
は、電源が投入されると、外部記憶装置７に記憶された
ＯＳが読み出され、プログラムメモリ２に展開されて、
演算処理回路１により実行される。そして、アプリケー
ションプログラムを実行するように、入力装置６が操作
されると、演算処理回路１において、ＯＳの制御の下、
外部記憶装置７からアプリケーションプログラムが読み
出され、プログラムメモリ２に展開されて実行される。
これにより、例えば、カメラ９によって撮影され、外部
インターフェイス８を介して、外部記憶装置７に記憶さ
れた２次元画像に対して、各種の処理が施される。

【００２１】図４は、演算処理回路１がアプリケーショ
ンプログラムを実行することにより実現される、図３の
画像処理装置の機能的構成例を示している。

【００２２】入力イベント処理部１１には、ＯＳからの
ＧＵＩイベントが供給されるようになっており、入力イ
ベント処理部１１は、そのＧＵＩイベントを解析し、そ
の解析結果にしたがって、コピー操作処理部１２、ペー
スト操作処理部１３、ペーストバッファ選択処理部１
４、イレース操作処理部１５、マット操作処理部１６、
物体属性操作処理部１７、ペイント処理部１８を起動し
て処理を行わせるようになっている。

【００２３】ここで、ＧＵＩイベントとしては、例え
ば、マウスカーソルの移動、マウスのクリック（マウス
ボタンの押し下げや押し上げ）、ＧＵＩ上のメニューの
選択やボタンの操作などがある。ＧＵＩイベントは、例
えば、X Windowなどのウインドウシステムで定義されて
いる。

【００２４】コピー操作処理部１２は、後述するペース
トバッファに画像を記憶させる（コピーする）コピー処
理を行うようになっている。ペースト操作処理部１３
は、ペーストバッファに記憶された画像を、後述する画
像バッファに記憶された２次元画像に貼り付ける（ペー
ストする）ペースト処理を行うようになっている。ペー
ストバッファ選択処理部１４は、画像バッファの中か
ら、ペーストバッファとするものを選択し、そのバッフ
ァＩＤ（Identification）をバッファＩＤ記憶部２１に
記憶させるペーストバッファ選択処理を行うようになっ
ている。

【００２５】ここで、データメモリ３には、画像の画素
値を、例えば、１画面単位などで記憶する領域が、画像
バッファとして確保されるようになっている。ここで
は、画像バッファは、データメモリ３の中に複数確保さ
れるようになっており、また、各画像バッファには、そ
れぞれを識別することができるように、バッファＩＤが
付されている。複数の画像バッファのうち、バッファＩ
Ｄ記憶部２１にバッファＩＤが記憶されているものが、
特に、ペーストバッファと呼ばれる。なお、画像バッフ
ァは、２次元画像の画素値（例えば、ＲＧＢ値など）を
記憶することができる他、その２次元画像に表示された
物体のマット（matte）も記憶することができるように
なっている。マットについては後述する。

【００２６】イレース操作処理部１５は、ペーストバッ
ファに記憶された画像の一部を削除するイレース処理を
行うようになっている。マット操作処理部１６は、画像
バッファに記憶された２次元画像に表示された３次元物
体について、マットを生成するマット処理を行うように
なっている。物体属性操作処理部１７は、画像バッファ
に記憶された２次元画像に表示された３次元物体の色や
材質感などの、いわゆる材質属性（material propert
y）を変更する物体属性処理や、光源を変更（画像バッ
ファに記憶された２次元画像中の３次元物体の照明の具
合を変更）する光源変更処理を行うようになっている。
ペイント処理部１８は、ペーストバッファに記憶された
画像に対して、２Ｄペイントを施すペイント処理を行う
ようになっている。

【００２７】変換指定処理部１９は、コピー操作処理部
１２、ペースト操作処理部１３の指示にしたがって、ユ
ーザが入力装置６を操作することにより指定した、画像
バッファに記憶された２次元画像上の特徴点の位置を補
正し、その補正後の特徴点を、コピー操作処理部１２、
ペースト操作処理部１３に戻すようになっている。画像
変換処理部２０は、コピー操作処理部１２、ペースト操
作処理部１３の指示にしたがい、画像バッファまたはペ
ーストバッファに記憶された画像を変換するようになっ
ている。バッファＩＤ記憶部２１は、ペーストバッファ
選択処理部１４によってペーストバッファとして選択さ
れた画像バッファのバッファＩＤを記憶するようになっ
ている。なお、バッファＩＤ記憶部２１に記憶されたバ
ッファＩＤは、イレース操作処理部１５、ペイント処理
部１８、および画像変換処理部２０に供給されるように
なっており、これにより、イレース操作処理部１５、ペ
イント処理部１８、および画像変換処理部２０は、ペー
ストバッファとなっている画像バッファを認識するよう
になっている。

【００２８】表示処理部２２は、画像バッファに記憶さ
れた２次元画像を、画像表示装置５に表示するのに必要
な処理を施すようになっている。なお、表示処理部２２
が出力する画像データは、ＯＳの表示処理に渡されるよ
うになっており、これにより、その画像データは、フレ
ームメモリ４に書き込まれ、画像表示装置５に表示され
るようになっている。

【００２９】なお、図４におけるブロックのうち、デー
タメモリ３およびバッファＩＤ記憶部２１を除いたブロ
ックは、演算処理回路１がアプリケーションプログラム
を実行することで実現されるが、それぞれのブロックに
相当するプログラムは、例えばモジュール化されてい
る。

【００３０】以上のように構成される画像処理装置によ
れば、例えば、図５（Ａ）に示すような、家屋を模した
３次元物体が表示された２次元画像が、画像バッファに
記憶されている場合において、家屋の壁の向きを特に意
識せずに、文字を描いても、図５（Ｂ）に示すように、
文字が、壁に沿って描かれているかのような２次元画像
を得ることができるようになっている。また、家屋の壁
の向きを意識せずに、長方形を描いても、図５（Ｃ）に
示すように、家屋の壁に、直方体形状の部屋が追加され
ている２次元画像を得ることができるようになってい
る。さらに、例えば、図６（Ａ）に示すように、円柱が
表示された２次元画像が、画像バッファに記憶されてい
る場合において、その側面の向きを特に意識せずに、文
字を描いても、図６（Ｂ）に示すように、その側面に沿
って文字が描かれているかのような２次元画像を得るこ
とができるようになっている。

【００３１】即ち、例えば、ビデオカメラ９で、文字等
の描かれている３次元物体を実際に撮影しなくても、文
字等の描かれていない３次元物体を、ビデオカメラ９で
撮影した２次元画像に、３次元的な操作を加え、これに
より、その文字等の描かれている３次元物体を、実際に
撮影したかのような２次元画像を、容易に得ることがで
きるようになっている。

【００３２】次に、図７のフローチャートを参照して、
図４の画像処理装置の処理について説明する。

【００３３】演算処理回路１（図３）において、アプリ
ケーションプログラムが実行されると、画像表示装置５
には、例えば、図８に示すようなメインウインドウが表
示される。メインウインドウの右側には、コマンドボタ
ン（Command）３１と形状ボタン（Shape）３２が表示さ
れ、その左側には、画像バッファに記憶された２次元画
像が表示されたウインドウ（以下、適宜、バッファウイ
ンドウ）が表示される。

【００３４】ここで、コマンドボタン３１は、コマンド
を入力するときに操作されるもので、図８の実施の形態
では、ペーストバッファ選択処理を行うときに操作され
る「Paste Sel.」ボタン、コピー処理を行うときに操作
される「Copy」ボタン、ペースト処理を行うときに操作
される「Paste」ボタン、イレース処理を行うときに操
作される「Erase」ボタン、マット処理を行うときに操
作される「Matte」ボタン、物体属性処理を行うときに
操作される「Material」ボタン、光源変更処理を行うと
きに操作される「Light」ボタン、ペイント処理を行う
ときに操作される「Paint」ボタンが設けられている。

【００３５】また、形状ボタン３２は、処理対象となる
３次元物体の面の形状（形状情報）を入力するときに操
作されるもので、図８の実施の形態では、長方形である
こと、円柱の側面であること、球面であること、円錐の
側面であることを、それぞれ指定するときに操作される
「Rectangle」ボタン、「Cylinder」ボタン、「Spher
e」ボタン、「Cone」ボタンが設けられている。

【００３６】さらに、図８の実施の形態では、３つのバ
ッファウインドウが表示されており、それぞれには、複
数の画像バッファのうちの、画像バッファ＃１，＃２，
＃３の記憶内容が表示されている（画像バッファ＃ｉの
サフィックスｉは、例えば、バッファＩＤを表す）。な
お、バッファウインドウが複数表示されている場合に
は、その複数のバッファウインドウのうちの、例えば、
後述する注目バッファの記憶内容が表示されているもの
が、最も手前に表示される（アクティブにされる）よう
になっている。

【００３７】メインウインドウの操作は、基本的に、処
理の対象とする画像バッファを選択し、その後に処理を
選択するというユーザインターフェイスに統一されてお
り、従って、ユーザは、まず最初に、メインウインドウ
に表示されたバッファウインドウのうちのいずれかを、
入力装置６を操作することによりクリックすることで、
処理の対象とする画像バッファを選択する。

【００３８】即ち、ユーザが、いずれかのバッファウイ
ンドウをクリックすると、ステップＳ１において、入力
イベント処理部１１は、そのバッファウインドウに記憶
内容が表示されている画像バッファを、注目バッファと
して選択する。

【００３９】その後、ユーザは、コマンドボタン３１の
うちのいずれかをクリックする。この場合、ステップＳ
２において、入力イベント処理部１１は、コマンドボタ
ン３１のうちのいずれがクリックされたかを認識し、ス
テップＳ３に進み、その認識結果に基づいて、どのよう
な処理（操作）を行うことが指示されたのかを判定す
る。ステップＳ３において、ペーストバッファ選択処理
を行うことが指示されたと判定された場合、即ち、コマ
ンドボタン３１の中の「Paste Sel.」ボタンが操作（ク
リック）された場合、ステップＳ４に進み、入力イベン
ト処理部１１は、ペーストバッファ選択処理部１４を起
動し、ペーストバッファ選択処理を行わせる。即ち、こ
の場合、ペーストバッファ選択処理部１４は、注目バッ
ファのバッファＩＤを、バッファＩＤ記憶部２１に上書
きし、これにより、いま注目バッファとなっている画像
バッファを、ペーストバッファとして、ステップＳ１に
戻る。

【００４０】また、ステップＳ３において、コピー処理
またはペースト処理のうちのいずれかを行うことが指示
されたと判定された場合、即ち、コマンドボタン３１の
中の「Copy」ボタンまたは「Paste」ボタンが操作され
た場合、形状ボタン３２が操作されるのを待って、ステ
ップＳ５に進む。即ち、コピー処理は、注目バッファに
記憶された２次元画像に表示された３次元物体を構成す
る面を、２次元平面に展開した展開画像を生成し、ペー
ストバッファに記憶させる処理であり、ペースト処理
は、ペーストバッファに記憶された２次元平面上の画像
を、３次元物体を構成する面に貼り付けてスクリーンに
投影した投影画像を生成し、その投影画像を、注目バッ
ファに記憶された２次元画像に貼り付ける処理であり、
いずれも３次元物体を構成する面を処理の対象とするこ
とから、ユーザは、「Copy」ボタンまたは「Paste」ボ
タンを操作した場合、続けて、コピー処理またはペース
ト処理の対象とする３次元物体の面の形状に関する形状
情報を、形状ボタン３２を操作することで指定（入力）
する。

【００４１】ステップＳ５では、形状ボタン３２の操作
に基づいて、コピー処理またはペースト処理の対象とす
る３次元物体の面の形状（形状情報）が認識される。そ
して、特徴点が入力されるのを待って、ステップＳ６に
進む。即ち、コピー処理では、注目バッファに記憶され
た２次元画像に表示された３次元物体の面を構成する幾
つかの点を指定することによって、展開画像を生成する
部分（面）を特定する必要がある。また、ペースト処理
では、ペーストバッファに記憶された画像の投影画像
を、例えば、注目バッファに記憶された２次元画像に表
示された３次元物体を構成する面に貼り付けるのに、そ
の面を構成する幾つかの点を指定することによって、そ
の面を特定する必要がある。そこで、ユーザは、「Cop
y」ボタンまたは「Paste」ボタンを操作し、続けて、コ
ピー処理またはペースト処理の対象とする３次元物体の
面の形状を、形状ボタン３２を操作することで指定して
後に、さらに、注目バッファに記憶された２次元画像中
の、処理の対象とする３次元物体の面を構成する幾つか
の点を、入力装置６を操作することにより、特徴点とし
て指定する。

【００４２】ステップＳ６では、このようにして指定さ
れた特徴点の、２次元画像中の座標が認識される。

【００４３】なお、上述の場合には、３次元物体の形状
を指定してから、特徴点を指定するようにしたが、先
に、特徴点を指定してから、３次元物体の形状を指定す
るようにすることも可能である。また、ステップＳ５お
よびＳ６の処理は、コピー処理が指令されている場合に
は、コピー操作処理部１２で、ペースト処理が指令され
ている場合には、ペースト操作処理部１３で、それぞれ
行われる。

【００４４】ステップＳ６において、ユーザによって指
定された特徴点を認識したコピー操作処理部１２または
ペースト操作処理部１３は、その特徴点を、変換指定処
理部１９に供給する。変換指定処理部１９は、特徴点を
受信すると、ステップＳ７において、その位置の補正を
行い、補正後の特徴点を、コピー操作処理部１２または
ペースト操作処理部１３のうちの、特徴点を供給してき
た方に供給する。

【００４５】その後、ステップＳ８において、入力イベ
ント処理部１１は、「Copy」ボタンまたは「Paste」ボ
タンのうちのいずれが操作されたのかを判定する。ステ
ップＳ８において、「Copy」ボタンが操作されたと判定
された場合、コピー操作処理部１２において、コピー処
理が行われる。即ち、この場合、ステップＳ８からＳ９
に進み、コピー操作処理部１２において、形状情報およ
び特徴点に基づいて、注目バッファに記憶された２次元
画像の中の３次元物体を構成する面を、展開画像に変換
するための変換式（以下、適宜、逆変換式という）が算
出され、画像変換処理部２０に供給される。画像変換部
２０では、ステップＳ１０において、逆変換式に基づい
て、注目バッファに記憶された２次元画像の中の３次元
物体を構成する面（特徴点によって特定される面）が、
展開画像に変換される。さらに、画像変換部２０は、ス
テップＳ１１において、その展開画像を、バッファＩＤ
記憶部２１にバッファＩＤが記憶されている画像バッフ
ァ、即ち、ペーストバッファにコピー（上書き）し、ス
テップＳ１に戻る。

【００４６】以上のようなコピー処理によれば、例え
ば、図９（Ａ）に示すような、家屋を模した３次元物体
Ｖが表示された２次元画像が、注目バッファに記憶され
ている場合において、形状情報として、縦線のある壁面
Ｓの形状である長方形が指定されるとともに、特徴点と
して、その壁面Ｓの４頂点Ｐ₁，Ｐ₂，Ｐ₃，Ｐ₄が指定さ
れたときには、図９（Ｂ）に示すように、３次元物体Ｖ
を、２次元平面上に展開して得られる、縦線のある壁面
Ｓの２次元画像（展開画像）が生成され、ペーストバッ
ファに記憶される。

【００４７】従って、図９（Ａ）に示すような３次元物
体Ｖが表示された２次元画像が、画像バッファに記憶さ
れている場合に、その縦線のある壁面Ｓの展開画像を得
たいときには、ユーザは、第１に、その３次元物体Ｖが
表示された２次元画像の記憶されている画像バッファを
注目バッファとし、第２に、コピー処理を指令する「Co
py」ボタンを操作し、第３に、壁面Ｓの形状を指定する
「Rectangle」ボタンを操作し、第４に、図９（Ａ）に
示したように、２次元画像中の、縦線のある壁面Ｓを構
成する四角形の４頂点Ｐ₁，Ｐ₂，Ｐ₃，Ｐ₄を、特徴点と
して指定すれば良い。

【００４８】一方、ステップＳ８において、「Paste」
ボタンが操作されたと判定された場合、ペースト操作処
理部１３において、ペースト処理が行われる。即ち、こ
の場合、ステップＳ８からＳ１２に進み、ペースト操作
処理部１３において、形状情報および特徴点に基づい
て、ペーストバッファに記憶された２次元平面上の画像
（展開画像）を、投影画像に変換するための変換式（以
下、適宜、順変換式という）が算出され、画像変換処理
部２０に供給される。画像変換処理部２０では、ステッ
プＳ１３において、順変換式に基づいて、ペーストバッ
ファに記憶された画像が、投影画像に変換される。さら
に、画像変換部２０は、ステップＳ１４において、その
投影画像を、注目バッファに記憶された２次元画像に表
示された３次元物体の面（特徴点によって特定される
面）に貼り付け、ステップＳ１に戻る。

【００４９】以上のようなペースト処理によれば、例え
ば、図９で説明したコピー処理によって、図１０（Ａ）
に示すような２次元平面上の画像が、ペーストバッファ
に記憶されており、さらに、図１０（Ｂ）に示すよう
な、家屋を模した３次元物体Ｖが表示された２次元画像
が、注目バッファに記憶されている場合において、形状
情報として、無模様の壁面Ｓ’の形状である長方形が指
定されるとともに、特徴点として、壁面Ｓ’の４頂点Ｐ
₁’，Ｐ₂’，Ｐ₃’，Ｐ₄’が指定されたときには、図１
０（Ｃ）に示すように、ペーストバッファに記憶された
画像が、３次元物体Ｖの壁面Ｓ’に貼り付けられた状態
で、その３次元物体Ｖをスクリーン上に投影した場合
の、その壁面Ｓ’の部分の投影画像が生成され、注目バ
ッファに記憶された２次元画像に表示された３次元物体
Ｖの、特徴点Ｐ₁’乃至Ｐ₄’で特定される壁面Ｓ’に貼
り付けられる。

【００５０】従って、図１０（Ａ）に示すような画像
が、ペーストバッファに記憶されているとともに、図１
０（Ｂ）に示すような、家屋を模した３次元物体Ｖが表
示された２次元画像が、画像バッファに記憶されている
場合に、ペーストバッファに記憶された画像を、３次元
物体Ｖの壁面Ｓ’に貼り付けた２次元画像を得たいとき
には、ユーザは、第１に、その３次元物体Ｖが表示され
た２次元画像の記憶されている画像バッファを注目バッ
ファとし、第２に、ペースト処理を指令する「Paste」
ボタンを操作し、第３に、壁面Ｓ’の形状を指定する
「Rectangle」ボタンを操作し、第４に、図１０（Ｂ）
に示したように、２次元画像中の、壁面Ｓ’を構成する
四角形の４頂点Ｐ₁’，Ｐ₂’，Ｐ₃’，Ｐ₄’を、特徴点
として指定すれば良い。

【００５１】以上から明らかなように、３次元物体Ｖが
表示された２次元画像が記憶された画像バッファを注目
バッファとして、図９で説明したようなコピー処理を行
い、さらに、図１０で説明したようなペースト処理を行
うことで、壁面Ｓのテクスチャを、別の壁面Ｓ’にコピ
ーすることができる。即ち、ユーザは、壁面Ｓおよび
Ｓ’の向きを特に意識しなくても、上述のようなコピー
処理とペースト処理を行うための操作を行うだけで、２
次元画像中の壁面Ｓのテクスチャを、別の壁面Ｓ’にコ
ピーすることができる。

【００５２】さらに、例えば、ペーストバッファに、
「ＡＢＣ」の文字や、「ＤＥＦ」の文字を、従来の２Ｄ
ペイント等を利用して、平面に文字を描くのと同様にし
て描き、それを、ペースト処理によって、上述の図５
（Ａ）に示した家屋の壁面に貼り付けることで、図５
（Ｂ）に示したような自然な２次元画像を得ることがで
きる。即ち、壁面に沿って、文字を描く必要がない。

【００５３】また、コピー処理を行い、何らかの展開画
像をペーストバッファに記憶させておき、あるいは、何
らかのテクスチャが記憶された画像バッファをペースト
バッファとして選択し、図５（Ｃ）に示す面Ｓ₁を構成
する頂点ｐ₁，ｐ₂，ｐ₃，ｐ₄、面Ｓ₂を構成する頂点
ｐ₃，ｐ₄，ｐ₅，ｐ₆、面Ｓ₃を構成する頂点ｐ₂，ｐ₃，
ｐ ₆，ｐ₇を、それぞれ特徴点として指定して、ペースト
処理を３回行うことで、図５（Ｃ）に示したように、家
屋の壁に、直方体形状の部屋が追加された２次元画像
を、容易に作成することができる（この場合、面Ｓ₁乃
至Ｓ₃の形状情報としては、いずれも長方形を指定す
る）。

【００５４】ここで、図５に示したことから分かるよう
に、ペースト処理を行う対象とする３次元物体は、注目
バッファに記憶された２次元画像中に表示されていても
良いし、表示されていなくても良い。即ち、図５（Ｂ）
は、ペースト処理を行う対象とする３次元物体（文字が
貼り付けられる３次元物体）が、元の２次元画像（図５
（Ａ）に示した２次元画像）に表示されている場合を表
しており、図５（Ｃ）は、ペースト処理を行う対象とす
る３次元物体（図５（Ｃ）における面Ｓ₁，Ｓ₂，Ｓ₃に
よって規定される直方体）が、元の２次元画像に表示さ
れていない場合を表している。なお、ペースト処理を行
う対象とする３次元物体が、元の２次元画像に表示され
ていない場合には、その３次元物体上の点として、ユー
ザが指定した特徴点の補正、即ち、図７のステップＳ７
の処理はスキップされる。これは、ステップＳ７では、
後述するように、ユーザが指定した特徴点が、３次元物
体の輪郭線上に位置するように補正されるが、３次元物
体が、元の２次元画像に表示されていない場合には、そ
の輪郭線が存在しないためである。

【００５５】また、２次元画像から、コピー処理によっ
て得られた展開画像は、元の２次元画像以外の２次元画
像に貼り付けることができるし、さらに、展開画像を貼
り付ける３次元物体の面は、その展開画像を生成する元
になった３次元物体の面と同一の形状でなくても良い。
即ち、例えば、図１１（Ａ）に示すような２次元画像に
表示された３次元物体（家屋の形状をした３次元物体）
における格子模様の壁面を対象にコピー処理を行い、図
１１（Ｂ）に示すように、その展開画像を、ペーストバ
ッファに記憶させた後、図１１（Ｃ）に示すような２次
元画像に表示された円柱の側面を対象にペースト処理を
行い、図１１（Ｄ）に示すように、格子模様の展開画像
を、円柱の側面に沿って貼り付けることが可能である。
即ち、ある３次元物体のテクスチャを、他の３次元物体
のテクスチャとして貼り付けることができる。

【００５６】さらに、ペーストバッファには、コピー処
理によって得られる画像の他、任意の画像を記憶させる
ことができ、従って、ペースト処理によれば、任意の画
像を、２次元画像に表示された３次元物体（但し、上述
したように、３次元物体は、２次元画像に表示されてい
なくてもかまわない）に貼り付けることができる。

【００５７】また、コピー処理やペースト処理によれ
ば、２次元画像に対して、上述した操作の他にも、各種
の３次元的な操作を施すことができる。即ち、例えば、
２次元画像に表示された３次元物体の面に凹凸がある場
合には、コピー処理によって、その面の展開画像を、ペ
ーストバッファに記憶させ、ペーストバッファ上で、凹
凸の部分を削除し、その削除後の画像を、ペースト処理
によって、元の３次元物体の面に貼り付ければ、凹凸が
取り除かれた３次元物体が表示された２次元画像を得る
ことができる。また、例えば、同一の３次元物体を対象
にコピー処理およびペースト処理を行う場合において、
ペースト処理を行うときに指定する特徴点を、コピー処
理を行うときに指定する特徴点と変えることで、３次元
物体の移動や、拡大、縮小、その他非線形な変形（例え
ば、いわゆる魚眼レンズなどの特殊な光学的特性を有す
るレンズを用いて撮影を行ったかのような変形など）を
行うことができる。

【００５８】図７に戻り、ステップＳ３において、マッ
ト処理を行うことが指示されたと判定された場合、即
ち、コマンドボタン３１の中の「Matte」ボタンが操作
された場合、ステップＳ１５に進み、入力イベント処理
部１１は、マット操作処理部１６を起動し、マット処理
を行わせる。即ち、この場合、マット操作処理部１６
は、注目バッファに記憶された２次元画像に表示された
３次元物体のマットを生成し、注目バッファに記憶させ
て、ステップＳ１に戻る。なお、マット処理の詳細につ
いては、後述する。

【００５９】また、ステップＳ３において、物体属性処
理または光源変更処理を行うことが指示されたと判定さ
れた場合、即ち、コマンドボタン３１の中の「Materia
l」ボタンまたは「Light」ボタンが操作された場合、ス
テップＳ１６に進み、入力イベント処理部１１は、物体
属性操作処理部１７を起動し、物体属性処理または光源
変更処理（物体属性／光源変更処理）を行わせ、ステッ
プＳ１に戻る。なお、物体属性／光源変更処理の詳細に
ついては、後述する。

【００６０】一方、ステップＳ３において、イレース処
理を行うことが指示されたと判定された場合、即ち、コ
マンドボタン３１の中の「Erase」ボタンが操作された
場合、ステップＳ１７に進み、入力イベント処理部１１
は、イレース操作処理部１５を起動し、イレース処理を
行わせ、ステップＳ１に戻る。なお、イレース処理の詳
細については、後述する。

【００６１】また、ステップＳ３において、ペイント処
理を行うことが指示されたと判定された場合、即ち、コ
マンドボタン３１の中の「Paint」ボタンが操作された
場合、ステップＳ１８に進み、入力イベント処理部１１
は、ペイント処理部１８を起動し、ペイント処理を行わ
せ、ステップＳ１に戻る。即ち、ペイント処理では、例
えば、従来と同様の２Ｄペイントを行うペイントツール
によって、ユーザによる入力装置６の操作にしたがい、
ペーストバッファに記憶された画像の一部が消去され、
あるいは、他の画像（文字、図形を含む）が付加され
る。

【００６２】例えば、上述したように、２次元画像に表
示された３次元物体の面に凹凸がある場合において、コ
ピー処理によって、その面の展開画像を、ペーストバッ
ファに記憶させ、そのペーストバッファ上で、ペイント
処理によって、凹凸の部分を削除し、その削除後の画像
を、ペースト処理によって、元の３次元物体の面に貼り
付けることにより、凹凸が取り除かれた３次元物体が表
示された２次元画像を得ることができる。また、例え
ば、図５（Ａ）に示したような３次元物体が表示された
２次元画像を対象に、コピー処理を行い、その壁面の展
開画像を、ペーストバッファに記憶させ、そのペースト
バッファに記憶された画像に、ペイント処理によって、
「ＡＢＣ」の文字や、「ＤＥＦ」の文字を描き、それ
を、ペースト処理によって、元の壁面に貼り付けること
で、図５（Ｂ）に示したような自然な２次元画像を得る
ことができる。即ち、２Ｄペイントによって、３次元的
な描画を、容易に行うことができる。

【００６３】次に、例えば、図９または図１０で説明し
たコピー処理またはペースト処理を行う場合に、図９
（Ａ）または図１０（Ｂ）に示したように、頂点Ｐ₁乃
至Ｐ₄または頂点Ｐ₁’乃至Ｐ₄’の位置を、正確に、特
徴点として指定することは、操作に熟練したユーザであ
っても困難である。即ち、例えば、図９に示したような
コピー処理を行う場合において、ユーザが指定する特徴
点Ｐ₁乃至Ｐ₄は、例えば、図１２に示すように、本来指
定すべき頂点の位置からずれるのが一般的である。さら
に、かなり操作に熟練したユーザであっても、２次元画
像がぼけていたり、また、２次元画像にぶれがある場合
には、本来指定すべき頂点の位置を、正確に、特徴点と
して指定するのは困難である。

【００６４】そこで、図７のステップＳ７では、ユーザ
が指定した特徴点を、本来指定すべき位置に補正する自
動補正処理が行われるようになっている。

【００６５】即ち、コピー操作処理部１２またはペース
ト操作処理部１３は、ステップＳ７において、変換指定
処理部１９を起動し、ユーザが入力装置６を操作するこ
とによって指定した形状情報と特徴点を供給する。

【００６６】変換指定処理部１９は、形状情報および特
徴点を受信すると、その特徴点を補正する自動補正処理
を行う。

【００６７】ここで、特徴点として指定すべき点は、後
述するように、基本的に、コピー処理またはペースト処
理の対象とする３次元形状の面の輪郭線（境界線）上の
点になっている。そこで、変換指定処理部１９では、コ
ピー処理またはペースト処理の対象とする３次元形状
（の面）の輪郭線を抽出し、その輪郭線上に位置するよ
うに、特徴点を補正するようになっている。

【００６８】図１３は、変換指定処理部１９が行う自動
補正処理を説明するフローチャートを示している。な
お、ここでは、説明を簡単にするために、例えば、図１
２に示したように、コピー処理またはペースト処理の対
象となる、２次元画像に表示された３次元物体の面が、
四角形であり、従って、同図に示したように、特徴点と
して、その四角形の４つの頂点を指定すべき場合を例に
説明を行う。

【００６９】変換指定処理部１９では、まず最初に、ス
テップＳ２１において、ユーザが入力（指定）した特徴
点のうちの、隣接する２点の組が選択される。即ち、特
徴点として指定すべき点は、上述したように、基本的
に、コピー処理またはペースト処理の対象とする、２次
元画像に表示された３次元物体の面の輪郭線上の点であ
り、さらに、後述するように、その輪郭線上のどの位置
を指定すべきかは、３次元物体の形状によって、あらか
じめ定められている。従って、ユーザが入力した特徴点
のうち、輪郭線上において隣接する２つの特徴点は、形
状情報に基づいて認識することができるので、変換指定
処理部１９は、そのようにして認識した２つの特徴点の
組のうちの１つを、ステップＳ２１において選択する。

【００７０】その後、ステップ２２に進み、後述するス
テップＳ２３でエッジ検出の対象とする領域（以下、適
宜、エッジ候補領域という）が検出される。即ち、ステ
ップＳ２２では、例えば、ステップＳ２１で選択した２
つの特徴点（以下、適宜、選択特徴点という）を結ぶ線
分が求められ、その線分上の画素から所定の距離（例え
ば、５画素分の距離）の範囲内にある画素が検出され
る。そして、そのような画素で構成される領域が、エッ
ジ候補領域とされる。

【００７１】即ち、例えば、図１２に示したように、特
徴点Ｐ₁乃至Ｐ₄が指定された場合において、そのうちの
特徴点Ｐ₁とＰ₂が、選択特徴点として選択されたときに
は、図１４に斜線を付して示すような領域が、エッジ候
補領域として検出される。

【００７２】なお、ステップＳ２２において、２つの選
択特徴点を結ぶ線分上の画素から、どの程度の距離の範
囲内にある画素を検出するかは、あらかじめ設定してお
くこともできるし、ユーザに、入力装置６を操作するこ
とにより入力してもらうようにすることも可能である。

【００７３】エッジ候補領域の検出後は、ステップＳ２
３に進み、そのエッジ候補領域を対象として、エッジの
検出が行われる。

【００７４】ここで、エッジの検出方法としては、従来
より各種の方法が提案されており、そのうちのいずれか
によって行うことも可能であるが、ここでは、例えば、
以下の手法により行う。

【００７５】即ち、ここでは、エッジ候補領域内の画素
が、ソーベルオペレータ（Sobel operator）と呼ばれる
エッジ検出用のフィルタによってフィルタリングされ、
各画素におけるグラディエント（gradient）（グラディ
エントベクトル）が求められる。このグラディエントが
大きい画素をエッジとして検出する手法は、従来より知
られているが、ここでは、さらに、２つの選択特徴点を
結ぶ線分に直交する方向の単位ベクトル、即ち、法線ベ
クトルと、エッジ候補領域内の各画素のグラディエント
それぞれとの内積が演算され、その内積が所定の閾値以
上の画素が、エッジを構成する画素（以下、適宜、エッ
ジ画素という）として検出される。

【００７６】ここで、特徴点としては、図１２に示した
ように、コピー処理またはペースト処理の対象とする３
次元物体を構成する面である四角形の頂点には一致しな
いまでも、それに近い点が指定される。従って、２つの
選択特徴点を結ぶ線分は、コピー処理またはペースト処
理の対象とする３次元物体を構成する面である四角形の
輪郭線にほぼ一致している。その結果、法線ベクトルと
グラディエントとの内積は、グラディエントの、法線ベ
クトル方向の成分、即ち、グラディエントの、輪郭線に
ほぼ直交する方向の成分を表すから、この内積の大小に
よってエッジを検出することにより、グラディエントそ
のものの大小によってエッジを検出する場合に比較し
て、ノイズ等の影響を低減したエッジ検出を行うことが
できる。即ち、２次元画像上のノイズや、縞模様等のテ
クスチャの影響を受けにくいエッジ検出を行うことがで
きる。

【００７７】エッジ画素の検出後は、ステップＳ２４に
進み、そのエッジ画素を通る直線が、例えば、最小自乗
法によって求められる。即ち、ステップＳ２４では、ス
テップＳ２３で検出されたエッジ画素からの距離の自乗
の総和を最小にする直線（以下、適宜、エッジ直線とい
う）が求められる。

【００７８】そして、ステップＳ２５に進み、ユーザが
入力した特徴点のうちの、隣接する２点の組すべてにつ
いて、エッジ直線が求められたかどうかが判定され、ま
だ、隣接する２つの特徴点の組すべてについて、エッジ
直線が求められていないと判定された場合、ステップＳ
２１に戻り、また、エッジ直線が求められていない、隣
接する２つの特徴点が、選択特徴点として選択され、以
下、同様の処理が繰り返される。

【００７９】また、ステップＳ２５において、隣接する
２つの特徴点の組すべてについて、エッジ直線が求めら
れたと判定された場合、即ち、図１２において、特徴点
Ｐ₁とＰ₂の組、Ｐ₂とＰ₃の組、Ｐ₃とＰ₄の組、Ｐ₄とＰ₁
の組それぞれについて、エッジ直線が求められた場合、
ステップＳ２６に進み、その４つの組について求められ
た４つのエッジ直線の交点が求められる。即ち、特徴点
Ｐ₄およびＰ₁の組について求められたエッジ直線と特徴
点Ｐ₁およびＰ₂の組について求められたエッジ直線との
交点（以下、適宜、第１の交点という）、特徴点Ｐ₁お
よびＰ₂の組について求められたエッジ直線と特徴点Ｐ₂
およびＰ₃の組について求められたエッジ直線との交点
（以下、適宜、第２の交点という）、特徴点Ｐ₂および
Ｐ₃の組について求められたエッジ直線と特徴点Ｐ₃およ
びＰ₄の組について求められたエッジ直線との交点（以
下、適宜、第３の交点という）、特徴点Ｐ₃およびＰ₄の
組について求められたエッジ直線と特徴点Ｐ₄およびＰ₁
の組について求められたエッジ直線との交点（以下、適
宜、第４の交点という）が求められる。さらに、ステッ
プＳ２６では、各交点に最も近い特徴点が、その交点の
位置に補正され、即ち、特徴点Ｐ₁乃至Ｐ₄が、第１乃至
第４の交点の位置にそれぞれ補正され、リターンする。

【００８０】以上のような自動補正処理によれば、ユー
ザが指定した特徴点Ｐ₁乃至Ｐ₄が、本来、特徴点として
指定すべき四角形の頂点の位置に移動されるので、ユー
ザは、本来、特徴点として指定すべき位置を、正確に指
定せずに済むようになる。即ち、ユーザは、本来、特徴
点として指定すべき位置に近い点を指定するだけで済
む。

【００８１】なお、図７の実施の形態では、特徴点の自
動補正処理を必ず行うようにしたが、自動補正処理は、
ユーザからの指示があった場合にのみ行うようにするこ
とが可能である。また、自動補正処理による補正後の特
徴点を、さらに、ユーザによって補正させるようにする
ことも可能である。

【００８２】次に、特徴点の自動補正処理は、図１３で
説明したエッジ画素の検出方法を利用して、例えば、以
下のように行うことも可能である。

【００８３】即ち、いま、注目バッファに、例えば、図
１５に示すような、２次元画像が記憶されているとす
る。なお、図１５において、斜線を付してある部分が、
２次元画像に表示された３次元物体（これは、３次元空
間における３次元物体を、スクリーンに投影したもので
あるから、以下、適宜、投影画像という）を表してい
る。

【００８４】図１５では、２次元画像について、点Ｐ_A
およびＰ_Bが、３次元物体の投影画像の特徴点として指
定されている。なお、特徴点Ｐ_AおよびＰ_Bは、３次元物
体の投影画像の輪郭線上において、隣接したものとなっ
ている。

【００８５】いま、注目バッファに記憶された２次元画
像について、図１５に示すように、ｘ_p軸またはｙ_p軸
を、それぞれ横軸または縦軸とする２次元座標系（以
下、適宜、スクリーン座標系という）を定義すると、２
次元画像に表示された３次元物体の形状は、形状情報か
ら認識することができ、さらに、３次元物体の形状が分
かれば、その投影画像の、特徴点Ｐ_AとＰ_Bとの間の輪郭
線（投影画像の輪郭線は、基本的に、閉ループを構成す
るから、特徴点Ｐ_AとＰ_Bとの間の輪郭線は２つ存在する
が、ここでは、その２つの輪郭線（図１５において、細
線と太線で示す）のうち、その線上に、他の特徴点が存
在しない方（図１５において、太線で示す））は、一般
に、１以上のパラメータを用いて表される、ｘ_pおよび
ｙ_pを変数とする関数ｆによる式ｆ＝０で定義すること
ができる（関数ｆは、３次元物体の形状ごとに、異なる
型（プログラミングでいうところの実装）を有する）。

【００８６】即ち、いま、パラメータを、Ｃ₁，Ｃ₂，・
・・，Ｃ_N（Ｎは１以上の整数）と表すと、特徴点Ｐ_Aと
Ｐ_Bとの間の輪郭線は、次式により定義することができ
る。 ｆ（ｘ_p，ｙ_p，Ｃ₁，Ｃ₂，・・・，Ｃ_N）＝０ ・・・（１）

【００８７】一方、真の輪郭線を構成する画素において
は、一般に、その画素値の、輪郭線と直交する方向の成
分が急激に変化している。従って、式（１）で表される
スクリーン座標系上の画素の画素値の微分値のうちの、
その画素における法線ベクトル方向（輪郭線と直交する
方向）の成分を最大にするパラメータＣ₁，Ｃ₂，・・
・，Ｃ_Nを求めれば、そのパラメータを用いて表される
式（１）によって定義される線が、真の輪郭線を表して
いるということができる。

【００８８】そこで、式（１）によって定義される特徴
点Ｐ_AとＰ_Bとの間の輪郭線に相当する線（上述したよう
に、投影画像の輪郭線に相当する、特徴点Ｐ_AとＰ_Bとの
間の線は２つ存在するが、その２つの線のうち、他の特
徴点が存在しない方）について、エネルギＥ_fを、例え
ば、次式で定義する。

【００８９】

【数１】 ・・・（２） ここで、式（２）において、Σは、式（１）で表される
線上の画素すべてについてのサメーションをとることを
表す。また、▽はナブラ演算子を表し、Ｂ（ｘ_p，ｙ_p）
は、スクリーン座標系の位置（ｘ_p，ｙ_p）にある画素の
画素値を表す。さらに、ベクトルｎ_f（ｘ_p，ｙ_p）は、
位置（ｘ_p，ｙ_p）にある画素における法線ベクトル（図
１５）（式（１）で表される線に直交する方向のベクト
ル（ここでは、輪郭線に囲まれる領域の、外側または内
側のうちの、例えば、外側方向のベクトルとする）の、
位置（ｘ_p，ｙ_p）における単位ベクトル）を表す。ま
た、｜ｘ｜は、ベクトルｘのノルムを表し、・は、内積
を表す。さらに、Ｋは、式（１）で表される線上の画素
の総数を表す。

【００９０】式（２）における▽Ｂ（ｘ_p，ｙ_p）は、式
（１）で表される線上の画素の画素値の微分値、つまり
グラディエントを表すが、これは、ソーベルオペレータ
を用いることで求めることができる。即ち、▽Ｂ
（ｘ_p，ｙ_p）は、次式にしたがって求めることができ
る。

【００９１】 ▽Ｂ（ｘ_p，ｙ_p）＝（△_xＢ（ｘ_p，ｙ_p），△_yＢ（ｘ_p，ｙ_p）） △_xB（x_p，y_p）＝B（x_p＋1，y_p−1）＋2B（x_p＋1，y_p） ＋B（x_p＋1，y_p＋1）−（B（x_p−1，y_p−1） ＋2B（x_p−1，y_p）＋B（x_p−1，y_p＋1）） △_yB（x_p，y_p）＝B（x_p−1，y_p＋1）＋2B（x_p，y_p＋1） ＋B（x_p＋1，y_p＋1）−（B（x_p−1，y_p−1） ＋2B（x_p，y_p−1）＋B（x_p＋1，y_p−1）） ・・・（３）

【００９２】また、エネルギＥ_fを最大にするパラメー
タＣ_n（ｎ＝１，２，・・・，Ｎ）は、例えば、次のよ
うにして求めることができる。即ち、例えば、パラメー
タＣ_nの初期値を、Ｃ_n’と表すとすると、パラメータＣ
_nを、Ｃ_n’−ε_n乃至Ｃ_n’＋ε_nの範囲で変えて、式
（２）を計算し、その値が最大になるときのパラメータ
Ｃ_nを求めれば良い（ε_nは、所定の微小値とする）。

【００９３】具体的には、特徴点Ｐ_AとＰ_Bとの間の輪郭
線が、例えば、線分Ｌであるとすると、式（２）は、次
のように表すことができる。

【００９４】

【数２】 ・・・（４） ここで、Σは、上述したように、式（１）で表される
線、即ち、ここでは、線分Ｌ上の画素すべてについての
サメーションをとることを表す。また、ベクトルｎ
_Lは、式（２）におけるベクトルｎ_f（ｘ_p，ｙ_p）に相当
し、線分Ｌの法線ベクトルを表す。さらに、式（４）に
おいて、Ｋは、線分Ｌ上の画素の総数を表す。

【００９５】一方、特徴点Ｐ_AとＰ_Bとの間の輪郭線が線
分の場合、式（１）は、例えば、３つのパラメータ
Ｃ₁，Ｃ₂，Ｃ₃を用いて、次のように表すことができ
る。 ｆ（ｘ_p，ｙ_p，Ｃ₁，Ｃ₂，Ｃ₃）＝Ｃ₁ｘ_p＋Ｃ₂ｙ_p＋Ｃ₃＝０ ・・・（５）

【００９６】そして、いま、特徴点Ｐ_AまたはＰ_Bの座標
を、（ｘ₁，ｙ₁）または（ｘ₂，ｙ₂）とそれぞれする
と、式（５）におけるパラメータＣ₁，Ｃ₂，Ｃ₃は、次
のように表すことができる。 Ｃ₁＝ｙ₁−ｙ₂，Ｃ₂＝−ｘ₁＋ｘ₂，Ｃ₃＝ｘ₁ｙ₂−ｘ₂ｙ₁ ・・・（６）

【００９７】従って、この場合、式（６）で表される値
を、パラメータＣ₁，Ｃ₂，Ｃ₃の初期値Ｃ₁’，Ｃ₂’，
Ｃ₃’として、それぞれの値を変えながら、式（４）で
表されるエネルギＥ_fを計算し、そのエネルギＥ_fが最大
になるときのパラメータＣ₁，Ｃ₂，Ｃ₃を求める。この
ときのパラメータＣ₁，Ｃ₂，Ｃ₃を用いて表される式
（５）は、特徴点Ｐ_AとＰ_Bとの間の真の輪郭線を表して
おり、従って、式（５）で表される線上に、特徴点Ｐ_A
とＰ_Bを移動すれば、特徴点Ｐ_AとＰ_Bは、真の輪郭線上
に移動されることになる。

【００９８】なお、特徴点Ｐ_AとＰ_Bとの間の輪郭線が線
分の場合、式（６）から明らかなように、パラメータＣ
₁，Ｃ₂，Ｃ₃を変えるということは、特徴点Ｐ_AまたはＰ
_Bのそれぞれの座標（ｘ₁，ｙ₁）または（ｘ₂，ｙ₂）を
変えることに相当し、従って、座標ｘ₁，ｙ₁，ｘ₂，ｙ₂
が、関数ｆのパラメータであるということができる。

【００９９】また、特徴点Ｐ_AとＰ_Bとの間の輪郭線が線
分の場合には、式（５）における関数ｆの３つのパラメ
ータＣ₁，Ｃ₂，Ｃ₃すべてについて、特徴点Ｐ_AおよびＰ
_Bによって初期値が与えられるが、特徴点Ｐ_AとＰ_Bとの
間の輪郭線が曲線の場合には、関数ｆのパラメータすべ
てについて初期値が与えられるとは限らない。この場
合、初期値が与えられないパラメータについては、あら
かじめ設定しておいた値を、初期値として与えても良い
し、あるいは、初期値とする値を、ユーザに入力させて
も良い。

【０１００】さらに、上述の場合においては、説明を簡
単にするために、隣接する２つの特徴点だけに注目して
説明を行ったが、この場合、実際の処理では、以下のよ
うな問題が生じることがある。即ち、いま、輪郭線上
に、特徴点＃１、それに隣接する特徴点＃２、さらにそ
れに隣接する特徴点＃３の３つの特徴点が指定されたと
して、特徴点＃１および＃２に注目して、上述の自動補
正処理を行い、さらに、特徴点＃２および＃３に注目し
て自動補正処理を行った場合、特徴点＃１および＃２に
注目して自動補正処理を行って得られる補正後の特徴点
＃２の位置と、特徴点＃２および＃３に注目して自動補
正処理を行って得られる補正後の特徴点＃２の位置とが
ずれることがある。

【０１０１】そこで、実際の処理では、特徴点＃１およ
び＃２の間の輪郭線を定義する式（１）のパラメータ
（以下、適宜、第１のパラメータという）、並びに特徴
点＃２および＃３の間の輪郭線を定義する式（１）のパ
ラメータ（以下、適宜、第２のパラメータという）は、
補正後の特徴点＃２の上述したような位置ずれが生じな
いように変えるのが望ましい。この場合、第１と第２の
パラメータは独立ではなくなり、それらの間の関係は、
補正後の特徴点＃２の位置ずれが生じないという条件に
拘束されるため、例えば、特徴点＃１および＃２に注目
して得られる式（２）のエネルギＥ_fを最大にする第１
のパラメータと、特徴点＃２および＃３に注目して得ら
れる式（２）のエネルギＥ_fを最大にする第２のパラメ
ータとが、特徴点＃２の位置ずれが生じないという条件
を満足する関係にならないことがある。そこで、この場
合には、例えば、特徴点＃１および＃２に注目して得ら
れる式（２）のエネルギＥ_fと、特徴点＃２および＃３
に注目して得られる式（２）のエネルギＥ_fとの和を最
大にする第１および第２のパラメータを求めるようにす
れば良い。

【０１０２】なお、ここでは、説明を簡単にするため
に、１の特徴点＃２の位置がずれる場合を例にしたが、
このずれが生じることは、同一の輪郭線上にある特徴点
すべてについていえるので、同一の輪郭線上にある、隣
接する特徴点の組の間の輪郭線を定義する式（１）のパ
ラメータは、すべての組について、上述の手法を適用し
て求めるのが望ましい。即ち、同一の輪郭線上にある、
隣接する特徴点の組についてのエネルギＥ_fの総和を求
め、その総和を最大にするパラメータを求めるのが望ま
しい。

【０１０３】次に、図１６のフローチャートを参照し
て、上述の自動補正処理が図７のステップＳ７で行われ
る場合の処理について、さらに説明する。

【０１０４】なお、ここでは、説明を簡単にするため、
投影画像を四角形とし、その四角形の４つの頂点が、特
徴点Ｐ₁乃至Ｐ₄として指定されているものとする。

【０１０５】また、この場合、式（５）における３つの
パラメータＣ₁，Ｃ₂，Ｃ₃、つまり、式（６）における
２つの特徴点のｘ座標ｘ₁，ｘ₂とｙ座標ｙ₁，ｙ₂を変え
ながら、式（４）で表されるエネルギＥ_fを計算し、そ
の値を最大にするｘ₁，ｘ₂，ｙ₁，ｙ₂を求めることとな
るが、この計算量は比較的多いものとなる。そこで、こ
こでは、計算量を少なくするために、簡略化した手法を
用いることとする。

【０１０６】即ち、ここでは、まず最初に、ステップＳ
３１において、４つの特徴点Ｐ₁乃至Ｐ₄のうちのいずれ
か１つが、注目特徴点として選択され、ステップＳ３２
に進み、その注目特徴点を通る（その注目特徴点と他の
特徴点とを結んでつくられる）四角形の２つの辺のエネ
ルギＥ_fがそれぞれ求められる。即ち、例えば、いま、
図１７において、斜線で示す投影画像について、点Ｐ₁
乃至Ｐ₄が特徴点として指定され、そのうちの特徴点Ｐ₄
が注目特徴点として選択されたとする。この場合、ステ
ップＳ３２では、四角形Ｐ₁Ｐ₂Ｐ₃Ｐ₄の４辺のうちの、
注目特徴点Ｐ ₄を通る辺Ｐ₄Ｐ₁およびＰ₃Ｐ₄のエネルギ
Ｅ_fが求められる。

【０１０７】そして、ステップＳ３３に進み、ステップ
Ｓ３２でエネルギＥ_fが求められた２つの辺のうち、そ
のエネルギＥ_fの大きい方が、より投影画像の輪郭に沿
ったものとして選択され、その辺を延長した直線（この
直線も、以下、適宜、エッジ直線という）に沿って、注
目特徴点が移動される。そして、その移動後の位置にお
ける注目特徴点と、それに隣接する２つの特徴点それぞ
れとがつくる２つの辺のエネルギＥ_fが算出される。即
ち、例えば、図１７において、特徴点Ｐ₄が注目特徴点
とされている場合に、辺Ｐ₄Ｐ₁またはＰ₃Ｐ₄のエネルギ
Ｅ_fのうちの、例えば、辺Ｐ₃Ｐ₄のエネルギの方が、辺
Ｐ₄Ｐ₁のエネルギに比較して大のときには、注目特徴点
Ｐ₄が、図中、矢印Ｄで示すように、直線Ｐ₃Ｐ₄に沿っ
て移動される。そして、その移動後の注目特徴点Ｐ₄と
それに隣接する１の特徴点Ｐ₃とがつくる辺Ｐ₃Ｐ₄のエ
ネルギＥ_f、および移動後の注目特徴点Ｐ₄とそれに隣接
する他の１の特徴点Ｐ₁とがつくる辺Ｐ₄Ｐ₁のエネルギ
Ｅ_fが求められる。

【０１０８】その後、ステップＳ３４に進み、ステップ
Ｓ３３で求められた２つの辺のエネルギＥ_fの和が最大
値となっているかどうかが判定され、最大値になってい
ないと判定された場合、ステップＳ３３に戻り、注目特
徴点が、再度、エッジ直線に沿って移動され、以下、同
様の処理が繰り返される。

【０１０９】一方、ステップＳ３４において、ステップ
Ｓ３３で求められた２つの辺のエネルギＥ_fの和が最大
値となっていると判定された場合、即ち、例えば、上述
したように、注目特徴点Ｐ₄を、直線Ｐ₃Ｐ₄に沿って移
動することにより、辺Ｐ₄Ｐ₁の法線ベクトルｎ₁₄が、本
来、特徴点Ｐ₁およびＰ₄によって指定されるべき２つの
頂点を結ぶ辺に、ほぼ直交するようになった場合、ステ
ップＳ３５に進み、ユーザによって指定された特徴点Ｐ
₁乃至Ｐ₄すべてを、注目特徴点として処理を行ったかど
うかが判定され、まだ、ユーザによって指定された特徴
点Ｐ₁乃至Ｐ₄すべてを、注目特徴点として処理を行って
いないと判定された場合、ステップＳ３１に戻り、ま
だ、注目特徴点とされていない特徴点が、新たに注目特
徴点として選択され、ステップＳ３２以下の処理を繰り
返す。

【０１１０】また、ステップＳ３５において、ユーザに
よって指定された特徴点Ｐ₁乃至Ｐ₄すべてを、注目特徴
点として処理を行ったと判定された場合、ステップＳ３
６に進み、特徴点Ｐ₁乃至Ｐ₄の中で、前回のステップＳ
３３の処理で移動した移動量（移動前の特徴点と、移動
後の特徴点との間の距離）が、所定の閾値εより大きい
ものがあるかどうかが判定される。ステップＳ３６にお
いて、特徴点Ｐ₁乃至Ｐ₄の中で、前回のステップＳ３３
の処理で移動した移動量が、所定の閾値εより大きいも
のがあると判定された場合、ステップＳ３１に戻り、以
下、同様の処理を繰り返す。即ち、再び、特徴点Ｐ₁乃
至Ｐ₄を、順次、注目特徴点として、各注目特徴点がつ
くる２つの辺のエネルギの和が最大となるように、その
位置が移動される。

【０１１１】一方、ステップＳ３６において、特徴点Ｐ
₁乃至Ｐ₄の中で、前回のステップＳ３３の処理で移動し
た移動量が、所定の閾値εより大きいものがないと判定
された場合、即ち、前回のステップＳ３３の処理におい
て、特徴点Ｐ₁乃至Ｐ₄のうちのいずれも、ほとんど移動
されなかった場合、リターンする。

【０１１２】次に、図４のコピー操作処理部１２または
ペースト操作処理部１３では、上述したようして補正さ
れた特徴点と、形状情報とを用いて、逆変換式または順
変換式がそれぞれ算出されるが、この逆変換式および順
変換式の算出方法について説明する。

【０１１３】例えば、カメラ９（図３）によって、図１
８（Ａ）に示すような３次元空間にある３次元物体を撮
影した場合、カメラ９が出力する２次元画像には、図１
８（Ｂ）に示すように、その３次元物体をスクリーンに
投影した投影像（投影画像）が表示される。従って、画
像バッファ（ペーストバッファを除く）には、このよう
な投影画像が表示された２次元画像が記憶される。

【０１１４】一方、ペーストバッファには、図１８
（Ｃ）に示すように、３次元空間にある３次元物体の表
面（図１８（Ａ））を２次元平面に展開した展開画像が
記憶される。即ち、３次元物体の面が平面であれば、例
えば、その平面を正面から見た２次元画像が、ペースト
バッファに記憶される。また、３次元物体の面が円柱の
側面であれば、例えば、その側面を、２次元平面上に展
開して長方形状にした２次元画像が、ペーストバッファ
に記憶される。さらに、３次元物体の面が球面であれ
ば、例えば、地図の作成で用いられる正距円筒図法その
他の手法で、その球面を、２次元平面上に展開した２次
元画像が記憶される。また、例えば、３次元物体の面が
ベジェ（Bezier）曲面などの２つの助変数ｓ，ｔで表さ
れる３次の曲面であれば、助変数ｓまたはｔをそれぞれ
横軸または縦軸にして、その曲面を２次元平面に展開し
た２次元画像が、ペーストバッファに記憶される。さら
に、例えば、３次元物体が回転体であれば、その円周の
方向または回転軸の方向をそれぞれ横軸または縦軸にし
て、その回転体を２次元平面に展開して２次元画像が、
ペーストバッファに記憶される。

【０１１５】コピー処理では、図１８（Ｂ）に示したよ
うに、注目バッファに記憶された２次元画像に表示され
た３次元物体の（面の）投影画像上の幾つかの特徴点
（図１８（Ｂ）において、■印で示す部分）と、その３
次元物体の（面の）形状情報を指定すると、逆変換式が
算出され、その逆変換式にしたがい、図１８（Ｂ）に示
したような投影画像から、図１８（Ｃ）に示したような
展開画像が生成され、ペーストバッファに記憶される。
また、ペースト処理では、図１８（Ｂ）に示したよう
に、注目バッファにおいて、３次元物体の（面の）投影
画像を貼り付ける領域上の幾つかの特徴点（図１８
（Ｂ）において、■印で示す部分）と、その３次元物体
の（面の）形状情報を指定すると、順変換式が算出さ
れ、その順変換式にしたがい、ペーストバッファに記憶
された、図１８（Ｃ）に示したような画像（展開画像）
から、図１８（Ｂ）に示したような投影画像が生成さ
れ、画像バッファに貼り付けられる。

【０１１６】従って、逆変換式および順変換式の算出に
あたっては、３次元空間上にある３次元物体、その投影
画像、およびその展開画像の相互の関係が問題となる。

【０１１７】そこで、いま、例えば、図１９に示すよう
に、展開画像についての２次元座標系、３次元物体につ
いての３次元座標系、および投影画像についての２次元
座標系を考える。なお、展開画像についての２次元座標
系におけるｘ，ｙ座標はｘ_e，ｙ_eと、３次元物体につい
ての３次元座標系におけるｘ，ｙ，ｚ座標はｘ_o，ｙ _o，
ｚ_oと、投影画像についての２次元座標系におけるｘ，
ｙ座標はｘ_p，ｙ_pと、それぞれ表す。また、点（ｘ_p，
ｙ_p）における投影画像の画素値（注目バッファの記憶
値）をＢ（ｘ_p，ｙ_p）と、点（ｘ_e，ｙ_e）における展開
画像の画素値（ペーストバッファの記憶値）をＣ
（ｘ_e，ｙ_e）と、それぞれ表す。また、展開画像を、３
次元物体の表面に貼り付ける写像をψと、３次元物体を
投影画像に変換する写像をＭと、それぞれ表す。

【０１１８】ここで、展開画像についての２次元座標
系、３次元物体についての３次元座標系、および投影画
像についての２次元座標系（スクリーン座標系）は、任
意にとることができる。即ち、例えば、３次元物体につ
いての３次元座標系は、その３次元物体の表現に都合の
良い形でとることが可能である。具体的には、例えば、
３次元物体が円柱である場合には、２つの底面である円
のうちのいずれか一方の中心を原点（０，０，０）と
し、その回転軸（２つの底面である円の中心どうしを結
ぶ直線）をｙ_o軸に一致させるようにすることができ
る。また、例えば、３次元物体の面が長方形である場合
には、例えば、図２０に示すように、その長方形の４つ
の頂点のうちの最も左下のものを原点（０，０，０）と
し、その長方形の横軸または縦軸を、それぞれｘ_o軸ま
たはｙ_o軸に一致させるようにすることができる。

【０１１９】３次元物体上の点（ｘ_o，ｙ_o，ｚ_o）と、
展開画像上の点（ｘ_e，ｙ_e）とは、１対１に対応し、そ
れらの間の関係、即ち、写像ψ（またはψ^-1）は、幾何
学的計算により求めることができる。従って、３次元物
体上の点（ｘ_o，ｙ_o，ｚ_o）と、投影画像上の点（ｘ_p，
ｙ_p）との関係、即ち、写像Ｍ（またはＭ^-1）が分かれ
ば、展開画像上の点（ｘ_e，ｙ_e）を、投影画像上の点
（ｘ_p，ｙ_p）に変換する写像Ｍψを求めることができ
る。

【０１２０】しかしながら、３次元物体と投影画像とだ
けに注目した場合、写像Ｍは、３次元物体上の点
（ｘ_o，ｙ_o，ｚ_o）が、投影画像上の点（ｘ_p，ｙ_p）の
いずれに投影されているのかが分からなければ求めるこ
とができない。そして、３次元物体上の点（ｘ_o，ｙ_o，
ｚ_o）が、投影画像上の点（ｘ_p，ｙ_p）のいずれに投影
されているのかを、投影画像から求めるためには、基本
的に、複数の２次元画像を用意して三角測量の原理を用
いる必要がある。さらに、３次元物体の３次元モデルを
表すために、３次元空間における３次元物体上の点（ｘ
_o，ｙ_o，ｚ_o）を、視点（後述するカメラ座標の原点）
から見たときの３次元のデータを、テンポラリとして保
持しておくためのメモリが必要となり、また、そのよう
な３次元のデータを取り扱う計算も必要となる。

【０１２１】そこで、ここでは、ユーザによって与えら
れる形状情報に基づいて、写像ψを求めるとともに、ユ
ーザによって与えられる特徴点に基づいて、写像Ｍを求
め、さらに、展開画像と投影画像との関係、即ち、展開
画像を投影画像に変換する写像Ｍψを求めることとす
る。なお、この写像Ｍψが順変換式であり、この写像Ｍ
ψに相当する変換の逆変換を行う写像（Ｍψ）^-1が逆変
換式である。従って、逆変換式は、写像Ｍψの逆行列
を、例えば、ガウスの消去法などを用いて計算すること
で求めることができる。

【０１２２】このように、逆変換式（Ｍψ）^-1は、順変
換式Ｍψを求めれば、容易に求めることができるので、
ここでは、順変換式Ｍψの算出方法について説明する。

【０１２３】上述したように、３次元物体上の点
（ｘ_o，ｙ_o，ｚ_o）と、展開画像上の点（ｘ_e，ｙ_e）と
は、１対１に対応するため、点（ｘ_o，ｙ_o，ｚ_o）は、
写像ψと、点（ｘ_e，ｙ_e）を用いて、式（７）のように
表すことができる。

【０１２４】

【数３】 ・・・（７） いま、３次元空間において、３次元物体をカメラ９で撮
影して、その投影画像を得た場合、カメラ９の位置（ｘ
_c，ｙ_c，ｚ_c）を表す３次元座標（以下、適宜、カメラ
座標という）を考えることができ、点（ｘ_o，ｙ_o，
ｚ_o）のカメラ座標（ｘ_c，ｙ_c，ｚ_c）は、３次元空間に
おける回転移動を表す９の要素をｒ₁₁，ｒ₁₂，ｒ₁₃，ｒ
₂₁，ｒ₂₂，ｒ₂₃，ｒ₃₁，ｒ₃₂，ｒ₃₃とするとともに、３
次元空間における平行移動を表す３つの要素をｔ₁，
ｔ₂，ｔ₃として、次式で表すことができる。

【０１２５】

【数４】 ・・・（８） 投影画像上の点（ｘ_p，ｙ_p）は、カメラ座標における３
次元物体上の点（ｘ_c，ｙ_c，ｚ_c）をスクリーン上に投
影したものであり、この変換は、例えば、JamesD.Fole
y, Andries van Dam, Steven K.Feiner, John F.Hughe
s, "Computer Graphics, principles and practice", A
DDISON-WESLEY PUBLISHING COMPANY, 1996などに記載さ
れているように、透視変換（射影変換）であるから、分
母と分子のいずれもが、ｘ座標、ｙ座標、ｚ座標のうち
のいずれかの一次式（ｘ，ｙ，ｚのうちのいずれかの１
次の項と定数項）であるような有理式で表すことができ
る。即ち、ｗを、同次座標を表す任意の数とすると、ス
クリーン上の投影画像の点（ｘ_p，ｙ_p）は、同次座標に
より、例えば、式（９）のように表すことができる。

【０１２６】

【数５】 ・・・（９） ここで、カメラ９の焦点距離をｆとするとともに、カメ
ラ座標系におけるスクリーンの１画素の横または縦の長
さを、それぞれｈまたはｖとした場合において、式
（９）におけるｆ_hまたはｆ_vは、ｆ×ｈまたはｆ×ｖを
それぞれ表す。

【０１２７】式（９）から明らかなように、同次座標の
ｘ座標ｗｘ_pまたはｙ座標ｗｙ_pを、そのｚ座標ｗで除算
した値が、投影画像のｘ座標ｘ_pまたはｙ座標ｙ_pとな
る。

【０１２８】式（７）乃至（９）から、式（１０）を導
くことができる。

【０１２９】

【数６】 ・・・（１０） 式（１０）において、Ｍは、図１９からも明らかなよう
に、ψ（ｘ_e，ｙ_e）、つまり（ｘ_o，ｙ_o，ｚ_o）を、
（ｘ_p，ｙ_p）に変換する行列であり、次式のように表さ
れる。

【０１３０】

【数７】 ・・・（１１） 式（１０）におけるψ（ψ₁，ψ₂，ψ₃）は、ユーザに
よって与えられる形状情報に基づき、幾何学的計算によ
って求めることができる。また、式（１０）における行
列Ｍは、ユーザによって与えられる特徴点に基づいて求
めることができる。即ち、行列Ｍは、式（１１）に示す
ように、一般には、１１の要素ｍ₁₁，ｍ₁₂，ｍ₁₃，
ｍ₁₄，ｍ₂₁，ｍ₂₂，ｍ₂₃，ｍ₂₄，ｍ₃₁，ｍ₃₂，ｍ₃₃を未
知数として有するから、例えば、投影画像上の、自由度
が２の５点と、自由度が１の１点との合計６点が特徴点
として指定されれば、ｍ₁₁乃至ｍ₁₄，ｍ₂₁乃至ｍ₂₄，ｍ
₃₁乃至ｍ ₃₃を求めることができる。なお、投影画像上
の、上述の６点を超える数の点が指定された場合には、
例えば、最小自乗法などを用いることで、１１の要素ｍ
₁₁乃至ｍ₁₄，ｍ₂₁乃至ｍ₂₄，ｍ₃₁乃至ｍ₃₃を求める。

【０１３１】以上のように、ここでは、行列Ｍは、ユー
ザによって与えられる特徴点に基づいて求めることとし
ているため、カメラ座標における３次元物体の３次元の
データを取り扱う必要がなく、従って、その３次元のデ
ータを用いた計算も行う必要がない。さらに、同一の３
次元物体を複数の位置から撮影した複数の２次元画像を
用いる必要もない。即ち、ある位置から３次元物体を撮
影した１つの２次元画像から、行列Ｍを求めることがで
きる。その結果、写像Ｍψ（および（Ｍψ）^-1）も、カ
メラ座標における３次元のデータを用いた計算を行った
り、また、複数の２次元画像を用いたりすることなく求
めることができる。

【０１３２】次に、３次元物体として、直方体を用いた
場合のψおよびＭの算出方法について説明する。

【０１３３】３次元物体が、直方体である場合において
は、式（７）のψ、即ち、直方体のある面（長方形）
の、３次元空間上の点（ｘ_o，ｙ_o，ｚ_o）と、展開画像
上の点（ｘ_e，ｙ_e）との関係は、例えば、次のように表
すことができる。

【０１３４】

【数８】 ・・・（１２） 但し、ここでは、投影画像についての２次元座標（以
下、適宜、スクリーン座標という）として、３次元物体
についての３次元座標（以下、適宜、単に、３次元座標
という）におけるｚ_o＝０の平面上の座標であって、
ｘ，ｙ座標が等しいもの（ｘ_e＝ｘ_o，ｙ_e＝ｙ_o）、つま
り、３次元物体についての３次元座標系のｘｙ平面を使
用することとしている。また、３次元座標系としては、
直方体のある面のうちの１の頂点が、原点に一致し、か
つその面が、ｘｙ平面に含まれるようなものを用いるこ
ととしている。

【０１３５】式（１２）では、ｚ_o＝０であるから、式
（１１）における行列Ｍの第３列ｍ_{1 3}，ｍ₂₃，ｍ₃₃は不
要となる。即ち、この場合、式（１０）は、次のように
表すことができる。

【０１３６】

【数９】 ・・・（１３）

【０１３７】従って、この場合、求めるべき行列Ｍの要
素は、ｍ₁₁，ｍ₁₂，ｍ₁₄，ｍ₂₁，ｍ ₂₂，ｍ₂₄，ｍ₃₁，ｍ
₃₂の８個であるから、展開画像上の４点に対応する投影
画像上の４点を特徴点として指定すれば（４つの特徴点
のｘ_p，ｙ_p座標の合計で８個の情報を与えれば）、これ
らの８個の要素ｍ₁₁，ｍ₁₂，ｍ₁₄，ｍ₂₁，ｍ₂₂，ｍ₂₄，
ｍ₃₁，ｍ₃₂を求めることができる。

【０１３８】３次元物体が直方体である場合において
は、その面（長方形）の投影画像は、例えば、図２１
（Ａ）に示すような四角形となる。そこで、ここでは、
ユーザに、例えば、四角形の投影画像の４つの頂点を、
特徴点として指定してもらうこととする。また、ここで
は、例えば、図２１（Ａ）に示したように、四角形の投
影画像の頂点を、左上の頂点から時計回りに、点Ｐ₁，
Ｐ₂，Ｐ₃，Ｐ₄とそれぞれするとともに、図２１（Ｂ）
に示すように、ペーストバッファに長方形状に記憶され
る展開画像の頂点を、左上の頂点から時計回りに、点Ｅ
₁，Ｅ₂，Ｅ₃，Ｅ₄とそれぞれして、点Ｐ₁とＥ₁、点Ｐ₂
とＥ₂、点Ｐ₃とＥ₃、点Ｐ₄とＥ₄を、それぞれ対応させ
ることとする。

【０１３９】さらに、展開画像についての２次元座標
（以下、適宜、ペーストバッファ座標という）系におけ
る点Ｅ₁，Ｅ₂，Ｅ₃，Ｅ₄の座標を、それぞれ（０，
０），（Ｌ _W，０），（Ｌ_W，Ｌ_H），（０，Ｌ_H）とす
る。ここで、Ｌ_WまたはＬ_Hは、それぞれ、長方形状の展
開画像の横または縦の長さを表し、ペーストバッファの
容量の許す範囲で、ユーザが任意に設定することが可能
である。また、Ｌ_WおよびＬ_Hは、このようにユーザに設
定させる他、展開画像が、ペーストバッファの、例えば
８０％などの所定の割合の大きさ（面積）となるような
ものに定めておくことも可能である。さらに、Ｌ_Wおよ
びＬ_Hは、あらかじめ固定の値に設定しておくことも可
能である。

【０１４０】この場合、ユーザによって指定された特徴
点としての点Ｐ₁，Ｐ₂，Ｐ₃，Ｐ₄のスクリーン座標を、
それぞれ（ｘ_p1，ｙ_p1）,（ｘ_p2，ｙ_p2）,（ｘ_p3，
ｙ_p3）,（ｘ_p4，ｙ_p4）とすると、式（１０）から、次
式が成り立つ。

【０１４１】

【数１０】 ・・・（１４） 但し、式（１４）において、ｗ₁，ｗ₂，ｗ₃，ｗ₄は、同
次座標を表す任意の数である。

【０１４２】式（１４）における行列Ｍは、式（１３）
における８個の要素ｍ₁₁，ｍ₁₂，ｍ ₁₄，ｍ₂₁，ｍ₂₂，ｍ
₂₄，ｍ₃₁，ｍ₃₂を未知数とするものであり、また、式
（１４）からは、８つの方程式をたてることができるか
ら、８個の未知数ｍ₁₁，ｍ₁₂，ｍ₁₄，ｍ₂₁，ｍ₂₂，
ｍ₂₄，ｍ₃₁，ｍ₃₂、即ち、行列Ｍを求めることができ
る。なお、行列Ｍを求めるための特徴点としては、基本
的に、ユーザによって指定された特徴点を、上述の自動
補正処理により補正したものが用いられる。

【０１４３】３次元物体が、直方体である場合におい
て、その面（長方形）を対象にコピー処理またはペース
ト処理を行うときには、式（１２）によりψを求めると
ともに、式（１４）からＭを求める。そして、ペースト
処理の場合は、写像Ｍψがそのまま順変換式とされ、コ
ピー処理の場合は、写像Ｍψの逆行列が求められ、逆変
換式とされる。ここで、３次元物体が直方体である場合
に限らず、ペースト処理において用いられる変換式は、
写像Ｍψがそのまま使用されるため順変換式と呼び、コ
ピー処理において用いられる変換式は、写像Ｍψの逆写
像が使用されるため逆変換式と呼んでいる。

【０１４４】コピー処理を行う場合においては、画像変
換処理部２０において、注目バッファの、図２１（Ａ）
に示した投影画像である四角形Ｐ₁Ｐ₂Ｐ₃Ｐ₄内の画素そ
れぞれが、逆変換式（Ｍψ）^-1にしたがい、ペーストバ
ッファの、図２１（Ｂ）に示した長方形Ｅ₁Ｅ₂Ｅ₃Ｅ₄内
の対応する位置に書き込まれる。

【０１４５】なお、注目バッファの１画素が、ペースト
バッファの複数の画素に対応する場合には、その複数の
画素すべてについて、注目バッファの１画素の画素値を
書き込むようにしても良いし、また、注目バッファの複
数の画素を用いて補間を行うことにより補間値を求め、
その補間値を、ペーストバッファに書き込むようにして
も良い。即ち、例えば、注目バッファのある画素Ａが、
ペーストバッファの隣接する２つの画素ａ₁，ａ₂に対応
する場合には、画素ａ₁には、画素Ａの画素値を書き込
み、画素ａ₂には、画素Ａと、それに隣接する注目バッ
ファの画素との画素値の平均値等を書き込みようにする
ことができる。

【０１４６】逆に、注目バッファの複数の画素が、ペー
ストバッファの１画素に対応する場合には、例えば、そ
の複数の画素のうちのいずれか１の画素値を、ペースト
バッファに書き込んでも良いし、その複数の画素に対し
てフィルタをかけることにより重み付け加算値などを求
め、その重み付け加算値を、ペーストバッファに書き込
んでも良い。

【０１４７】ここで、ペーストバッファへの画素値の書
き込みは、逆変換式（Ｍψ）^-1にしたがっていれば、上
述のように、注目バッファの投影画像の各画素が、ペー
ストバッファの展開画像のどの画素に変換されるのかを
計算して行っても良いし、逆に、展開画像の各画素に変
換されるのが、投影画像のどの画素なのかを計算して行
っても良い。

【０１４８】一方、ペースト処理を行う場合において
は、画像変換処理部２０において、ペーストバッファ
の、図２１（Ｂ）に示した展開画像である長方形Ｅ₁Ｅ₂
Ｅ₃Ｅ₄内の画素それぞれが、順変換式Ｍψにしたがい、
注目バッファの、図２１（Ａ）に示した四角形Ｐ₁Ｐ₂Ｐ
₃Ｐ₄内の対応する位置に書き込まれ、これにより、注目
バッファに記憶された２次元画像上に、投影画像が貼り
付けられる。

【０１４９】なお、ペーストバッファの１画素が、注目
バッファの複数の画素に対応する場合には、コピー処理
における場合と同様に、その複数の画素すべてについ
て、ペーストバッファの１画素の画素値を書き込むよう
にしても良いし、また、ペーストバッファの複数画素を
用いて補間を行うことにより補間値を求め、その補間値
を書き込むようにしても良い。

【０１５０】逆に、ペーストバッファの複数の画素が、
注目バッファの１画素に対応する場合には、例えば、そ
の複数の画素のうちのいずれか１の画素値を、注目バッ
ファに書き込んでも良いし、その複数の画素に対してフ
ィルタをかけることにより重み付け加算値などを求め、
その重み付け加算値を、注目バッファに書き込んでも良
い。

【０１５１】ここで、注目バッファへの画素値の書き込
みも、順変換式Ｍψにしたがっていれば、上述のよう
に、ペーストバッファの展開画像の各画素が、注目バッ
ファの投影画像のどの画素に変換されるのかを計算して
行っても良いし、逆に、投影画像の各画素に変換される
のが、展開画像のどの画素なのかを計算して行っても良
い。

【０１５２】以上、３次元物体として、直方体を用いた
場合のψおよびＭの算出方法について説明したが、プリ
ミティブな形状の３次元物体としての、例えば、円柱
や、円錐、球についてのψおよびＭの算出方法について
は、本件出願人が先に提案した、例えば、特願平１−１
６４６５４号（特願平１０−１９７３９０号を基礎とす
る国内優先権主張出願）等に、その詳細が開示されてい
るため、ここでは、その説明を省略する。

【０１５３】なお、プリミティブな形状以外の３次元物
体であっても、その形状を、関数で表現することができ
るものであれば、そのような３次元物体を対象に、ψお
よびＭを算出することが可能である。

【０１５４】また、特徴点として指定すべき点は、上述
したものに限定されるものではない。即ち、例えば、図
２１では、直方体の面である四角形の投影画像の特徴点
として、その四角形の頂点を指定するようにしたが、四
角形の投影画像の特徴点としては、その他、例えば、そ
の四角形の各辺の中点などを指定するようにすることも
可能である。

【０１５５】また、特徴点としては、投影画像として表
示される点（見える点）の他、表示されない点（見えな
い点）を指定することも可能である。

【０１５６】但し、投影画像の特徴点として指定される
点が、ペーストバッファに記憶される展開画像のどの位
置に対応するのかという対応関係は、あらかじめ設定し
ておく必要がある。

【０１５７】次に、ペースト処理においては、基本的に
は、上述したように、ペーストバッファに記憶された画
像が、注目バッファに記憶された２次元画像の、ユーザ
によって指定された特徴点により特定される３次元物体
の面に貼り付けられる。即ち、ペーストバッファに記憶
された画像の画素値が、注目バッファに上書きされる。
しかしながら、例えば、ペースト処理によって、注目バ
ッファに記憶された２次元画像に、新たな３次元物体を
追加する場合に、ペーストバッファに記憶された画像の
画素値を、注目バッファに、単に上書きするのでは、注
目バッファに記憶された２次元画像に既に表示されてい
る３次元物体の手前側に、新たな３次元物体を追加する
ことはできるが、その奥側に、新たな３次元物体を追加
することはできない。

【０１５８】そこで、本実施の形態では、マットを利用
して、注目バッファに記憶された２次元画像に既に表示
されている３次元物体の奥側に、新たな３次元物体を追
加することができるようになっている。

【０１５９】マットは、２次元画像に表示された物体の
形状を表す、いわゆるグレースケールの画像で、その値
は、２次元画像を構成する各画素における物体の寄与率
（αと呼ばれる）を表すことから、α画像とも呼ばれ
る。ここでは、マットは、図７のステップＳ１５におけ
るマット処理が行われることによって、注目バッファに
記憶された２次元画像のマットが生成されるようになっ
ている。なお、２次元画像のマットは、上述したよう
に、その２次元画像が記憶されている画像バッファに記
憶されるようになっている。

【０１６０】ここで、マットを構成する各画素の画素値
は、例えば、０乃至１の範囲の値をとり、いわゆる前景
を構成する画素の画素値は１に、いわゆる背景を構成す
る画素の画素値は０に、前景と背景との境界部分を構成
する画素の画素値は、その画素に含まれる前景と背景と
の割合に応じた値となる（前景の割合が多いほど１に近
い値となり、背景の割合が多いほど０に近い値とな
る）。

【０１６１】従って、例えば、いま、図２２（Ａ）に示
すような家屋の形状をした３次元物体が表示されている
２次元画像が、注目バッファに記憶されている場合にお
いて、家屋の部分を前景とし、それ以外の部分を背景と
して、マット処理が行われると、マット操作処理部１６
では、図２２（Ｂ）に示すようなマットが生成され、注
目バッファに記憶される。なお、図２２（Ｂ）におい
て、影を付してある部分の画素値は１になっており、影
を付していない部分の画素値は０になっている。

【０１６２】ここで、マットの生成方法としては、例え
ば、Eric N.Mortensen, William A.Barrett, "Intellig
ent Scissors for Image Composition", Proceedings o
f SIGGRAPH 95, pp.191-198や、本件出願人が先に提案
した特開平８−３３１４５５号公報、特開平１０−１４
３６５４号などに開示されているものを利用することが
できる。

【０１６３】注目バッファに、２次元画像とともに、そ
のマットが記憶されている場合において、そのマットを
有効または無効とするかは、入力装置６を操作すること
により設定することができるようになっている。

【０１６４】いま、例えば、注目バッファに、図２２
（Ａ）または図２２（Ｂ）にそれぞれ示したような２次
元画像またはマットが記憶されており、新たな３次元物
体として、例えば、円柱を、注目バッファの２次元画像
に貼り付けるペースト処理が指令された場合には、マッ
トが無効とされているときには、円柱の投影画像は、２
次元画像に単に上書きされ、これにより、例えば、図２
２（Ｃ）に示すような、円柱が、家屋の手前にあるよう
な２次元画像が生成される。

【０１６５】一方、マットが有効とされているときに
は、注目バッファに記憶されている２次元画像を構成す
る画素の画素値をＡと、円柱の投影画像を構成する画素
の画素値をＢと、マットを構成する画素の画素値をα
と、ペースト処理により得られる２次元画像をＣと、そ
れぞれ表すと、２次元画像Ｃは、式Ｃ＝αＡ＋（１−
α）Ｂに基づいて生成される。従って、この場合、例え
ば、図２２（Ｄ）に示すような、円柱が、家屋の奥側に
あるような２次元画像が生成される。

【０１６６】以上のように、マットを有効にしてペース
ト処理を行うことで、２次元画像に既に表示されている
３次元物体の奥側に隠れている部分を見えなくする、い
わゆるオクルージョン（Occlusion）を実現することが
でき、従って、この場合、マットは、投影画像の書き込
みを許可するかどうかのフラグとして機能しているとい
うことができる。

【０１６７】なお、マットは、ユーザに作成してもらう
ようにすることも可能である。

【０１６８】次に、図２３のフローチャートを参照し
て、図７のステップＳ１６における物体属性／光源変更
処理について説明する。なお、ここでは、注目バッファ
に記憶された２次元画像のマットが既に生成され、注目
バッファに記憶されているものとする。

【０１６９】物体属性／光源変更処理では、まず最初
に、ステップＳ５１において、注目バッファに記憶され
たマットにより表される、同じく注目バッファに記憶さ
れた２次元画像に表示された物体の領域における色分布
が検出される。即ち、ステップＳ５１では、注目バッフ
ァに記憶された２次元画像に表示された物体の領域が、
注目バッファに記憶されたマットから認識され、その領
域を構成する画素のＲＧＢ値の、ＲＧＢ空間における分
布（色分布）が検出される。

【０１７０】色分布の検出後は、ステップＳ５２に進
み、物体の領域を構成する画素のうち、その色の彩度が
最も大きい画素（以下、適宜、最大彩度画素）が、ステ
ップＳ５１で検出された色分布に基づいて検出される。

【０１７１】即ち、図２４は、ＲＧＢ空間における物体
の色分布（同図において実線で囲んで示す部分）の例を
示している。なお、図２４は、Ｒ，Ｇ，Ｂの最大値を１
に正規化した色分布を示している。従って、図２４のＲ
ＧＢ空間において、（Ｒ，Ｇ，Ｂ）が（０，０，０）の
点は黒を、（１，１，１）の点は白を、それぞれ表す。

【０１７２】ＲＧＢ空間において、彩度は、黒の点と白
の点を結ぶ直線、即ち、図２４では、点（０，０，０）
と（１，１，１）とを結ぶ直線から離れるほど大きくな
る。従って、ステップＳ５２では、ステップＳ５１で検
出された色分布において、点（０，０，０）と（１，
１，１）とを結ぶ直線から最も離れた点に位置する色を
有する画素が、最大彩度画素として検出される。図２４
の実施の形態では、同図においてＣで示す色の画素が、
最大彩度画素として検出される。

【０１７３】ここで、最大彩度画素の色（ＲＧＢ値）Ｃ
が、注目バッファに記憶された２次元画像に表示された
物体の本来の色と考えられる。

【０１７４】その後、ステップＳ５３に進み、ステップ
Ｓ５１で検出された色分布が変換され、その変換後の色
分布に対応した画素値（ＲＧＢ値）が、注目バッファに
記憶された２次元画像を構成する、対応する画素に書き
込まれて、リターンする。即ち、ステップ５３では、最
大彩度画素の色Ｃが、所定の色Ｄに変換され、さらに、
所定のルールにしたがって、物体の領域を構成する他の
画素の色も変換される。

【０１７５】具体的には、物体の色や材質感などの材質
属性を変更する物体属性処理が指令された場合、ステッ
プＳ５３では、最大彩度画素の色Ｃが、所定の色Ｄに変
換され、その変換と同様にして、物体の領域を構成する
他の画素の色も、線形的に変換される。

【０１７６】即ち、図２４において、最大彩度画素の色
Ｃが、色Ｄに変更された場合、物体の色分布の中で、色
Ｃと、白色を表す点（１，１，１）との間にある色は、
色Ｄと、白色を表す点（１，１，１）との間にある色
に、線形に変換される。さらに、物体の色分布の中の、
色Ｃと、黒色を表す点（０，０，０）との間にある色
は、色Ｄと、黒色を表す点（０，０，０）との間にある
色に、線形に変換される。その結果、物体の色分布は、
図２４において、実線で示すものから点線で示すものに
変更される。ここでは、色が線形に変換されるため、元
の色分布の中で、最も明るい色Ｑは、変換後の色分布の
中でも、最も明るい色Ｔに変換される。同様に、元の色
分布の中で、最も暗い色Ｐは、変換後の色分布の中で
も、最も暗い色Ｓに変換される。

【０１７７】色Ｃと、白色を表す点（１，１，１）との
間にある色は、物体における、光源からの光の鏡面反射
による鏡面反射成分であり、また、色Ｃと、黒色を表す
点（０，０，０）との間にある色は、物体における、光
源からの光の拡散反射による拡散反射成分であり、上述
のように、物体の色分布を、拡散反射成分と鏡面反射成
分とに分けて、それぞれを線形に変換することにより、
注目バッファに記憶された２次元画像に表示されている
物体の投影画像の色を、元の陰影を保持したまま変更す
ることができる。即ち、上述の場合、２次元画像に表示
された物体の色を、色Ｃから色Ｄに変更することができ
る。

【０１７８】なお、このような色の変更は、ダイクロマ
ティックリフレクションモデル（dichromatic reflecti
on model）の理論に基づくものである。

【０１７９】また、上述の場合には、物体の色分布のう
ちの拡散反射成分または鏡面反射成分それぞれを線形に
変換するようにしたが、ステップＳ５３では、拡散反射
成分や鏡面反射成分を非線形に変換するようにすること
も可能である。即ち、例えば、図２４において、鏡面反
射成分である、色ＣとＱとの間にある色のほとんどを、
色Ｄ付近に変換し、色Ｑおよびその付近の色を、色Ｔ付
近に変換した場合には、物体を、ごく一部において、強
い鏡面反射が生じているようなものとすることができ
る。この場合、例えば、図２５（Ａ）に示すように、拡
散反射が多く、全体的に明るい物体を、図２５（Ｂ）に
示すように、一部で強い鏡面反射が生じている物体に変
更することができる。

【０１８０】以上のように、拡散反射成分や鏡面反射成
分を非線形に変換することで、物体において、鏡面反射
している領域を狭くまたは広くしたり、鏡面反射の強度
を変えたりすることができ、これにより、物体の材質感
を変更することができる。

【０１８１】なお、上述のように、一部で強い鏡面反射
が生じるのは、表面粗度が小さい物体の性質であり、従
って、そのように色分布を変更した場合には、物体の表
面を滑らかな表面に変更することができる。

【０１８２】次に、光源を変更する光源変更処理が指令
された場合、図２３のステップＳ５３では、図２４にお
いて、鏡面反射成分である色ＣとＱとの間にある色が、
色Ｃから、新たな光源の色に沿って分布するように変換
される。即ち、物体の色分布において、最も明るい色
は、光源の色であると考えられるから、図２４におい
て、色Ｃから、最も明るい色Ｑに沿って分布する色を、
色Ｃから、新たな光源の色に沿って分布するように変換
することで、光源が、新たな光源に変更されたかのよう
な効果を得ることができる。

【０１８３】次に、図７のステップＳ１７において行わ
れるイレース処理について説明する。

【０１８４】イレース処理は、上述したように、画像バ
ッファに記憶された２次元画像の一部を削除するもので
あるから、基本的には、そのイレース処理の対象とする
２次元画像が記憶された画像バッファを注目バッファと
して、コピー処理を行い、展開画像をペーストバッファ
に記憶させ、さらに、ペーストバッファに記憶された展
開画像の一部を消去し、ペースト処理を行い、展開画像
に対応する投影画像を、注目バッファの元の位置に貼り
付けることで行うことができる。

【０１８５】しかしながら、例えば、図２６（Ａ）に示
すような２次元画像のうちの、格子状の模様が描かれた
壁に埋め込まれている円柱を削除する場合において、コ
ピー処理を行い、図２６（Ｂ）に示すように、その壁の
展開画像をペーストバッファに記憶させた後、単に、円
柱の部分を削除して、ペースト処理を行ったのでは、円
柱のあった部分が無模様の、不自然な２次元画像が得ら
れることになる。

【０１８６】そこで、イレース処理では、ペーストバッ
ファに記憶された展開画像の一部を削除し、さらに、そ
の削除が行われた部分の背景を再現するようになってい
る。

【０１８７】即ち、例えば、図２６（Ａ）に示すような
２次元画像のうちの、格子状の模様が描かれた壁に埋め
込まれている円柱を削除する場合において、コピー処理
を行い、図２６（Ｂ）に示すように、その壁の展開画像
が、ペーストバッファに記憶されたときには、イレース
処理では、円柱の部分が削除され、さらに、その削除が
行われた部分の背景が描画される。これにより、ペース
トバッファの展開画像は、例えば、図２６（Ｃ）に示す
ように、全体に、格子状の模様が描かれたものとされ
る。

【０１８８】従って、そのような展開画像を用いて、ペ
ースト処理を行うことにより、図２６（Ｄ）に示すよう
に、円柱が削除され、さらに、その円柱のあった部分に
格子状の模様が再現された、自然な２次元画像を得るこ
とができる。

【０１８９】なお、上述のように、画像の一部を削除
し、その削除が行われた部分に背景を再現する方法とし
ては、例えば、本件出願人が先に提案した特開平９−１
２８５２９号公報（ＥＰ公開番号０７７２１５７に対
応）や特開平１０−１０５７００号（ＵＳＰ５，８９
２，８５３に対応）などに記載されているものなどを採
用することができる。

【０１９０】次に、上述の場合においては、コピー処理
において、注目バッファに記憶された２次元画像に表示
された３次元物体の１面だけの展開画像を生成し、ペー
ストバッファに記憶させるようにしたが、コピー処理で
は、注目バッファに記憶された２次元画像の中の３次元
物体を構成する面のうち、隣接する２面以上の部分につ
いて、展開画像を生成し、ペーストバッファに記憶させ
るようにすることも可能である。

【０１９１】即ち、例えば、図２７（Ａ）に示すよう
に、家屋の形状をした３次元物体が表示されている２次
元画像が、注目バッファに記憶されている場合におい
て、格子状の模様が描かれた壁と、それに隣接する無模
様の壁に、連続した文字や図形を付加するときには、格
子状の模様が描かれた壁を対象に、コピー処理を行い、
その展開画像をペーストバッファに記憶させ、文字や図
形を描き、ペースト処理を行うことで、文字や図形が描
かれた格子状の模様の壁を貼り付け、さらに、無模様の
壁を対象に、コピー処理を行い、その展開画像をペース
トバッファに記憶させ、文字や図形を描き、ペースト処
理を行うことで、文字や図形が描かれた無模様の壁を貼
り付けるのでは、面倒であり、また、連続した文字や図
形を描きにくい。

【０１９２】そこで、コピー処理では、図２７（Ｂ）に
示すように、格子状の模様が描かれた壁と、それに隣接
する無模様の壁の両方の展開画像を生成し、その２つの
展開画像を接続した形で、ペーストバッファに記憶させ
ることができる。この場合、格子状の模様が描かれた壁
と、それに隣接する無模様の壁に、連続した文字や図形
を、容易に描くことができる。

【０１９３】また、例えば、図２８に示すように、直方
体が表示されている２次元画像が、注目バッファに記憶
されている場合において、見えている３つの面Ｓ₁，
Ｓ₂，Ｓ ₃に、同図に点線で示すような連続した線を描く
ときなども、面Ｓ₁，Ｓ₂，Ｓ₃それぞれについて、展開
画像の生成、線の描画、展開画像の貼り付けを行うより
は、面Ｓ₁，Ｓ₂，Ｓ₃それぞれの展開画像を、それらの
面Ｓ₁，Ｓ₂，Ｓ₃の接続関係にしたがって接続したもの
を生成し、そのような展開画像に対して、線を描いた方
が、面Ｓ₁，Ｓ₂，Ｓ₃に亘って連続した線を、容易に描
くことができる。

【０１９４】従って、注目バッファに記憶された２次元
画像に表示された３次元物体の隣接する２面以上の複数
の面に対して、連続した文字や図形の付加等の加工を施
す場合には、その複数の面を対象としてコピー処理を行
うのが望ましい。

【０１９５】そこで、図２９のフローチャートを参照し
て、注目バッファに記憶された２次元画像に表示された
３次元物体の隣接する複数の面を対象としたコピー処理
について説明する。

【０１９６】複数の面を対象としたコピー処理では、ま
ず最初に、ステップＳ６１において、コピー操作処理部
１２は、変数ｎに、初期値としての、例えば１をセット
する。そして、ユーザが、形状ボタン３２（図８）を操
作するのを待って、ステップＳ６２に進み、コピー操作
処理部１２において、ユーザによる形状ボタン３２の操
作に基づいて、コピー処理の対象とする３次元物体の面
の形状（形状情報）が認識される。

【０１９７】その後、ユーザが、入力装置６を操作する
ことにより、注目バッファに記憶された２次元画像中
の、処理の対象とする３次元物体の面についての特徴点
を指定するのを待って、ステップＳ６３に進み、コピー
操作処理部１２において、その特徴点の、２次元画像中
の座標が認識される。なお、コピー操作処理部１２は、
特徴点の座標の認識後、必要に応じて、その特徴点を、
変換指定処理部１９に渡し、上述の自動補正処理を行わ
せる。

【０１９８】２次元画像中の、処理の対象とする３次元
物体の面についての特徴点が認識されると、ステップＳ
６４に進み、コピー操作処理部１２において、ステップ
Ｓ６２で認識された形状情報、および前回のステップＳ
６３で認識された特徴点に基づいて、注目バッファに記
憶された２次元画像の中の３次元物体を構成する面を、
展開画像に変換するための逆変換式（Ｍ_nψ）^-1が算出
される。ここで、逆変換式（Ｍ_nψ）^-1を構成する行列
Ｍ_nは、コピー処理の対象とする複数の面のうち、ｎ回
目のステップＳ６３において認識された特徴点によって
特定される面（以下、適宜、面＃ｎという）について
の、上述の行列Ｍ（図１９で説明した３次元空間上の３
次元物体を構成する面を、スクリーン上に投影する行列
Ｍ）を意味する。

【０１９９】その後、ステップＳ６５に進み、入力イベ
ント処理部１１において、コピー処理の対象とする複数
の面すべてについて、特徴点の入力が終了したかどうか
が判定される。ステップＳ６５において、コピー処理の
対象とする複数の面すべてについて、特徴点の入力が、
まだ終了していないと判定された場合、即ち、例えば、
そのように、入力装置６が操作された場合、ステップＳ
６６に進み、コピー操作処理部１２において、変数ｎが
１だけインクリメントされる。そして、次の処理対象と
なる面についての特徴点が、ユーザによって入力装置６
が操作されることにより入力されるのを待って、ステッ
プＳ６３に戻り、以下、同様の処理が繰り返される。

【０２００】また、ステップＳ６５において、コピー処
理の対象とする複数の面すべてについて、特徴点の入力
が終了したと判定された場合、即ち、例えば、そのよう
に、入力装置６が操作された場合、ステップＳ６７に進
み、コピー操作処理部１２において、変数ｉに、初期値
としての、例えば１がセットされ、逆変換式（Ｍ_iψ）
^-1が、画像変換処理部２０に供給される。画像変換処理
部２０では、ステップＳ６８において、コピー操作処理
部１２からの逆変換式（Ｍ_iψ）^-1に基づいて、注目バ
ッファに記憶された２次元画像の中の３次元物体を構成
する面＃ｉ（特徴点によって特定される）の投影画像
が、展開画像に変換される。

【０２０１】そして、画像変換処理部２０は、ステップ
Ｓ６９に進み、面＃ｉの展開画像を、ペーストバッファ
に書き込む。

【０２０２】ここで、画像変換処理部２０は、面＃ｉの
展開画像を、ペーストバッファに書き込む際、面＃ｉ
と、コピー処理の対象とする複数の面のうちの面＃ｉと
接続している面（以下、適宜、接続面という）との間の
接続関係にしたがって、面＃ｉの展開画像を、ペースト
バッファに書き込む。即ち、例えば、面＃ｉ’が、ペー
ストバッファに既に書き込まれており（ｉ’は、１乃至
ｉ−１の間の整数）、３次元物体において、面＃ｉが、
面＃ｉ’と接している場合には、画像変換処理部２０
は、基本的に、面＃ｉの展開画像を、ペーストバッファ
に既に書き込まれている面＃ｉ’の展開画像に接するよ
うに書き込む。従って、この場合、ペーストバッファに
は、３次元物体の面＃ｉ’と面＃ｉとを、同時に２次元
平面上に展開した状態の展開画像が記憶されることにな
る。

【０２０３】なお、ｉ＝１の場合、即ち、面＃１の展開
画像をペーストバッファに書き込む場合においては、ペ
ーストバッファには、コピー処理の対象とする複数の面
のいずれの展開画像も、まだ記憶されていないため、面
＃１の展開画像は、ペーストバッファの任意の位置、即
ち、例えば、ペーストバッファのほぼ中央部分に書き込
まれる。

【０２０４】面＃ｉの展開画像を、ペーストバッファに
書き込んだ後は、ステップＳ７０に進み、コピー操作処
理部１２において、変数ｉがｎに等しいかどうかが判定
される。ステップＳ７０において、変数ｉがｎに等しく
ないと判定された場合、即ち、コピー処理の対象とする
複数の面の展開画像のすべてを、まだ、ペーストバッフ
ァに書き込んでいない場合、ステップＳ７１に進み、変
数ｉが１だけインクリメントされる。そして、ステップ
Ｓ６８に戻り、以下、ステップＳ７０で変数ｉがｎに等
しいと判定されるまで、ステップＳ６８乃至Ｓ７１の処
理を繰り返す。

【０２０５】一方、ステップＳ７０において、変数ｉが
ｎに等しいと判定された場合、処理を終了する。

【０２０６】以上のように、ステップＳ６８乃至Ｓ７１
の処理が繰り返されることで、ペーストバッファには、
まず最初に、面＃１の展開画像が書き込まれ、次に、面
＃２の展開画像が、面＃１との接続関係にしたがった位
置に書き込まれる。さらに、第３面の展開画像が、面＃
１または面＃２との接続関係にしたがった位置に書き込
まれ、以下、同様にして、面＃ｎまでの展開画像が書き
込まれていく。その結果、ペーストバッファには、最終
的に、面＃１を元（基準）にして、コピー処理の対象と
する複数の面それぞれの展開画像を、その複数の面それ
ぞれの接続関係にしたがって接続したもの（以下、適
宜、接続画像という）が記憶される。

【０２０７】即ち、例えば、図３０（Ａ）に示すよう
な、点Ａ₁，Ｂ₁，Ｃ₁，Ｄ₁を頂点とする長方形の面＃１
と、点Ａ₂，Ｂ₂，Ｃ₂，Ｄ₂を頂点とする面＃２とが、辺
Ｂ₁Ｃ₁とＡ₂Ｄ₂とを共通にして接続している投影画像に
ついては、ペーストバッファにおいて、面＃１の展開画
像が書き込まれ、次に、面＃２の展開画像が、面＃１と
の接続関係にしたがった位置に書き込まれる。これによ
り、ペーストバッファでは、図３０（Ｂ）に示すような
面＃１と＃２の展開画像でなる接続画像が記憶される。

【０２０８】なお、図３０の実施の形態では、面＃１に
ついては、投影画像上における頂点Ａ₁，Ｂ₁，Ｃ₁，Ｄ₁
が特徴点として指定され、頂点Ａ₁，Ｂ₁，Ｃ₁，Ｄ₁それ
ぞれが、面＃１の展開画像上の点ａ₁，ｂ₁，ｃ₁，ｄ₁に
それぞれ対応するものとしてある。さらに、面＃１の展
開画像は、横×縦が１×１のものとされており、その座
標系（ペーストバッファ座標系）は、面＃１の展開画像
の重心を原点とし、右方向をｘ軸に、下方向をｙ軸にし
たものとされている。

【０２０９】ここで、面＃ｉの展開画像の座標系（ペー
ストバッファ座標系）におけるｘ軸またはｙ軸を、以
下、適宜、それぞれｘ_eiまたはｙ_eiと表す。

【０２１０】従って、図３０（Ｂ）では、点ａ₁，ｂ₁，
ｃ₁，ｄ₁の、面＃１における座標（ｘ_e1，ｙ_e1）は、そ
れぞれ（−１／２，−１／２），（１／２，−１／
２），（１／２，１／２），（−１／２，１／２）にな
っている。

【０２１１】面＃２についても、投影画像上における頂
点Ａ₂，Ｂ₂，Ｃ₂，Ｄ₂が特徴点として指定され、頂点Ａ
₂，Ｂ₂，Ｃ₂，Ｄ₂それぞれが、面＃２の展開画像上の点
ａ₂，ｂ₂，ｃ₂，ｄ₂にそれぞれ対応するものとしてあ
る。さらに、面＃２の展開画像も、横×縦が１×１のも
のとされており、そのペーストバッファ座標系は、面＃
２の展開画像の重心を原点とし、右方向をｘ軸に、下方
向をｙ軸にしたものとされている。

【０２１２】従って、図３０（Ｂ）では、点ａ₂，ｂ₂，
ｃ₂，ｄ₂の、面＃２における座標（ｘ_e2，ｙ_e2）は、そ
れぞれ（−１／２，−１／２），（１／２，−１／
２），（１／２，１／２），（−１／２，１／２）にな
っている。

【０２１３】なお、ここでは、形状が長方形である面＃
１や＃２の展開画像を、横×縦が１×１の正方形とする
ようにしたが、面＃１や＃２の展開画像は、上述したよ
うに、その他の任意のスケールの長方形とすることが可
能である。

【０２１４】以上のようにして、ペーストバッファに、
図３０（Ｂ）に示したような接続画像が記憶された後
は、ペーストバッファに１つの面の展開画像が記憶され
た場合と同様に、その接続画像に対して、文字や図形を
書き込むことができる。

【０２１５】次に、形状情報がいずれも長方形である５
つの面＃１，＃２，＃３，＃４，＃５でなる３次元物体
を、カメラ９で撮影し、その結果得られる、例えば、図
３１（Ａ）に示すような投影画像を、図２９のフローチ
ャートにしたがった処理によって、面＃１乃至＃５それ
ぞれの展開画像で構成される接続画像に変換すると、図
３１（Ｂ）に示すような接続画像が得られることがあ
る。

【０２１６】即ち、図３１（Ａ）の投影画像において
は、接続している面＃１乃至＃３に亘って連続する線状
の模様が描かれているが、図３１（Ｂ）の展開画像で
は、その線状の模様が、面どうしの接続部分である面＃
１と＃２との間、および面＃１と＃３との間で不連続に
なっている。このように、投影画像において連続してい
る模様が、展開画像において不連続になることは、不自
然であり、ユーザに違和感を感じさせる。

【０２１７】ここで、上述のような現象が生じるのは、
カメラ９において、３次元物体を撮影して得られる投影
画像は、カメラ９のレンズの歪曲収差等の影響を受ける
ため、３次元物体を、単純に透視変換したものに一致し
ていないことによる。

【０２１８】そこで、例えば、カメラ９のレンズの歪曲
収差その他の、いわゆるカメラパラメータを求め、式
（９）で表される透視変換を、カメラパラメータを考慮
して行うことで、上述したような不自然な展開画像が得
られることを防止する方法がある。

【０２１９】しかしながら、カメラ９が出力する画像と
しての投影画像から、３次元物体を撮影したときのカメ
ラパラメータを厳密に求めることは、多量の演算を要
し、時間もかかる。

【０２２０】そこで、カメラ９が出力する投影画像が、
レンズの歪曲収差等に起因する誤差を含んでいないもの
と仮定して、その投影画像を、展開画像に変換する方法
がある。

【０２２１】即ち、レンズの歪曲収差等に起因する誤差
を含んでいない投影画像においては、３次元空間におい
て平行な直線どうしが、消失点と呼ばれる一点に収束す
る。そこで、投影画像における消失点が一点に収束する
ものとして、その投影画像を、展開画像に変換する方法
がある。

【０２２２】具体的には、例えば、図３２（Ａ）に示す
ように、面＃１および＃２からなる３次元物体を、カメ
ラ９で撮影した投影画像においては、カメラ９のレンズ
の歪曲収差等に起因して、頂点Ａ，Ｂ，Ｃ，Ｄからなる
面＃１の消失点（ここでは、直線ＡＢとＤＣとの交点）
と、頂点Ａ，Ｂ，Ｆ，Ｅからなる面＃２の消失点（ここ
では、直前ＡＢとＥＦとの交点）とは一致しない。この
ため、面＃１および＃２の展開画像からなる接続画像
は、図３２（Ｂ）に示すようになり、投影画像におい
て、面＃１と＃２との間に亘って連続になっている線状
の模様がある場合に、その模様が、展開画像において不
連続な模様として現れる。

【０２２３】なお、図３２では、投影画像上の点Ａ乃至
Ｆが、展開画像上の点ａ乃至ｆにそれぞれ対応してい
る。

【０２２４】そこで、図３３（Ａ）に示すように、投影
画像における面＃１および＃２の消失点が、同一の点と
なるものとして、投影画像を展開画像に変換する。この
場合、投影画像において、複数の面に亘って連続してい
る模様は、展開画像においても、複数の面に亘って連続
している模様として現れる。

【０２２５】しかしながら、この場合、図３３（Ａ）に
示した、消失点を補正した投影画像から得られる展開画
像は、例えば、図３３（Ｂ）に示すようになる。即ち、
投影画像における面＃１の構成部分でない部分が、展開
画像において、面＃１の構成部分として現れたり、逆
に、投影画像における面＃２の構成部分が、展開画像に
おいて、面＃２の構成部分として現れないことになり、
不自然な展開画像となる。

【０２２６】そこで、画像変換処理部２０（図４）にお
いては、順変換式Ｍψまたは逆変換式（Ｍψ）^-1で規定
される投影画像と展開画像との間の対応関係を補正し、
その補正の結果得られる新たな対応関係（以下、適宜、
新対応関係という）に基づいて、投影画像から展開画像
への変換を行うようにすることで、自然な展開画像を得
るようにすることができる。

【０２２７】図３４は、そのような処理を行う画像変換
処理部２０の機能的構成例を示している。

【０２２８】順変換式記憶部４１は、展開画像に変換す
る、処理対象の投影画像に表示された３次元物体の各面
についての順変換式を記憶する。なお、順変換式Ｍψ
は、上述したように、ペースト操作処理部１３で算出さ
れるが、ここでは、コピー操作処理部１２において、ペ
ースト操作処理部１３における場合と同様にして、順変
換式Ｍψが算出され、順変換式記憶部４１に供給される
ようになっているものとする。

【０２２９】第１変換部４２は、展開画像において隣接
する２つの面が共有する辺上の点を、そのうちの一方の
面についての、順変換式記憶部４１に記憶された順変換
式に基づいて、投影画像上の点に変換するとともに、他
方の面についての、順変換式記憶部４１に記憶された変
換式に基づいて、投影画像上の点に変換し、それぞれの
変換結果を、変換前の展開画像上の点とともに、対応関
係補正部４３に出力する。

【０２３０】対応関係補正部４３は、第１変換部４２の
出力に基づいて、順変換式で規定される投影画像と展開
画像との間の対応関係を補正し、補正後の対応関係（新
対応関係）を、新対応関係記憶部４４に供給する。

【０２３１】新対応関係記憶部４４は、対応関係補正部
４３から供給される新対応関係を記憶する。

【０２３２】第２変換部４５は、新対応関係記憶部４４
に記憶された新対応関係に基づいて、画像バッファに記
憶された投影画像を、展開画像に変換し、ペーストバッ
ファに供給して記憶させる。また、第２変換部４５は、
新対応関係記憶部４４に記憶された新対応関係に基づい
て、ペーストバッファに記憶された展開画像を、投影画
像に変換し、画像バッファに貼り付ける。

【０２３３】なお、以下においては、形状情報が長方形
の面投影画像が、図３５に示すように、横×縦が１×１
の正方形の展開画像に変換されるものとする。また、各
面の展開画像についての座標系（ペーストバッファ座標
系）は、その面の展開画像としての正方形の重心を原点
としてとることとする。

【０２３４】次に、図３６のフローチャートを参照し
て、複数の面を対象としたコピー処理を行う場合の、図
３４の画像変換処理部２０の処理について説明する。

【０２３５】まず最初に、ステップＳ８１において、コ
ピー操作処理部１２（図４）は、変数ｎに、初期値とし
ての、例えば１をセットする。そして、ユーザが、形状
ボタン３２（図８）を操作するのを待って、ステップＳ
８２に進み、コピー操作処理部１２において、ユーザに
よる形状ボタン３２の操作に基づいて、コピー処理の対
象とする３次元物体の面の形状（形状情報）が認識され
る。

【０２３６】その後、ユーザが、入力装置６を操作する
ことにより、注目バッファに記憶された投影画像中の、
処理の対象とする３次元物体の面（以下、適宜、注目面
という）についての特徴点を指定するのを待って、ステ
ップＳ８３に進み、コピー操作処理部１２において、そ
の特徴点の、２次元画像中の座標が認識される。なお、
コピー操作処理部１２は、特徴点の座標の認識後、必要
に応じて、その特徴点を、変換指定処理部１９に渡し、
上述の自動補正処理を行わせる。

【０２３７】特徴点が認識されると、ステップＳ８４に
進み、コピー操作処理部１２において、ステップＳ８２
で認識された形状情報、および前回のステップＳ８３で
認識された特徴点に基づいて、注目バッファに記憶され
た３次元物体の面の投影画像と、その面の展開画像との
対応関係を規定する順変換式Ｍ_nψが、上述したように
して算出される。ここで、順変換式Ｍ_nψを構成する行
列Ｍ_nは、上述したように、コピー処理の対象とする複
数の面のうち、ｎ回目に注目面とされた面＃ｎについて
の、上述の行列Ｍを意味する。

【０２３８】その後、ステップＳ８５に進み、入力イベ
ント処理部１１において、コピー処理の対象とする複数
の面すべてについて、特徴点の入力が終了したかどうか
が判定される。ステップＳ８５において、コピー処理の
対象とする複数の面すべてについて、特徴点の入力が、
まだ終了していないと判定された場合、即ち、例えば、
そのように、入力装置６が操作された場合、ステップＳ
８６に進み、コピー操作処理部１２において、変数ｎが
１だけインクリメントされる。そして、次の処理対象と
なる面についての特徴点が、ユーザによって入力装置６
が操作されることにより入力されるのを待って、ステッ
プＳ８３に戻り、以下、同様の処理が繰り返される。

【０２３９】また、ステップＳ８５において、コピー処
理の対象とする複数の面すべてについて、特徴点の入力
が終了したと判定された場合、即ち、例えば、そのよう
に、入力装置６が操作された場合、ステップＳ８７に進
み、コピー操作処理部１２において、変数ｉに、初期値
としての、例えば１がセットされる。さらに、ステップ
Ｓ８７では、上述のステップＳ８３乃至Ｓ８６のループ
処理で得られた各面の投影画像と、それぞれの展開画像
との対応関係を規定する順変換式Ｍ₁ψ，Ｍ₂ψ，・・
・，Ｍ_nψが、画像変換処理部２０（図３４）の順変換
式記憶部４１に供給されて記憶される。

【０２４０】そして、ステップＳ８８に進み、画像変換
処理部２０（図３４）において、順変換式で規定される
面＃ｉの投影画像と展開画像との対応関係が補正され、
その結果得られる新対応関係に基づいて、面＃ｉの投影
画像が、展開画像に変換されて、ステップＳ８９に進
む。

【０２４１】ステップＳ８９では、ステップＳ８８で得
られた面＃ｉの展開画像が、図２９のステップＳ６９に
おける場合と同様にして、面＃ｉと接続している接続面
との間の接続関係にしたがって、ペーストバッファに書
き込まれ、ステップＳ９０に進む。

【０２４２】ステップＳ９０では、変数ｉがｎに等しい
かどうかが判定され、等しくないと判定された場合、即
ち、コピー処理の対象とする複数の面の展開画像のすべ
てを、まだ、ペーストバッファに書き込んでいない場
合、ステップＳ９１に進み、変数ｉが１だけインクリメ
ントされる。そして、ステップＳ８８に戻り、以下、ス
テップＳ９０で変数ｉがｎに等しいと判定されるまで、
ステップＳ８８乃至Ｓ９１の処理を繰り返す。

【０２４３】一方、ステップＳ９０において、変数ｉが
ｎに等しいと判定された場合、処理を終了する。

【０２４４】次に、図３７のフローチャートを参照し
て、図３４の画像変換処理部２０で行われる、図３６の
ステップＳ８８の処理について、さらに説明する。

【０２４５】まず最初に、ステップＳ１０１において、
第１変換部４２および対応関係補正部４３は、注目面で
ある面＃ｉの展開画像上の点（−１／２，ｙ_e）に対応
させるべき投影画像上の点（ｘ_pL，ｙ_pL）を求め、その
展開画像上の点（−１／２，ｙ_e）と、投影画像上の点
（ｘ_pL，ｙ_pL）との組が、新対応関係として、新対応関
係記憶部４４に供給されて記憶される。

【０２４６】即ち、ここでは、図３５に示したように、
形状情報が長方形の、投影画像上の面が、横×縦が１×
１の正方形の展開画像に変換され、展開画像についての
座標系（ペーストバッファ座標系）は、その展開画像と
しての正方形の重心を原点としてとることとしているか
ら、いま、ペーストバッファ座標系のｙ_e軸を下方向に
向けるとともに、ｘ_e軸を右方向に向けて見る場合を基
準とすれば、展開画像上の点（−１／２，ｙ_e）は、そ
の展開画像としての正方形の左辺上の各点を表す。従っ
て、ステップＳ１０１では、注目面＃ｉの展開画像とし
ての正方形の左辺上の点（−１／２，ｙ_e）に対応させ
るべき投影画像上の点（ｘ_pL，ｙ_pL）が求められ、それ
らの組が、新対応関係として、新対応関係記憶部４４に
記憶される。

【０２４７】そして、ステップＳ１０２に進み、第１変
換部４２および対応関係補正部４３は、注目面である面
＃ｉの展開画像上の点（１／２，ｙ_e）に対応させるべ
き投影画像上の点（ｘ_pR，ｙ_pR）を求め、その展開画像
上の点（１／２，ｙ_e）と、投影画像上の点（ｘ_pR，ｙ
_pR）との組が、新対応関係として、新対応関係記憶部４
４に供給されて記憶される。

【０２４８】即ち、上述のように、ペーストバッファ座
標系のｙ_e軸を下方向に向けるとともに、ｘ_e軸を右方向
に向けて見る場合を基準とすれば、展開画像上の点（１
／２，ｙ_e）は、その展開画像としての正方形の右辺上
の各点を表す。従って、ステップＳ１０２では、注目面
＃ｉの展開画像としての正方形の右辺上の点（１／２，
ｙ_e）に対応させるべき投影画像上の点（ｘ_pR，ｙ_pR）
が求められ、それらの組が、新対応関係として、新対応
関係記憶部４４に記憶される。

【０２４９】さらに、ステップＳ１０３に進み、第１変
換部４２および対応関係補正部４３は、注目面である面
＃ｉの展開画像上の点（ｘ_e，−１／２）に対応させる
べき投影画像上の点（ｘ_pU，ｙ_pU）を求め、その展開画
像上の点（ｘ_e，−１／２）と、投影画像上の点
（ｘ_pU，ｙ_pU）との組が、新対応関係として、新対応関
係記憶部４４に供給されて記憶される。

【０２５０】即ち、上述のように展開画像を見る場合に
は、その展開画像上の点（ｘ_e，−１／２）は、その展
開画像としての正方形の上辺上の各点を表す。従って、
ステップＳ１０３では、注目面＃ｉの展開画像としての
正方形の上辺上の点（ｘ_e，−１／２）に対応させるべ
き投影画像上の点（ｘ_pU，ｙ_pU）が求められ、それらの
組が、新対応関係として、新対応関係記憶部４４に記憶
される。

【０２５１】そして、ステップＳ１０４に進み、第１変
換部４２および対応関係補正部４３は、注目面である面
＃ｉの展開画像上の点（ｘ_e，１／２）、即ち、面＃ｉ
の展開画像としての正方形の下辺上の点（ｘ_e，１／
２）に対応させるべき投影画像上の点（ｘ_pD，ｙ_pD）を
求め、その展開画像上の点（ｘ_e，１／２）と、投影画
像上の点（ｘ_pD，ｙ_pD）との組を、新対応関係として、
新対応関係記憶部４４に供給して記憶させる。

【０２５２】なお、上述のステップＳ１０１乃至Ｓ１０
４の処理は、任意の順番で行うことが可能である。ま
た、ステップＳ１０１乃至Ｓ１０４の処理は、並列に行
うことも可能である。

【０２５３】ステップＳ１０４の処理後は、ステップＳ
１０５に進み、第２変換部４５は、ステップＳ１０１乃
至Ｓ１０４で求めた展開画像としての正方形の各辺の点
と、投影画像上の各点との新対応関係に基づいて、展開
画像としての正方形の内部の各点（ｘ_e，ｙ_e）に対応さ
せるべき投影画像上の点（ｘ_p，ｙ_p）を求め、これらの
点の組も、新対応関係として、新対応関係記憶部４４に
供給して記憶させる。

【０２５４】そして、ステップＳ１０６に進み、第２変
換部４５は、新対応関係記憶部４４に記憶された面＃ｉ
の投影画像と展開画像との新対応関係に基づいて、面＃
ｉの投影画像を、展開画像に変換し、リターンする。

【０２５５】次に、図３８のフローチャートを参照し
て、図３７のステップＳ１０１の処理について、さらに
説明する。

【０２５６】まず最初に、ステップＳ１１１において、
第１変換部４２は、順変換式記憶部４１に記憶された注
目面である面＃ｉについての順変換式Ｍ_iψに基づい
て、注目面＃ｉの展開画像としての正方形の左辺上の各
点（−１／２，ｙ_e）に対応する投影画像上の点（ｘ_p，
ｙ_p）を求め、それらの点（−１／２，ｙ_e）および（ｘ
_p，ｙ_p）の組を、対応関係補正部４３に出力する。

【０２５７】ここで、例えば、図３１において、注目面
が、面＃１であるとすると、その面＃１の展開画像とし
ての正方形の左辺上の各点（−１／２，ｙ_e）に対応す
る投影画像上の点（ｘ_p，ｙ_p）は、式（１３）に相当す
る次式によって求めることができる。 （ｗ₁ｘ_p，ｗ₁ｙ_p，ｗ₁）^T＝Ｍ₁ψ（−１／２，ｙ_e，１）^T ・・・（１５） 但し、ｗ₁は、同次座標を表す任意の数であり、上付き
のＴは、転置を表す。

【０２５８】そして、ステップＳ１１２に進み、対応関
係補正部４３において、注目面＃ｉの展開画像としての
正方形の左辺に、他の面が隣接しているかどうか、即
ち、注目面＃ｉの展開画像としての正方形の左辺を辺と
する、他の面の展開画像としての正方形が存在するかど
うかが判定される。

【０２５９】ステップＳ１１２において、注目面＃ｉの
展開画像としての正方形の左辺に、他の面が隣接してい
ないと判定された場合、即ち、注目面＃ｉの展開画像と
しての正方形の左辺を共通の辺とする、他の面の展開画
像としての正方形が存在しない場合、ステップＳ１１３
に進み、対応関係補正部４３は、注目面＃ｉの展開画像
としての正方形の左辺上の各点（−１／２，ｙ_e）に対
応させるべき投影画像上の点（ｘ_pL，ｙ_pL）として、ス
テップＳ１１１で求められた点（ｘ_p，ｙ_p）を設定し、
リターンする。

【０２６０】即ち、注目面＃ｉの展開画像としての正方
形の左辺に、他の面が隣接していない場合には、その左
辺上の各点（−１／２，ｙ_e）に対応させるべき投影画
像上の点（ｘ_pL，ｙ_pL）は、順変換式Ｍ_iψに基づいて
得られる点（ｘ_p，ｙ_p）のままとされ、従って、この場
合、順変換式Ｍ_iψで規定される面＃ｉの展開画像とし
ての正方形の左辺上の各点と、展開画像上の点との対応
関係は、そのままとされる。

【０２６１】一方、ステップＳ１１２において、注目面
＃ｉの展開画像としての正方形の左辺に、他の面が隣接
していると判定された場合、即ち、注目面＃ｉの展開画
像としての正方形の左辺を共通の辺とする、他の面の展
開画像（以下、適宜、隣接展開画像という）としての正
方形が存在する場合、ステップＳ１１４に進み、対応関
係補正部４３は、第１変換部４２に、注目面＃ｉの点
（−１／２，ｙ_e）に一致する隣接展開画像上の点（注
目面＃ｉの展開画像としての正方形の左辺と共通の辺上
の点）に対応する投影画像上の点（ｘ_p’，ｙ_p’）を、
隣接展開画像の面についての順変換式に基づいて求めさ
せる。

【０２６２】ここで、例えば、図３１において、注目面
が、面＃１であるとすると、その面＃１の展開画像とし
ての正方形には、面＃２の展開画像が隣接しており、こ
の面＃２の展開画像が隣接展開画像となる。そして、図
３１では、面＃１の展開画像についてのペーストバッフ
ァ座標系（ｘ_e1，ｙ_e1）と、面＃２の展開画像について
のペーストバッファ座標系（ｘ_e2，ｙ_e2）とは、原点ど
うしが１だけ離れた位置に、同一方向に設定されている
から、注目面＃１の点（−１／２，ｙ_e）に一致する、
隣接展開画像としての面＃２の展開画像としての正方形
の右辺上の各点は、（１／２，ｙ_e）で表される。従っ
て、ステップＳ１１４では、（１／２，ｙ_e）で表され
る面＃２の展開画像としての正方形の右辺上の各点に対
応する投影画像上の点（ｘ_p’，ｙ_p’）が、面＃２につ
いての順変換式に基づいて求められるが、これは、式
（１３）に相当する次式によって求めることができる。 （ｗ₂ｘ_p’，ｗ₂ｙ_p’，ｗ₂）^T＝Ｍ₂ψ（１／２，ｙ_e，１）^T ・・・（１６） 但し、ｗ₂は、同次座標を表す任意の数である。

【０２６３】そして、ステップＳ１１５に進み、対応関
係補正部４３は、注目面＃ｉの展開画像上の点（−１／
２，ｙ_e）に対応させるべき投影画像上の点（ｘ_pL，ｙ
_pL）として、例えば、ステップＳ１１１で求められた投
影画像上の点（ｘ_p，ｙ_p）と、ステップＳ１１４で求め
られた投影画像上の点（ｘ_p’，ｙ_p’）との平均値
（（ｘ_p＋ｘ_p’）／２，（ｙ_p＋ｙ_p’）／２）を設定
し、リターンする。

【０２６４】即ち、例えば、いま、図３１における面＃
１を注目面として、図３９に示すように、注目面＃１の
展開画像としての正方形の左辺上の点ａ（−１／２，ｙ
_e）に対応する投影画像上の点として、点Ａ（ｘ_p，
ｙ_p）が求められるとともに、点ａに一致する、面＃２
の展開画像としての正方形の右辺上の点ｂ（１／２，ｙ
_e）に対応する投影画像上の点として、点Ｂ（ｘ_p’，ｙ
_p’）が求められたとすると、展開画像上において一致
する面＃１上の点ａ（−１／２，ｙ_e）と、面＃２上の
点ｂ（１／２，ｙ_e）それぞれに対応する投影画像上の
点Ａ（ｘ_p，ｙ_p）と、点Ｂ（ｘ_p’，ｙ_p’）が一致して
いない場合には、図３１に示したように、模様がずれ
る。

【０２６５】そこで、対応関係補正部４３は、図３９に
示すように、点Ａ（ｘ_p，ｙ_p）と点Ｂ（ｘ_p’，ｙ_p’）
との平均値（（ｘ_p＋ｘ_p’）／２，（ｙ_p＋ｙ_p’）／
２）を求め、この平均値で表される投影画像上の点Ｃ
を、注目面＃１の展開画像としての正方形の左辺上の点
ａ（−１／２，ｙ_e）に対応する投影画像上の点とし
て、新たに対応付ける。

【０２６６】従って、面＃２を注目面として同様の処理
が行われることにより、展開画像において一致する面＃
１の点ａと、面＃２の点ｂとは、いずれも、投影画像上
の同一の点Ｃに対応するようになる。

【０２６７】次に、図４０のフローチャートを参照し
て、図３７のステップＳ１０２の処理について、さらに
説明する。

【０２６８】まず最初に、ステップＳ１２１において、
第１変換部４２は、順変換式記憶部４１に記憶された注
目面である面＃ｉについての順変換式Ｍ_iψに基づい
て、注目面＃ｉの展開画像としての正方形の右辺上の各
点（１／２，ｙ_e）に対応する投影画像上の点（ｘ_p，ｙ
_p）を求め、その点（１／２，ｙ_e）および（ｘ_p，ｙ_p）
の組を、対応関係補正部４３に出力する。

【０２６９】ここで、例えば、図３１において、注目面
が、面＃１であるとすると、その面＃１の展開画像とし
ての正方形の右辺上の各点（１／２，ｙ_e）に対応する
投影画像上の点（ｘ_p，ｙ_p）は、式（１３）に相当する
次式によって求めることができる。 （ｗ₁ｘ_p，ｗ₁ｙ_p，ｗ₁）^T＝Ｍ₁ψ（１／２，ｙ_e，１）^T ・・・（１７）

【０２７０】そして、ステップＳ１２２に進み、対応関
係補正部４３において、注目面＃ｉの展開画像としての
正方形の右辺に、他の面が隣接しているかどうか、即
ち、注目面＃ｉの展開画像としての正方形の右辺を辺と
する、他の面の展開画像としての正方形が存在するかど
うかが判定される。

【０２７１】ステップＳ１２２において、注目面＃ｉの
展開画像としての正方形の右辺に、他の面が隣接してい
ないと判定された場合、即ち、注目面＃ｉの展開画像と
しての正方形の右辺を共通の辺とする、他の面の展開画
像としての正方形が存在しない場合、ステップＳ１２３
に進み、対応関係補正部４３は、注目面＃ｉの展開画像
としての正方形の右辺上の各点（１／２，ｙ_e）に対応
させるべき投影画像上の点（ｘ_pR，ｙ_pR）として、ステ
ップＳ１２１で求められた点（ｘ_p，ｙ_p）を設定し、リ
ターンする。

【０２７２】即ち、注目面＃ｉの展開画像としての正方
形の右辺に、他の面が隣接していない場合には、その右
辺上の各点（１／２，ｙ_e）に対応させるべき投影画像
上の点（ｘ_pR，ｙ_pR）は、順変換式Ｍ_iψに基づいて得
られる点（ｘ_p，ｙ_p）のままとされ、従って、この場
合、順変換式Ｍ_iψで規定される面＃ｉの展開画像とし
ての正方形の右辺上の各点と、展開画像上の点との対応
関係は、そのままとされる。

【０２７３】一方、ステップＳ１２２において、注目面
＃ｉの展開画像としての正方形の右辺に、他の面が隣接
していると判定された場合、即ち、注目面＃ｉの展開画
像としての正方形の右辺を共通の辺とする、他の面の展
開画像（隣接展開画像）としての正方形が存在する場
合、ステップＳ１２４に進み、対応関係補正部４３は、
第１変換部４２に、注目面＃ｉの点（１／２，ｙ_e）に
一致する隣接展開画像上の点（注目面＃ｉの展開画像と
しての正方形の左辺と共通の辺上の点）に対応する投影
画像上の点（ｘ_p’，ｙ_p’）を、隣接展開画像の面につ
いての順変換式に基づいて求めさせる。

【０２７４】ここで、例えば、図３１において、注目面
が、面＃１であるとすると、その面＃１の展開画像とし
ての正方形には、面＃３の展開画像が隣接しており、こ
の面＃３の展開画像が隣接展開画像となる。そして、図
３１では、面＃１の展開画像についてのペーストバッフ
ァ座標系（ｘ_e1，ｙ_e1）に対して、面＃３の展開画像に
ついてのペーストバッファ座標系（ｘ_e2，ｙ_e2）が、原
点を右方向に１だけずらした位置に、反時計回りに９０
度回転した方向に設定されているから、注目面＃１の点
（１／２，ｙ_e）に一致する、隣接展開画像としての面
＃３の展開画像としての正方形の上辺（ｘ_e3軸が右方向
に、ｙ_e3軸が下方向に、それぞれ向くようにして見た場
合の上辺）上の各点は、（−ｙ_e，−１／２）で表され
る。従って、ステップＳ１２４では、（−ｙ_e，−１／
２）で表される面＃３の展開画像としての正方形の上辺
上の各点に対応する投影画像上の点（ｘ_p’，ｙ_p’）
が、面＃３についての順変換式に基づいて求められる
が、これは、式（１３）に相当する次式によって求める
ことができる。 （ｗ₃ｘ_p’，ｗ₃ｙ_p’，ｗ₃）^T＝Ｍ₃ψ（−y_e，−１／２，１）^T ・・・（１８） 但し、ｗ₃は、同次座標を表す任意の数である。

【０２７５】そして、ステップＳ１２５に進み、対応関
係補正部４３は、注目面＃ｉの展開画像上の点（１／
２，ｙ_e）に対応させるべき投影画像上の点（ｘ_pR，ｙ
_pR）として、例えば、ステップＳ１２１で求められた投
影画像上の点（ｘ_p，ｙ_p）と、ステップＳ１２４で求め
られた投影画像上の点（ｘ_p’，ｙ_p’）との平均値
（（ｘ_p＋ｘ_p’）／２，（ｙ_p＋ｙ_p’）／２）を設定
し、リターンする。

【０２７６】即ち、例えば、いま、図３１における面＃
１を注目面として、図４１に示すように、注目面＃１の
展開画像としての正方形の右辺上の点ｄ（１／２，
ｙ_e）に対応する投影画像上の点として、点Ｄ（ｘ_p，ｙ
_p）が求められるとともに、点ｄに一致する、面＃３の
展開画像としての正方形の右辺上の点ｅ（−ｙ_e，−１
／２）に対応する投影画像上の点として、点Ｅ
（ｘ_p’，ｙ_p’）が求められたとすると、展開画像上に
おいて一致する面＃１上の点ｄ（１／２，ｙ_e）と、面
＃３上の点ｅ（−ｙ_e，−１／２）それぞれに対応する
投影画像上の点Ｄ（ｘ_p，ｙ_p）と、点Ｅ（ｘ_p’，
ｙ_p’）が一致していないと、図３１に示したように、
模様がずれる。

【０２７７】そこで、対応関係補正部４３は、図４１に
示すように、点Ｄ（ｘ_p，ｙ_p）と点Ｅ（ｘ_p’，ｙ_p’）
との平均値（（ｘ_p＋ｘ_p’）／２，（ｙ_p＋ｙ_p’）／
２）を求め、この平均値で表される投影画像上の点Ｆ
を、注目面＃１の展開画像としての正方形の右辺上の点
ｄ（１／２，ｙ_e）に対応する投影画像上の点として、
新たに対応付ける。これにより、図３９で説明した場合
と同様に、展開画像において一致する面＃１の点ｄと、
面＃３の点ｅとは、いずれも、投影画像上の同一の点Ｆ
に対応するようになる。

【０２７８】次に、図４２と図４３は、図３７のステッ
プＳ１０３とＳ１０４の処理の詳細をそれぞれ示したフ
ローチャートである。

【０２７９】図４２のステップＳ１３１乃至Ｓ１３５で
は、注目面＃ｉの上辺上の点（ｘ_e，−１／２）につい
て、図３８のステップＳ１１１乃至Ｓ１１５における場
合とそれぞれ同様の処理が行われ、これにより、注目面
＃ｉの展開画像としての正方形の上辺上の各点（ｘ_e，
−１／２）に対応させるべき投影画像上の点（ｘ_pU，ｙ
_pU）が求められる。また、図４３のステップＳ１４１乃
至Ｓ１４５では、注目面＃ｉの下辺上の点（ｘ_e，１／
２）について、図３８のステップＳ１１１乃至Ｓ１１５
における場合とそれぞれ同様の処理が行われ、これによ
り、注目面＃ｉの展開画像としての正方形の下辺上の各
点（ｘ_e，１／２）に対応させるべき投影画像上の点
（ｘ_pD，ｙ_pD）が求められる。

【０２８０】図３７で説明したように、ステップＳ１０
１乃至Ｓ１０４において、展開画像としての正方形の各
辺上の点と、投影画像上の各点との新対応関係とが求め
られると、ステップＳ１０５において、対応関係補正部
４３は、展開画像としての正方形の内部の各点（ｘ_e，
ｙ_e）に対応させるべき投影画像上の点（ｘ_p，ｙ_p）を
求め、これらの点の組も、新対応関係として、新対応関
係記憶部４４に供給して記憶させるが、これは、次のよ
うにして行われる。

【０２８１】即ち、透視変換（射影変換）は線形変換で
あり、従って、透視変換によれば、例えば、直線は、や
はり直線に変換される。従って、例えば、図４４に示す
ように、面＃１の展開画像上の点（ｘ_e，ｙ_e）は、点
（ｘ_e，−１／２）および（ｘ_e，１／２）を結ぶ直線
と、点（−１／２，ｙ_e）および（１／２，ｙ_e）を結ぶ
直線との交点となっているから、点（ｘ_e，ｙ_e）に対応
させるべき投影画像上の点（ｘ_p，ｙ_p）は、ステップＳ
１０１乃至Ｓ１０４で求められる面＃１の投影画像にお
ける点（ｘ_pU，ｙ_pU）および（ｘ_pD，ｙ_pD）を結ぶ直線
と、点（ｘ_pL，ｙ_pL）および（ｘ_pR，ｙ_pR）を結ぶ直線
との交点となる。

【０２８２】そこで、対応関係補正部４３では、ステッ
プＳ１０５において、投影画像における点（ｘ_pU，
ｙ_pU）および（ｘ_pD，ｙ_pD）を結ぶ直線と、点（ｘ_pL，
ｙ_pL）および（ｘ_pR，ｙ_pR）を結ぶ直線との交点が、展
開画像上の点（ｘ_e，ｙ_e）に対応させるべき投影画像上
の点（ｘ_p，ｙ_p）として求められる。

【０２８３】その後、第２変換部４５において、図３７
のステップＳ１０６で説明したように、投影画像と展開
画像との、上述したような新対応関係に基づいて、投影
画像が、展開画像に変換される。その結果、例えば、図
３１（Ａ）に示したのと同一の図４５（Ａ）に示したよ
うな、連続する模様が表示された投影画像について、図
４５（Ｂ）に示すように、連続する模様が表示された展
開画像を得ることができる。

【０２８４】なお、以上のようにして得た展開画像につ
いては、上述したように、２Ｄペイント処理を施するこ
とができる。さらに、その２Ｄペイントが施された後の
展開画像は、第２変換部４５において、新対応関係記憶
部４４に記憶された新対応関係に基づいて、投影画像に
変換することができ、これにより、３次元物体が表示さ
れた２次元画像に対して、容易に、編集を施すことがで
きる。

【０２８５】以上のように、２次元画像の中の３次元物
体を構成する面の投影画像と、その面の展開画像との対
応関係を規定する変換式Ｍψを算出し、その変換式Ｍψ
によって規定される対応関係を補正して、新対応関係を
求め、その新対応関係に基づいて、投影画像から展開画
像への変換、および展開画像から投影画像への変換を行
うようにすることで、投影画像において連続している模
様が、展開画像において不連続になるような不自然な状
態が生じることを防止することができる。

【０２８６】また、ここでは、特徴点を、ユーザに指定
してもらうようにしたので、投影画像上の、不自然な領
域が、展開画像に変換する対象とされることがない。但
し、投影画像上の、展開画像に変換する領域を特定する
特徴点は、ユーザに指定してもらうのではなく、例え
ば、エッジ抽出等によって、いわば自動的に検出するよ
うにすることが可能である。

【０２８７】なお、上述の場合においては、説明を簡単
にするために、展開画像上の各点と、その各点に対応さ
せるべき投影画像上の各点との組を、新対応関係として
すべて記憶させておくようにしたが、新対応関係として
は、例えば、展開画像としての正方形の辺上の各点と、
その各点に対応させるべき投影画像上の各点との組だけ
を記憶させておき、正方形の内部の点については、上述
の透視変換が線形変換であることを利用して、投影画像
を展開画像に変換するときや、展開画像を投影画像に変
換するときに求めるようにすることが可能である。

【０２８８】また、本実施の形態では、展開画像におい
て隣接する第１の面と第２の面とが共有する辺上の点
が、その点を第１の面についての順変換式に基づいて変
換した投影画像上の第１の点と、第２の面についての順
変換式に基づいて変換した投影画像上の第２の点との平
均値で表される点に対応するように、対応関係を補正す
るようにしたが、展開画像において隣接する第１の面と
第２の面とが共有する辺上の点は、投影画像上の第１の
点と第２の点との平均値で表される点に対応させる他、
例えば、第１または第２の点のいずれか一方に対応させ
ることも可能である。即ち、展開画像において隣接する
第１の面と第２の面とが共有する辺上の点を、投影画像
上におけるどの点に対応させるかは、特に限定されるも
のではない。

【０２８９】なお、本実施の形態においては、上述した
一連の処理を、演算処理回路１等にプログラムを実行さ
せることにより行うようにしたが、一連の処理は、それ
専用のハードウェアによって行うことも可能である。

【０２９０】なお、プログラムは、あらかじめ外部記憶
装置７（図３）等に記憶させておく他、フロッピーディ
スク、CD-ROM(Compact Disc Read Only Memory)，MO(Ma
gneto optical)ディスク，DVD(Digital Versatile Dis
c)、磁気ディスク、半導体メモリなどのリムーバブル記
録媒体に、一時的あるいは永続的に格納（記録）してお
くことができる。そして、このようなリムーバブル記録
媒体を、いわゆるパッケージソフトウエアとして提供
し、外部記憶装置７にインストールするようにすること
ができる。

【０２９１】また、プログラムは、リムーバブル記録媒
体からインストールする他、ダウンロードサイトから、
ディジタル衛星放送用の人工衛星を介して、無線で転送
したり、LAN(Local Area Network)、インターネットと
いったネットワークを介して、有線で転送し、外部記憶
装置７にインストールすることができる。

【０２９２】この場合、プログラムがバージョンアップ
されたとき等に、そのバージョンアップされたプログラ
ムを、外部記憶装置７に、容易にインストールすること
ができる。

【０２９３】ここで、本明細書において、演算処理回路
１等に各種の処理を行わせるためのプログラムを記述す
る処理ステップは、必ずしもフローチャートとして記載
された順序に沿って時系列に処理する必要はなく、並列
的あるいは個別に実行される処理（例えば、並列処理あ
るいはオブジェクトによる処理）も含むものである。

【０２９４】また、プログラムは、１の演算処理回路に
より処理されるものであっても良いし、複数の演算処理
回路によって分散処理されるものであっても良い。

【０２９５】

【発明の効果】本発明の画像処理装置および画像処理方
法、並びに記録媒体によれば、２次元画像の中の３次元
物体を構成する面の投影画像と、その面の展開画像との
対応関係を規定する変換式が算出される。そして、その
変換式によって規定される対応関係が補正され、その補
正結果である新対応関係が出力される。従って、その新
対応関係に基づいて、投影画像から展開画像への変換
や、展開画像から投影画像への変換を行うことで、ユー
ザに対して、自然な展開画像等を提供することができ、
さらに、２次元画像に対して、容易に、３次元的な編集
等を施すことが可能となる。

【図面の簡単な説明】

【図１】従来のペイントツールによる描画結果を示す図
である。

【図２】従来のペイントツールによる描画結果を示す図
である。

【図３】本発明を適用した画像処理装置の一実施の形態
のハードウェアの構成例を示すブロック図である。

【図４】図３の画像処理装置の機能的構成例を示すブロ
ック図である。

【図５】図４の画像処理装置による２次元画像の処理結
果を示す図である。

【図６】図４の画像処理装置による２次元画像の処理結
果を示す図である。

【図７】図４の画像処理装置の処理を説明するためのフ
ローチャートである。

【図８】図４の画像処理装置が起動されたときに表示さ
れるメインウインドウを示す図である。

【図９】コピー処理を説明するための図である。

【図１０】ペースト処理を説明するための図である。

【図１１】コピー処理とペースト処理との組み合わせに
よるテクスチャのコピーを説明するための図である。

【図１２】ユーザによって指定される特徴点を示す図で
ある。

【図１３】図７のステップＳ７の処理の詳細を説明する
ためのフローチャートである。

【図１４】図１３のステップＳ２２の処理を説明するた
めの図である。

【図１５】２次元画像に表示された３次元物体の輪郭線
の抽出方法を説明するための図である。

【図１６】図７のステップＳ７の処理の詳細を説明する
ためのフローチャートである。

【図１７】特徴点の補正方法を説明するための図であ
る。

【図１８】逆変換式および順変換式の算出方法を説明す
るための図である。

【図１９】３次元空間上の３次元物体、展開画像、およ
び投影画像の関係を示す図である。

【図２０】座標軸の取り方を示す図である。

【図２１】３次元物体が直方体である場合の、逆変換式
および順変換式の算出方法を説明するための図である。

【図２２】マット処理を説明するための図である。

【図２３】図７のステップＳ１６の処理の詳細を説明す
るためのフローチャートである。

【図２４】図２３のステップＳ５３の処理を説明するた
めの図である。

【図２５】物体の色分布を非線形に変換した変換結果を
示す図である。

【図２６】イレース処理を説明するための図である。

【図２７】複数の面を対象としたコピー処理を説明する
ための図である。

【図２８】３つの面に亘って線が描かれた３次元物体が
表示された２次元画像を示す図である。

【図２９】複数の面を対象としたコピー処理を説明する
ためのフローチャートである。

【図３０】複数の面を対象としたコピー処理を説明する
ための図である。

【図３１】レンズの歪曲収差等の影響による不具合を説
明するための図である。

【図３２】レンズの歪曲収差等の影響により、消失点が
一致していない状態を示す図である。

【図３３】消失点が一致するように補正した投影画像
を、展開画像に変換した状態を示す図である。

【図３４】図４の画像変換処理部２０の機能的構成例を
示すブロック図である。

【図３５】ペーストバッファ座標系の取り方を示す図で
ある。

【図３６】複数の面を対象としたコピー処理を説明する
ためのフローチャートである。

【図３７】図３６のステップＳ８８の処理の詳細を説明
するためのフローチャートである。

【図３８】図３７のステップＳ１０１の処理の詳細を説
明するためのフローチャートである。

【図３９】図３７のステップＳ１０１の処理の詳細を説
明するための図である。

【図４０】図３７のステップＳ１０２の処理の詳細を説
明するためのフローチャートである。

【図４１】図３７のステップＳ１０２の処理の詳細を説
明するための図である。

【図４２】図３７のステップＳ１０３の処理の詳細を説
明するためのフローチャートである。

【図４３】図３７のステップＳ１０４の処理の詳細を説
明するためのフローチャートである。

【図４４】図３７のステップＳ１０５の処理の詳細を説
明するための図である。

【図４５】図３６のコピー処理によって得られる展開画
像を示す図である。

【符号の説明】

１ 演算処理回路， ２ プログラムメモリ， ３ デ
ータメモリ， ４ フレームメモリ， ５ 画像表示装
置， ６ 入力装置， ７ 外部記憶装置，８ 外部イ
ンターフェイス， ９ カメラ， １１ 入力イベント
処理部， １２ コピー操作処理部， １３ ペースト
操作処理部， １４ ペーストバッファ選択処理部，
１５ イレース操作処理部， １６ マット操作処理
部， １７ 物体属性操作処理部， １８ ペイント処
理部， １９ 変換指定処理部，２０ 画像変換処理
部， ２１ バッファＩＤ記憶部， ２２ 表示処理
部，３１ コマンドボタン， ３２ 形状ボタン， ４
１ 順変換式記憶部， ４２ 第１変換部， ４３ 対
応関係補正部， ４４ 新対応関係記憶部， ４５第２
変換部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｇ 5/36 ５１０ Ｇ０９Ｇ 5/36 ５１０Ｖ ５２０Ｄ

Claims (9)

【特許請求の範囲】
1. 【請求項１】 ２次元画像に投影された３次元物体を構
   成する面の投影画像を２次元平面に展開した画像である
   展開画像を生成するための画像処理を行う画像処理装置
   であって、 前記２次元画像の中の前記３次元物体を構成する面の投
   影画像と、その面の前記展開画像との対応関係を規定す
   る変換式を算出する算出手段と、 前記変換式によって規定される前記対応関係を補正し、
   その補正結果である新対応関係を出力する補正手段とを
   備えることを特徴とする画像処理装置。
2. 【請求項２】 前記新対応関係に基づいて、前記３次元
   物体を構成する複数の面それぞれの投影画像を、前記複
   数の面それぞれの展開画像に変換する投影画像変換手段
   と、 前記複数の面それぞれの前記展開画像を、その複数の面
   それぞれの接続関係にしたがって接続した接続画像を作
   成する接続手段とをさらに備えることを特徴とする請求
   項１に記載の画像処理装置。
3. 【請求項３】 前記補正手段は、前記展開画像において
   隣接する第１の面と第２の面とが共有する辺上の各点
   が、前記投影画像上の同一の点に対応するように、前記
   対応関係を補正することを特徴とする請求項２に記載の
   画像処理装置。
4. 【請求項４】 前記補正手段は、前記展開画像において
   隣接する第１の面と第２の面とが共有する辺上の点が、
   その点を前記第１の面についての前記変換式に基づいて
   変換した前記投影画像上の第１の点と、前記第２の面に
   ついての前記変換式に基づいて変換した前記投影画像上
   の第２の点との平均値で表される点に対応するように、
   前記対応関係を補正することを特徴とする請求項３に記
   載の画像処理装置。
5. 【請求項５】 前記接続画像を加工する加工手段と、 前記新対応関係に基づいて、加工後の前記接続画像を構
   成する前記複数の面それぞれの展開画像を、その複数の
   面それぞれの投影画像に変換する展開画像変換手段とを
   さらに備えることを特徴とする請求項２に記載の画像処
   理装置。
6. 【請求項６】 前記算出手段は、前記３次元物体を構成
   する面の形状に関する形状情報と、その面の投影画像上
   の特徴点とに基づいて、その面についての前記変換式を
   算出することを特徴とする請求項１に記載の画像処理装
   置。
7. 【請求項７】 前記算出手段は、前記展開画像を、３次
   元空間上の前記３次元物体を構成する面に写像する関数
   をψと、その３次元物体を、スクリーンに投影し、前記
   ２次元画像とする関数をＭと、それぞれするとき、前記
   変換式として、関数Ｍψまたはその逆関数を算出するこ
   とを特徴とする請求項１に記載の画像処理装置。
8. 【請求項８】 ２次元画像に投影された３次元物体を構
   成する面の投影画像を２次元平面に展開した画像である
   展開画像を生成するための画像処理を行う画像処理方法
   であって、 前記２次元画像の中の前記３次元物体を構成する面の投
   影画像と、その面の前記展開画像との対応関係を規定す
   る変換式を算出する算出ステップと、 前記変換式によって規定される前記対応関係を補正し、
   その補正結果である新対応関係を出力する補正ステップ
   とを備えることを特徴とする画像処理方法。
9. 【請求項９】 ２次元画像に投影された３次元物体を構
   成する面の投影画像を２次元平面に展開した画像である
   展開画像を生成するための画像処理を、コンピュータに
   行わせるプログラムが記録されている記録媒体であっ
   て、 前記２次元画像の中の前記３次元物体を構成する面の投
   影画像と、その面の前記展開画像との対応関係を規定す
   る変換式を算出する算出ステップと、 前記変換式によって規定される前記対応関係を補正し、
   その補正結果である新対応関係を出力する補正ステップ
   とを備えるプログラムが記録されていることを特徴とす
   る記録媒体。