JP2002083317A - 画像処理システム及び画像処理方法、並びに記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ３次元空間上のキャンバス上で作成・編集さ
れた３次元イメージに対して動きを与える。 【解決手段】 キャンバスの底辺を、第１の曲線、第２
の曲線、並びに、第１及び第２の曲線間を補間した複数
の補間曲線の間で、時々刻々と変動させる。キャンバス
をベースにして３次元イメージを動かすことによって、
キャンバス上に貼り付けられた３次元イメージは、キャ
ンバスの移動に追従して移動するので、ユーザの目には
３次元イメージが微妙に振動しているように見える。す
なわち、３次元的に描かれたスケッチを生き生きと見せ
ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、計算機システム上
で３次元的なイメージを処理するための画像処理システ
ム及び画像処理方法に係り、特に、マウスなどの座標指
示装置によって入力された手書きイメージ、あるいはロ
ーカル・ディスク上から読み出された２次元イメージを
基にして計算機システム上で３次元的なイメージを作成
・編集するための画像処理システム及び画像処理方法に
関する。

【０００２】更に詳しくは、本発明は、仮想的に設定さ
れたキャンバス上に手書きにより描画されたイメージ、
あるいはローカル・ディスク上から読み出された２次元
イメージを基にして３次元的なイメージを作成・編集す
るための画像処理システム及び画像処理方法に係り、特
に、３次元空間上のキャンバス上で作成・編集された３
次元イメージに対してさらに動きを与える画像処理シス
テム及び画像処理方法に関する。

【０００３】

【従来の技術】昨今の半導体技術や情報技術の進歩に伴
い、パーソナル・コンピュータ（ＰＣ）やワークステー
ション（ＷＳ）と呼ばれる比較的安価で且つ高性能な計
算機システムが広範に普及してきている。この種の計算
機システム上では、一般に、オペレーティング・システ
ム（ＯＳ）が提供する実行環境下で、各種のアプリケー
ションを起動して、適用業務を遂行することができる。

【０００４】計算機システム上で使用されるアプリケー
ションの種類は、ワープロ、表計算、データベース、通
信、グラフィックスなど多岐にわたる。例えば、演算能
力や描画機能が強化された計算機システム上では、２Ｄ
や３Ｄなどのリアリティの高いグラフィックスを比較的
容易に作成し、描画したり、さらに画像変形処理を行っ
たりすることができる。

【０００５】計算機のディスプレイ・スクリーン上に描
かれたイメージは、基本的には２次元画像である。しか
しながら、計算機の演算能力を利用することで、２次元
イメージを３次元の世界座標系に変換し、さらに視点座
標系へ変換することで、３次元イメージを自動生成する
ことができる。また、３次元空間上で描画オブジェクト
に対して回転・移動などの作用を与えることで、別の視
点から見たオブジェクトを表示することができる。

【０００６】水彩画、油絵などを始めとする実世界にお
けるほとんどの描画は所望の絵の具が付された筆先をキ
ャンバス上で所定の軌跡を描かせることによって実現す
る。他方、計算機システム上での描画は、例えば「筆」
の機能を選択したマウス・カーソルをディスプレイ・ス
クリーン上で軌跡を描くことによって線画が入力され
る。

【０００７】例えば、マウスなどの座標入力装置をドラ
ッグなどのユーザ操作することにより、手書きと同じよ
うな素朴な線画を計算機システムに入力することができ
る。この場合の線画は、２次元平面に展開されたもので
あり、例えば点又は線の集合のデジタル・データとして
計算機システムで処理される。また、入力された各線画
に対して、線幅や線の材質（例えば、破線や点線、ペン
や筆などの）、線の色などを指定したり容易に変更する
ことができる。

【０００８】例えば、本出願人に既に譲渡されている特
願２０００−２０９７３１号明細書には、仮想的に設定
されたキャンバス上に手書きにより描画されたイメージ
を基に３次元的なイメージを作成することができる画像
編集システム及び画像編集方法について開示されてい
る。

【０００９】該明細書に開示された画像編集システム及
び画像編集方法によれば、まず、地平線のみの３次元空
間がディスプレイ・スクリーン上に現れ、該空間に対し
てストローク線を引くと、該ストローク線を底辺とする
壁がキャンバスとして設定される。スクリーンを介して
ユーザが描いた絵は３次元的なキャンバス上にマッピン
グされるので、結果としてユーザは３次元的な絵を描い
たことになる。キャンバス設定と絵を描く操作を重ねる
ことで、所望のシーンを構築することができる。また、
キャンバスの回転や視点移動に追従して、貼り付けられ
たイメージも回転・移動するので、所望の３次元シーン
が得ることができる。

【００１０】すなわち、同明細書に開示された画像編集
システム及び画像編集方法によれば、２次元平面上でマ
ウス操作により手書きした場合と同じような形式で入力
された素朴な線画を、例えば点又は線の集合のデジタル
・データとして計算機システムで処理して、さらに計算
機システム上で高度に画像変形したり、２次元イメージ
として入力された手書きイメージを３次元的に処理する
ことができるという訳である。

【００１１】このように、３次元空間の床に定義された
底辺を持つキャンバス上に、自在にイメージを描き込ん
だり、ビットマップ画像を貼り付けたりし、さらに回転
や移動などにより視点を変更したりして画像変形処理を
施すことにより、同じ２次元イメージを素材してさまざ
まな３次元シーンを容易に得ることができる。また、ユ
ーザは１回の２次元イメージ作成作業を基にして、多種
類の３次元イメージを得ることができる。

【００１２】さらに複数の３次元シーンを組み合わせる
ことにより、ユニークで魅力的な３次元世界を構築する
ことである。しかしながら、このような３次元世界上の
３次元イメージはあくまで静止したままの状態であり、
言い換えれば動きがなく生き生きとしていない。

【００１３】

【発明が解決しようとする課題】本発明の目的は、マウ
スなどの装置によって入力された手書きイメージやロー
カル・ディスク上から読み出された２次元イメージを基
に計算機システム上で３次元的なイメージを作成・編集
することができる、優れた画像処理システム及び画像処
理方法を提供することにある。

【００１４】本発明の更なる目的は、仮想的に設定され
たキャンバス上に手書きにより描画されたイメージやロ
ーカル・ディスク上から読み出された２次元イメージを
基に３次元的なイメージを作成・編集することができ
る、優れた画像処理システム及び画像処理方法を提供す
ることにある。

【００１５】本発明の更なる目的は、３次元空間上のキ
ャンバス上で作成・編集された３次元イメージに対して
生き生きとした動きを与える優れた画像処理システム及
び画像処理方法を提供することにある。

【００１６】

【課題を解決するための手段及び作用】本発明は、上記
課題を参酌してなされたものであり、その第１の側面
は、３次元的なイメージを処理するための画像処理シス
テム又は画像処理方法であって、２次元的なイメージを
入力する画像入力手段又はステップと、３次元空間上に
キャンバスの底辺となる第１の曲線を設定する第１の曲
線設定手段又はステップと、３次元空間上に前記第１の
曲線とは異なる第２の曲線を設定する第２の曲線設定手
段又はステップと、前記第１の曲線と第２の曲線の間を
補間する１以上の補間曲線を生成する補間曲線生成手段
又はステップと、前記第１の曲線、第２の曲線、補間曲
線のうちいずれか１つを底辺とするキャンバス上に前記
入力された画像を貼り付けて３次元イメージを生成する
イメージ生成手段又はステップと、を具備することを特
徴とする画像処理システム又は画像処理方法である。但
し、ここで言う「システム」とは、複数の装置（又は、
特定の機能を実現する機能モジュール）が論理的に集合
した物を言い、各装置又は機能モジュールが単一の筐体
内にあるか否かは問わない（以下同様）。

【００１７】本発明の第１の側面に係る画像処理システ
ム又は画像処理方法によれば、キャンバスの底辺を構成
する第１の曲線と第２の曲線の間を補間する複数の補間
曲線が自動生成される。そして、時間の経過とともにキ
ャンバスの底辺を、第１の曲線から自動生成された補間
曲線を経て第２の曲線へ、さらに、第２の曲線から自動
生成された補間曲線を経て第１の曲線へと、時々刻々と
移動させる。

【００１８】この結果、キャンバス上に貼り付けられた
３次元イメージは、キャンバスの移動に追従して時々刻
々と移動したり変形したりするので、ユーザの目には３
次元イメージが生き生きと動いているように見えること
になる。

【００１９】ここで、前記第１の曲線設定手段又はステ
ップ、及び／又は、前記第２の曲線設定手段又はステッ
プは、地平線のみからなる３次元空間上に対してユーザ
がマウスのドラッグ操作などにより描いたストローク線
を入力曲線として設定するようにしてもよい。

【００２０】また、前記イメージ生成手段又はステップ
は、入力画像を貼り付けるためのキャンバスの底辺を前
記第１の曲線、第２の曲線、補間曲線の間で時々刻々と
変化させるようにしてもよい。

【００２１】また、前記画像入力手段又はステップは、
設定されたキャンバスに対してユーザがマウスのドラッ
グ操作により描いたストローク線を画像入力するように
してもよいし、あるいは、所定の記憶装置上から読み出
された画像ファイルから２次元的なイメージを入力する
ようにしてもよい。

【００２２】また、本発明の第２の側面は、３次元的な
イメージを処理するための画像処理システム又は画像処
理方法であって、２次元的なイメージを入力する画像入
力手段又はステップと、３次元空間上にキャンバスの底
辺となる第１の曲線を設定する第１の曲線設定手段又は
ステップと、前記第１の曲線を基にして１以上の補間曲
線を生成する補間曲線生成手段又はステップと、前記第
１の曲線、補間曲線のうちいずれか１つを底辺とするキ
ャンバス上に前記入力された画像を貼り付けて３次元イ
メージを生成するイメージ生成手段又はステップと、を
具備することを特徴とする画像処理システム又は画像処
理方法である。

【００２３】本発明の第１の側面に係る画像処理システ
ム及び画像処理方法では、第２番目のキャンバスの底辺
をユーザが設定するようにしたが、画像編集時に設定し
たキャンバスの底辺を基にして、他の底辺をコンピュー
タによる演算処理で自動生成するようにしてもよい。

【００２４】例えば、キャンバスの底辺を構成するある
１つの曲線上に、複数の制御点を設定する。そして、各
制御点を上下並びに左右の各方向に、乱数で与えられた
変位量を時々刻々と与える。

【００２５】この結果、キャンバスの底辺は、最初の曲
線を中心にしてランダムに変形する。そして、キャンバ
ス上に貼り付けられた３次元イメージは、キャンバスの
移動に追従して移動するので、ユーザの目には３次元イ
メージが微妙に振動しているように見えることになる。

【００２６】本発明に係る画像処理システム及び画像処
理方法によれば、キャンバス上に貼り付けられた３次元
イメージは、キャンバスの移動に追従して移動したり変
形したりするので、ユーザの目には３次元イメージが微
妙に振動しているように見えることになる。

【００２７】このように時々刻々と変動するキャンバス
をベースにして３次元イメージを動かすことによって、
例えば、３次元的に描かれたスケッチを生き生きと見せ
ることができる。また、別の応用形態としては、ドアの
開閉や旗のはためきなどを表示する場合にも活用するこ
とができる。

【００２８】また、このような画像処理方式によれば、
ユーザすなわち３次元イメージの作成者に過度な負担を
かけることがない。すなわち、ユーザは１枚の絵を作成
するだけで、これを貼り付けるための複数枚のキャンバ
スがシステムで自動的に生成されるので、複数枚のイメ
ージからなるアニメーションを得ることができ、アニメ
ーションを持った３次元世界を比較的少ない作業で容易
に構築することができる。

【００２９】また、本発明の第３の側面は、３次元的な
イメージの処理をコンピュータ・システム上で実行する
ように記述されたコンピュータ・ソフトウェアをコンピ
ュータ可読形式で物理的に格納した記憶媒体であって、
前記コンピュータ・ソフトウェアは、２次元的なイメー
ジを入力する画像入力ステップと、３次元空間上にキャ
ンバスの底辺となる第１の曲線を設定する第１の曲線設
定ステップと、３次元空間上に前記第１の曲線とは異な
る第２の曲線を設定する第２の曲線設定ステップと、前
記第１の曲線と第２の曲線の間を補間する１以上の補間
曲線を生成する補間曲線生成ステップと、前記第１の曲
線、第２の曲線、補間曲線のうちいずれか１つを底辺と
するキャンバス上に前記入力された画像を貼り付けて３
次元イメージを生成するイメージ生成ステップと、を具
備することを特徴とする記憶媒体である。

【００３０】また、本発明の第４の側面は、３次元的な
イメージの処理をコンピュータ・システム上で実行する
ように記述されたコンピュータ・ソフトウェアをコンピ
ュータ可読形式で物理的に格納した記憶媒体であって、
前記コンピュータ・ソフトウェアは、２次元的なイメー
ジを入力する画像入力ステップと、３次元空間上にキャ
ンバスの底辺となる第１の曲線を設定する第１の曲線設
定ステップと、前記第１の曲線を基にして１以上の補間
曲線を生成する補間曲線生成ステップと、前記第１の曲
線、補間曲線のうちいずれか１つを底辺とするキャンバ
ス上に前記入力された画像を貼り付けて３次元イメージ
を生成するイメージ生成ステップと、を具備することを
特徴とする画像処理方法である。

【００３１】本発明の第３並びに第４の側面に係る記憶
媒体は、例えば、様々なプログラム・コードを実行可能
な汎用性のコンピュータ・システムに対して、コンピュ
ータ・ソフトウェアをコンピュータ可読な形式で物理的
に提供する媒体である。このような媒体は、例えば、Ｃ
Ｄ（Compact Disc）やＦＤ（Ｆｌｏｐｐｙ（登録商標）
Ｄｉｓｃ）、ＭＯ（Magneto-Optical disc）などの着
脱自在で可搬性の記憶媒体である。あるいは、ネットワ
ーク（ネットワークは無線、有線の区別を問わない）な
どの伝送媒体などを経由してコンピュータ・ソフトウェ
アを特定のコンピュータ・システムにコンピュータ可読
形式で提供することも技術的に可能である。

【００３２】このような記憶媒体は、コンピュータ・シ
ステム上で所定のコンピュータ・ソフトウェアの機能を
実現するための、コンピュータ・ソフトウェアと記憶媒
体との構造上又は機能上の協働的関係を定義したもので
ある。換言すれば、本発明の第３及び第４の側面に係る
記憶媒体を介して所定のコンピュータ・ソフトウェアを
コンピュータ・システムにインストールすることによっ
て、コンピュータ・システム上では協働的作用が発揮さ
れ、本発明の第１及び第２の各側面に係る画像処理シス
テム及び画像処理方法と同様の作用効果を得ることがで
きる。

【００３３】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００３４】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施例を詳解する。

【００３５】図１には、本発明を実現するのに適した画
像処理システム１０のハードウェア構成を模式的に示し
ている。画像処理システム１０は、実際には、ワークス
テーション（ＷＳ）やパーソナル・コンピュータ（Ｐ
Ｃ）と呼ばれる一般的な計算機システム上で画像編集用
アプリケーションを起動することによって実現される。
計算機システムの一例は、米ＩＢＭ社のＰＣ／ＡＴ（Pe
rsonal Computer/Advanced Technology）互換機又はそ
の後継機である。以下、システム１０の各部について説
明する。

【００３６】システム１０のメイン・コントローラであ
るＣＰＵ（Central Processing Unit）１１は、オペレ
ーティング・システム(ＯＳ)の制御下で、各種のアプリ
ケーションを実行するようになっている。ＯＳは、より
好ましくはビットマップ形式の描画機能並びにＧＵＩ
（Graphical User Interface）環境を提供するが、例え
ば、ＵＮＩＸ（登録商標）や、米Ｍｉｃｒｏｓｏｆｔ社
のＷｉｎｄｏｗｓ９８／ＮＴでよい。

【００３７】図示の通り、ＣＰＵ１１は、バス１７によ
って他の機器類（後述）と相互接続されている。バス１
７上の各機器にはそれぞれ固有のメモリ・アドレス又は
Ｉ／Ｏアドレスが付与されており、ＣＰＵ１１はアドレ
ス指定することによってバス接続された各機器へのアク
セスが可能となっている。バス１７は、アドレス・バ
ス、データ・バス、コントロール・バスを含む共通信号
伝送路であるが、その一例はＰＣＩ（Peripheral Compo
nent Interconnect）バスである。

【００３８】メモリ１２は、プロセッサ１１において実
行されるプログラム・コードを格納したり、実行中の作
業データを一時保管するために使用される記憶装置であ
る。同図に示すメモリ１２は、不揮発メモリ及び揮発メ
モリの双方を含むものと理解されたい。

【００３９】ディスプレイ・コントローラ１３は、プロ
セッサ１１が発行する描画命令を実際に処理するための
専用コントローラであり、例えばＳＶＧＡ（Super Vide
o Graphic Array）又はＸＧＡ（eXtended Graphic Arra
y）相当のビットマップ描画機能をサポートする。ディ
スプレイ・コントローラ１３において処理された描画デ
ータは、例えばフレーム・バッファ（図示しない）に一
旦書き込まれた後、表示装置２１に画面出力される。表
示装置２１としては、例えば、ＣＲＴ（Cathode Ray Tu
be）ディスプレイや、液晶表示ディスプレイ（Liquid C
rystal Display）などを利用することができる。

【００４０】入力機器インターフェース１４は、キーボ
ード２２やマウス２３などのユーザ入力機器をシステム
１０に接続するための装置である。入力機器インターフ
ェース１４は、キーボード２２によるキー入力又はマウ
ス２３を介した座標指示入力に応答して、ＣＰＵ１１に
対して割り込みを発生する。

【００４１】ネットワーク・インターフェース１５は、
Ｅｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロト
コルに従って、システム１０をＬＡＮ（Local Area Net
work）などのネットワーク（図示しない）に接続するこ
とができる。ネットワーク・インターフェース１５は、
一般に、ＬＡＮアダプタ・カードの形態で提供され、マ
ザーボード（図示しない）上のＰＣＩバス・スロットの
装着して用いられる。

【００４２】ＬＡＮ上では、複数のホスト（コンピュー
タ）がトランスペアレントな状態で接続され、分散コン
ピューティング環境が構築されている。また、ホストの
一部はルータとして稼動し、さらに他のＬＡＮやインタ
ーネットなどの外部ネットワークとの相互接続を実現し
ている。インターネット上では、ソフトウェア・プログ
ラムやデータ・コンテンツなどの配信が行われる。例え
ば、本実施例に係る画像処理アプリケーションや、この
画像処理アプリケーション上で作成・編集された３次元
シーンを記述する描画データなども、ネットワーク経由
で配信・配布されてもよい。

【００４３】但し、ネットワーク・インターフェース１
５ではなく、モデム並びに一般電話回線（いずれも図示
しない）経由でシステム１０外部のネットワークに接続
することもできる。

【００４４】外部機器インターフェース１６は、ハード
・ディスク・ドライブ（ＨＤＤ）２４やメディア・ドライ
ブ２５などの外部装置をシステム１０に接続するための
装置である。外部機器インターフェース１６は、例え
ば、ＩＤＥ（Integrated DriveElectronics）やＳＣＳ
Ｉ（Small Computer System Interface）などのインタ
ーフェース規格に準拠する。

【００４５】ＨＤＤ２４は、記憶担体としての磁気ディ
スクを固定的に搭載した外部記憶装置であり（周知）、
記憶容量やデータ転送速度などの点で他の外部記憶装置
よりも優れている。ソフトウェア・プログラムを実行可
能な状態でＨＤＤ２４上に置くことを、プログラムのシ
ステムへの「インストール」と呼ぶ。通常、ＨＤＤ２４
には、プロセッサ１１が実行すべきオペレーティング・
システムのプログラム・コードや、アプリケーション・プ
ログラム、デバイス・ドライバなどが不揮発的に格納さ
れている。例えば、本実施例に係る画像処理アプリケー
ションなどは、ＨＤＤ２４上にインストールされる。ま
た、この画像処理アプリケーション上で作成された３次
元描画データなども、所定のファイル・フォーマットで
ＨＤＤ２４上に蓄積しておくことができる。

【００４６】また、メディア・ドライブ２５は、ＣＤ（C
ompact Disc）やＭＯ（Magneto-Optical disc）、ＤＶ
Ｄ（Digital Versatile Disc）などの可搬型メディアを
装填して、データ記録面にアクセスするための装置であ
る。可搬型メディアは、主として、ソフトウェア・プロ
グラムやデータ・ファイルなどをコンピュータ可読形式
のデータとしてバックアップすることや、これらを複数
のシステム間で移動（販売・流通・配布を含む）する目的
で使用される。例えば、本実施例に係る画像編集アプリ
ケーションや、画像編集アプリケーション上で作成・編
集された３次元描画データなどを、これら可搬型メディ
アを利用して複数のシステム間で流通・配布することが
できる。

【００４７】次いで、この画像処理システム１０上にお
いて実現される画像処理について詳解する。この画像処
理には、３次元空間上に設定されたキャンバス上に２次
元イメージを貼り付けて３次元イメージを生成する第１
の段階と、生成された３次元イメージに対して動きを付
与する第２の段階に大別される。

【００４８】まず、３次元空間上に設定されたキャンバ
ス上に２次元イメージを貼り付けて３次元イメージを生
成する第１の段階について説明する。

【００４９】図２には、画像処理システム１０が提供す
る初期の画像編集画面を例示している。画像編集画面
は、ディスプレイ２１上のＧＵＩ（Graphical User Int
erface）ウィンドウ画面を利用して表示される。同図に
示すように、初期ウィンドウ画面は、地平線のみを有す
る３次元空間で構成される。ユーザは、このような３次
元空間に対して、マウス２３などの座標指示装置を用い
て、マウスのクリックやドラッグ・アンド・ドロップな
どの通常のＧＵＩ操作の他に、ストロークで線を描くな
どの画像編集操作を行うことができる。

【００５０】画像処理システム１０上での画像編集処理
の全体的な流れは、以下の（１）〜（６）で構成され
る。

【００５１】 （１）地平線のみの３次元空間（図２を参照のこと）が
現れる。 （２）３次元空間に対して、ストロークで線を引く。 （３）ストローク線を底辺とする壁が現れる。 ストロークが曲線ならば壁も曲面となる。 （４）壁をキャンバスとみなして、ユーザは絵を描く。
ユーザの描いた絵は、壁にマッピングされるので、結果
として３Ｄの絵を描いたことになる。 （５）さらに他の壁を描いて、新たにキャンバスを設定
して、その上に自由に絵を描く。キャンバス上に絵を描
く操作の繰り返しにより、所望の３次元シーンを構築す
ることができる。 （６）キャンバスの回転や、視点移動によって３次元イ
メージを描画する。キャンバスの回転や視点移動には、
例えば、該当するダイアログ・メニューを使用すること
によって実現する。

【００５２】次いで、図３〜図８を参照しながら、画像
処理システム１０における３次元イメージの描画処理の
例について説明する。

【００５３】まず、地平線のみからなる３次元空間（図
２を参照のこと）で、地面をマウスでドラッグして、ス
トローク線を引く。このようなユーザ入力操作に応答し
て、このストローク線を底辺とする壁が現れる（図３を
参照のこと）。元のストローク線が曲線であれば、この
ようなユーザ操作に従って、壁は曲面となる。

【００５４】壁は「キャンバス」とみなされ、ユーザは
このキャンバス上に絵を描くことができる。すなわち、
ユーザは、マウスをキャンバス上でドラッグ操作するな
どして絵を描くことができる（図４を参照のこと）。こ
のとき、ペン先の太さや質感、色などは、例えばダイア
ログ・メニューを用いて指定することができる。また、
ペン先を消しゴムに指定して、既に描いた線をキャンバ
ス上から消去することもできる。

【００５５】壁に描かれた絵はそのまま壁すなわちキャ
ンバスにマッピングされるので、結果として３次元的な
絵を描いたことになる。図４に示す例では、キャンバス
上に、いわゆる「へのへのもへじ」が描かれている。

【００５６】例えば所定のユーザ操作などによって、キ
ャンバスの回転や視点移動を行うことができる（図５を
参照のこと）。これにより、所望の３次元シーンを得る
ことができる。

【００５７】また、他のユーザ操作などによって、キャ
ンバスを画面上から削除することができる（前述）。こ
のような場合、画像編集画面上には地平線と描かれた絵
の３次元イメージのみが残される（図６を参照のこ
と）。

【００５８】さらに、キャンバスを削除した上で、３次
元イメージを回転や視点移動させることができる。この
ような操作は、キャンバスの回転や視点移動の操作に準
じて行うことができる。図７には３次元イメージをＺ軸
に対して時計回りに回転させた様子を示し、図８には３
次元イメージをＺ軸に対して反時計回りに回転させた様
子を示している。

【００５９】勿論、３次元空間の床面上で設定したキャ
ンバス上には、マウスのドラッグ操作などによって描画
された２次元イメージを貼り付けるのではなく、あらか
じめローカル・ディスクに格納された画像ファイルを読
み出して、キャンバス上に貼り付けるようにしてもよ
い。

【００６０】図９には、３次元イメージ編集処理の手順
をフローチャートの形式で示している。該処理手順は、
例えば、コンピュータ・システム上で所定のプログラム
・コードを実行するという形態で実現することもでき
る。以下、このフローチャートに従ってイメージ編集処
理について説明する。

【００６１】まず、地平線のみからなる３次元空間の画
面（図２を参照のこと）が現れる（ステップＳ１）。ユ
ーザは、この画面上でマウス２３をドラッグすることに
よって、所望のストローク線を引く（ステップＳ２）。

【００６２】画面上にまだキャンバスがない場合には
（ステップＳ３）、引いたストローク線を２Ｄ→３Ｄ変
換して地面に割り付け（ステップＳ４）、この３Ｄスト
ローク線を底辺とするキャンバスを画面上に出現させる
（ステップＳ５）。

【００６３】また、画面上に既に他のキャンバスがある
場合（ステップＳ３）、このキャンバス上に絵がなけれ
ば（ステップＳ６）、キャンバスを画面から消滅させた
上で（ステップＳ７）、今回引いたストローク線を２Ｄ
→３Ｄ変換して地面に割り付け（ステップＳ４）、この
３Ｄストローク線を底辺とするキャンバスを画面上に出
現させる（ステップＳ５）。

【００６４】また、画面上には、既に絵が描かれた他の
キャンバスがある場合には（ステップＳ３，Ｓ４）、そ
の絵とキャンバスの底辺（すなわち補助線）のみを残し
て（ステップＳ８）、今回引いたストローク線を２Ｄ→
３Ｄ変換して地面に割り付け（ステップＳ４）、この３
Ｄストローク線を底辺とするキャンバスを画面上に出現
させる（ステップＳ５）。

【００６５】また、補助線すなわちキャンバスの底辺を
マウスでクリックした場合には（ステップＳ９）、補助
線を底辺とするキャンバスが現れる（ステップＳ１
０）。

【００６６】画面上にキャンバスが出現した状態は、ユ
ーザがキャンバスに向かって絵を描くことができる描画
モードである。描画モード下では、ユーザには、例え
ば、「ペンの属性変更」（ステップＳ１１）、「絵を描
くための線を引く」（ステップＳ１２）、「キャンバス
の回転・移動」（ステップＳ１５）、「視点移動」（ス
テップＳ１７）、「画像を読み込む」（ステップＳ１
８）などの各種のイメージ編集操作が用意されている。

【００６７】ペンの属性変更（ステップＳ１１）は、例
えば、マウスの右ボタンをクリックしてプロパティ・ウ
ィンドウ（図示しない）を開いて、該ウィンドウ上で行
うことができる。あるいは、ペンの太さや質感を変えた
り、ペン先の色を指定することができる。

【００６８】また、絵を描くための線引き（ステップＳ
１２）は、現在出現しているキャンバスに向かって、マ
ウス２３をドラッグすることによって行われる。キャン
バス上に線がある場合には（ステップＳ１３）、この線
はキャンバス上にマッピングされ（ステップＳ１４）、
以後の処理過程では通常の３次元図形データとして扱わ
れる。

【００６９】また、キャンバスの回転や移動（ステップ
Ｓ１５）、並びに視点移動（ステップＳ１６）などのイ
メージに対する操作が許容される。キャンバスの回転・
移動又は視点移動が指示されたときには、視点座標の変
換を行い（ステップＳ１６）、画面表示を更新する。

【００７０】また、ユーザは、逐次新たに絵を描く必要
はなく、例えばハード・ディスク２４上に既に保存され
ている画像ファイルを読み込んで（ステップＳ１８）、
この画像を編集するようにしてもよい。このような場
合、読み込んだ画像のサイズをキャンバスに合わせ（ス
テップＳ１９）、キャンバスにマッピングすればよい
（ステップＳ２０）。

【００７１】勿論、ある１つの３次元空間に対して複数
のキャンバスを設定したり、設定された各々のキャンバ
スに対して２次元イメージを貼り付けることによって、
複数の３次元オブジェクトからなる３次元シーンを生成
することを可能とするようにしてもよい。

【００７２】続いて、このようにして生成した３次元イ
メージに対して動きを付与する第２の段階について説明
する。

【００７３】ユーザは、３次元空間の床面上で、画像編
集時に設定したもの以外に、１以上のキャンバスの底辺
をさらに設定する。図１０には、３次元空間の床面上
に、第１の曲線と第２の曲線という２つのキャンバスの
底辺が設定されている様子を図解している。

【００７４】図１０に示すように２本の曲線がキャンバ
スの底辺として設定された場合、画像処理システム１０
内では、これら曲線間を補間する複数の曲線を自動生成
される。図１１には、第１の曲線と第２の曲線の間を補
間する曲線が生成された様子を示している。

【００７５】そして、画像処理システム１０は、時間の
経過とともにキャンバスの底辺を、第１の曲線から自動
生成された補間曲線を経て第２の曲線へ、さらに、第２
の曲線から自動生成された補間曲線を経て第１の曲線へ
と、順次移動させる。この結果、キャンバス上に貼り付
けられた３次元イメージは、キャンバスの移動に追従し
て移動するので、ユーザの目には３次元イメージが生き
生きと動いているように見えることになる。

【００７６】なお、曲線間の補間する曲線の自動生成に
関しては、例えば、Thomas W. Sederberg外著の論文"A
Physically Based Approach to 2-D Shape Blending"
（ACMComputer Graphics, 26, 2, July 1992）などを利
用することができる。

【００７７】また、キャンバスの底辺の移動に伴って生
成される各キャンバス上への３次元イメージの貼り付け
は、幾何学分野において一般的な３次元座標変換処理に
よっても実現される。

【００７８】また、必ずしもユーザが２番目以降のキャ
ンバスの底辺を設定する必要はなく、画像処理システム
１０内で、画像編集時に設定したキャンバスの底辺を基
に他の底辺を自動生成するようにしてもよい。

【００７９】図１２には、画像処理システム１０内で画
像編集時に設定したキャンバスの底辺を基にして他の底
辺を自動生成する方法の一例を図解している。

【００８０】同図に示すように、キャンバスの底辺を構
成するある１つの曲線上に、複数の制御点を設定する。
そして、各制御点を上下並びに左右の各方向に、乱数で
与えられた変位量を時々刻々と与える。

【００８１】この結果、キャンバスの底辺は、最初の曲
線を中心にしてランダムに変形する。そして、キャンバ
ス上に貼り付けられた３次元イメージは、キャンバスの
移動に追従して移動するので、ユーザの目には３次元イ
メージが微妙に振動しているように見えることになる。

【００８２】図１３には、本実施例に係る画像処理シス
テム１０上で実現される画像処理の手順をフローチャー
トの形式で示している。この画像処理によれば、３次元
空間上に設定されたキャンバス上に２次元イメージを貼
り付けて３次元イメージを生成するとともに、生成され
た３次元イメージに対して生き生きとして動きを付与す
ることができる。以下、このフローチャートに従って、
画像処理について詳解する。

【００８３】まず、地面に対して曲線を入力する（ステ
ップＳ３１）。曲線の入力は、例えばディスプレイ２１
の画面上で、マウス・カーソルをドラッグすることによ
り行われる。ここで入力された曲線は、画像編集時に設
定したキャンバスの底辺以外の曲線であり、上述した
「第２の曲線」に相当する。

【００８４】次いで、キャンバスの底辺を構成する曲線
と、先行ステップＳ３１で入力した曲線の間を連続的に
接続するように動く複数の曲線を生成する（ステップＳ
３２）。２本の曲線間を接続するような補間曲線の生成
に関しては、例えば、ThomasW. Sederberg外著の論文"A
Physically Based Approach to 2-D Shape Blending"
（ACM Computer Graphics, 26, 2, July 1992）などを
利用することができる。

【００８５】２本の曲線間を動くそれぞれの曲線は、該
当する時刻におけるキャンバスの底辺を構成する。各時
刻において動く曲線に従ってキャンバスを生成すること
により、結果的には、時々刻々と動くキャンバスを生成
することができる（ステップＳ３３）。

【００８６】そして、各時刻におけるキャンバス上に３
次元イメージを描画することによって（ステップＳ３
４）、３次元イメージの生き生きとした動きを実現する
ことができる。

【００８７】なお、ユーザが自ら第２の曲線を入力する
ことの代替として、画像編集時に設定したキャンバスの
底辺を基にして第２の曲線を自動生成するようにしても
よい（ステップＳ３５）。

【００８８】図１４には、ステップＳ３５における曲線
を自動生成するための処理手順の詳細をフローチャート
の形式で示している。以下、このフローチャートに従っ
て説明する。

【００８９】まず、キャンバスの底辺を構成するある１
つの曲線上に、複数の制御点を設定する（ステップＳ４
１）。

【００９０】次いで、各制御点に対して、その位置を乱
数によって変動させる（ステップＳ４２）。すなわち、
上下並びに左右の各方向に、乱数で与えられた変位量を
時々刻々と与える。

【００９１】この結果、変動させた制御点によって最初
とは別の曲線を生成することができる（ステップＳ４
３）。

【００９２】この曲線は、キャンバスの底辺となるが、
最初の曲線を中心にして時々刻々とランダムに変形する
（図１２を参照のこと）。そして、キャンバス上に貼り
付けられた３次元イメージは、キャンバスの移動に追従
して移動するので、ユーザの目には３次元イメージが微
妙に振動しているように見えることになる。

【００９３】このように時々刻々と変動するキャンバス
をベースにして３次元イメージを動かすことによって、
例えば、３次元的に描かれたスケッチを生き生きと見せ
ることができる。また、別の応用形態としては、ドアの
開閉や旗のはためきなどにも活用することができる。

【００９４】また、このような画像処理方式によれば、
ユーザすなわち３次元イメージの作成者に過度な負担を
かけることなく、１枚の絵と複数枚の曲線のみを用い
て、アニメーションを持った３次元世界を比較的少ない
作業で容易に構築することができる。

【００９５】［追補］以上、特定の実施例を参照しなが
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。すなわち、例示とい
う形態で本発明を開示してきたのであり、限定的に解釈
されるべきではない。本発明の要旨を判断するために
は、冒頭に記載した特許請求の範囲の欄を参酌すべきで
ある。

【００９６】

【発明の効果】以上詳記したように、本発明によれば、
マウスなどの装置によって入力された手書きイメージや
ローカル・ディスク上から読み出された２次元イメージ
を基に計算機システム上で３次元的なイメージを処理す
ることができる、優れた画像処理システム及び画像処理
方法を提供することができる。

【００９７】また、本発明によれば、仮想的に設定され
たキャンバス上に手書きにより描画されたイメージやロ
ーカル・ディスク上から読み出された２次元イメージを
基に３次元的なイメージを処理することができる、優れ
た画像処理システム及び画像処理方法を提供することが
できる。

【００９８】また、本発明によれば、３次元空間上のキ
ャンバス上で作成・編集された３次元イメージに対して
動きを与えることができる、優れた画像処理システム及
び画像処理方法を提供することができる。

【００９９】本発明によれば、時々刻々と変動するキャ
ンバスをベースにして３次元イメージを動かすことによ
って、例えば、３次元的に描かれたスケッチを生き生き
と見せることができる。また、別の応用形態としては、
ドアの開閉や旗のはためきなどにも活用することができ
る。

【０１００】また、本発明に係る画像処理方式によれ
ば、ユーザすなわち３次元イメージの作成者に過度な負
担をかけることなく、１枚の絵と複数枚の曲線のみで、
アニメーションを持った３次元世界を比較的少ない作業
で容易に構築することができる。

【図面の簡単な説明】

【図１】本発明を実現するのに適した画像処理システム
１０のハードウェア構成を模式的に示した図である。

【図２】本実施例に係る画像処理システム１０が提供す
る初期の画像編集画面を示した図である。

【図３】本実施例に係る画像処理システム１０上で３次
元イメージを描画する様子を示した図である。

【図４】本実施例に係る画像処理システム１０上で３次
元イメージを描画する様子を示した図である。

【図５】本実施例に係る画像処理システム１０上で３次
元イメージを描画する様子を示した図である。

【図６】本実施例に係る画像処理システム１０上で３次
元イメージを描画する様子を示した図である。

【図７】本実施例に係る画像処理システム１０上で３次
元イメージを描画する様子を示した図である。

【図８】本実施例に係る画像処理システム１０上で３次
元イメージを描画する様子を示した図である。

【図９】３次元イメージ編集処理の手順を示したフロー
チャートである。

【図１０】３次元空間の床面上に、第１の曲線と第２の
曲線という２つのキャンバスの底辺が設定されている様
子を示した図である。

【図１１】第１の曲線と第２の曲線の間を補間する曲線
が生成された様子を示した図である。

【図１２】画像処理システム１０内で画像編集時に設定
したキャンバスの底辺を基に他の底辺を自動生成する方
法の一例を示した図である。

【図１３】本実施例に係る画像処理システム１０上で実
現される画像処理の手順を示したフローチャートであ
る。

【図１４】ステップＳ３５における曲線を自動生成する
ための処理手順の詳細を示したフローチャートである。

【符号の説明】

１０…画像編集システム １１…ＣＰＵ １２…メモリ １３…ディスプレイ・コントローラ １４…入力機器インターフェース １５…ネットワーク・インターフェース １６…外部機器インターフェース １７…バス ２１…ディスプレイ ２２…キーボード ２３…マウス ２４…ＨＤＤ ２５…メディア・ドライブ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 唐澤 英了 東京都品川区東五反田３丁目14番13号 株 式会社ソニーコンピュータサイエンス研究 所内 Ｆターム(参考） 5B050 BA08 BA09 DA02 DA04 DA09 EA13 EA19 EA24 FA02 FA05 5B080 AA01 BA02 FA08 GA21

Claims (24)

【特許請求の範囲】
1. 【請求項１】３次元的なイメージを処理するための画像
   処理システムであって、 ２次元的なイメージを入力する画像入力手段と、 ３次元空間上にキャンバスの底辺となる第１の曲線を設
   定する第１の曲線設定手段と、 ３次元空間上に前記第１の曲線とは異なる第２の曲線を
   設定する第２の曲線設定手段と、 前記第１の曲線と第２の曲線の間を補間する１以上の補
   間曲線を生成する補間曲線生成手段と、 前記第１の曲線、第２の曲線、補間曲線のうちいずれか
   １つを底辺とするキャンバス上に前記入力された画像を
   貼り付けて３次元イメージを生成するイメージ生成手段
   と、を具備することを特徴とする画像処理システム。
2. 【請求項２】前記第１の曲線設定手段、及び／又は、前
   記第２の曲線設定手段は、地平線のみからなる３次元空
   間上に対してユーザがマウスのドラッグ操作により描い
   たストローク線を入力曲線として設定することを特徴と
   する請求項１に記載の画像処理システム。
3. 【請求項３】前記イメージ生成手段は、入力画像を貼り
   付けるためのキャンバスの底辺を前記第１の曲線、第２
   の曲線、補間曲線の間で時々刻々変化させることを特徴
   とする請求項１に記載の画像処理システム。
4. 【請求項４】前記画像入力手段は、設定されたキャンバ
   スに対してユーザがマウスのドラッグ操作により描いた
   ストローク線を画像入力することを特徴とする請求項１
   に記載の画像処理システム。
5. 【請求項５】画像入力手段は、所定の記憶装置上から読
   み出された画像ファイルから２次元的なイメージを画像
   入力することを特徴とする請求項１に記載の画像処理シ
   ステム。
6. 【請求項６】３次元的なイメージを処理するための画像
   処理システムであって、 ２次元的なイメージを入力する画像入力手段と、 ３次元空間上にキャンバスの底辺となる第１の曲線を設
   定する第１の曲線設定手段と、 前記第１の曲線を基にして１以上の補間曲線を生成する
   補間曲線生成手段と、 前記第１の曲線、補間曲線のうちいずれか１つを底辺と
   するキャンバス上に前記入力された画像を貼り付けて３
   次元イメージを生成するイメージ生成手段と、を具備す
   ることを特徴とする画像処理システム。
7. 【請求項７】前記補間曲線生成手段は、前記第１の曲線
   上に複数の制御点を設定して、各制御点の位置を乱数に
   よって変動させて新たな曲線を生成することを特徴とす
   る請求項６に記載の画像変処理システム。
8. 【請求項８】前記補間曲線生成手段は、前記第１の曲線
   上に複数の制御点を設定して、各制御点の位置を乱数に
   よって時々刻々変動させて新たな曲線を時々刻々生成す
   ることを特徴とする請求項６に記載の画像変処理システ
   ム。
9. 【請求項９】前記イメージ生成手段は、入力画像を貼り
   付けるためのキャンバスの底辺を前記第１の曲線、及び
   補間曲線の間で時々刻々変化させることを特徴とする請
   求項６に記載の画像処理システム。
10. 【請求項１０】前記画像入力手段は、設定されたキャン
    バスに対してユーザがマウスのドラッグ操作により描い
    たストローク線を画像入力することを特徴とする請求項
    ６に記載の画像処理システム。
11. 【請求項１１】画像入力手段は、所定の記憶装置上から
    読み出された画像ファイルから２次元的なイメージを画
    像入力することを特徴とする請求項６に記載の画像処理
    システム。
12. 【請求項１２】３次元的なイメージを処理するための画
    像処理方法であって、 ２次元的なイメージを入力する画像入力ステップと、 ３次元空間上にキャンバスの底辺となる第１の曲線を設
    定する第１の曲線設定ステップと、 ３次元空間上に前記第１の曲線とは異なる第２の曲線を
    設定する第２の曲線設定ステップと、 前記第１の曲線と第２の曲線の間を補間する１以上の補
    間曲線を生成する補間曲線生成ステップと、 前記第１の曲線、第２の曲線、補間曲線のうちいずれか
    １つを底辺とするキャンバス上に前記入力された画像を
    貼り付けて３次元イメージを生成するイメージ生成ステ
    ップと、を具備することを特徴とする画像処理方法。
13. 【請求項１３】前記第１の曲線設定ステップ、及び／又
    は、前記第２の曲線設定ステップでは、地平線のみから
    なる３次元空間上に対してユーザがマウスのドラッグ操
    作により描いたストローク線を入力曲線として設定する
    ことを特徴とする請求項１２に記載の画像処理方法。
14. 【請求項１４】前記イメージ生成ステップでは、入力画
    像を貼り付けるためのキャンバスの底辺を前記第１の曲
    線、第２の曲線、補間曲線の間で時々刻々変化させるこ
    とを特徴とする請求項１２に記載の画像処理方法。
15. 【請求項１５】前記画像入力ステップでは、設定された
    キャンバスに対してユーザがマウスのドラッグ操作によ
    り描いたストローク線を画像入力することを特徴とする
    請求項１２に記載の画像処理方法。
16. 【請求項１６】画像入力ステップでは、所定の記憶装置
    上から読み出された画像ファイルから２次元的なイメー
    ジを入力することを特徴とする請求項１２に記載の画像
    処理方法。
17. 【請求項１７】３次元的なイメージを処理するための画
    像処理方法であって、 ２次元的なイメージを入力する画像入力ステップと、 ３次元空間上にキャンバスの底辺となる第１の曲線を設
    定する第１の曲線設定ステップと、 前記第１の曲線を基にして１以上の補間曲線を生成する
    補間曲線生成ステップと、 前記第１の曲線、補間曲線のうちいずれか１つを底辺と
    するキャンバス上に前記入力された画像を貼り付けて３
    次元イメージを生成するイメージ生成ステップと、を具
    備することを特徴とする画像処理方法。
18. 【請求項１８】前記補間曲線生成ステップでは、前記第
    １の曲線上に複数の制御点を設定して、各制御点の位置
    を乱数によって変動させて新たな曲線を生成することを
    特徴とする請求項１７に記載の画像変処理方法。
19. 【請求項１９】前記補間曲線生成ステップでは、前記第
    １の曲線上に複数の制御点を設定して、各制御点の位置
    を乱数によって時々刻々変動させて新たな曲線を時々刻
    々生成することを特徴とする請求項１７に記載の画像変
    処理方法。
20. 【請求項２０】前記イメージ生成ステップでは、入力画
    像を貼り付けるためのキャンバスの底辺を前記第１の曲
    線、及び補間曲線の間で時々刻々変化させることを特徴
    とする請求項１７に記載の画像処理方法。
21. 【請求項２１】前記画像入力ステップでは、設定された
    キャンバスに対してユーザがマウスのドラッグ操作によ
    り描いたストローク線を画像入力することを特徴とする
    請求項１７に記載の画像処理方法。
22. 【請求項２２】画像入力ステップでは、所定の記憶装置
    上から読み出された画像ファイルから２次元的なイメー
    ジを入力することを特徴とする請求項１７に記載の画像
    処理方法。
23. 【請求項２３】３次元的なイメージの処理をコンピュー
    タ・システム上で実行するように記述されたコンピュー
    タ・ソフトウェアをコンピュータ可読形式で物理的に格
    納した記憶媒体であって、前記コンピュータ・ソフトウ
    ェアは、 ２次元的なイメージを入力する画像入力ステップと、 ３次元空間上にキャンバスの底辺となる第１の曲線を設
    定する第１の曲線設定ステップと、 ３次元空間上に前記第１の曲線とは異なる第２の曲線を
    設定する第２の曲線設定ステップと、 前記第１の曲線と第２の曲線の間を補間する１以上の補
    間曲線を生成する補間曲線生成ステップと、 前記第１の曲線、第２の曲線、補間曲線のうちいずれか
    １つを底辺とするキャンバス上に前記入力された画像を
    貼り付けて３次元イメージを生成するイメージ生成ステ
    ップと、を具備することを特徴とする記憶媒体。
24. 【請求項２４】３次元的なイメージの処理をコンピュー
    タ・システム上で実行するように記述されたコンピュー
    タ・ソフトウェアをコンピュータ可読形式で物理的に格
    納した記憶媒体であって、前記コンピュータ・ソフトウ
    ェアは、 ２次元的なイメージを入力する画像入力ステップと、 ３次元空間上にキャンバスの底辺となる第１の曲線を設
    定する第１の曲線設定ステップと、 前記第１の曲線を基にして１以上の補間曲線を生成する
    補間曲線生成ステップと、 前記第１の曲線、補間曲線のうちいずれか１つを底辺と
    するキャンバス上に前記入力された画像を貼り付けて３
    次元イメージを生成するイメージ生成ステップと、を具
    備することを特徴とする画像処理方法。