JP2002202838A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像が処理されているときに、その処理に関
する情報がユーザに対して表示されるように、ユーザに
対する表示情報が改善された画像処理装置を提供する。 【解決手段】 画像処理装置２において、複数の個別入
力画像を処理する。処理する入力画像毎に、画素数を減
少させた画像のバージョンを生成して、装置のユーザに
対して表示する。次いで、各々の表示画像は、処理から
画像を削除するのに、ユーザによる選択が可能である。
加えて、処理が進行するのに伴って、各画像を徐々に変
化させて処理の結果を示す。このように、ユーザは、個
々の画像毎の処理の状態と、既に処理された画像の数、
およびまだ処理されていない画像の数の観点から全入力
画像に対する全体的な処理の状態とを確認することが可
能である。さらに、各入力画像は、実行された画像処理
操作の結果を編集するのに、ユーザによる選択が可能で
ある。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理の分野に関
し、具体的には、複数の画像が処理されているときのユ
ーザに対する情報の表示に関する。

【０００２】

【従来の技術】多くのアプリケーションでは、複数の個
別的な画像を処理することが必要とされる。当該アプリ
ケーションとしては、例えば、異なる位置および方向で
記録されたオブジェクトのいくつかの画像を処理するこ
とによって、該オブジェクトの三次元コンピュータ・モ
デルを生成することが挙げられる。

【０００３】しかしながら、画像が画像処理装置によっ
て処理されているときに、該処理に関する情報がユーザ
に対して表示されない場合が多い。あるいは、情報が表
示される場合でも、それは、処理が進行するに従い、実
行された処理の量に応じて０％から１００％まで移動す
るスライディング・バーから典型的に構成される。

【０００４】

【発明が解決しようとする課題】本発明の目的は、この
問題に対処し、ユーザに対して表示される情報を改善す
ることである。

【０００５】

【課題を解決するための手段】本発明によれば、異なる
入力画像を処理し、処理する画像毎に、個別のアイコン
を生成して表示し、次いでそれを変化させて処理の進捗
状況を示す画像処理装置および方法が提供される。

【０００６】このように、ユーザは、画像数に関連し
て、どれだけの処理が既に実行され、どれだけの処理が
まだ残っているかを容易に確認することが可能となる。

【０００７】画像の各アイコンは、対応する入力画像に
基づくが、より画素数の少ない画像であることが好まし
く、また各アイコンは、入力画像に対する処理操作の結
果を示すために変化するのが好ましい。

【０００８】このように、ユーザは、処理結果を編集す
る必要があるかどうかを判断することが可能となる。

【０００９】各アイコンは、対応する入力画像に対して
処理操作が実行されている間に、リアルタイムで徐々に
変化するのが好ましい。

【００１０】このように、ユーザは、異なる２つのレベ
ルでの処理の進捗状況、すなわち個々の入力画像に対す
る処理の進捗状況、および全入力画像に対する包括的な
処理の進捗状況を確認することが可能となる。

【００１１】本発明は、プログラマブル装置を上述の方
式で動作するように設定するためのコンピュータ・プロ
グラムをも提供する。

【００１２】次に、添付の図面を参照しながら、例によ
ってのみ本発明の実施形態を説明する。以下に説明する
実施形態は、オブジェクトの三次元コンピュータ・モデ
ルを生成するための画像処理に関するものであるが、本
発明はこの用途に限定されるものではなく、画像処理装
置によっていくつかの画像を処理するあらゆる画像処理
用途に適用可能であることが、以下の説明から明らかに
なるであろう。

【００１３】

【発明の実施の形態】第１の実施形態 図１に示すとおり、本発明の実施形態は、従来のパーソ
ナル・コンピュータ・モニタのような表示装置４、キー
ボードやマウス等のユーザ入力装置６、プリンタ８、な
らびにＷＡＣＯＭ社製ＰＬ４００のような画素ごとの表
示制御が可能なフラット・パネルを含む表示パネル１０
とともに、１つまたは複数のプロセッサ、メモリ、グラ
フィックス・カード等を従来通りに含むパーソナル・コ
ンピュータのような処理装置２を備えている。

【００１４】処理装置２は、プログラミング指示入力に
従って作動するようプログラミングされており、プログ
ラミング指示入力は、例えばディスク１２のようなデー
タ記憶装置に記憶されたものでも、信号１４のように処
理装置２に入力されたものでも、あるいはその両方であ
ってもよく、信号１４は、例えばリモート・データベー
スからインターネットのような通信ネットワーク（不図
示）を介した伝送や無線による伝送によって入力された
ものでも、キーボードのようなユーザ入力装置６を介し
てユーザが入力したものでも、あるいはその両方であっ
てもよい。

【００１５】以下により詳細に説明するが、該プログラ
ミング指示は、異なる位置および方向で記録された１つ
または複数の対象オブジェクト（subject object）の
複数の画像を定める入力データを処理して、それらの入
力画像が記録された位置および方向を計算し、計算され
た位置および方向を用いて、該対象オブジェクトの三次
元コンピュータ・モデルを定めるデータを生成するよう
に処理装置２を設定させるための指示を含む。本実施形
態では、その上に既知の特徴パターンを有する較正（ca
libration）オブジェクト（本実施形態では二次元の写
真マット（photographic mat））上に対象オブジェク
トの画像を形成し、画像内の較正オブジェクト・パター
ンの特徴の位置を検出することによって、入力画像が記
録された位置および方向を計算する。処理する入力画像
毎に表示装置４上に、ユーザに対してアイコンを表示す
る。本実施形態では、各アイコンは入力画像の「サム・
ネイル」画像（すなわち、入力画像の縮小画素バージョ
ン）を含む。処理の開始に先だって、ユーザは、処理す
る入力画像を追加し、または削除することができる。加
えて、処理の進行に伴い、入力画像の処理が進むに従っ
て、該入力画像に対する表示アイコンが変化する。より
具体的には、以下により詳細に説明するが、本実施形態
では、アイコンを変化させて処理結果を示し、次いで、
必要に応じてユーザが処理結果を編集することが可能で
ある。このように、表示されたサム・ネイル画像は、
（既に実行された処理、およびまだ実行されていない処
理の観点から）２つの異なるレベルでの処理の状態、す
なわち個々の入力画像に対する処理の状態、および全入
力画像に対する包括的な処理の状態を示す。加えて、サ
ム・ネイル画像を使用して進捗状況を表示すると、（上
述の画像選択および編集上の利点を提供する）表示入力
画像に対する個別的な進捗状況インディケータが不必要
になるため、表示画面が小さい場合は、特別の利点がも
たらされる。

【００１６】処理装置２は、プログラミング指示によっ
てプログラミングされた場合には、処理操作を実行する
ための複数の機能的ユニットとして構成されているもの
とみなすことができる。当該機能的ユニット、およびそ
れらの相互接続の例を図１に示す。しかし、図１に示さ
れているユニットおよび相互接続は概念的なものであ
り、理解の助けとなるように例示のために示されている
にすぎない。すなわち、それらは、必ずしも処理装置２
のプロセッサやメモリ等が構成するユニットおよび接続
を表すものではない。

【００１７】図１に示す機能的ユニットを参照すると、
中央制御装置２０は、ユーザ入力装置６からの入力を処
理するとともに、他の機能的ユニットに対しても制御お
よび処理を行う。中央制御装置２０および他の機能的ユ
ニットに使用されるメモリ２４が設けられている。

【００１８】マット・ジェネレータ（mat generator）
３０は、制御プリンタ８または表示パネル１０に対して
制御信号を発生して、用紙のような記録媒体上に写真マ
ット３４を印刷し、または表示パネル１０上に写真マッ
トを表示する。以下により詳細に説明するが、該写真マ
ットは所定の特徴パターンを含み、三次元コンピュータ
・モデルを生成しようとするオブジェクトが、印刷され
た写真マット３４、または写真マットを表示する表示パ
ネル１０上に配置される。次いで、オブジェクトおよび
写真マットの画像が記録され、処理装置２に入力され
る。マット・ジェネレータ３０は、入力画像が記録され
た位置および方向を計算するのに処理装置２に使用され
る、写真マット上に印刷または表示された特徴パターン
を定めるデータを記憶する。より具体的には、マット・
ジェネレータ３０は、特徴パターンに対して相対的な座
標系（実質的に写真マットの基準位置および方向を定め
る）とともに、特徴パターンを定めるデータを記憶し、
処理装置２は、定められた座標系において入力画像が記
録された位置および方向（したがって、基準位置および
方向に対して相対的な位置および方向）を計算する。

【００１９】本実施形態において、写真マット上のパタ
ーンは、例えば出願係属中のＰＣＴ特許出願ＧＢ００／
０４４６９（ＷＯ−Ａ−０１／３９１２４）に記載され
ている特徴の立体クラスタ（その全内容が相互参照によ
り本明細書に盛り込まれる）、または、例えば特開平９
−１７０９１４に記載されているように、各ドットがそ
れぞれ異なる色相／明度の組み合わせを持つことで各々
のドットが特異性を有する有色ドットのパターンのよう
な任意の既知の特徴パターン、例えばイメージ・アンド
・ビジョン・コンピューティング１７（１９９９年）の
１２５から１３４ページに掲載された「モバイル・カメ
ラを用いた三次元オブジェクトの自動復元」（Ｎｉｅ
ｍ）に記載されているように、既知の寸法を有し、各象
限に位置マーカが付された放射線状の線分によって繋げ
られた同心円のパターン、あるいは、例えばコンピュー
タ・グラフィックス・プロシーディングス、年次会議シ
リーズ、１９９６年、ＡＣＭ−０−８９７９１−７６４
−４／９６／００８（Ｇｏｒｔｌｅｒ他）に掲載された
「ザ・ルミグラフ」に記載されているように、寸法が異
なる同心円を有するパターンを含む。

【００２０】以降の説明では、プリンタ８によって記録
媒体（本実施形態ではシートまたは紙）上にパターンを
印刷して印刷写真マット３４を生成するものとするが、
上述のように、その代わりにパターンを表示パネル１０
上に表示させることも可能である。

【００２１】入力データ記憶装置４０は、例えばディス
ク４２のような記憶装置に記憶されたデータや、処理装
置２に伝送された信号４４、またはユーザ入力装置６を
使用して処理装置２に入力される入力データを記憶す
る。入力データは、異なる位置および方向で記録された
写真マット上の１つまたは複数の対象オブジェクトの複
数の画像と、その背景色、またはマットの背景色と同じ
色を有する異なるオブジェクトを示すために写真マット
の一部とともにオブジェクトを画像化した際の背景を示
す入力画像とを有する。さらに、本実施形態において、
入力データは、画像を記録したカメラの固有パラメー
タ、すなわちアスペクト比、焦点距離、主点（光軸が画
像形成面を横切る点）、一次半径後方歪係数およびスキ
ュー角（画素格子の軸間の角度（軸が完全に直交してい
るとは限らないため））を定めるデータを含む。

【００２２】例えば画像を記録したデジタル・カメラか
ら画素データをダウンロードすることによって、または
スキャナ（不図示）を使用して写真をスキャンすること
によって、入力画像を定める入力データを生成すること
ができる。ユーザがユーザ入力装置６を使用することに
よって、カメラの固有パラメータを定める入力データを
入力することができる。

【００２３】カメラ計算器（camera calculator）５０
は、各入力画像を処理して、写真マット上の特徴パター
ンの画像内の位置を検出するとともに、入力画像が記録
されたときのカメラの位置および方向を計算する。

【００２４】画像データ・セグメンタ（image data s
egmenter）６０は、各入力画像を処理して、対象オブジ
ェクトに対応する画像データを画像内の他の画像データ
から分離させる。

【００２５】画像分割エディタ（image segmentation
editor）７０は、ユーザ管理下で動作可能となり、画
像データ・セグメンタ６０によって生成された分割画像
データを編集する。以下により詳細に説明するが、これ
によりユーザは、画像データ・セグメンタ６０によって
生成した画像区分を補正し、特に、例えば画像データ・
セグメンタ６０によって対象画像２１０に関連するもの
と誤って判断された画素を補正することが可能となる
（例えば、写真マット３４および対象オブジェクトをそ
の上に配置した場合の画像において表面上の目に見える
マークまたは他の特徴に関連する画素、写真マット３
４、および／またはそれが配置される表面上の陰に関連
する画素、ならびに入力画像内の対象オブジェクトの輪
郭に接触する写真マット３４上の特徴パターンに関連す
る画素は、すべて画像データ分割時に誤って分類され、
補正されなければ、得られる三次元コンピュータ・モデ
ルが不正確になる）。

【００２６】サーフェイス・モデラ（surface modele
r）８０は、画像データ・セグメンタ６０および画像分
割エディタ７０によって生成された分割画像データ、な
らびにカメラ計算器５０によって生成された、画像が記
録された位置および方向を定めるデータを処理して、入
力画像内のオブジェクトの実際の表面を表す三次元コン
ピュータ・モデルを定めるデータを生成する。

【００２７】サーフェイス・テクスチャラ（surface t
exturer）９０は、入力画像データからテクスチャ・デ
ータを生成して、サーフェイス・モデラ８０によって生
成されたサーフェイス・モデル上に描写する。

【００２８】アイコン・コントローラ１００は、ユーザ
が処理される入力画像、および処理装置２によって実行
される処理の進捗状況を確認できるとともに、ユーザが
処理の結果を確認し、必要に応じていずれかの結果を選
択して編集できるように、入力画像を表すアイコンの表
示装置４上の表示、ならびにそれに対して行われる処理
を制御する。

【００２９】ディスプレイ・プロセッサ１１０は、中央
制御装置２０の制御下において、表示装置４を介してユ
ーザに対する指示を表示する。さらに、中央制御装置２
０の制御下において、ディスプレイ・プロセッサ１１０
は、また、サーフェイス・モデラ８０によって生成され
たサーフェイス・モデル・データを処理し、サーフェイ
ス・テクスチャ９０によって生成されたテクスチャ・デ
ータをサーフェイス・モデル上に描写することによっ
て、ユーザ選択の観点からオブジェクトの三次元コンピ
ュータ・モデルの画像を表示する。

【００３０】出力データ記憶装置１２０は、入力画像毎
にカメラ計算器５０によって計算されたカメラの位置お
よび方向、画像データ・セグメンタ６０および画像分割
エディタ７０によって生成された各入力画像からの対象
オブジェクトに関連する画像データ、ならびにサーフェ
イス・モデラ８０およびサーフェイス・テクスチャラ９
０によって生成されたサーフェイス・モデルおよびその
テクスチャ・データを記憶する。中央制御装置２０は、
例えばディスク１２２のような記憶装置上のデータ、お
よび／または信号１２４のような出力データ記憶装置１
２０からのデータの出力を制御する。

【００３１】図２に示すとおり、印刷された写真マット
３４が表面２００に配置され、三次元コンピュータ・モ
デルを生成しようとする対象オブジェクト２１０は、マ
ット上に形成された特徴パターンがオブジェクト２１０
を囲むように写真マット３４上に配置されている。

【００３２】好ましくは、表面２００は、可能であれ
ば、入力画像において、対象オブジェクト２１０に関連
する画像データが画像データ・セグメンタ６０による分
割処理時に他の画像データから正確に区別できるよう
に、対象オブジェクト２１０のどの色とも異なる単一色
を実質的に有する。しかし、以下により詳細に説明する
が、これが当てはまらない場合、例えば対象オブジェク
ト２１０における色と同じ色を有するマーク２２０が表
面２００上に（従って入力画像内に）現れる場合でも、
本実施形態では、画像データ・セグメンタ６０によって
生成された分割データをユーザが編集できるようにする
ことによって、これに対処するための処理を行うことが
可能である。

【００３３】デジタル・カメラ２３０を使用して、オブ
ジェクト２１０の異なる部分を示すために、オブジェク
ト２１０および写真マット３４の画像を異なる位置およ
び方向で記録する。本実施形態では、カメラ２３０によ
って記録された画像を定めるデータを、配線２３２を介
して信号４４として処理装置２に入力する。

【００３４】より具体的にいうと、本実施形態では、カ
メラ２３０は固定位置を維持し、オブジェクト２１０を
載置した写真マット３４が表面２００上を（例えば矢印
２０４の方向に）移動（トランスレート）および回転
し、カメラ２３０に対して異なる位置および方向でオブ
ジェクト２１０の写真が記録される。写真マット３４が
表面２００上を回転およびトランスレートする間は、オ
ブジェクト２１０がマット３４に対して移動することは
ない。

【００３５】図３は、カメラ２３０に対して異なる位置
および方向にあるオブジェクト２１０および写真マット
３４の、処理装置２に入力された画像３００、３０２、
３０４および３０６の例を示す図である。

【００３６】本実施形態では、オブジェクト２１０およ
び写真マット３４の画像の記録および入力に続いて、さ
らなる画像が処理装置２に記録および入力される。この
さらなる画像は「背景画像」を含み、表面２００、およ
び写真マット３４が印刷される用紙と同じ色を有するオ
ブジェクトの画像である。写真マット３４が記録される
シートと同じ色を有する一枚の用紙を表面２００に配置
することによって、または写真マット３４を表面２００
にかぶせてその上のパターンが画像中で見えないように
することによって、当該背景画像を記録することができ
る。

【００３７】図４は、本実施形態における入力データを
処理する、処理装置２によって実行される処理操作を示
す図である。

【００３８】図４を参照すると、ステップＳ４−２にお
いて、中央制御装置２０は表示プロセッサ１１０に、処
理するデータを入力するようユーザに要求するメッセー
ジを表示装置４上に表示させる。

【００３９】ステップＳ４−４において、ステップＳ４
−２における要求に応じてユーザが入力したデータを入
力データ記憶装置４０に記憶させる。より具体的には、
本実施形態において、入力データは、カメラ２３０に対
して異なる位置および方向で記録されたオブジェクト２
１０およびマット３４の画像を定める画像データと、写
真マット３４のパターンが印刷されている記録物質と同
じ色を有するオブジェクトとともに入力画像を記録した
もので、写真マット３４を配置した表面２００を示す
「背景画像」と、該入力画像を記録したカメラ２３０の
固有パラメータ、すなわちアスペクト比、焦点距離、主
点（光軸が画像形成面を横切る点）、一次半径後方歪係
数およびスキュー角（画素格子の軸間の角度）を定める
データとを含む。

【００４０】ステップＳ４−６において、アイコン・コ
ントローラ１００はディスプレイ・プロセッサ１１０
に、ステップ４−４において記憶された対象オブジェク
ト２１０の各入力画像に対するそれぞれのアイコンを表
示装置４上に表示させる。図５を参照してより具体的に
説明すると、本実施形態では、各アイコン３１０〜３２
４は、対応する入力画像の解像度縮小バージョン（サム
・ネイル画像）を含むことによって、処理する入力画像
が正しい画像であるかどうか（例えば、すべての画像が
同じ対象オブジェクトの画像であること、および異なる
対象オブジェクトの画像が存在しないこと）、ならびに
入力画像が処理に適したものであること（例えば、対象
画像が少なくとも１つの画像内において目に見える状態
であること、および各入力画像においてオブジェクトの
輪郭全体が目に見える状態であること、すなわちオブジ
ェクトの一部が入力画像の側方から突出していないこ
と）をユーザが確認できるようにしている。各サム・ネ
イル画像は、従来の方法で生成される。すなわち、サム
・ネイル画像を生成するためには、対応する入力画像を
（所定数の近隣画素を含む各集合体から１つの画素を抜
き出し、その集合体の中の他の画素がサム・ネイル画像
内に表示されないようにそれらを拒絶するように）部分
抽出するか、または対応する入力画像を処理し、入力画
像内の所定数の近隣画素の値を平均することによってサ
ム・ネイル画像内の各画素に対する値を計算する。

【００４１】再び図４を参照すると、ステップＳ４−８
において、中央制御装置２０は、ユーザが、カーソル３
４２およびマウスのようなユーザ入力装置６を使用し
て、表示装置４上に表示された「画像変更」ボタン３４
０（図５）をポイントおよびクリックすることにより１
つまたは複数の入力画像を変化させることを指示する入
力信号を処理装置２に入力したかどうかを判断する。

【００４２】ステップＳ４−８において、ユーザが１つ
または複数の画像を変化させることを希望していると判
断された場合は、ステップＳ４−１０において、中央制
御装置２０は、ユーザ入力装置６を用いたユーザ指示入
力の制御下で動作し、ユーザ指示に従って画像の削除お
よび／または追加を行う。画像を追加するには、ユーザ
は、入力画像を定める画像データを入力するよう要求さ
れ、ユーザが入力したデータが入力データ記憶装置４０
に記憶される。画像を削除するには、ユーザは、削除す
べき入力画像に対応する表示アイコン３１０〜３２４を
ポイントおよびクリックし、キーボード・ユーザ入力装
置６上の「削除」キーを押す。画像が追加または削除さ
れた後に、アイコン・コントローラ１００は、処理する
入力画像をユーザが確認できるように、表示装置４上の
表示されたサム・ネイル画像３１０〜３２４をディスプ
レイ・プロセッサ１１０に更新させる。

【００４３】ステップＳ４−１２において、中央制御装
置２０は、処理する画像に対してさらなる変更を加える
かどうかを判断する。入力画像に対してさらなる変更が
加えられなくなるまでステップＳ４−１０およびステッ
プＳ４−１２を繰り返す。

【００４４】ステップＳ４−８またはステップＳ４−１
２において、入力画像に変更を加えないものと判断され
る場合は（これは、ユーザが表示装置４に表示された
「処理開始」ボタン３４４をポイントおよびクリックす
ることによって示される）、ステップＳ４−１４の処理
に進む。以下に説明するように、サム・ネイル画像３１
０〜３２４は、その処理を通じて表示されたままである
が、処理の進行に伴い、かつ特定のユーザ入力に応じて
変化する。

【００４５】ステップＳ４−１４において、カメラ計算
器５０は、ステップＳ４−４において記憶され、ステッ
プＳ４−１０において修正された入力データを処理し
て、入力画像毎に、写真マット３４に対する（かつオブ
ジェクト２１０に対する）カメラ２３０の位置および方
向を判断する。この処理は、各入力画像について、写真
マット３４上にパターンを形成する画像内の特徴を検出
し、その特徴パターンと写真マットについての記憶パタ
ーンとを比較して、マットに対するカメラ２３０の位置
および方向を判断する。ステップＳ４−１４においてカ
メラ計算器５０が実行した処理は、写真マット３４に対
して使用された特徴のパターンに依存する。したがっ
て、出願係属中のＰＣＴ特許出願ＧＢ００／０４４６９
（ＷＯ−Ａ−０１／３９１２４）、特開平９−１７０９
１４、イメージ・アンド・ビジョン・コンピューティン
グ１７（１９９９年）の１２５から１３４ページに掲載
された「モバイル・カメラを用いた三次元オブジェクト
の自動復元」（Ｎｉｅｍ）、およびコンピュータ・グラ
フィックス・プロシーディングス、年次会議シリーズ、
１９９６年、ＡＣＭ−０−８９７９１−７６４−４／９
６／００８（Ｇｏｒｔｌｅｒ他）に掲載された「ザ・ル
ミグラフ」に好適な処理が記載されている。

【００４６】ステップＳ４−１６において、画像データ
・セグメンタ６０は各入力画像を処理して、写真マット
３４、および写真マット３４が配置される表面２００を
表す画像データから、オブジェクト２１０を表す画像デ
ータを分離する（以下により詳細に説明するが、ステッ
プＳ４−１６は、続くオブジェクト２１０の表面の三次
元コンピュータ・モデルの生成に使用するデータを生成
する、本実施形態における予備的なステップである）。

【００４７】図６は、ステップＳ４−１６において画像
データ・セグメンタ６０により実行された処理操作を示
す図である。

【００４８】図６に示すとおり、ステップＳ６−２から
Ｓ６−１０において、画像データ・セグメンタ６０は、
オブジェクト２１０そのものではなく、写真マット３４
および背景２００を表す入力画像における色を示す定量
値のハッシュ・テーブルを構築する。

【００４９】より具体的には、ステップＳ６−２におい
て、画像データ・セグメンタ６０は、図４のステップＳ
４−４において記憶された「背景画像」（すなわち、処
理装置２に最後に入力される画像であって、表面２００
およびオブジェクトを示し、写真マット３４が印刷され
る材料と同じ色を有する画像）における次の画素のＲＢ
Ｇデータ値を読み取る。

【００５０】ステップＳ６−４において、画像データ・
セグメンタ６０は、以下の式に従って、画素に対する定
量赤色（Ｒ）値、定量緑色（Ｇ）値および定量青色
（Ｂ）値を計算する。

【００５１】ｑ＝（ｐ＋ｔ／２）／ｔ・・・（１） ただし、「ｑ」は定量値、「ｐ」は、ステップＳ６−２
において読み取られたＲ、ＧまたはＢ値、「ｔ」はしき
い値であり、オブジェクト２１０を示す入力画像からの
ＲＧＢ値が、背景として分類される背景色にどの程度近
いものでなければならないかを決定する。本実施形態で
は、「ｔ」を４に設定する。

【００５２】ステップＳ６−６において、画像データ・
セグメンタ６０は、ステップＳ６−４において計算され
た定量Ｒ、ＧおよびＢ値を従来の方法によって「三重値
（triple value）」に統合する。

【００５３】ステップＳ６−８において、画像データ・
セグメンタ６０は、ステップＳ６−４において計算され
た定量Ｒ、ＧおよびＢ値にハッシング関数（hashing f
unction）を適用してハッシュ・テーブル内のビン（ｂ
ｉｎ）を定め、この定められたビンにステップＳ６−６
において定めた「三重」値を加える。より具体的には、
本実施形態において、画像データ・セグメンタ６０は、
ハッシュ・テーブル内のビンを定めるのに、定量Ｒ、Ｇ
およびＢ値に以下のハッシング関数を適用する。

【００５４】 ｈ（ｑ）＝（ｑｒｅｄ＆７）＊２＾６＋（ｑｇｒｅｅｎ＆７）＊２＾３＋（ｑ ｂｌｕｅ＆７）・・・（２） すなわち、ハッシュ・テーブル内のビンは、各色の３つ
の最小桁ビットによって定められる。この関数は各ビン
が少数の「三重」値のみを有するように、試行しながら
データをハッシュ・テーブル内の利用可能なビンに分配
するように選択される。本実施形態では、ステップＳ６
−８において、各「三重」値がハッシュ・テーブルに一
度だけ加えられるように、「三重」値がビン内に存在し
ない場合にのみ、「三重」値をビンに加える。

【００５５】ステップＳ６−１０において、画像データ
・セグメンタ６０は、背景画像内に他の画素が存在する
かどうかを判断する。「背景」画像内の各画素が上述の
方法で処理されるまで、ステップＳ６−２からステップ
Ｓ６−１０を繰り返す。この処理の結果として、「背
景」画像における色を表す値を含むハッシュ・テーブル
が生成される。

【００５６】ステップＳ６−１２からＳ６−４８におい
て、画像データ・セグメンタ６０は、次に各入力画像を
考慮し、ハッシュ・テーブルを使用して、写真マット３
４および背景に関連する入力画像内のデータを、オブジ
ェクト２１０に関連する入力画像内のデータから分離す
る。入力画像に対してこの分割処理が行われている間
に、ユーザが（対応するアイコンを見ることによって）
個々の入力画像に対する処理の進捗状況を監視し、また
（既に分割が行われた画像の数と、まだ分割が行われて
いない画像の数を確認することによって）包括的な処理
の進捗状況を監視できるように、表示装置４上に表示さ
れた対応するアイコン３１０〜３２４が変化する。

【００５７】本実施形態では、ハッシュ・テーブルを生
成するためにステップＳ６−２からＳ６−１０において
処理された「背景」画像は、写真マット３４上の特徴パ
ターンを示さない。したがって、ステップＳ６−１２か
らＳ６−４８において行われた分割は、オブジェクト２
１０に関連する画素データとマット３４上の特徴パター
ンに関連する画素データとを区別するものではない。そ
の代わり、本実施形態では、以下により詳細に説明する
が、オブジェクト２１０の表面の三次元コンピュータ・
モデルを生成するためにサーフェイス・モデラ８０によ
って実行された処理を、写真マット３４上の特徴パター
ンに関連する画素がサーフェイス・モデルに寄与しない
ように行う。

【００５８】ステップＳ６−１２において、画像データ
・セグメンタ６０は次の入力画像の処理に移り、ステッ
プＳ６−１４において、入力画像内の次の画素に対する
Ｒ、ＧおよびＢ値を読み取る（この画素を第１の画素と
して、第１のタイム・ステップＳ−１４を実行する）。

【００５９】ステップＳ６−１６において、画像データ
・セグメンタ６０は、上記の式（１）を用いて、画素に
対する定量Ｒ値、定量Ｇ値および定量Ｂ値を計算する。

【００６０】ステップＳ６−１８において、画像データ
・セグメンタ６０は、ステップＳ６−１６において計算
された定量Ｒ、ＧおよびＢ値を「三重値」に統合する。

【００６１】ステップＳ６−２０において、画像データ
・セグメンタ６０は、上記の式（２）によるハッシング
関数を、ステップＳ６−１６において計算された定量値
に適用して、ステップ６−２からステップ６−１０にお
いて生成されたハッシュ・テーブル内のビンを定める。

【００６２】ステップＳ６−２２において、画像データ
・セグメンタ６０は、ステップＳ６−２０において定め
られたハッシュ・テーブルビン内の「三重」値を読み取
り、これらの「三重」値は、写真マット３４の材料およ
び背景表面２００の色を表す。

【００６３】ステップＳ６−２４において、画像データ
・セグメンタ６０は、ステップＳ６−１８において生成
された「三重」値であって、現在考慮されている入力画
像内の画素の三重値が、ハッシュ・テーブル・ビン内の
背景「三重」値のいずれかと同じであるかどうかを判断
する。

【００６４】ステップＳ６−２４において、画素の該
「三重」値が１つの背景「三重」値と同じであると判断
された場合は、ステップＳ６−２６において、該画素は
背景画素であると判断され、該画素の値を「黒色」に設
定する。

【００６５】一方、ステップＳ６−２４において、該画
素の「三重」値が背景のいずれの「三重」値とも同じで
ないと判断された場合は、ステップＳ６−２８におい
て、該画素はオブジェクト２１０の一部であり、画像デ
ータ・セグメンタ６０は該画素の値を「白色」に設定す
る。

【００６６】ステップＳ６−３０において、画像データ
・セグメンタ６０は、入力画像内に他の画素が存在する
かどうかを判断する。入力画像内の各画素が上述の方法
で処理されるまで、ステップＳ６−１４からステップＳ
６−３０を繰り返す。

【００６７】ステップＳ６−３２からＳ６−４６におい
て、画像データ・セグメンタ６０は、背景画素またはオ
ブジェクト画素としての画像画素の分類におけるエラー
を補正するとともに、対応するサム・ネイル画像を更新
して、分割処理の現在の状態を示すための処理を実行す
る。

【００６８】より具体的には、ステップＳ６−３２にお
いて、画像データ・セグメンタ６０は、メディアン・フ
ィルタとして使用する円形マークを定める。本実施形態
において、外円形マークは４画素分の半径を有する。

【００６９】ステップＳ６−３４において、画像データ
・セグメンタ６０は、ステップＳ６−２６およびＳ６−
２８において生成された２値画像内の次の画素（この画
素を第１の画素として、一巡目のステップＳ６−３４が
実行される）の中央に、Ｓ６−３２において定められた
マスクの中心を配置するための処理を行う。

【００７０】ステップＳ６−３６において、画像データ
・セグメンタ６０は、マスク内の黒色画素の数と白色画
素の数をカウントする。

【００７１】ステップＳ６−３８において、画像データ
・セグメンタ６０は、マスク内の白色画素の数が、マス
ク内の黒色画素の数より多いか、またはそれと同じであ
るかどうかを判断する。

【００７２】ステップＳ６−３８において、白色画素の
数が黒色画素の数より多いか、またはそれと同じである
と判断された場合は、ステップＳ６−４０において、画
像データ・セグメンタ６０は、マスクの中央の画素の値
を白色に設定する。一方、ステップＳ６−３８におい
て、黒色画素の数が白色画素の数より多いと判断された
場合は、ステップＳ６−４２において、画像データ・セ
グメンタ６０は、マスクの中央の画素の値を黒色に設定
する。

【００７３】ステップＳ６−４４において、アイコン・
コントローラ１００は、現在分割処理が行われている入
力画像に対する表示装置４上に表示されたアイコンをデ
ィスプレイ・プロセッサ１１０に更新させる。図７を参
照してより具体的に説明すると、本実施形態では、ステ
ップＳ６−３４からステップＳ６−４２で画素に対して
既に行われた分割処理の結果を考慮して、分割が行われ
ている画像に対応するアイコン（図７の例ではアイコン
３１０）をアイコン・コントローラ１００によって変化
させる。したがって、アイコン３１０は、入力画像内の
各画素が処理されるのに伴って徐々に更新される。本実
施形態では、アイコン・コントローラ１００は、背景を
表すものと判断される入力画像における画像データが、
サム・ネイル画像における所定の色、例えば青（図７の
例ではシェーディングによって表されている）として示
されるように、ディスプレイ・プロセッサ１１０により
サム・ネイル画像を変化させる。図７では、第１の入力
画像の約５分の４が既に処理され、入力画像の最下部
（図７ではアイコン３１０の非陰影部によって表され
る）がまだ処理されていない状態についてのアイコンが
示されている。

【００７４】このようにしてアイコンが変更された結果
として、ユーザは、入力画像の既に処理された部分を確
認するとともに、まだ処理されていない包括的な入力画
像をも確認することが可能になるばかりでなく、分割処
理の結果を確認することができ、したがって何らかの修
正が必要であるかどうかを判断することができるように
なる。

【００７５】再び図６を参照すると、ステップＳ６−４
６において、画像データ・セグメンタ６０は、２値画像
内に他の画素が存在するかどうかを判断し、各画素が上
述の方法で処理されるまで、ステップＳ６−３４からス
テップＳ６−４６が繰り返される。

【００７６】ステップＳ６−４８において、画像データ
・セグメンタ６０は、処理すべき他の画像が存在するか
どうかを判断する。各入力画素が上述の方法で処理され
るまで、ステップＳ６−１２からステップＳ６−４８が
繰り返す。

【００７７】再び図４を参照すると、ステップＳ４−１
８において、中央制御装置２０は、ステップＳ４−１６
において生成された画像区分の修正をユーザが希望して
いることを示す信号（この信号は、本実施形態におい
て、修正することが望まれる区分に対応するアイコン３
１０〜３２４をポイントおよびクリックすることによっ
て、ユーザにより生成されている）を、ユーザ入力装置
６を介してユーザから受信したかどうかを判断する。

【００７８】ステップＳ４−１８において、画像区分を
変化させるものと判断した場合は、ステップＳ４−２０
において、画像分割エディタ７０は、ユーザ入力指示に
従って、ステップＳ４−１８においてユーザが選択した
区分を修正する。

【００７９】図８は、ステップＳ４−２０における画像
区分についての対話型式で修正する際に画像分割エディ
タ７０によって実行される処理操作を示す図である。

【００８０】図８を参照すると、ステップＳ８−２にお
いて、画像分割エディタ７０は、ステップＳ４−１８に
おいてユーザが（対応するアイコンをポイントおよびク
リックすることによって）選択した画像区分を表示装置
４上にディスプレイ・プロセッサ１１０によって表示さ
せて編集を行う。図９を参照してより具体的に説明する
と、本実施形態では、ステップＳ４−１８においてユー
ザが選択した画像区分をアイコン画像内よりも大きい形
でウィンドウ４００内に表示させる。本実施形態では、
ウィンドウ４００内に表示された画像区分は、当該区分
を生成するために処理された入力画像と同じ数の画素を
有する。さらに、ユーザが選択したアイコン（図９の例
ではアイコン３１８）の境界を強調表示するか、あるい
は他のアイコンと区別して、これは編集用に拡大された
形で表示された区分であることを示す。

【００８１】ステップＳ８−２において、画像分割エデ
ィタ７０は、ウィンドウ４００内の表示画像区分上に、
ユーザにより移動可能なウィンドウ４０２をディスプレ
イ・プロセッサ１１０に表示させる。さらに、画像分割
エディタ７０は、ステップＳ４−１６においてオブジェ
クト２１０または写真マット３４上の特徴パターンに属
するものと画像データ・セグメンタ６０によって判断さ
れた画素、ならびに背景画素に属するものと判断された
画素をユーザが確認できるように、ウィンドウ４０２に
含まれる画像区分の部分が拡大された形で表示されるさ
らなるウィンドウ４１０をディスプレイ・プロセッサ１
１０に表示させる。

【００８２】ステップＳ８−４において、画像分割エデ
ィタ７０は、ユーザ指示に従って、ウィンドウ４１０内
に表示された画素を、背景画素からオブジェクト画素
（すなわち、オブジェクト２１０または写真マット３４
上の特徴パターンを表す画素）に変化させ、かつ／また
はオブジェクト画素を背景画素に変化させる。より具体
的には、編集のために、画像分割エディタ７０は、ユー
ザがウィンドウ４１０において変更すべき画素を指定す
るためにマウスのようなユーザ入力装置６を使用して動
かすことのできる、本実施形態ではブラシの形をしたポ
インタ４１２をディスプレイ・プロセッサ１１０に表示
させる。本実施形態では、ユーザがポインタ４１２でタ
ッチする各画素は、それが以前は背景画素であればオブ
ジェクト画素に変化し、あるいは以前はオブジェクト画
素であれば背景画素に変化する。本実施形態では、分割
エディタ７０は、選択することによって（より多くの画
素を同時に指定できることによってウィンドウ４１０内
の広いエリアを迅速に変化させることができるように）
ポインタ４１２が広くなるユーザ選択可能ボタン４１
４、および選択することによってポインタ４１２が狭く
なる、ユーザ選択可能ボタン４１６をディスプレイ・プ
ロセッサ１１０に表示させる。

【００８３】このように処理を実行することにより、ユ
ーザは、例えば画像データ・セグメンタ６０により生成
された区分を編集し、画像データ・セグメンタ６０によ
ってオブジェクト２１０に関連するものと誤って判断さ
れたあらゆる画素（例えば、対象オブジェクト２１０に
おける色と同じ色を有する場合は、画像データ・セグメ
ンタ６０によって対象オブジェクト２１０に関連する画
像データと区別されることのない、表面２００上のマー
ク２２０に関連する画素データ）を背景画素として指定
し、かつ／または補正されなければ、サーフェイス・モ
デラ８０によって続いて生成される対象オブジェクトの
三次元コンピュータ・モデル内にエラーを生じてしま
う、（図９の例に示すような）画像区分内の対象オブジ
ェクト２１０の輪郭に触れる写真マット３４上の各特徴
パターンに関連する画素を背景画素として指定すること
ができる。同様に、ユーザは、画像データ・セグメンタ
６０によって対象オブジェクト２１０に関連するものと
誤って判断された写真マット３４および／または表面２
００上の陰に関連する画素を背景画素として指定するこ
とができる。

【００８４】ステップＳ８−６において、ユーザが、
（異なるアイコン３１０〜３２４をポイントおよびクリ
ックするか、または「処理の開始」ボタン３４４をポイ
ントおよびクリックすることによって）現在表示されて
いる区分の編集を終えた後に、アイコン・コントローラ
１００は、ステップＳ８−４においてユーザが行った画
像区分に対する変更を示すために、ステップＳ８−４に
おいてユーザにより編集された区分に対応する表示アイ
コン（図９の例ではアイコン３１８）をディスプレイ・
プロセッサ１１０により変化させる。

【００８５】再び図４を参照すると、ステップＳ４−２
２において、画像分割エディタ７０は、ユーザが画像区
分に対してさらなる変更を加えることを希望しているか
どうか、すなわちユーザがさらなるアイコン３１０〜３
２４をポイントおよびクリックしたかどうかを判断す
る。

【００８６】ステップＳ４−１８またはＳ４−２２にお
いて、画像区分に対してさらなる変更が加えられない
（すなわち、ユーザが「処理の開始」ボタン３４４をポ
イントおよびクリックした）ものと判断されたときは、
処理はステップＳ４−２４に進む。

【００８７】ステップＳ４−２４において、サーフェイ
ス・モデラ８０は、対象オブジェクト２１０の表面の三
次元コンピュータ・モデルを定めるデータを生成するた
めの処理を行う。

【００８８】本実施形態では、ステップＳ４−２４にお
ける処理は、従来の方法で実行され、以下の３つの段階
を含む。

【００８９】（１）ステップＳ４−１４において生成さ
れたカメラの位置および方向、ならびにステップＳ４−
１６およびＳ４−２０における分割画像データを処理し
て、オブジェクトを包含するボクセルの三次元グリッド
を定めるデータを含む、ボクセル・カービング（voxel
carving）を生成する。サーフェイス・モデラ８０
は、従来の方法、例えば「画像シーケンスからの高速八
部木構成」（Ｒ．Ｓｚｅｌｉｓｋｉ、ＣＶＧＩＰ）：
（イメージ・アンダースタンディング、第５８巻、Ｎ
ｏ．１、１９９３年７月、２３〜３２ページ）に記載さ
れているような方法で、この段階についての処理を行
う。しかし、本実施形態では、ボクセル・カーブ処理が
行われる、サーフェイス・モデラ８０によって定められ
る開始ボリュームは、垂直方向の側面と、水平方向の上
面および底面を有する直平行六面体を含む。垂直方向の
側面は、写真マット３４上の特徴パターンのエッジに触
れるように（したがって、全面的に対象オブジェクト２
１０を包含するように）配置される。上面の位置は、カ
メラ２３０の焦点から、ステップＳ４−４において記憶
されたいずれか１つの入力画像の上端を通る線と、写真
マット３４の中心を通る鉛直線とを交差させることによ
って定められる。より具体的には、ステップＳ４−１４
において行われた位置および方向の計算の結果として、
カメラ２３０の焦点および画像の上端が把握され、その
線が写真マット３４の中心を通る鉛直線と交差する点に
対応するように上面の高さを設定することによって、
（対象オブジェクト２１０の最上部が各入力画像内で目
に見える状態にあると仮定すれば）その上面が常に対象
オブジェクト２１０の最上部の上に位置することにな
る。水平方向の底面の位置は、写真マット３４の平面よ
り若干上にくるように設定される。このように底面の位
置を設定することによって、（ステップＳ４−１６また
はステップＳ４−２０において実行された画像分割にお
いて、対象オブジェクトから分離されなかった）写真マ
ット３４上のパターンにおける特徴はボクセル・カービ
ング処理を通じて無視されることになり、対象オブジェ
クト２１０の三次元表面モデルのみが生成されることに
なる。

【００９０】（２）ボクセル・カービングを定めるデー
タを処理して、オブジェクト２１０の表面を定める三角
形の三次元サーフェイス・メッシュを定めるデータを生
成する。本実施形態では、この段階の処理は、例えば
Ｗ．Ｅ．ＬｏｒｅｎｓｅｎおよびＨ．Ｅ．Ｃｌｉｎｅに
よる「マーチング・キューブ：高解像度三次元面構成ア
ルゴリズム」（コンピュータ・グラフィックス、ＳＩＧ
ＧＲＡＰＨ８７会報、２１：１６３−１６９、１９８７
年７月）、またはＪ．Ｂｌｏｏｍｅｎｔｈａｌによる
「暗示的表面ポリゴナイザ」（グラフィックス Ｇｅｍ
ｓＩＶ、ＡＰプロフェッショナル、１９９４年、ＩＳＢ
Ｎ ０１２３３６１５５９、ｐｐ ３２４−３５０）に
記載されているような従来のマーチング・キューブ・ア
ルゴリズムに従ってサーフェイス・モデラ８０が実行す
る。

【００９１】（３）段階２で生成されるサーフェイス・
メッシュにおける三角形の数は、デシメーション処理を
実施することによって著しく削減される。

【００９２】段階３において、サーフェイス・モデラ８
０は、本実施形態における処理を実施し、段階２で生成
された三角形のメッシュから無作為に頂点を取り除くこ
とによってデシメーション処理を行って、各々の頂点が
オブジェクト２１０の表面の形状に寄与しているか否か
を確認する。その形状に寄与していない頂点は三角網か
ら除去されるため、最終モデル内の頂点が減少する（し
たがって、三角形が減少する）。除去および検査する頂
点の選択は、隣接する頂点を連続的に除去することによ
って表面のより大きな部分を浸食する効果を防ぐため
に、任意の順序で行われる。本実施形態においてサーフ
ェイス・モデラ８０によって実行されるデシメーション
・アルゴリズムを、疑似コードで以下に記載する。 入力 頂点を読み込む。 三角形を形成する三組の頂点ＩＤを読み込む。 処理 ＮＶＥＲＴＥＸを数回繰り返す。これまでに選択されて
いない任意の頂点Ｖを選択する。頂点としてＶを有する
すべての三角形の集合Ｓを配置する。近接する三角形が
互いに隣り合うようにＳを配列する。Ｖを無視して三角
形の集合を再構成する（すなわち、選択された三角形＆
Ｖ を取り除き、次いで穴を埋める）。Ｖと各三角形の
平面の間の最大距離を求める。（距離＜しきい値）の場
合は、Ｖを破棄して、新たな三角網を維持する。そうで
ない場合は、Ｖを維持して、旧い三角網に戻る。 出力 維持された頂点のリストを出力する。更新された三角形
のリストを出力する。

【００９３】写真マット３４上の特徴パターンの絶対位
置が把握されているため（あらかじめ記憶された位置を
定めるデータに従って特徴パターンが印刷されているた
め）、ステップＳ４−２４において、オブジェクト２１
０の表面の三次元モデルが正しいスケールで生成され
る。

【００９４】ステップＳ４−２６において、サーフェイ
ス・テクスチャラ９０は、ステップＳ４−２４において
サーフェイス・モデラ８０により生成されたサーフェイ
ス・モデル内の表面三角形毎にテクスチャ・データを生
成する。

【００９５】より具体的には、本実施形態において、サ
ーフェイス・テクスチャラ９０は、従来の方法で処理を
行い、ステップＳ４−２４において生成されたサーフェ
イス・メッシュ内の各三角形を選択するとともに、選択
された三角形と最前で直面する入力画像「ｉ」を見いだ
す。すなわち、値ｎ_t＾．ｖ_i＾が最も大きい入力画像を
見いだす（ただし、ｎ_t＾は三角形の法線で、ｖ_i＾は
「ｉ」番目の画像に対する表示方向である）。これによ
って、選択された表面三角形が最大の投射領域を有する
入力画像が識別される。（上記ｎ_t＾．ｖ_i＾は 上記ｎ_t＾は、 上記ｖ_i＾は、 をそれぞれ表す）次いで、選択された表面三角形を、識
別された入力画像内に投射し、投射した三角形の頂点を
テクスチャ座標として利用して、画像テクスチャ・マッ
プを定める。

【００９６】上述の処理を実行した結果が、モデル上に
描写される画像データを定めるテクスチャ座標を備え
た、オブジェクト２１０の表面のＶＲＭＬモデル（また
は類似形式のモデル）である。

【００９７】ステップＳ４−２８において、中央制御装
置２０は、オブジェクト２１０の三次元コンピュータ・
モデルを定めるデータを、例えばディスク１２２のよう
な記憶装置に記憶されたデータ、または信号１２４とし
て、出力データ記憶装置１２０から出力する（図１）。
さらに、あるいはその代わりに、中央制御装置２０は、
テクスチャ・データが描かれたオブジェクト２１０の三
次元コンピュータ・モデルの画像を、例えばユーザ入力
装置６を使用してユーザが入力した観点に従って、表示
プロセッサ１１０に表示させる。あるいは、ステップＳ
４−１４において生成された入力画像毎にカメラ２３０
の位置および方向を定めるデータ、ならびにステップＳ
４−１６およびステップＳ４−２０において生成された
各入力画像の区分を定めるデータを、例えばディスク１
２２のような記憶装置に記録されたデータ、または信号
１２４として出力することができる。次いで、ステップ
Ｓ４−２４およびステップＳ４−２６を実行するようプ
ログラミングされた個別的な処理装置にこのデータを入
力することができる。

【００９８】上述の実施形態において、処理する入力画
像毎にアイコン３１０〜３２４を生成および表示し、次
にステップＳ４−１６における対応する画像に対する分
割処理が完了すると各アイコンを変化させて、処理の結
果を示す。このように、ユーザは処理する画像を確認し
（また、処理の開始に先立って変更を行い）、処理の進
行に伴って分割処理が完了した画像の数を確認し、さら
に各々の画像に対する分割処理の結果を確認する（ま
た、変更を行う）ことが可能である。

【００９９】しかし、以下に説明する第２の実施形態か
ら明らかなように、分割処理以外の処理操作に従って、
各入力画像に対するアイコンを生成および表示し、それ
を変化させることが可能である。

【０１００】第２の実施形態 次に本発明の第２の実施形態について説明する。第２の
実施形態の構成要素およびそれによって実行される処理
操作は、対象オブジェクト２１０が較正オブジェクト上
に画像化されず（よって、第２の実施形態では、マット
・ジェネレータ３０、プリンタ８および表示パネル１０
は必要とされない）、図４のステップＳ４−１４におい
てカメラ計算器５０およびアイコン・コントローラ１０
０によって実行される処理操作が異なる点を除いては、
第１の実施形態と同じである。これらの相違点を以下に
説明する。

【０１０１】第２の実施形態では、対象オブジェクト２
１０を写真マット３４上に配置する代わりに、各々がそ
れぞれ異なる色を有する複数のマーカを、実質的に均一
に分散するように対象オブジェクト２１０上に付着させ
る。次いで、第１の実施形態と同様に、対象オブジェク
ト２１０をカメラ２３０に対して移動させることによっ
て、異なる位置および方向で入力画像を記録する。

【０１０２】図１０は、第２の実施形態における処理装
置２に入力された画像５００、５０２、５０４および５
０６の例を示す図である（図１０において、有色マーカ
が円で示されている）。

【０１０３】第２の実施形態では、第１の実施形態と同
様に、オブジェクト２１０の画像の記録および入力に続
いて、さらなる「背景」画像を記録および入力する。し
かし、第２の実施形態では、背景画像は単なる表面２０
０の画像である。

【０１０４】第２の実施形態のステップＳ４−６におい
て、第１の実施形態と同様に、アイコン・コントローラ
１００はディスプレイ・プロセッサ１１０に、各入力画
像をサム・ネイル形式で表示装置４上に表示させる。し
たがって、図１１を参照すると、処理が行われる入力画
像をユーザが確認できるように、各々が入力画像のサイ
ズ縮小バージョンを含むアイコン５２０から５３４が表
示される。このように、必要ならばステップＳ４−１０
において、不正確な対象オブジェクト２１０に関連する
入力画像、または対象オブジェクト２１０の全体が見え
ない入力画像（例えば、図１１のアイコン５２８によっ
て表される入力画像）をユーザが削除し、かつ／または
さらなる入力画像を追加することが可能である。以下に
説明するように、第１の実施形態と同様に、処理する画
像に対するアイコンは、後続の処理を通じて表示された
ままであるが、処理の進行に伴って、また特定のユーザ
入力に応じて変更される。

【０１０５】第２の実施形態のステップＳ４−１４にお
いて、カメラ計算器５０は、各入力画像に対して処理を
行って、入力画像内で目に見える対象オブジェクト２１
０に付された各有色マーカの位置を検出し、その検出さ
れた有色マーカを入力画像間でマッチさせることによっ
て各入力画像の位置および方向を計算する。特徴を検出
してマッチさせ、確定した組み合わせに従って画像化位
置および方向を計算する処理を、例えば欧州特許公開第
０８０９２４５号（ＥＰ−Ａ−０８９８２４５）に記載
されているような従来の方法で実行する。

【０１０６】ステップＳ４−１４においてカメラ計算器
５０によって実行される処理を通じて、アイコン・コン
トローラ１００は、内部の有色マーカを検出してマッチ
させるための処理が既に行われた画像と、まだそのよう
に処理されていない画像をユーザに示すようにして、表
示装置４上に表示されたアイコン５２０から５３４をデ
ィスプレイ・プロセッサ１１０により変化させる。より
具体的には、図１２を参照すると、本実施形態におい
て、アイコン・コントローラ１００は、特徴を検出して
マッチさせるための処理が既に行われた画像に対するア
イコンを、そのアイコンの境界が変化するように、ディ
スプレイ・コントローラ１１０により変化させるととも
に、ユーザに対して処理の結果を表示させる。したがっ
て、図１２の例では、第１の３つの入力画像を処理し
て、その内部の特徴を検出してマッチさせ、それに応じ
て対応するアイコン５２０、５２２および５２４を更新
して処理の結果を示した、すなわち、カメラ計算器５０
によって検出された各有色マーカの位置をばつ印で表
し、カメラ計算器５０によって判断された検出済みの特
徴を対応する数字で示して、各入力画像内の同じ特徴を
表している（各画像内における同じ特徴は同じ照合番号
で表されている）。したがって、内部の有色マーカを検
出し、その検出されたマーカと先の入力画像における検
出済みのマーカとをマッチさせる処理を実行した後で、
入力画像に対するアイコンを変化させる。

【０１０７】図１３を参照すると、カメラ計算器５０
が、内部の有色マーカを検出してマッチさせるために各
入力画像を処理した後で、ユーザはアイコン５２０〜５
３４のいずれかを選択して、特徴検出およびマッチング
処理の結果を修正することが可能になる。

【０１０８】より具体的には、図１３の例において、ユ
ーザが（従来の方法でアイコンをポイントおよびクリッ
クすることによって）アイコン５２４を選択し、したが
ってアイコン・コントローラ１００は、ディスプレイ・
プロセッサ１１０にアイコン５２４の境界を強調表示さ
せて、それを他のアイコンから区別する。

【０１０９】アイコンの１つを選択した結果として、ア
イコン・コントローラ１００は、対応する入力画像に対
する特徴検出およびマッチング処理の結果をウィンドウ
５５０内に拡大した形でディスプレイ・プロセッサ１１
０により表示させる。さらに、アイコン・コントローラ
１００は、対象オブジェクト２１０の画像の様々に異な
る部分を包含する、ウィンドウ５５０内でユーザが移動
させることのできるウィンドウ５５２と、ウィンドウ５
５２内に包含された画像データを含むさらなるウィンド
ウ５６０とを拡大した形でディスプレイ・プロセッサ１
１０に表示させる。次いで、カメラ計算器５０は、ウィ
ンドウ５６０内に表示された特徴検出およびマッチング
処理の結果を修正するユーザ入力指示に応答して動作可
能となる。例として、ユーザは、有色マーカについて表
示されたばつ印の位置（カメラ計算器５０が検出した有
色マーカの位置を示す）が不正確な場合はそれを変更
し、特徴が不正確にマッチングされた場合は、カメラ計
算器５０によって有色マーカに付与された数字を変更
し、かつ／または図１３の例に示すように、有色マーカ
の中央をポイントおよびクリックし、特徴に対して数字
を付与し、他の画像においてマッチさせる特徴を示すこ
とにより、カメラ計算器５０によって検出されなかった
有色マーカにばつ印を付与する。

【０１１０】その結果、ユーザは特徴検出およびマッチ
ング結果を、カメラ計算器５０が該結果を処理して入力
画像の位置および方向を計算する前に補正することがで
きる。

【０１１１】後続の処理を通じて、カメラ計算器５０が
入力画像の位置および方向を計算する処理を実行するの
に伴って、アイコン・コントローラ１００は、位置およ
び方向が計算された画像に対応するアイコンを、位置お
よび方向がまだ計算されていない画像に対するアイコン
と区別するようにして、ディスプレイ・プロセッサ１１
０により変化させる。このように、ユーザは、カメラ計
算器５０による位置および方向の計算の進捗状況を見る
ことができる。

【０１１２】その他の実施形態 請求項の範囲内で、上記の実施形態に多くの修正を加え
ることができる。

【０１１３】例えば、上述の実施形態において、入力画
像を表す各アイコン３１０〜３２４、５２０〜５３４
は、入力画像それ自体の画素縮小バージョン（サム・ネ
イル画像）である。しかし、各アイコンは、入力画像内
の画素の数、およびディスプレイ装置４のディスプレイ
上に表示可能な画素の数に応じて、入力画像からのすべ
ての画素を含むことができる。

【０１１４】上述の実施形態では、ステップＳ４−４に
おいて、カメラ２３０の固有パラメータを定める、ユー
ザにより入力されたデータが記憶される。しかし、その
代わりに、該カメラパラメータの一部またはすべてに対
してデフォルト値を想定することができ、あるいは、例
えばＨａｒｔｌｅｙによる「未校正の視点によるユーク
リッド復元」（コンピュータ・ビジョンにおける不変性
の応用、編集：Ｍｕｎｄｙ、Ｚｉｓｓｅｒｍａｎおよび
Ｆｏｒｓｙｔｈ ｅｄｓ、ｐｐ ２３７−２５６、Ａｚ
ｏｒｅｓ １９９３年）に記載されているような従来の
方法で固有パラメータ値を計算する処理を行うことがで
きる。

【０１１５】上述の実施形態では、図６を参照しながら
上述したように、対象オブジェクト２１０に関連する入
力画像からの画像データを、背景に関連する画像データ
から分離する。しかし、その代わりに、従来の他の分割
方法を用いることもできる。例えば、写真マット３４お
よび背景（または第二の実施形態では単に背景）の色を
表す単一のＲＧＢ値を記憶し、入力画像内の各画素を処
理して、ＲＧＢ背景値とＲＧＢ画素値の間のＲＧＢ空間
におけるユークリッド距離が特定のしきい値より小さい
かどうかを判断する分割方法を用いることができる。

【０１１６】上述の実施形態では、ステップＳ６−４４
において、アイコン・コントローラ１００は、対応する
入力画像内の各画素が画像データ・セグメンタ６０によ
って処理されるのに伴って、サム・ネイル画像を更新す
る。すなわち、ステップＳ６−４４は、ステップＳ６−
３４からＳ６−４６を含むループの一部として実行され
る。しかし、その代わりに、アイコン・コントローラ１
００は、入力画像内のすべての画素が処理された後に、
サム・ネイル画像を更新するようにしてもよい。すなわ
ち、ステップＳ６−４６の後で、ステップＳ６−４４を
実行することができる。このように、入力画像内のすべ
ての画素についてステップＳ６−３４からステップＳ６
−４２が実行されたときに、各サム・ネイル画像を更新
するだけで、分割処理の結果を示すことになる。

【０１１７】上述の実施形態では、ステップＳ８−４に
おいてユーザが入力画像に対する区分を編集し終えた後
に、ステップＳ８−６を実行してサム・ネイル画像を更
新する。しかし、その代わりに、各サム・ネイル画像が
区分編集の結果をリアルタイムで表示するように、入力
画像区分を編集しながらステップＳ８−６を実行するこ
ともできる。

【０１１８】上述の実施形態では、各入力画像を表すア
イコンは入力画像自体の画素縮小バージョンであり、処
理の進行に伴って各アイコンを変化させて、アイコンに
対応する特定の入力画像に対する画像処理操作の結果を
示す。しかし、各アイコンは完全に概略化され、外見上
は入力画像と無関係なものであってもよい。例えば、各
アイコンは単一色の単純な幾何学形状のものであっても
よく、入力画像に対する問題の処理操作が終了したこと
を示すために色を変化させることもできる（または、目
に見える他の様式でアイコンを変化させることもでき
る）。

【０１１９】上述の実施形態では、入力画像に対する特
定の処理操作（分割処理ならびに特徴検出およびマッチ
ング処理）を実行した結果を、対応するアイコンを選択
することによって編集することが可能である。しかし、
結果を編集する機能を提供する必要はなく、あるいは対
応するアイコンを選択するという方法以外の方法で（例
えば、入力画像に対応する数字をタイプすることによっ
て）結果を選択して編集を行うことが可能である。

【０１２０】上述の実施形態では、ステップＳ４−２４
において、サーフェイス・モデラ８０は、ボクセル・カ
ービング技術を用いて、対象オブジェクト２１０の表面
の三次元コンピュータ・モデルを定めるデータを生成す
る。しかし、例えば「Ｎフォトグラフは三次元形状につ
いて何を語るか？」と題するロチェスター大学コンピュ
ータ・サイエンス技術報告書第６８０号（１９９８年１
月）、または「スペース・カービングによる形状の理
論」と題するロチェスター大学コンピュータ・サイエン
ス技術報告書第６９２号（１９９８年５月）（いずれも
著者はＫｉｒｉａｋｏｓ Ｎ．ＫｕｔｕｌａｋｏｓとＳ
ｔｅｐｈｅｎ Ｍ．Ｓｅｉｔｓである）に記載されてい
るようなボクセル着色法、ならびにＩｌｌｉｎｇｗｏｒ
ｔｈおよびＨｉｌｔｏｎによる「モデル・ワールドの構
築に対する着目：コンピュータ・ビジョンを用いたスタ
ティック・オブジェクトの自動構成」（ＩＥＥ電気通信
工学ジャーナル、１９９８年６月、１０３〜１１３ペー
ジ）に記載されているようなシルエット交差法のような
他の技術を用いてもよい。

【０１２１】上述の実施形態では、画像分割エディタ７
０は、編集ステップＳ８−４において、ユーザがポイン
タ４１２でタッチした各画素が、それまで背景画素であ
ればオブジェクト画素に変化し、それまでオブジェクト
画素であれば背景画素に変化するように処理を行うよう
構成される。しかし、その代わりに、画像分割エディタ
７０は、ユーザがユーザ入力装置６を使用して「背景か
らオブジェクト」画素編集モードを選択し、このモード
が選択されている間は、ユーザがポインタ４１２でタッ
チした各画素が、それまで背景画素であればオブジェク
ト画素に変化するものの、オブジェクト画素は背景画素
に変化することのないように処理を行うよう構成されて
いてもよい。同様に、ユーザは、ユーザがポインタ４１
２でタッチした各画素が、それまでオブジェクト画素で
あれば背景画素に変化するものの、背景画素はオブジェ
クト画素に変化することのない「オブジェクトから背
景」変化モードを選択することもできる。

【０１２２】上述の実施形態では、プログラミング指示
によって定められた処理ルーチンを使用し、コンピュー
タによって処理が行われる。しかし、ハードウェアを使
用して、一部またはすべての処理を行うことも可能であ
る。

【図面の簡単な説明】

【図１】処理装置のコンポーネントが、プログラミング
指示によりプログラミングされたときに、そのように構
成されるものと考えられる概念的・機能的処理ユニット
とともに、本発明の第１の実施形態の構成要素を概略的
に示す図である。

【図２】第１の実施形態において三次元コンピュータ・
モデルが生成されるオブジェクトの画像の記録を示す図
である。

【図３】第１の実施形態において、図１の処理装置に入
力されるオブジェクトの画像を示す図である。

【図４】入力データを処理するために図１の処理装置に
よって実行される処理操作を示す図である。

【図５】図４のステップＳ４−６における「サム・ネイ
ル」（縮小画素）形式の各入力画像の表示を示す図であ
る。

【図６】図４のステップＳ４−１６において実行される
処理操作を示す図である。

【図７】図６のステップＳ６−４４において、サム・ネ
イル画像がどのように変化するかを示す図である。

【図８】図４のステップＳ４−２０において実行される
処理操作を示す図である。

【図９】図８のステップＳ８−２とＳ８−４での処理時
における図１の表示装置上の表示の例を示す図である。

【図１０】第２の実施形態において、図１の処理装置に
入力される、三次元コンピュータ・モデルが生成される
オブジェクトの画像を示す図である。

【図１１】第２の実施形態において、図４のステップＳ
４−６でのサム・ネイル形式の入力画像の表示を示す図
である。

【図１２】図４のステップＳ４−１４において処理が進
行するのに伴って、第２の実施形態において、表示され
たサム・ネイル画像がどのように変化するかを示す図で
ある。

【図１３】図４の第２の実施形態のステップＳ４−１４
において実行される、処理結果の対話型式による編集を
示す図である。

【符号の説明】

２ 処理装置 ４ 表示装置 ６ ユーザ入力装置 ８ プリンタ １０ 表示パネル １２、４２ ディスク １４ 信号 ２０ 中央制御装置 ２４ メモリ ３０ マット・ジェネレータ ３４ 写真マット ４０ 入力データ記憶装置 ５０ カメラ計算器 ６０ 画像データ・セグメンタ ７０ 画像分割エディタ ８０ サーフェイス・モデラ ９０ サーフェイス・テクスチャラ １００ アイコン・コントローラ １１０ ディスプレイ・プロセッサ １２０ 出力データ記憶装置 ２３０ カメラ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１４年１月１５日（２００２．１．１
５）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００３７

【補正方法】変更

【補正内容】

【００３７】図４Ａ、図４Ｂは、本実施形態における入
力データを処理する、処理装置２によって実行される処
理操作を示す図である。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００３８

【補正方法】変更

【補正内容】

【００３８】図４Ａを参照すると、ステップＳ４−２に
おいて、中央制御装置２０は表示プロセッサ１１０に、
処理するデータを入力するようユーザに要求するメッセ
ージを表示装置４上に表示させる。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００４１

【補正方法】変更

【補正内容】

【００４１】再び図４Ａを参照すると、ステップＳ４−
８において、中央コントローラ２０は、ユーザが、カー
ソル３４２およびマウスのような入力装置６を使用し
て、表示装置４上に表示された「画像変更」ボタン３４
０（図５）をポイントおよびクリックすることにより１
つまたは複数の入力画像を変化させることを指示する入
力信号を処理装置２に入力したかどうかを判断する。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００４７

【補正方法】変更

【補正内容】

【００４７】図６Ａ、図６Ｂ、図６Ｃは、ステップＳ４
−１６において画像データ・セグメンタ６０により実行
された処理操作を示す図である。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００４８

【補正方法】変更

【補正内容】

【００４８】図６Ａに示すとおり、ステップＳ６−２か
らＳ６−１０において、画像データ・セグメンタ６０
は、オブジェクト２１０そのものではなく、写真マット
３４および背景２００を表す入力画像における色を示す
定量値のハッシュ・テーブルを構築する。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００４９

【補正方法】変更

【補正内容】

【００４９】より具体的には、ステップＳ６−２におい
て、画像データ・セグメンタ６０は、図４Ａのステップ
Ｓ４−４において記憶された「背景画像」（すなわち、
処理装置２に最後に入力される画像であって、表面２０
０およびオブジェクトを示し、写真マット３４が印刷さ
れる材料と同じ色を有する画像）における次の画素のＲ
ＢＧデータ値を読み取る。

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】００７５

【補正方法】変更

【補正内容】

【００７５】再び図６Ｃを参照すると、ステップＳ６−
４６において、画像データ・セグメンタ６０は、２値画
像内に他の画素が存在するかどうかを判断し、各画素が
上述の方法で処理されるまで、ステップＳ６−３４から
ステップＳ６−４６が繰り返される。

【手続補正８】

【補正対象書類名】明細書

【補正対象項目名】００７７

【補正方法】変更

【補正内容】

【００７７】再び図４Ｂを参照すると、ステップＳ４−
１８において、中央制御装置２０は、ステップＳ４−１
６において生成された画像区分の修正をユーザが希望し
ていることを示す信号（この信号は、本実施形態におい
て、修正することが望まれる区分に対応するアイコン３
１０〜３２４をポイントおよびクリックすることによっ
て、ユーザにより生成されている）を、ユーザ入力装置
６を介してユーザから受信したかどうかを判断する。

【手続補正９】

【補正対象書類名】明細書

【補正対象項目名】００８５

【補正方法】変更

【補正内容】

【００８５】再び図４Ｂを参照すると、ステップＳ４−
２２において、画像分割エディタ７０は、ユーザが画像
区分に対してさらなる変更を加えることを希望している
かどうか、すなわちユーザがさらなるアイコン３１０〜
３２４をポイントおよびクリックしたかどうかを判断す
る。

【手続補正１０】

【補正対象書類名】明細書

【補正対象項目名】０１００

【補正方法】変更

【補正内容】

【０１００】第２の実施形態 次に本発明の第２の実施形態について説明する。第２の
実施形態の構成要素およびそれによって実行される処理
操作は、対象オブジェクト２１０が較正オブジェクト上
に画像化されず（よって、第２の実施形態では、マット
・ジェネレータ３０、プリンタ８および表示パネル１０
は必要とされない）、図４ＡのステップＳ４−１４にお
いてカメラ計算器５０およびアイコン・コントローラ１
００によって実行される処理操作が異なる点を除いて
は、第１の実施形態と同じである。これらの相違点を以
下に説明する。

【手続補正１１】

【補正対象書類名】明細書

【補正対象項目名】０１１５

【補正方法】変更

【補正内容】

【０１１５】上述の実施形態では、図６Ａ乃至Ｃを参照
しながら上述したように、対象オブジェクト２１０に関
連する入力画像からの画像データを、背景に関連する画
像データから分離する。しかし、その代わりに、従来の
他の分割方法を用いることもできる。例えば、写真マッ
ト３４および背景（または第二の実施形態では単に背
景）の色を表す単一のＲＧＢ値を記憶し、入力画像内の
各画素を処理して、ＲＧＢ背景値とＲＧＢ画素値の間の
ＲＧＢ空間におけるユークリッド距離が特定のしきい値
より小さいかどうかを判断する分割方法を用いることが
できる。

【手続補正１２】

【補正対象書類名】明細書

【補正対象項目名】図面の簡単な説明

【補正方法】変更

【補正内容】

【図面の簡単な説明】

【図１】処理装置のコンポーネントが、プログラミング
指示によりプログラミングされたときに、そのように構
成されるものと考えられる概念的・機能的処理ユニット
であり、本発明の実施形態の構成要素を概略的に示す図
である。

【図２】三次元コンピュータモデルが生成されるオブジ
ェクトの画像の記録を示す図である。

【図３】図１の処理装置に入力されるオブジェクトの画
像を示す図である。

【図４Ａ】入力データを処理するために図１の処理装置
によって実行される処理操作を示す図である。

【図４Ｂ】入力データを処理するために図１の処理装置
によって実行される処理操作を示す図である。

【図５】図４ＡのステップＳ４−６における「サムネイ
ル」（縮小画素）形式の各入力画像の表示を示す図であ
る。

【図６Ａ】図４ＢのステップＳ４−１６において実行さ
れる処理操作を示す図である。

【図６Ｂ】図４ＢのステップＳ４−１６において実行さ
れる処理操作を示す図である。

【図６Ｃ】図４ＢのステップＳ４−１６において実行さ
れる処理操作を示す図である。

【図７】図６ＣのステップＳ６−４４において、サムネ
イル画像がどのように変化するかを示す図である。

【図８】図４ＢのステップＳ４−２０において実行され
る処理操作を示す図である。

【図９】図８のステップＳ８−２からＳ８−３での処理
時における図１の表示装置上の表示の例を示す図であ
る。

【図１０】第２の実施形態において、図１の処理装置に
入力される、三次元コンピュータ・モデルが生成される
オブジェクトの画像を示す図である。

【図１１】第２の実施形態において、図４Ａのステップ
Ｓ４−６でのサム・ネイル形式の入力画像の表示を示す
図である。

【図１２】図４ＡのステップＳ４−１４において処理が
進行するのに伴って、第２の実施形態において、表示さ
れたサム・ネイル画像がどのように変化するかを示す図
である。

【図１３】図４Ａの第２の実施形態のステップＳ４−１
４において実行される、処理結果の対話型式による編集
を示す図である。

【符号の説明】 ２ 処理装置 ４ 表示装置 ６ ユーザ入力装置 ８ プリンタ １０ 表示パネル １２、４２ ディスク １４ 信号 ２０ 中央制御装置 ２４ メモリ ３０ マット・ジェネレータ ３４ 写真マット ４０ 入力データ記憶装置 ５０ カメラ計算器 ６０ 画像データ・セグメンタ ７０ 画像分割エディタ ８０ サーフェイス・モデラ ９０ サーフェイス・テクスチャラ １００ アイコン・コントローラ １１０ ディスプレイ・プロセッサ １２０ 出力データ記憶装置 ２３０ カメラ

【手続補正１３】

【補正対象書類名】図面

【補正対象項目名】全図

【補正方法】変更

【補正内容】

【図１】

【図２】

【図３】

【図８】

【図４Ａ】

【図４Ｂ】

【図５】

【図６Ａ】

【図６Ｃ】

【図６Ｂ】

【図７】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

フロントページの続き Ｆターム(参考） 5B042 GA36 GB02 MC19 MC21 NN11 NN14 5B057 CA16 CB16 CD05 CE08 CF10 5C076 AA19 AA21 AA22 5E501 AA01 AC09 AC15 AC32 BA03 CA02 FA04 FA46

Claims (21)

【特許請求の範囲】
1. 【請求項１】 処理する複数の画像を定めるデータを受
   信する工程と、 処理する画像毎に各アイコンを示すための表示用データ
   を生成する工程と、 画像に対する処理を行うとともに、前記処理の進行に伴
   って、変化後のアイコンを示して前記処理の状態を伝え
   るための表示用データを生成する工程とを備えることを
   特徴とする画像処理方法。
2. 【請求項２】 対応する画像の内容の少なくとも一部を
   伝えるように各アイコンを生成することを特徴とする請
   求項１に記載の画像処理方法。
3. 【請求項３】 入力画像を処理して、より画素の少ない
   画像を生成することによって各アイコンを生成すること
   を特徴とする請求項２に記載の画像処理方法。
4. 【請求項４】 前記処理の進行に伴って、対応する画像
   に対する処理が完了した場合にのみ、変化後のアイコン
   を示すための表示用データを生成することを特徴とする
   請求項１乃至３のいずれかに記載の画像処理方法。
5. 【請求項５】 個々の画像に対する処理が進行するのに
   伴って、対応するアイコンを変化させて、前記個々の画
   像に対する前記処理の進捗状況を伝える表示用データを
   生成することを特徴とする請求項１乃至３のいずれかに
   記載の画像処理方法。
6. 【請求項６】 変化後のアイコンを示す表示用データを
   生成する前記工程において、前記変化後のアイコンは、
   対応する画像に対して行われた処理の少なくとも１つの
   結果を示すことを特徴とする請求項１乃至５のいずれか
   に記載の画像処理方法。
7. 【請求項７】 処理する画像に対する各々のアイコンを
   ユーザにより選択可能とすることで画像が処理されるの
   を回避することができることを特徴とする請求項１乃至
   ６のいずれかに記載の画像処理方法。
8. 【請求項８】 画像に対する処理を行う前記工程におい
   て、 選択された少なくとも１つのアイコンを定める信号を受
   信する工程と、 受信信号において定められたアイコンに対応する画像を
   除くすべての画像を処理する工程とを更に備えることを
   特徴とする請求項７に記載の画像処理方法。
9. 【請求項９】 変化後の各アイコンをユーザにより選択
   可能とすることで、対応する画像に対する処理の結果を
   ユーザが編集できるように処理を行うことを特徴とする
   請求項１乃至８のいずれかに記載の画像処理方法。
10. 【請求項１０】 ユーザによって選択された変化後のア
    イコンを定める信号を受信する工程と、 変化後のアイコンに対応する画像に対する前記処理の結
    果を変化後のアイコンより大きい形で示す、ユーザに対
    する表示用画像データを生成する工程と、 処理入力の結果に対する少なくとも１つの変更を定める
    信号を受信する工程と、 受信信号に従って前記処理の結果を定めるデータを修正
    する工程とをさらに備えることを特徴とする請求項９に
    記載の画像処理方法。
11. 【請求項１１】 処理する複数の画像を定めるデータを
    受信する手段と、 処理する画像毎に各アイコンを示すための表示用データ
    を生成するアイコン表示データ生成手段と、 画像に対する処理を行う処理手段と、 前記処理手段による前記処理の進行に伴って、変化後の
    アイコンを示して前記処理の状態を伝えるための表示用
    データを生成するアイコン変更手段とを備えることを特
    徴とする画像処理装置。
12. 【請求項１２】 前記アイコン表示データ生成手段は、
    対応する画像の内容の少なくとも一部を伝えるように各
    アイコンを生成することを特徴とする請求項１１に記載
    の画像処理装置。
13. 【請求項１３】 前記アイコン表示データ生成手段は、
    入力画像を処理して、より画素の少ない画像を生成する
    ことによって各アイコンを生成することを特徴とする請
    求項１２に記載の画像処理装置。
14. 【請求項１４】 前記アイコン変更手段は、対応する画
    像に対する処理が完了した場合にのみ、変化後のアイコ
    ンを示すための表示用データを生成することを特徴とす
    る請求項１１乃至１３のいずれかに記載の画像処理装
    置。
15. 【請求項１５】 前記アイコン変更手段は、個々の画像
    に対する処理が進行する一方で、対応するアイコンを変
    化させて、前記個々の画像に対する前記処理の進捗状況
    を伝えるために表示用データを生成することを特徴とす
    る請求項１１乃至１３のいずれかに記載の画像処理装
    置。
16. 【請求項１６】 前記アイコン変更手段は、変化後の各
    アイコンが、対応する画像に対して行われた処理の少な
    くとも１つの結果を示すように表示用データを生成する
    ことを特徴とする請求項１１乃至１５のいずれかに記載
    の画像処理装置。
17. 【請求項１７】 処理する画像に対する各々のアイコン
    を選択可能とすることで、前記画像が処理されるのを回
    避することができる手段をさらに備えることを特徴とす
    る請求項１１乃至１６のいずれかに記載の画像処理装
    置。
18. 【請求項１８】 変化後の各アイコンを選択可能とする
    ことで、対応する画像に対する処理の結果を編集できる
    ように処理を行う手段をさらに備えることを特徴とする
    請求項１１乃至１７のいずれかに記載の画像処理装置。
19. 【請求項１９】 選択された変化後のアイコンを定める
    信号を受信する手段と、 変化後のアイコンに対応する画像に対する前記処理の結
    果を変化後のアイコンより大きい形で示す表示用画像デ
    ータを生成する手段と、 処理入力の結果に対する少なくとも１つの変更を定める
    信号を受信する手段と、 受信信号に従って前記処理の結果を定めるデータを修正
    する手段とをさらに備えることを特徴とする請求項１８
    に記載の画像処理装置。
20. 【請求項２０】 請求項１乃至１０の少なくともいずれ
    か１項に記載の画像処理方法をプログラマブル処理装置
    により実現させるためのプログラム命令を記憶する記憶
    媒体。
21. 【請求項２１】 請求項１乃至１０の少なくともいずれ
    か１項に記載の画像処理方法をプログラマブル処理装置
    により実行するためのプログラム命令を伝達する信号。