JP2003298837A - 電子画像を作成し操作するための図形入力及び表示システム、表示装置に入力されたソース電子画像を意味のある画像オブジェクトに編成するための方法、及びコンピュータ読取り可能プログラムコードが組み込まれたコンピュータ使用可能媒体を含む製品 - Google Patents

Abstract

(57)【要約】 【課題】 余分の処理を最小限にし、画像内の広範囲の
テキスト及びグラフィックデータの編集を可能にする。 【解決手段】 文書の電子画像を生成し、編集するため
の図形入力及び表示システムは、電子画像の要素を操作
するためのユーザ入力装置と、電子画像を表示手段に入
力するための画像入力装置と、画像編集動作の要求を受
け取り、メモリ構造にアクセスするために接続されるプ
ロセッサと、１次画像オブジェクトを形成するために新
しい画像マテリアルを入力するための、又は既存の画像
マテリアルを選択し、修正するためのユーザ・インタラ
クション・モジュール、可視画像要素を作成し、無制限
のグループ化構造を維持するためのグループ化モジュー
ル、及びグラフィック画像のビューを提示するためのデ
ータ出力モジュールを含むプログラムメモリと、データ
入力データ構造及びデータ出力データ構造を含むデータ
メモリと、から構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は概してグラフィック
画像操作システムに係り、詳細には、文書の電子画像を
生成し、編集するための方法に関する。

【０００２】

【従来の技術及び発明が解決しようとする課題】画像エ
ディタの主要な２つの種類は、構造化グラフィックス、
即ち、ベクトルベースエディタと、ディジタルペイン
ト、即ち、ラスタベースエディタである。構造化グラフ
ィックス・エディタは、直線、曲線、多角形等のグラフ
ィックオブジェクトを編集するのに好適である。写真等
の他のタイプの画像は、ピクセル強度の２次元ラスタに
関してマーキングの全バリエーション及び色調を保存す
る「ペイント」型エディタで編集されることがさらに好
適である。ペイント型画像編集プログラムは、ラスター
書式電子画像の取り込みと編集を支援（サポート）す
る。削除、複写、移動、回転、及び拡大縮小（スケーリ
ング）等の更なる操作のための画像領域を選択するため
の種々の手段が提供される。これらのプログラムは一般
的な写真画像の編集のために設計され、文書のラスタ画
像を編集する更に専門化された機能及び要求事項を付与
する支援の程度において制限されるという問題がある。

【０００３】

【課題を解決するための手段】本発明は、上記課題を解
決するためになされた。本発明の第１の態様は、電子画
像の要素を操作するためのユーザ入力手段と、電子画像
を表示手段に入力するための画像入力手段と、画像編集
動作の要求を受け取り、メモリ構造にアクセスするため
に接続されるプロセッサと、１次画像オブジェクトを形
成するために新しい画像マテリアルを入力するための、
又は既存の画像マテリアルを選択し、修正するためのユ
ーザ・インタラクション・モジュール、可視画像要素を
作成し、無制限のグループ化構造を維持するためのグル
ープ化モジュール、及びグラフィック画像のビューを提
示するためのデータ出力モジュールを含むプログラムメ
モリ手段と、データ入力データ構造及びデータ出力デー
タ構造を含むデータメモリ手段と、を含む、電子画像を
作成し操作するための図形入力及び表示システムであ
る。

【０００４】本発明の第２の態様は、任意の既存画像マ
テリアルを選択し、１次画像オブジェクトを確立し、画
像マテリアルを修正し、無制限のグループ化構造を再構
築すること、を含む、表示装置に入力されたソース電子
画像を意味のある画像オブジェクトに編成するための方
法である。

【０００５】本発明の第３の態様は、コンピュータ読取
り可能プログラムコードが組み込まれたコンピュータ使
用可能媒体を含む製品であって、上記プログラムコード
が上記コンピュータによって実行されると、上記コンピ
ュータにディスプレイ上に入力された電子画像を編集
し、操作するための方法ステップを実行させるととも
に、上記方法ステップは、電子画像を１次画像オブジェ
クトに分解し、上記１次画像オブジェクトがそれぞれ１
つ以上のグループに所属し各グループが１つ以上の１次
画像オブジェクトを含むように、上記１次画像オブジェ
クトを無制限の１次画像オブジェクトのグループに編成
し、新しい１次画像オブジェクトを作成し、１つ以上の
１次画像オブジェクトのユーザ操作に応じて上記１次画
像オブジェクトのグループのすべて又は一部を１次画像
オブジェクトの１つ以上のグループに再編成すること、
を含む。

【０００６】

【発明の実施の形態】文書画像を編集するための方法及
び装置をここに開示する。以下の説明において、本発明
を完全に理解するために、削除及び挿入の各操作を実行
するための文字間隔の計算等の多くの具体的な詳細が示
される。しかしながら、このような具体的な詳細がなく
ても当業者が本発明を実行することは理解できるだろ
う。その他の例において、文書画像から文字を抽出する
ための構文解析（パーシング）技術等の具体的な実施詳
細は不必要に本発明を分かりにくくしないように詳細に
は示されていない。

【０００７】文書画像が走査処理、ビデオソース、画面
スナップショット、ディジタルカメラ、ディジタルイン
ク入力装置、又はその他周知の文書ソースを介して得ら
れた画像のビットマップ方式の表示にすぎないことに留
意すべきである。本発明をビットマップ表示を有する文
書と共に使用することもできる。例えば、画像のビット
マップ表示をビデオソースから入手するためにフレーム
グラバーが使用される。このようなビットマップ表示は
本発明を具体化するシステム上で編集されることができ
る。さらに、走査された文書画像、画像のビットマップ
表示、及びビットマップ画像はここでは置き換え可能に
使用され、同等の意味を有するものと見なされる。

【０００８】以下の説明で理解できるように、本発明は
画像に含まれるテキスト及び線画（ラインアート）を編
集することにおいて特に有利である。ファックス送信さ
れ又はディジタル複写機で複写された文書は一般に、主
としてテキスト及び図形を含む画像を意味する。従来技
術に関して説明されたように、画像に含まれるテキスト
のいずれかを編集するために光学式文字認識（ＯＣＲ）
等の余分の処理、又は画像情報を層状に配置することを
実行しなければならないのはよくあることである。理解
できるように、本発明は余分の処理を最小限にするとと
もに、画像内の広範囲のテキスト及びグラフィックデー
タの編集を可能とするようにテキスト及びグラフィック
画像情報の双方を定義することに対して付加的な柔軟性
を提供する。

【０００９】本発明の使用の実例が図１及び図２に示さ
れている。図１は新聞から電子画像として入手され、コ
メント２５０に加えてフレーム２１０、２２０、２３
０、及び２４０も含む。図２は、フレーム２３０及び２
４０を選択し、これらがフレーム２１０及び２２０の下
側に配置されるように配置を変えることによって本発明
の少数の簡潔な動作で構成される。「頭（head)」とい
う言葉がフレーム２４０において選択され、「鼻（nos
e)」という言葉に置き換えられているが、これは、フレ
ーム２７０において図形内の他の文字を借用し、それら
の文字を複写し、さらに所定位置に移動させることによ
って作成される。同様に、元のフレーム２２０のベッド
ポスト（寝台の支柱）が選択され、フレーム２６０に図
示されるように長さが変えられる。コメント２５０は図
１から削除され、図２のコメント２８０に置き換えられ
る。既存のペイント方式又は構造化グラフィックス方式
の画像編集ツールが文書画像のこの種の編集を支援する
ように設計されていないので、図１から図２を作成する
タスクは、利用可能プログラムを使用して実質的に辛う
じて行なえるにすぎないか、あるいは全く不可能であ
る。

【００１０】ここで使用される用語は画像及び関連構造
を説明し、以下で定義される用語は特許請求の範囲を含
む本明細書の全体を通じて示される意味を有する。

【００１１】「文字(character)」は書込みシステムに
見られる個々の要素を意味する。このように文字はアル
ファベットや数値的な要素のみならず、句読点、発音区
別符、数学及び論理記号、及びその他の要素を含むこと
がある。さらに一般に、文字は英数字要素に加えて、音
声学的要素、表意文字的要素、又は絵文字要素を含むこ
とがある。「文字タイプ」とは、文字「ａ」又は数字
「３」などを例とする、文字のカテゴリーである。

【００１２】「語(word)」は、言語における意味論的単
位として取り扱われる１つ以上の文字の集合である。
「テキスト(text)」は１行以上の文字列の配列であり、
テキストの文字は語を構成する。

【００１３】「画像」は光のパターンである。画像は、
文字、語、及びテキストの他に、図形等のその他の特徴
もまた含むことがある。

【００１４】「データ構造」はデータの相互に関係した
項目の組み合わせである。データの項目は、データ構造
におけるそれらの位置又は他の項目のデータを用いてア
クセス可能とされる場合にデータ構造に「含まれ」、そ
の含まれたデータの項目は別のデータ構造となる。逆に
言えば、データの項目は、削除などによりアクセス不能
にすることによってデータ構造から「除去」されること
ができる。「データのアレイ」、「データアレイ」、又
は「アレイ」は、アレイにマッピングされることができ
るデータの項目を含むデータ構造である。「２次元アレ
イ」は、データの項目が２次元を有するアレイにマッピ
ングされることができるデータアレイである。

【００１５】データ構造は、他のデータ構造のデータを
用いてデータ構造を作成する動作によって別のデータ構
造から「取得する」ことができる。例えば、他のアレイ
の一部と同一である小型のアレイを作成したり、他のア
レイと同一である一部を含む大型のアレイを作成した
り、他のアレイを複写したり、又は他のアレイあるいは
その複写においてデータを修正するなどの動作によっ
て、別のアレイからアレイを「取得する」ことができ
る。

【００１６】「データ単位」は、データ構造内で一単位
としてアクセス可能なデータの項目である。「アレイデ
ータ単位」は、アレイを定義するのに十分なデータを含
むデータ単位であり、例えば、アレイデータ単位は定義
されたアレイそのもの、定義されたアレイの圧縮又は符
号化形式、定義されたアレイに対するポインタ、定義さ
れたアレイが取得可能とされる別のアレイの一部に対す
るポインタ、又は定義されたアレイが取得可能とされる
小型アレイの集合に対するポインタを含むものでもよ
い。

【００１７】データは、画像を作成するための十分な情
報を含む場合に、画像を「定義する」。例えば、２次元
アレイは画像の全部又は何れか一部を定義することがで
き、アレイ内のデータの各項目は、画像の個々の位置の
色を指示する値を付与する。「文字サイズアレイ」は、
単に１つの文字又は文字サイズ要素を定義する２次元ア
レイである。

【００１８】画像の各位置又は単一の画素は「ピクセ
ル」と称される。全体として考えてみると、ピクセルは
画像を形成する。データの各項目が値を付与する画像を
定義するアレイにおいて、一つの位置の色を指示する各
値は「ピクセル値」と称される。各ピクセル値は、画像
の「２進形」のビット、画像の「グレイスケール形式」
のグレイスケール値、又は画像の「色座標形式」の色空
間座標の集合である。２進形、グレイスケール形式、及
び色座標形式はそれぞれ、画像を定義する２次元アレイ
である。さらに、ピクセル値は透明度を表示することが
できる。２値画像において「白」又は背景ピクセルは透
明（ユーザから見えない）として扱われ、事前にディス
プレイに描画された黒のピクセルを見えるようにする。
同様に、グレイスケール画像の１つ以上の値は透明度を
表示するするために確保される。そして、透明度チャネ
ル、即ち「アルファ」チャネルは、「より下にある」ピ
クセルに関してピクセルの明度の透明度又は不透明度を
表示するために色ピクセルと対応付けられたり、あるい
は、前もって表示データ構造に描画されることができ
る。

【００１９】「ビットマップ」は、ピクセルを表示する
データ構造においてディジタルメモリに保存されるビッ
トを参照する。ここで使用されているように、「ビット
マップ」は、カラーピクセル又はグレイスケールピクセ
ル等のそれぞれのピクセルに対し更なる情報を有する
「ピクセルマップ」と同様に、各ピクセルのいずれかが
オン又はオフである場合には白黒のそれぞれのピクセル
を出力するためのデータ構造を参照することができる。
「解像度」は、表示又は印刷された画像のピクセルのサ
イズ、形状、及び分離を参照する。例えば、密に配置さ
れた微小ピクセルの表示されたビットマップは、配置間
隔が広い大きなピクセルを有する表示されたビットマッ
プよりも解像度が大きく、即ち、より精密度が高い。
「表現（レンダー）」は、文字輪郭等の画像記述からビ
ットマップを作成することを参照する。

【００２０】「ビットマップ・オブジェクト」はラスタ
画像であり、可視電子キャンバス上で「ビットマップ・
オブジェクト」の位置付けを指示する（ｘ，ｙ)座標を
加えたものである。「ビットマップ・オブジェクト」に
おけるピクセルは、いずれかのカラー値、又は「透明」
の値を取る。透明度は代替的に、どのピクセルが透明で
あるかを指示する対応付けられるアルファ２値ラスタ画
像によって表示されてもよい。所与のソース画像は、
「ビットマップ・オブジェクト」、又は適切に位置決め
された数個の構成要素「ビットマップ・オブジェクト」
の集合として表示されてもよい。これらの代替的な表示
はユーザには理解できないこともあり、それぞれの位置
で「ビットマップ・オブジェクト」の集合を表示するこ
とによって結果が表示される場合に検査による検出が不
可能であることもある。

【００２１】「ラスタ」は、行及び列を成して配列され
るピクセルのアレイを表示することによって画像を作成
する出力装置上のピクセルの配列を参照する。ラスタ出
力装置は、レーザプリンタ、コンピュータディスプレ
イ、ビデオディスプレイ、ＬＣＤディスプレイ等を含
む。「コード化」データは、計算装置において例えばビ
ットマップ形式の生データよりも正確且つ容易に計算装
置において操作されるように設計された「コード」によ
って表示される。「非コード化」データはコードによっ
て表示されないデータである。例えば、小文字「ａ」
は、符号化データ、例えば、アスキー（ＡＳＣＩＩ）コ
ード化における第９７番目として表示されたり、ディス
プレイスクリーン又はプリンタ等の出力装置上に「ａ」
の外観を作成するために使用される非コード化グラフィ
ック又は画像データとして表示されてもよい。フォント
は通常、コード化データを非コード化データと対応付け
る１つ以上の対応付けられた「符号化」を有する。

【００２２】第１の画像の「バージョン」は、第１の画
像を定義するデータを用いて作成される第２の画像であ
る。第２の画像は第１の画像と同一であってもよく、解
像度の喪失、第１の画像を定義するデータの変化、又は
バージョンが変更される結果となる他の処理によって修
正されることができる。画像の「ビュー（view）」は、
ユーザに対し表示される画像のバージョンであり、ビュ
ーは画像の詳細の一部を省略したり、又は修正されるこ
とができる。

【００２３】「テキスト編集操作」は、実施対象となる
データが、テキストであるかのように処理されることが
できる要素のラインを定義することを想定する操作であ
る。テキスト編集操作の例は、要素（エレメント）を挿
入及び削除する、タイプフェース等の要素の特徴を変化
させる、位置合わせ及び間隔を変更する、カーソル位置
決め、行端揃え、文字又はカーソルを次行に移動させ
る、文字又は文字のシーケンスを探索する、などがあ
る。

【００２４】「文字レベルテキスト編集操作」は、編集
中のテキストにおける文字又は文字サイズ要素に影響を
与えるテキスト編集操作である。文字レベルテキスト編
集操作の例は、文字を挿入、削除、変更、及び位置決め
する、カーソルを文字に位置決めする、文字を探索す
る、などがある。

【００２５】「１次画像オブジェクト」又は「１次オブ
ジェクト」は、大型のグラフィック構造を構成するグラ
フィック要素であり、ビットマップ・オブジェクトを含
むものでもよいが、ペン−ストローク（ｐｅｎ−ｓｔｒ
ｏｋｅ）オブジェクト等の他のオブジェクトも同様に含
むものでよい。「１次オブジェクト」は不変ではなく、
小型の「１次オブジェクト」に分解されることによって
断片化されたり、他の「１次オブジェクト」と組み合わ
せることによって拡大されることができる。「複合オブ
ジェクト」は「１次オブジェクト」の集合と対応付けら
れ、これにより、個々の基本的グラフィック構成要素又
はそれらの組み合わせを参照する。この解釈のもとに、
「１次オブジェクト」は、画像においてピクセルの表示
された外観と直接対応付けられ、「複合オブジェクト」
は、それらを構成する「１次オブジェクト」を通じての
み画像の物理的外観を参照する。画像と対応付けられる
「複合オブジェクト」の集合は、ユーザが知覚的に一貫
性のある画像マークの集合へのアクセスを獲得するため
の抽象的オブジェクトの集合を構成する。どちらのタイ
プのオブジェクトも、空間的位置、概略的方向付け、サ
イズ等の特性にその他種々の特性を加えたものを本来備
えている。

【００２６】「連結構成要素」は、画像を定義するデー
タアレイ内のピクセルの集合であり、ピクセルはすべ
て、互いに隣接したり、集合内の他のメンバーにともに
隣接するように適切な規則によって互いに連結されてい
る。２進形の画像の連結構成要素は、黒等の同一の２進
値を有する連結されたピクセルの集合を含むことがあ
る。「連結構成要素集合」又は「構成要素集合」は、単
位として処理される連結構成要素の集合である。文字は
このため、構成要素集合であってもよく、例えば、文字
「ｉ」は、連結構成要素が文字を「形成する」英文テキ
ストにおける単一の文字として処理される２つの連結構
成要素を含む。文字又は他の構成要素集合のための「境
界ボックス（文字枠）」は、構成要素集合内のすべての
ピクセルを含むのに十分な大きさの直線形領域であり、
垂直及び水平の両方向に最小及び最大限度拡張する。

【００２７】テキストを含む画像の修正バージョンを作
成するために使用されるデータは、テキスト内の文字に
関する情報を含むことがある。文字に関する「同一性情
報」は、その文字のタイプ、大文字／小文字、タイプフ
ェース、ポイントサイズ等を識別する情報である。文字
を「認識する」ことは、文字を含む画像のディジタル形
式から文字に関する同一性情報を得ることを意味する。
文字に関する「空間的情報」は、文字の大きさ、形状、
位置、方向付け、他の文字との位置合わせ等の空間的特
徴を識別する情報である。空間的情報及び同一性情報は
完全に独立していないが、文字に関する空間的情報は、
文字を認識することなく画像を定義する２次元アレイか
ら得ることができる。

【００２８】図３を参照すると、システム３００は、画
像入力装置３２０及びユーザ入力装置３３０からの信号
を受信するように接続されるプロセッサ３１０を含む。
画像入力装置３２０は、スキャナ、ファクシミリ受信機
もしくは他の画像受信機、カメラ、又は他の適切な装置
でもよく、あるいは、画像をディジタル形式に保存する
局所又は遠隔メモリの一部でもよい。ユーザ入力装置３
３０は、例えば、マウス付きのキーボードでもよい。プ
ロセッサ３１０はさらに、画面表示、プリンタ、ファク
シミリ送信機若しくは他の画像送信機、又は画像をディ
ジタル形式に保存する局部又は遠隔メモリの一部等の画
像出力装置３４０に接続される。

【００２９】プロセッサ３１０はさらに、プログラムメ
モリ３５０及びデータメモリ３６０にアクセスするよう
に接続されている。プログラムメモリ３５０は、データ
準備モジュール３５２、ユーザ・インタラクション・モ
ジュール３５４、グループ化モジュール３５６、ハイパ
ーリンクモジュール３５７、及び画像出力モジュール３
５８を含む。データメモリ３６０は、画像入力データ構
造３６２、解析画像データ構造３６４、及び画像出力デ
ータ構造３６６を含む。

【００３０】データ準備モジュール３５２のルーチンを
実行する際、プロセッサ３１０は画像入力装置３２０か
ら２次元データアレイと等価な画像入力データ構造３６
２にデータをロードする。プロセッサ３１０は、データ
準備を実行し、画像オブジェクトを準備し、ユーザがア
クセスするのに好都合であるようにグループ化する。

【００３１】データ準備モジュール３５２は、数個のデ
ータ構造と処理モジュールを利用する。図示されたよう
に、解析画像データ構造３６４は、画像領域データアレ
イと称される１つ以上の従属データ構造を含む。各画像
領域データアレイは、１つ以上のアレイデータ単位を含
み、それぞれがテキスト及び線画データ、連続階調若し
くは写真データ、又は中間調データを定義する。画像領
域アレイには、ビットマップ・オブジェクトの形式の１
次画像オブジェクトによる表示が付与される。セグメン
テーションモジュール３５５はテキスト及びグラフィッ
ク画像マテリアルを小型の基本的ビットマップ・オブジ
ェクト又は他のタイプの１次画像オブジェクトに分解す
る。

【００３２】グループ化モジュール３５６は、１次画像
オブジェクトが分割、移動、及び結合されていても、１
次画像オブジェクトと複合オブジェクトとの関係の格子
を維持し、ある時には構築する能力がある。グループ化
モジュール３５６はまた、複合オブジェクトによって表
示されるべき知覚上有意義なグループを識別するために
自動認識ルーチンを含む。ハイパーリンク３５７は、人
間であるユーザにとって知覚的に顕著であるが、個々の
データオブジェクトによって表示されない画像構造を表
わす電子画像の任意の領域に対しハイパーリンクを確立
し、以下で更に詳細に説明される。

【００３３】データ準備のある段階は、テキスト及びグ
ラフィック画像マテリアルを小型の１次画像オブジェク
トに分解し、グループ化操作を実行して視覚上目に見え
る構造を表示する断片（フラグメント）のグループを形
成する。ユーザ・オプションの制御を受けて、これらの
段階は、データ準備モジュール３５２によって自動的に
実行されたり、又は実行されないこともあり、これらの
段階は、ユーザ・インタラクション・モジュール３５４
を介してユーザによって呼び出されることもできる。

【００３４】図４は、図３に関して説明された、データ
準備モジュール３５２によって実行されるデータ準備に
おけるステップを示す。最初に、ステップ４１０におい
てソース画像が受け取られ、ステップ４１５では、受け
取られた画像が連続階調写真として処理されるべきかど
うかについて決定がなされる。この決定は自動的であっ
たり、又はユーザ制御オプションとして定められること
ができる。画像が写真として処理すべきである場合、ス
テップ４３０に渡される。

【００３５】画像を写真として処理すべきでない場合、
ステップ４２０において、文書画像セグメンテーション
を実行すべきかどうかが決定される。文書画像セグメン
テーションが画像に適用されると、ステップ４２５にお
いて、当該分野周知の文書画像セグメンテーション処理
が実行されて、画像は３種類の画像領域、即ち、テキス
ト及び図形、連続階調／写真、中間調の各領域にセグメ
ント化される。連続階調／写真及び中間調のそれぞれの
画像領域はステップ４３０に渡され、ビットマップ・オ
ブジェクトはそれらを表示するように作成される。これ
らは、ユーザ・インタラクション・モジュール３５４に
よるユーザ編集のコマンドを介して動作されるべき１次
画像オブジェクト４３５となる。テキスト及び線画／グ
ラフィック領域はステップ４４０に渡される。ステップ
４２０のユーザ制御によるオプションによって決定され
たように、文書画像セグメンテーションが画像に適用さ
れなければ、画像全体はステップ４４０によって表示さ
れるように、テキスト及び線画又は図形として処理され
る。

【００３６】ステップ４４５において、前景ピクセルを
背景ピクセルから区別するために画像処理操作が実行さ
れる。文書画像において、前景ピクセルは一般に、周辺
背景よりも暗い。本件出願人による米国特許出願第０９
／１５８，４４３号に開示されているような、種々のフ
ィルタリング動作を利用して背景ピクセルをそのものと
して分類することができる。ステップ４５０では、これ
らのピクセル値は、それぞれに適切な透明度ビットを設
定することによって「透明（目に見えない）」状態とさ
れる。

【００３７】オプションのステップ４５５において、処
理されたソース画像を、それぞれがユーザ選択による未
加工の候補である多数の基本的ビットマップ・オブジェ
クトに分解するかどうかが決定される。例えば、ステッ
プ４６０では、ビットマップ・オブジェクトが、前景ピ
クセルの連結構成要素の文字サイズに対応する多数の小
型ビットマップ・オブジェクトと、米国特許出願第０９
／１９９，６９９号に記載されるように、線画の比較的
直線の断片にセグメント化されることができる。あるい
はまた、断片化されてないビットマップ・オブジェクト
は出力ステップ４６５へ渡される。

【００３８】ステップ４７０では、複合オブジェクトへ
の基本的ビットマップオブジェクトの有効な収集、又は
グループを識別するためにオプションのステップ４７５
を実行するかどうかについて決定される。例えば、ワー
ド、テキストの行、及びテキストの列を形成する文字サ
イズ・ビットマップ・オブジェクトは望ましいグループ
を形成することになる。このグループ化を実行するため
の手順は以下で詳細に述べられる。ステップ４７５から
のこれらグループ化された１次画像オブジェクト及び複
合オブジェクトは、４９５で図示される格子構造の複合
オブジェクトに編成される透過形背景を備えた断片化１
次画像オブジェクトとしてステップ４８５へ送られ。１
次オブジェクトがグループ化すべきでなく、結果のグル
ープが複合オブジェクトによって表示される場合、４９
０で図示されるように透過形背景を備えた複数の断片化
１次画像オブジェクトとしてステップ４８０へ送られ
る。データ準備段階の結果として、１つ以上のビットマ
ップ・オブジェクトが作成される。テキスト及びグラフ
ィック画像を表示するビットマップ・オブジェクトは、
前景ピクセルを可視状態にし、背景ピクセルを透過（目
に見えない）状態にし、複合オブジェクトが構築され
る。

【００３９】ユーザ・インタラクション段階の間に、ユ
ーザは、新しい画像マテリアルがタイピング、あるいは
マウスやスタイラスで入力されたり、又は、アプリケー
ション内部や外部アプリケーションの何れかからのクリ
ップボードデータ構造から複写されるインタラクション
・サイクルに参加する。あるいはまた、ユーザは図５に
示される既存の画像マテリアルを選択し、修正すること
もできる。図５において、可視画像は、（境界ボックス
内に示される）大きなビットマップ・オブジェクト５１
０と、それよりも小さなビットマップ・オブジェクト５
３０に位置し、さらにその境界ボックス内部に示され、
ビットマップ・オブジェクト５１０の境界内に位置決め
される画像マテリアルに関して表示される。この例にお
いて、ビットマップ・オブジェクト５３０は「アイテム
１」を含み、ビットマップ・オブジェクト５１０は「ア
イテム２」というフレーズを含む。ユーザは、一部のマ
テリアルを含む画像領域をビットマップ・オブジェクト
５１０及びビットマップ・オブジェクト５３０の双方か
ら選択することもできる。この場合、選択領域は破線の
曲線５５０によって表示される。この選択は、（それぞ
れの境界ボックス内に示される）２つの新しいビットマ
ップ・オブジェクト５７０及び５８０を作成し、前景マ
テリアルを新しく選択された領域に分離する。新しいビ
ットマップ・オブジェクト５７０及び５８０はまた、ビ
ットマップ・オブジェクト５３０からマテリアル「１」
を除去して５６０に図示される状態にし、背景ビットマ
ップ・オブジェクトを、ビットマップ・オブジェクト５
２０に示すように、境界ボックス内に示される、ワード
「２」を除いたワード「アイテム」のみに変化させる。
領域５１０及び５３０における対応前景ピクセルは、
「透過形」の値に設定される。データ構造はここで、ユ
ーザが変換動作、例えば、５７０及び５８０における画
像マテリアルを別の位置に移動させて空きスペース（５
１０における透過形背景ピクセル）を残すような動作を
実行できる状態になっている。

【００４０】図６及び図７を参照する。図７は、１次オ
ブジェクトがユーザ選択により分割又は断片化される、
１つの可能なユーザインタラクション手順を示すフロー
チャートである。図６は、図７のフローチャートによっ
て記載された方法の動作を示す線図である。１次オブジ
ェクトリストにおいて１次オブジェクト「Ａ」、
「Ｂ」、「Ｃ」、及び「Ｄ」を有し、複合オブジェクト
「ＣＯ１」を形成する元のグループ化構造６００から始
まり、ステップ７１０において、画像マテリアルが閉経
路６１０を入力することにより選択され、１次オブジェ
クトからの所望のマテリアルを囲む。例示として、マテ
リアルが自由形式経路の使用により選択されるとした
が、その他多数の手段、例えば、矩形ドラッギング、多
角形選択、１回のマウスクリックによる既存の基本画像
オブジェクトの選択、多数回のマウスクリックによる既
存の画像オブジェクトのグループの選択、及び選択動作
を実行しながら、シフトキー等の単一の事前指定キーを
押してグループ構造の編集などを用いてもよいことは留
意すべきである。所望のマテリアルは、テキスト文字及
びワード、又は他の形状等の１つ以上のオブジェクトを
含むことができる。それぞれの１次オブジェクト
「Ａ」、「Ｂ」、「Ｃ」及び「Ｄ」が対応境界ボックス
６１５を所有することに留意されたい。ステップ７２０
において、プロセッサは、選択経路が交差したか又は該
経路によって囲まれた１次オブジェクトを検出し、それ
らを影響を受ける１次オブジェクト６２０として識別す
る。影響を受ける１次オブジェクトのビットマップは、
ステップ７３０において選択経路に従って断片に分解さ
れ、図６に示すように断片化１次オブジェクトとして形
成される。かかる例では、３つの断片化１次オブジェク
ト６３２、６３４及び６３６が形成されることに留意す
べきである。それぞれの断片化１次オブジェクトの境界
ボックスサイズは、ステップ７４０において各断片化１
次オブジェクトごとに前景マテリアルの最小境界ボック
スサイズに縮小され、前景ピクセルを含まない断片が除
去される。ステップ７５０において、プロセッサは選択
経路によって囲まれた断片化１次オブジェクト及び影響
された非断片化１次オブジェクトを収集して、囲まれた
１次オブジェクト６３２、６３４、６３６及び６４０を
形成する。プロセッサは次にステップ７６０において、
囲まれた１次オブジェクトのグループを表示する新しい
仮の複合オブジェクトを作成する。この時点で、ユーザ
は選択動作を実行し、システムはそのタスクを完了し、
ステップ７６５において次のコマンドを受け取るために
一時停止する。ステップ７７０では、次のコマンドがグ
ループを確立するかどうかについて決定される。グルー
プを確立すべきでない場合、ステップ７７５においてプ
ロセッサは断片化１次オブジェクト及び仮の複合オブジ
ェクトを放棄する。グループを確立する場合、断片化が
容認される。プロセッサは次にステップ７８０におい
て、元の１次オブジェクトリストから影響された１次オ
ブジェクトを除去し、断片化１次オブジェクトを１次オ
ブジェクトリストに追加する。ステップ７９０におい
て、プロセッサは影響された１次オブジェクトによって
支援された複合オブジェクトを位置付ける。このような
複合オブジェクトのそれぞれに対し、プロセッサは影響
された１次オブジェクトによる支援を、囲まれた１次オ
ブジェクトへの支援リンクに置き換える。新しいグルー
プ化構造６５０は、元の１次オブジェクト「Ａ」及び
「Ｂ」、（断片化１次オブジェクト６３２に対応する）
断片化１次オブジェクト「Ｃ１」、（断片化１次オブジ
ェクト６３４に対応する）「Ｃ２」、（断片化１次オブ
ジェクト６３６に対応する）「Ｃ３」、及び囲まれた１
次オブジェクト「Ｄ」によって支援される新しい複合オ
ブジェクト「ＣＯ１」を示す。

【００４１】プロセッサが実行するグループ化構造の自
動再構築は図８のフローチャートにおいて示されるとと
もに、図９では図式的に示される。最初に図９を参照す
ると、初期の空間配列は、例えば、初期の空間配列９１
０として識別される５つの１次オブジェクト「Ａ」、
「Ｂ」、「Ｃ」、「Ｄ」及び「Ｅ」を含む。この説明の
ためにテキスト文字が使用されるとしているが、空間配
列がテキスト若しくはグラフィック文字、又はエレメン
トの組み合わせを含むことは理解されるだろう。これら
１次オブジェクトは、初期のグループ化構造の第１の複
合オブジェクト９２０を支援する。１次オブジェクトの
一部がグループ構造を消去するのに十分な距離だけ移動
されると、１次オブジェクトの２つの新しい空間配列、
９３０及び９４０が形成される。あるいはまた、方向付
け（オリエンテーション）、色、形状類似性、サイズ類
似性、又は他の特徴は、グループ構造を消去するための
基準として使用されることもある。２つの新しい複合オ
ブジェクトは、空間配列９３０が新しい複合オブジェク
ト９５０によって表示され、且つ空間配列９４０が新し
い複合オブジェクト９６０によって表示されるように再
構築される。

【００４２】図８に戻ってフローチャートを参照する
と、プロセッサが続けてグループ化構造を自動的に再構
築する手順が示されている。最初にプロセッサは、ステ
ップ８１０において（もしあれば）どの複合オブジェク
トが移動された１次オブジェクトによって支援されるか
を決定し、ステップ８２０においてそれらを影響を受け
る複合オブジェクトとして識別する。プロセッサは次に
ステップ８３０において、移動された１次オブジェクト
の新しい位置がグループ構造を消去するために元の空間
配列から十分に除去されるかどうかを決定する。グルー
プ構造が消去されたことをプロセッサが判断すると、ス
テップ８４０において、プロセッサは、移動されなかっ
た１次オブジェクトを含む新しい複合オブジェクトを再
構築する。プロセッサは次にステップ８５０において、
移動された１次オブジェクトによって支援される新しい
複合オブジェクトを作成し、ステップ８２０に戻って次
の複合オブジェクトのためにステップ８２０、８３０、
８４０及び８５０を繰り返す。

【００４３】図１０を参照すると、フローチャートにお
いて、新しい１次オブジェクトの作成、及びマージ・コ
マンドの使用による複合オブジェクト構造の改訂のため
のステップが示される。ステップ１０１０において、ユ
ーザはマージされる１次オブジェクトを選択する。プロ
セッサはステップ１０２０において、選択された１次オ
ブジェクトの結合のための境界ボックスを決定する。境
界ボックスは常に、１次オブジェクトの結合に対応する
ように最小サイズである。ステップ１０２５において境
界ボックスのサイズに対応する新しい空白のビットマッ
プが作成される。ステップ１０３０において、プロセッ
サはすべての選択された１次オブジェクトからの前景マ
テリアルを新しいビットマップに複写し、この新しいビ
ットマップ用の新しい１次オブジェクトを作成する。ス
テップ１０４０において、選択された１次オブジェクト
が元の１次オブジェクトリストから除去される。ステッ
プ１０５０において、プロセッサは新しい１次オブジェ
クトを元の１次オブジェクトリストに追加する。ステッ
プ１０６０において、プロセッサはすべての選択された
１次オブジェクトによって支援された複合オブジェクト
を位置付け、これらを完全支援された複合オブジェクト
として識別する。完全支援された複合オブジェクトのそ
れぞれに対し、ステップ１０７０においてプロセッサ
は、選択された１次オブジェクトからの支援リンクを新
しい１次オブジェクトへの支援リンクに置き換える。ス
テップ１０８０において、プロセッサは、選択された１
次オブジェクトの部分集合と同様、選択されたオブジェ
クトの一部ではない１次オブジェクトを含む複合オブジ
ェクトを位置付け、これらを部分支援された複合オブジ
ェクトとして識別する。部分支援された複合オブジェク
トのそれぞれに対し、プロセッサはステップ１０９０に
おいて、１次オブジェクトへの支援リンクを除去して部
分支援された１次オブジェクトをグループ化構造を示す
リンクグラフから取り除く。

【００４４】図１１に示す方法は、一例として１次オブ
ジェクトリストでのマージ・ステップと、その結果とし
て生じる効果を示している。マージは上述されたグルー
プ化モジュール内で発生し、システムオペレーションの
ユーザ・インタラクション段階の時に生じる。一例とし
て、初期の１次オブジェクトリストは構成要素「Ａ」、
「Ｂ」、「Ｃ」及び「Ｄ」を含む。ステップ１１１０に
おいて、１次オブジェクトリスト上に現われる１次オブ
ジェクトの集合が識別され、これら１次オブジェクトの
一部、この例では、「Ｂ」及び「Ｃ」が選択されてマー
ジされた１次オブジェクトを形成する。ステップ１１２
０において、選択された１次オブジェクトの結合のため
の境界ボックスが決定される。ステップ１１３０では、
選択された１次オブジェクトのすべてからの前景マテリ
アルが新しいビットマップに複写されると、この新しい
ビットマップの新しい１次オブジェクトが作成される。
このように、「Ｂ」及び「Ｃ」を結合して新しい１次オ
ブジェクト「Ｆ」を形成すると、１１４０では１次オブ
ジェクトリストから１次オブジェクト「Ｂ」及び「Ｃ」
が除去され、１１５０では１次オブジェクトリストに新
しい１次オブジェクト「Ｆ」が追加されるという結果に
なる。

【００４５】プロセッサは次に１１６０において、すべ
ての選択された１次オブジェクトによって支援される複
合オブジェクトを位置付け、これらを完全支援された複
合オブジェクトとして識別する。ここに図示されるよう
に、完全支援された複合オブジェクト「ＣＯ１」は１次
オブジェクト「Ａ」、「Ｂ」、「Ｃ」及び「Ｄ」によっ
て支援される。ステップ１１７０において、プロセッサ
は選択された１次オブジェクト「Ｂ」及び「Ｃ」から支
援リンクを除去し、それらを新しい１次オブジェクト
「Ｆ」への支援リンクに置き換える。プロセッサは次に
ステップ１１８０において、他の非選択１次オブジェク
トと同様に、選択された１次オブジェクトの一部（但
し、すべてとは限らない）を含む複合オブジェクトを位
置付け、これらを部分選択された複合オブジェクトとし
て識別する。この例において、部分支援された複合オブ
ジェクト「ＣＯ２」は１次オブジェクト「Ａ」及び
「Ｂ」を含む。部分支援された複合オブジェクトのそれ
ぞれに対し、プロセッサは１次オブジェクトへのすべて
の支援リンクを除去し、これによりステップ１１９０に
おいて「ＣＯ２」をグループ化構造から削除する。ある
いはまた、部分支援された複合オブジェクトが多数の非
選択１次オブジェクトを含む場合、部分支援された複合
オブジェクトを破壊又は保持するように選択することも
できる。

【００４６】部分支援された複合オブジェクトが保持さ
れる場合、選択された１次オブジェクトへの支援リンク
のみが除去される。かかる例では、部分支援された複合
オブジェクトが選択された１次オブジェクトの要素（メ
ンバー）以外の１次オブジェクトを１つだけ含んでいた
ことにより、選択された１次オブジェクト支援リンクの
除去と同時にグループ化構造から複合オブジェクト「Ｃ
Ｏ２」を削除するという結果になるのは、複合オブジェ
クトが１つ以上の１次オブジェクトを含む必要があるか
らである。しかしながら、部分支援された複合オブジェ
クトが選択された１次オブジェクトの部分集合に加えて
複数の非選択１次オブジェクトを含む場合、選択された
１次オブジェクトへの支援リンクが除去されると、部分
支援された複合オブジェクトが残りの非選択１次オブジ
ェクトを含む複合オブジェクトとして残存する。

【００４７】図１２を参照すると、行及び列を成して配
列され、１次オブジェクトリストに属する９つの可能な
１次オブジェクト「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、
「Ｅ」、「Ｆ」、「Ｇ」、「Ｈ」、及び「Ｉ」が示され
ている。これらの１次オブジェクトは図１２のｂに図示
される行タイプグループ化に分類される。ここで、１次
オブジェクト「Ａ」、「Ｂ」、及び「Ｃ」は複合オブジ
ェクト「Ｒ１」を支援し、１次オブジェクト「Ｄ」、
「Ｅ」、及び「Ｆ」は複合オブジェクト「Ｒ２」を支援
し、１次オブジェクト「Ｇ」、「Ｈ」、及び「Ｉ」は複
合オブジェクト「Ｒ３」を支援する。あるいはまた、図
１２のｃは、列タイプグループ化を示し、１次オブジェ
クト「Ａ」、「Ｄ」、及び「Ｇ」は複合オブジェクト
「Ｃ１」を支援し、１次オブジェクト「Ｂ」、「Ｅ」、
及び「Ｈ」は複合オブジェクト「Ｃ２」を支援し、１次
オブジェクト「Ｃ」、「Ｆ」、及び「Ｉ」は複合オブジ
ェクト「Ｃ３」を支援する。既存のグラフィック画像エ
ディタにおいて、両グループ化は図１２のｄに図示され
るような格子状態では同時に利用できない。格子グルー
プ化では、１次オブジェクトが多数の複合オブジェクト
を支援するように無制限な１次オブジェクトの部分集合
が複合オブジェクトにグループ化されることができる。
この例において、１次オブジェクト「Ａ」は複合オブジ
ェクト「Ｒ１」及び「Ｃ１」の両者を支援し、１次オブ
ジェクト「Ｂ」は複合オブジェクト「Ｒ１」及び「Ｃ
２」を支援し、以下同様である。この格子状態はオブジ
ェクト間のリスト及びポインタに関して表示される。

【００４８】グループは数々の方法で作成されることが
できるが、例えば、ユーザがオブジェクトの集合を選択
し、それらを明示メニューコマンドによって、これらの
オブジェクトが要素である他のグループとは関係のない
グループとして設定することもできる。あるいはまた、
ユーザはオブジェクトの集合を選択し、ユーザが移動さ
せたり、回転させたり、拡大縮小したり、又はオブジェ
クトの集合上で操作することによってプロセッサに対し
自動的にグループを作成することもできる。プロセッサ
はまた、画像における有効なグループを識別する画像解
析プロセスの適用によって自動的にグループを作成する
ことができる。ワードを形成する連結成分のグループを
識別する方法は図１３に示される。

【００４９】図１３において、プロセッサはサイズごと
に連結成分にフィルタをかけて、指定しきい値サイズよ
りも大きかったり小さかったりするオブジェクトを除去
する。ステップ１３１０において、プロセッサは使用可
能な成分のサイズを決定する。しきい値よりも大きい成
分は、ステップ１３２０において識別され、ステップ１
３７０では可能なグループ構造から除去される。残りの
成分のなかで、第２の指定しきい値よりも小さい成分は
ステップ１３３０において識別され、ステップ１３７０
では可能なグループ構造から除去される。プロセッサは
さらに、重み付き距離が第３のしきい値よりも小さい連
結成分の中でリンクを形成する。重み付き距離を決定す
る際に、プロセッサはリンクの近接性、即ち空間的な近
辺内の一部のオブジェクト間の関連性を当該技術周知の
方法によって考慮することもできる。重みづけがリンク
の相対方向に基づく場合、重みづけはリンクの一方向に
対し他方向と比べてより強くなることがある。重みづけ
は自動的に又は周辺の画像マテリアルの空間解析によっ
て決定することもできる。ステップ１３４０において、
プロセッサは連結成分の重み付き距離を決定し、ステッ
プ１３５０において重み付き距離がしきい値を越える成
分を識別する。重み付けされた値がしきい値を超える成
分はステップ１３７０において、可能なグループ構造か
ら除去される。ステップ１３６０では、プロセッサが成
分間のリンクに追随することによってグループを蓄積す
る。この方法の例は、図９を参照して上記に図示され且
つ説明される。

【００５０】グループを解消するために幾つかの方法を
使用することができる。例えば、ユーザがグループを選
択し、明示メニューコマンドによってそれを廃止するこ
ともできる。あるいはまた、ユーザが、所属するグルー
プの他の要素から十分に離れたオブジェクトをドラッグ
又は移動させる時に、プロセッサが自動的にオブジェク
トをグループから除去することもできる。

【００５１】本出願において「タッピング」、「クリッ
キング・オン」、又は、オブジェクトを選択することに
対して参照されることに留意すべきである。これらの用
語は、オブジェクトを選択するという動作を交換可能に
参照することを目的としている。タッピングという用語
は一般に、ペン入力計算システムのスタイラスを画面又
はタブレットに接触させ、その直後に（即ち、所定時間
内に）スタイラスを実質的に（即ち、例として２ピクセ
ル分等の所定量よりも小量）移動させずに画面から持ち
上げる物理的動作に関して使用される。これはペン入力
計算システムにおける一般的なオブジェクトの選択方法
である。「クリッキング・オン」という用語は範囲をよ
り広くする意図があり、タッピングのみならず、他のポ
インタ装置を用いてオブジェクトを選択することと同様
に、マウス又はトラックボールに対応付けられるボタン
を用いてオブジェクトを選択する動作をも網羅するよう
に意図される。

【００５２】特定のオブジェクトが多数のグループに所
属することもあり、図１２に示される画像マテリアルを
グループ化を選択するためのある方法が図１４に示され
る。例えば、ユーザがオブジェクトを一度クリック又は
タッピングすると（この場合、ステップ１４１０におい
て「Ｄ」）、選択される項目は「Ｄ」である。ユーザが
ステップ１４２０において、再度「Ｄ」をクリック又は
タッピングすると、選択される次のものは、当該オブジ
ェクトが要素であるグループのリストの最初、この例で
は「Ｃ１」である。ステップ１４３０にあるような、次
のオブジェクトに対するクリックは、オブジェクトが支
援する残りのグループ、例えば「Ｒ２」を選択する。最
後に、すべてのグループがこのように選択された後で、
ステップ１４４０にあるようにオブジェクトをクリック
又はタッピングすることにより、全てを非選択状態に
し、プロセスが再び開始する。このようにクリック又は
タッピングを繰り返すことによって、ユーザがサイクル
動作し、オブジェクトによって支援されるグループを識
別することが可能である。

【００５３】図１４の方法によって識別されるグループ
の優先待ち行列が並べ換えられ、最後に使用されたグル
ープはリストの前方に押し上げられる。優先待ち行列
は、他の基準、例えば、最小から最大への空間の範囲、
知覚上の顕著性の手段、又はユーザによって最近使用さ
れた選択基準の背景によっても同様に順序付けられるこ
とができる。後者の例は、ユーザが縦列グループ化を選
択しているように見える場合である。この場合、プロセ
ッサは、縦列グループに属するオブジェクトがグループ
の構成要素優先待ち行列においてこのグループを押し上
げる可能性がある。グループの並べ換えは、階層的シー
ケンスにおいてオブジェクトをユーザに提示するよう
に、ユーザが最も関心のある知覚オブジェクトの種類に
関するユーザの意図を推論し、最も好ましいとされるオ
ブジェクトが最初にくる。これは、ユーザが繰り返しク
リックしながら見ている複合オブジェクトにおいて優先
順位及び順序付けを設定する。

【００５４】図１５に示されるように、選択されたもの
を編集するためにグループ化構造を使用することもでき
る。この例において、ユーザは１５００においてオブジ
ェクト「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、及び
「Ｆ」を作成し、オブジェクト「Ｃ」は、オブジェクト
「Ｃ」及び「Ｄ」を含むグループに偶然に所属すること
になり、他のグループは設定されていない。ユーザがオ
ブジェクト「Ａ」、「Ｂ」、「Ｅ」、及び「Ｆ」を選択
したいと思う場合、ステップ１５１０でオブジェクト
「Ａ」をクリックすることによってオブジェクト「Ａ」
を選択する１つのアプローチがある。次に、キーボード
上の特定のキー（例えば、シフトキー）を押さえ、別の
オブジェクトをクリックすることによって、このオブジ
ェクトは、ステップ１５１５では「Ｂ」、ステップ１５
２０では「Ｅ」、ステップ１５２５では「Ｆ」であるよ
うに、選択されたオブジェクトの集合に追加される。あ
るいはまた、ユーザはステップ１５３０では、おそらく
周囲を囲むようなジェスチュアによってオブジェクトの
すべてを選択し、ステップ１５３５では「Ｃ」を、さら
にステップ１５４０では「Ｄ」をそれぞれシフトクリッ
クすることによって「Ｃ」及び「Ｄ」を除去するように
してもよい。別の代替案として、ステップ１５５０にお
いて周囲を囲むようなジェスチュアによってオブジェク
トのすべてを選択し、ステップ１５５５及び１５６０に
おけるように「Ｃ」を２度シフトクリックすることによ
ってグループとして「Ｃ」及び「Ｄ」を除去する。最初
のシフトクリックは選択から「Ｃ」を除去する。次の
「Ｃ」上でのシフトクリックは、「Ｃ」が所属するグル
ープを非選択状態にし、ステップ１５６０に示されるよ
うに、オブジェクト「Ａ」、「Ｂ」、「Ｅ」、及び
「Ｆ」をグループの残留オブジェクトとして残す。

【００５５】本発明はこれらの選択ツールを利用してオ
ブジェクト及び宛て先又はソース間のハイパーリンクを
確立する。現在使用可能なツールは構造化画像オブジェ
クト間、又は単純形状の画像領域間のハイパーリンクの
形成を支援するが、「ホット」領域が任意形状であるが
知覚上顕著な画像オブジェクトであるリンクを指定する
ための簡単便利且つ有効な方法はない。現在のツールを
使用して、ユーザはその領域に対し、円形、矩形、及び
多角形等の定義済み幾何学形状のアレイの中から選択し
なければならない。次にユーザは、好ましくはグラフィ
ッカル・ユーザ・インタフェースを用いて形状オブジェ
クトのパラメータを指定しなければならない。このプロ
セスは、多数の異なるハイパーリンクが隣接する複雑形
状の画像領域に対し設定される必要がある場合、単調で
問題を含む可能性がある。

【００５６】オブジェクト及び宛て先又はソース間で単
一方向性又は双方向性ハイパーリンクを確立するための
能力が、画像処理及び解析技術に基づき、ここに記載さ
れた選択ツールによって付与される。未分化画像から始
まり、一定の基本画像オブジェクトが自動的に定義さ
れ、これらの一定の顕著なグループ化が確立される。簡
単なマウスとキーボードの操作を用いてユーザは追加の
画像オブジェクトを１次画像オブジェクト又は複合画像
オブジェクトとして容易に確立することができる。ユー
ザはその後、これらのオブジェクトと、それらが定義す
る複合領域を、単にマウスをそれらの上でクリックする
ことによって選択することができる。

【００５７】図１６は、オブジェクトと、宛て先又はソ
ースとの間に双方向ハイパーリンクを作成するための方
法を示す。ステップ１６１０において、選択された画像
オブジェクト（複数の場合もある）がハイパーリンクの
ソース又は宛て先になることがある。このリンクは、右
側マウスボタンをクリックし、ステップ１６２０で示さ
れる、ポップアップメニューから「リンク」項目を選択
することによって確立されることができる。ユーザは次
に、ステップ１６３０においてリンクがどこを指示する
かを指定する。これは、テキスト入力ボックス又は当該
技術周知のまた別の手段を介して実現することができ
る。このリンクを例示化するために、システムはステッ
プ１６４０において、選択された画像オブジェクトに最
適な形状を使用可能なリンクソース形状（例えば、円
形、矩形、多角形）の中から選択する。このオブジェク
トのパラメータはステップ１６５０において、画像領域
の特性から自動的に計算される。例えば、多角形選択形
状の地点が、凸閉包、外側境界線、又は選択された領域
の形状に対するその他導出された幾何学的近似値から地
点をサンプリングすることによって計算される。多数の
隣接しない画像パッチによって定義される画像オブジェ
クトからのリンクは、同一の宛て先を指示する多数のソ
ース領域を確立することによって支援される。

【００５８】既存のハイパーリンク標準のもとでは、所
与の画像位置が多数のハイパーリンクを支援したり、又
は支援しないこともある。例えば、２つの重複するハイ
パーリンクソース多角形の場合、ユーザが交差領域でク
リックすると、ファイル内のどの領域に多角形が最初に
現われるかに応じて一方の又は他方のリンクに続いて起
こることになる。これとは反対に、本発明は、従来のハ
イパーリンク式文書フォーマットよりも高度なリンク構
造を提供する。本発明では、画像の同一パッチを共用す
る多数のグループの選択を可能にする。ユーザは、マウ
スボタンを繰り返しクリックすることによって所与の位
置に関連する選択されたオブジェクト間をサイクル動作
することができる。画像ビューアーとして、本発明は、
複雑な複合オブジェクトを含む選択可能な画像オブジェ
クトがそれぞれの独立したハイパーリンクを有すること
を可能にする。これらのリンクには、左側マウスボタン
のクリック、例えば、ダブルクリック、右側ボタンのク
リック、又はポップアップメニューの使用を介して続く
リンクの選択に引き続いて起こる右側ボタンのクリック
以外の動作が続く可能性がある。

【００５９】本発明は、ペンストローク及びビットマッ
プ・オブジェクトを含む基本画像オブジェクトの多数の
可能なグループ化を表示する格子構造を管理するための
準備に寄与する。例えば、ユーザは、図１７に示すよう
に、タイプ打ちテキストを手書きのメモ等の手書きマテ
リアルに容易に置き換えることができる。図１７におい
て、ラフな手書きマテリアル１７１０はタイプ打ちされ
たマテリアル１７２０に置き換えられ、代替の形式的関
係（フォーマリティリレーション）１７３０を介してタ
イプ打ちされたマテリアル１７２０に対応付けられる。
光学式文字認識（ＯＣＲ）システムにおける検証機（ベ
リファイア）の従来技術は、強調表示された一定の領域
を備えた走査画像マテリアルを表示するシステムの能力
を示し、次にユーザが、強調表示された走査マテリアル
をシステム周知のフォントの１つにおいて形式的に生成
された文字に置き換えるテキストをタイプする。

【００６０】本発明はこの機能性を２つの方法で補強す
る。まず、上述された選択機構を組み込む。システムが
ユーザに、タイプされたテキストと置き換えられる元の
画像マテリアルの単一の選択だけを提示するのみなら
ず、代わりにどの画像マテリアルが置き換えられるかを
正確に選択することができる。これは、本明細書で開示
されたツール（矩形ドラッギング、自由形式経路ドラッ
ギング、多角形選択、１度のマウスクリックによる確立
された基本画像オブジェクトの選択、多数回のマウスク
リックによる確立された画像オブジェクトのグループの
選択、及び選択動作を実行しながら、シフトキー等の予
め指定された１つのキーを押すことによるグループ構造
の編集）のすべて又はいずれか１つを使用して実現され
る。これらの動作は、基本画像オブジェクトと、これら
のグループ化を表示する複合オブジェクトとの関係の格
子構造を利用する。画像マテリアルがこれらの手段のい
ずれかによって選択された後で、ユーザはテキストのタ
イピングを開始することができる。テキストが入力され
ると、選択された画像マテリアルはディスプレイから除
去され、タイプされたテキストの画像と置き換えられ
る。

【００６１】この機能性は、ある種の自動文字認識が提
供されるシステムにも適用することは留意すべきであ
る。このような場合、ユーザがテキストをタイピングす
る代わりに、ユーザはユーザ選択された画像マテリアル
にのみ適用される文字認識システムを呼び出すことがで
きる。このようにユーザは、認識するために付与される
画像入力マテリアルの複雑性を軽減することにより、例
えば、関係のない画像マテリアルによって包囲及び侵入
される場合ではなく、ＯＣＲ／ＩＣＲシステムが首尾よ
く分離して認識する単語を隔離することにより、文字認
識システムのジョブを簡略化することができる。

【００６２】次に、本発明は、ユーザがソース画像マテ
リアルをタイプされたテキストに置き換える間において
も確立されたグループ構造を維持するための方法を教示
する。タイプされたテキストに置き換えられる１次画像
オブジェクト（例えば、ビットマップ・オブジェクト）
は多くの場合、複合オブジェクトによって表示されるグ
ループに関与することがある。これらのグループは、可
能ならば選択されたビットマップ・オブジェクトが除去
されてタイプされたテキストに置き換えられる場合でも
保存されるべきである。これは、図１８のフローチャー
トに図示される方法にしたがって実現される。ここで、
タイプされたテキストは、テキストストリング・ビット
マップ・オブジェクトと称される特殊なビットマップ・
オブジェクトを用いてディスプレイに入力される。これ
は、ＡＳＣＩＩ文字の集合にフォントファミリー、フォ
ントサイズ、フォントカラー等の印刷技法（タイポグラ
フィー）情報を加えたものに対応付けられるビットマッ
プ・オブジェクトである。テキスト文字及び印刷技法情
報は、このビットマップ・オブジェクトをその書式化さ
れたテキストの外観に関してユーザによって修正するこ
とができる。

【００６３】ステップ１８１０において、システムへの
入力はビットマップ・オブジェクトを含み、グループ構
造は複合オブジェクトの格子、テキストストリング・ビ
ットマップ・オブジェクト（ＴＳＢＯ）、及びＴＳＢＯ
が画像ディスプレイ上で置換することになる選択された
ビットマップ・オブジェクトのリスト化によって表示さ
れる。これは図１９に図示され、グループ化ダイアグラ
ム１９１０では、複合オブジェクトＣＯ１がビットマッ
プ・オブジェクトＢ０１、Ｂ０２及びＢ０３によって支
援される。複合オブジェクトＣＯ２は、ビットマップ・
オブジェクトＢ０２、Ｂ０３、Ｂ０４、及びＢ０５によ
って支援される。ビットマップ・オブジェクトの一部
（この場合はＢ０３、Ｂ０４、及びＢ０５）は、ＴＳＢ
Ｏに置き換えるために「選択」されるものとして識別さ
れる。図１８を参照すると、ステップ１８２０では選択
された画像オブジェクトが単一のビットマップ・オブジ
ェクトから構成されるかどうかが判断される。

【００６４】選択された画像オブジェクトが単一のビッ
トマップ・オブジェクトから構成されない場合、ステッ
プ１８３０において、選択されたビットマップ・オブジ
ェクトの集合に対応する複合オブジェクトが識別され
る。これは図１９に図示されるグループ化ダイアグラム
１９２０において示され、複合オブジェクトＣＯ３は、
選択されたビットマップ・オブジェクトＢ０３、Ｂ０
４、及びＢ０５に対する複合オブジェクトである。

【００６５】また図１８に戻って、ステップ１８４０で
は、プロセッサが複合オブジェクトと新しいＴＳＢＯと
の代替の形式的関係を作成する。これは図１９に示され
るグループ化ダイアグラム１９３０において示され、代
替の形式的関係１９３５が複合オブジェクトＣＯ３とＴ
ＳＢＯ間で確立される。また図１８に戻り、ステップ１
８５０において、プロセッサは、支援するビットマップ
・オブジェクトが追加のビットマップ・オブジェクトと
同様に選択されたビットマップ・オブジェクトの集合全
体を含む、複合オブジェクトを識別する。このような複
合オブジェクトをそれぞれ支援する追加のビットマップ
・オブジェクトは非選択支援ビットマップ・オブジェク
トとして識別される。図１９のグループ化ダイアグラム
１９３０において理解できるように、支援が選択された
ビットマップ・オブジェクトの集合全体に追加のビット
マップ・オブジェクトを加えたものを含む複合オブジェ
クトはＣＯ２である。この場合、非選択支援ビットマッ
プ・オブジェクトはＢＯ２である。

【００６６】図１８をさらに参照すると、ステップ１８
６０では、プロセッサが非選択支援ビットマップ・オブ
ジェクトからリンクを除去し、これらを過去のリンクと
して識別する。プロセッサは次に、支援が非選択支援ビ
ットマップ・オブジェクトに新しいＴＳＢＯを加えた、
同等の複合オブジェクトを作成する。これは図１９のグ
ループ化ダイアグラム１９４０に示され、対応複合オブ
ジェクトはＣＯ２’である。代替の形式的関係１９４５
がＴＳＢＯ及び複合オブジェクトＣＯ３の間に存在す
る。過去のリンク１９４３は複合オブジェクトＣＯ２と
ビットマップ・オブジェクトＢ０２との間のリンク全体
と置換する。

【００６７】図１８をさらに参照すると、ステップ１８
７０において、プロセッサは、支援が選択されたビット
マップ・オブジェクトの集合全体を含まない複合オブジ
ェクトを識別し、これらの複合オブジェクトを支援する
非選択ビットマップ・オブジェクトへのリンクを除去す
る。これらは、ディスプレイで置換するタイプされたテ
キストが置換された元の不定型ビットマップ・オブジェ
クトに置き換えられる場合に復元される過去のリンクと
して保存される。これは図１９にグループ化ダイアグラ
ム１９５０として示され、ここでは複合オブジェクトＣ
Ｏ１が、支援が選択されたビットマップ・オブジェクト
の集合全体を含まないが、追加のビットマップ・オブジ
ェクト（この場合はＢ０１及びＢ０２）を含む、複合オ
ブジェクトとして識別される。非選択ビットマップ・オ
ブジェクトＢ０１及びＢ０２へのリンクは除去され、過
去のリンク１９５２及び１９５４によって置き換えられ
る。上記に説明されたように、複合オブジェクトＣＯ２
とビットマップ・オブジェクトＢ０２との間の全リンク
もまた、過去のリンク１９５８に置き換えられ、代替の
形式的関係１９５６は複合オブジェクトＣＯ３とＴＳＢ
Ｏとの間に存続する。

【００６８】さらに図１８を参照すると、ステップ１８
８０では選択されたビットマップ・オブジェクトがディ
スプレイから除去され、新しいＴＳＢＯがディスプレイ
に追加される。図１９のグループ化ダイアグラム１９６
０では、破線の左側にある１次オブジェクトはユーザか
ら可視状態にあるが、破線の右側にあるオブジェクトは
ユーザから不可視とされる。理解できるように、選択さ
れたビットマップ・オブジェクトＢ０３、Ｂ０４、及び
Ｂ０５はユーザから不可視とされ、同等の複合オブジェ
クトＣＯ２’を支援する新しいテキストストリング・ビ
ットマップ・オブジェクト（ＴＳＢＯ）に置き換えられ
ている。代替の形式的関係１９６６はＴＳＢＯ及び複合
オブジェクトＣＯ３との間に存続するので、必要に応じ
てユーザによって処理の逆転を可能にする。過去のリン
ク１９６４は、複合オブジェクトＣＯ１と対応付けられ
るのでアクセス不能であり、同様に、過去のリンク１９
６８もディスプレイ上ではアクセスできない。

【００６９】図１８に再度戻って、選択された画像オブ
ジェクトが単一のビットマップ・オブジェクトから構成
される場合、ステップ１８２２ではプロセッサが、選択
されたビットマップ・オブジェクトと新しいＴＳＢＯと
の間に代替の形式的関係を作成する。これは、図２０の
グループ化ダイアグラム２０１０に示され、選択された
単一のビットマップ・オブジェクトＢ０９が代替の形式
的関係２０１２を介してＴＳＢＯに接続される。この例
において、ビットマップ・オブジェクトＢ０６、Ｂ０
７、及びＢ０９は複合オブジェクトＣＯ４を支援し、ビ
ットマップ・オブジェクトＢ０７、Ｂ０８、及びＢ０９
は複合オブジェクトＣＯ５を支援する。

【００７０】図１８をさらに参照すると、ステップ１８
２４では、プロセッサが選択されたビットマップ・オブ
ジェクトによって支援されるそれぞれの複合オブジェク
トを識別し、ビットマップ・オブジェクトへの支援リン
クを新しいＴＳＢＯへの支援リンクに置き換える。図２
０のグループ化ダイアグラム２０２０では、複合オブジ
ェクトＣＯ４及びＣＯ５間の選択されたビットマップ・
オブジェクトＢ０９への支援リンクはＴＳＢＯへのそれ
ぞれの支援リンク２０２６及び２０２４に置き換えられ
ている。代替の形式的関係２０２２はＴＳＢＯと選択さ
れたビットマップ・オブジェクトＢ０９とを続けて接続
する。

【００７１】図１８をさらに参照すると、ステップ１８
２６では、プロセッサがディスプレイから選択されたビ
ットマップ・オブジェクトを除去し、それを新しいＴＳ
ＢＯに置き換える。図２０のグループ化ダイアグラム２
０３０では、選択されたビットマップ・オブジェクトＢ
０９がディスプレイ上でユーザから不可視であり、ＴＳ
ＢＯに置き換えられる。

【００７２】上述された手順の結果は、再構成された構
造格子であり、これによってＴＳＢＯはディスプレイ内
で可視となる表示画像オブジェクトのリスト内の選択さ
れたビットマップ・オブジェクトに置換し、一方、選択
されたビットマップ・オブジェクトを含むグループはＴ
ＳＢＯに対応付けられるようになる。この構造は「過去
のリンク」を残し、元のグループ化に関する情報を保存
する。このため、従来のグループ化構造のすべてととも
に、ＴＳＢＯを交換し、置換した元のビットマップ・オ
ブジェクトを復元することを可能にする。

【００７３】テキストマテリアルを表わすビットマップ
・オブジェクトをテキストストリング・ビットマップ・
オブジェクトにおいて表示されるタイプされたテキスト
に置き換えることに関して本発明のこの態様について説
明してきたが、この手順が単なるグラフィック又は線画
データにも同様に適用され、これにより先のグループ化
関係を維持しながら画像プリミティブのグループを形式
的グラフィック・オブジェクトに置き換え可能とするこ
とは留意すべきである。例えば、図２１は、手書きの四
角形が四角形の形式的且つ正確なグラフィック画像に置
き換え可能であることを示す。図２１において、ディス
プレイ上で見られる画像は、三角形、手書きの四角形、
及び六角形を含む。個々のビットマップ・オブジェクト
はビットマップ・オブジェクト１（三角形）、３−５
（四角形）、及び６（六角形）を含む。グループ化ダイ
アグラム２１３０はこの画像に対応付けられるグループ
化構造を示す。複合オブジェクト「Ｒｏｗ」がビットマ
ップ・オブジェクト１、２、３、４、５、及び６を含む
一方で、複合オブジェクト「四角形」はビットマップ・
オブジェクト２、３、４、及び５を含む。グループ化ダ
イアグラム２１４０では、代替の形式的関係２１４２が
ＴＳＢＯ及び複合オブジェクト「四角形」の間に確立さ
れている。グループ化ダイアグラム２１５０では、選択
されたビットマップ・オブジェクトがディスプレイから
除去され、ＴＳＢＯに置き換えられている。ディスプレ
イ上で、修正された画像は２１６０に現われ、手書きの
四角形が形式的幾何学オブジェクトに置き換えられてい
る。この手順を使用すると、図式的四角形は元の手書き
の四角形が関与したグループ（例えば、「Ｒｏｗ」グル
ープ）に関与することができる。理解されるように、こ
のタイプされたテキスト置換技術は、ドラッギングによ
って選択し、多数のマウスクリックにより選択してグル
ープ間をサイクル動作する能力を含む、上記で提示され
た選択技術の背景において使用されることができる。

【００７４】

【発明の効果】本発明は上記のように構成されているの
で、画像に含まれるテキスト及び線画を編集することに
おいて特に有利であり、余分の処理を最小限にするとと
もに、画像内の広範囲のテキスト及びグラフィックデー
タの編集を可能にするという優れた効果を有する。

【図面の簡単な説明】

【図１】本発明によって修正される見本のグラフィック
画像を示す図である。

【図２】本発明による修正後の図１の見本のグラフィッ
ク画像を示す図である。

【図３】本発明に従って画像を編集することのできるシ
ステムの一般的な構成要素を示すブロック図である。

【図４】本発明による編集のためのグラフィックデータ
を作成するステップを示すフローチャートである。

【図５】本発明の実施の形態によるビットマップ・オブ
ジェクトの作成へのアプローチを示す図である。

【図６】図７のステップに続く選択による１次オブジェ
クトの分割を示す図である。

【図７】選択により１次オブジェクトを分割するステッ
プを示すフローチャートである。

【図８】グループ化構造の再構築のためのステップを示
すフローチャートである。

【図９】図８のステップに続くグループ化構造の再構築
を示す図である。

【図１０】マージングによる新しい１次オブジェクトの
作成のためのステップを示すフローチャートである。

【図１１】図１０のステップに続く新しい１次オブジェ
クトの作成を示す図である。

【図１２】ａ乃至ｄは可能なグループ化構造を示す図で
ある。

【図１３】連結成分のグループを識別するためのステッ
プを示すフローチャートである。

【図１４】オブジェクトが属するグループを識別するた
めのステップを示す図である。

【図１５】グループ化構造を使用して選択されたオブジ
ェクトを編集することを示す図である。

【図１６】本発明による双方向ハイパーリンクを確立す
るためのステップを示すフローチャートである。

【図１７】手書きマテリアルのタイプされたテキストへ
の置換を示す図である。

【図１８】手書きマテリアルのタイプされたテキストへ
の置換のためのステップを示すフローチャートである。

【図１９】選択された画像オブジェクトが多数のビット
マップ・オブジェクトから構成される場合、手書きマテ
リアルをタイプされたテキストに置換する間のグループ
化構造に対する調整を示す図である。

【図２０】選択された画像オブジェクトが単一のビット
マップ・オブジェクトから構成される場合、手書きマテ
リアルをタイプされたテキストに置換する間のグループ
化構造に対する調整を示す図である。

【図２１】正確なグラフィック・オブジェクトが手書き
マテリアルに代用される際の画像及びグループ化構造へ
の変化を示す図である。

フロントページの続き (72)発明者 トーマス ピー．モラン アメリカ合衆国 94301 カリフォルニア 州 パロ アルト グリーンウッド アベ ニュー 1037 (72)発明者 ダニエル エル．ラーナー アメリカ合衆国 95120 カリフォルニア 州 サン ノゼ オーク キャニオン ド ライブ 1495 (72)発明者 ジェームズ ヴィー．マホニー アメリカ合衆国 94306 カリフォルニア 州 パロ アルト アルト メサ アベニ ュー 4175 (72)発明者 デイビッド ジェイ．フリート アメリカ合衆国 94025 カリフォルニア 州 メンロ パーク ケンウッド ドライ ブ 520 (72)発明者 アショク シー．ポパット アメリカ合衆国 94070 カリフォルニア 州 サン カルロス シーダー ストリー ト 625 アパートメント ケー. Ｆターム(参考） 2C187 AD03 CC03 CC08 CC09 CD13 CD19 DB21 FC17 5B021 AA01 AA19 LE00 5B050 AA10 BA07 BA16 BA20 CA07 EA12 EA14 EA19 FA02 5C076 AA19 AA36 CA02 CA11 (54)【発明の名称】 電子画像を作成し操作するための図形入力及び表示システム、表示装置に入力されたソース電子 画像を意味のある画像オブジェクトに編成するための方法、及びコンピュータ読取り可能プログ ラムコードが組み込まれたコンピュータ使用可能媒体を含む製品

Claims (8)

【特許請求の範囲】
1. 【請求項１】 電子画像の要素を操作するためのユーザ
   入力手段と、 電子画像を表示手段に入力するための画像入力手段と、 画像編集動作の要求を受け取り、メモリ構造にアクセス
   するために接続されるプロセッサと、 １次画像オブジェクトを形成するために新しい画像マテ
   リアルを入力するための、又は既存の画像マテリアルを
   選択し、修正するためのユーザ・インタラクション・モ
   ジュール、可視画像要素を作成し、無制限のグループ化
   構造を維持するためのグループ化モジュール、及びグラ
   フィック画像のビューを提示するためのデータ出力モジ
   ュールを含むプログラムメモリ手段と、 データ入力データ構造及びデータ出力データ構造を含む
   データメモリ手段と、を含む、電子画像を作成し操作す
   るための図形入力及び表示システム。
2. 【請求項２】 任意の既存画像マテリアルを選択し、 １次画像オブジェクトを確立し、 画像マテリアルを修正し、 無制限のグループ化構造を再構築すること、 を含む、表示装置に入力されたソース電子画像を意味の
   ある画像オブジェクトに編成するための方法。
3. 【請求項３】 新しい複合オブジェクトの作成は、 断片化１次オブジェクトと、閉じた選択経路によって囲
   まれる残りの非断片化１次オブジェクトを収集して、囲
   まれた１次オブジェクトを形成し、 囲まれた一次オブジェクトのグループを表わす仮の複合
   オブジェクトを作成し、 １次オブジェクトリストから影響を受けた１次オブジェ
   クトを除去し、 断片化１次オブジェクトを前記１次オブジェクトリスト
   に追加し、 囲まれた１次オブジェクトへの支援リンクを作成するこ
   と を含む、請求項２に記載の表示装置に入力されたソース
   電子画像を意味のある画像オブジェクトに編成するため
   の方法。
4. 【請求項４】 無制限のグループ化構造の再構築は、 複数の１次画像オブジェクトによって支援される複合オ
   ブジェクトを識別し、１つ以上の１次画像オブジェクト
   を移動させ、 移動された１次画像オブジェクトの新しい位置がグルー
   プ構造を無効化するかどうかを決定し、 移動されてない１次画像オブジェクトで新しい複合オブ
   ジェクトを形成し、 移動された１次画像オブジェクトに対し新しい複合オブ
   ジェクトを作成し、 新しいグループ化構造を作成することを含む、請求項２
   に記載の表示装置に入力されたソース電子画像を意味の
   ある画像オブジェクトに編成するための方法。
5. 【請求項５】 ２つ以上の１次画像オブジェクトをマー
   ジすることによって新しい１次画像オブジェクトを確立
   することは、 少なくとも１つの１次画像オブジェクトを選択し、 選択された１次画像オブジェクトの結合の境界ボックス
   を決定し、 前記境界ボックスのサイズに対応する新しい空白のビッ
   トマップを作成し、 前景マテリアルを選択されたすべての１次画像オブジェ
   クトから前記新しいビットマップに複写し、 前記新しいビットマップの新しい１次画像オブジェクト
   を作成し、 選択された１次画像オブジェクトを１次オブジェクトリ
   ストから除去し、 新しい１次オブジェクトを前記１次オブジェクトリスト
   に追加することを含む、請求項２に記載の表示装置に入
   力されたソース電子画像を意味のある画像オブジェクト
   に編成するための方法。
6. 【請求項６】 新しい複合オブジェクトの作成は、 選択されたすべての１次オブジェクトによって支援され
   る複合オブジェクトを位置付けて完全に支援された複合
   オブジェクトを形成し、 前記選択された１次オブジェクトからの支援リンクを前
   記完全に支援された複合オブジェクトのそれぞれに対す
   る新しい１次オブジェクトへの支援リンクと置き換え、 選択された１次オブジェクトの部分集合によって支援さ
   れる複合オブジェクトを位置付けて、部分的に支援され
   た複合画像を形成し、 部分的に支援された複合画像のそれぞれに対する１次オ
   ブジェクトへのすべての支援リンクを除去することを含
   む、請求項２に記載の表示装置に入力されたソース電子
   画像を意味のある画像オブジェクトに編成するための方
   法。
7. 【請求項７】 画像領域をテキスト及び線画、連続階調
   ／写真用、及び中間調小領域にセグメント化し、 前記連続階調及び前記中間調領域に対し個々のビットマ
   ップ・オブジェクトを作成し、 前記個々のビットマップ・オブジェクトをソース画像か
   ら削除し、 処理済みソース画像を複数の基本的ビットマップ・オブ
   ジェクトに分解して１次オブジェクトを形成し、 格子グループ化構造内で、ビットマップ・オブジェクト
   の集合を複合画像又はグループに分類分けすることをさ
   らに含む、請求項２に記載の表示装置に入力されたソー
   ス電子画像を意味のある画像オブジェクトに編成するた
   めの方法。
8. 【請求項８】 コンピュータ読取り可能プログラムコー
   ドが組み込まれたコンピュータ使用可能媒体を含む製品
   であって、前記プログラムコードが前記コンピュータに
   よって実行されると、前記コンピュータにディスプレイ
   上に入力された電子画像を編集し、操作するための方法
   ステップを実行させるとともに、前記方法ステップは、 電子画像を１次画像オブジェクトに分解し、 前記１次画像オブジェクトがそれぞれ１つ以上のグルー
   プに所属し各グループが１つ以上の１次画像オブジェク
   トを含むように、前記１次画像オブジェクトを無制限の
   １次画像オブジェクトのグループに編成し、 新しい１次画像オブジェクトを作成し、 １つ以上の１次画像オブジェクトのユーザ操作に応じて
   前記１次画像オブジェクトのグループのすべて又は一部
   を１次画像オブジェクトの１つ以上のグループに再編成
   すること、 を含む、コンピュータ読取り可能プログラムコードが組
   み込まれたコンピュータ使用可能媒体を含む製品。