JP2006018522A - 画像編集システム及び方法並びにプログラム - Google Patents

Abstract

【課題】 操作性を向上させ画質の劣化を抑える。
【解決手段】 スキャン画像を表示媒体に表示し、ポインティング・ディバイスなどのディバイスで複数の編集対象領域を指定、選択、解除及び再選択する編集コマンド処理を行う。編集対象領域を線で囲むことで、編集対象領域を選択し、選択された編集対象領域内を指示することで編集対象領域を再度選択することができる。
【選択図】 図５

Description

本発明は、スキャナで読み取った画像データを編集する画像編集システム及び方法並びにプログラムに関する。

近年、スキャナで読み取った画像データをタブレット・ペンで編集する装置が登場している。例えば、ポインティング・ディバイスであるタブレットと表示装置とが一体となったタブレット表示装置上に画像データを表示し、ペンで編集対象の画像データ領域を囲い、その領域に対する画像データの削除、抽出等の種々の編集操作を適用可能な手書き入力装置がある（特許文献１参照）。

さらに別の例としては、スキャンした画像データとともに編集処理メニューを仮出力紙に印刷し、その仮出力紙上で編集範囲をマーカー・ペンでマーキングし、さらに編集処理メニューで編集処理項目にチェック・マークを書き込む。その後、画像編集装置のスキャナで仮出力紙をスキャンすることで画像データの編集を行う画像編集装置もある（特許文献２参照）。

さらに、近年、電子部品の小型化と高度化により、手書き情報を電子化する装置（Notepad）が登場している（特許文献３参照）。この装置は、２次元座標をあらわす画像のドット・パターンを記録した記録紙上をポインティング・ディバイスであるデジタル・ペンで書き込むと、デジタル・ペンが上記記録紙上のドット・パターンを読み取る。次に、ペンが読み取った筆跡データ（２次元座標の連鎖データ）を、無線通信装置を介してＰＣ（personal computer）に送信する。

デジタル・ペンの概要を説明しておくと、デジタル・ペンはペン型のカバーに覆われ、カバーの先は開いていて、その内側に光学式読取装置と少なくとも１つの発光ダイオードが収用されている。さらに奥には、中央処理装置とメモリと電池が収用されている。さらに、開いているカバーの先にはインクを持ったペン先が存在する。デジタル・ペンは更に、ペンをコントロールする為のボタンと他の機器と通信する為の通信部を持っている。

特開平６−３３２６１１号公報 特開平７―５８９３８号公報 国際公開第０１／１６６９１号パンフレット

しかしながら、特許文献１の手書き入力装置では、手書きで囲んだ画像データ領域の選択範囲が編集処理によりリセットされてしまう。このため、同じ選択範囲に対し編集処理を適用する場合に、再度選択範囲を手書きで指定する必要があり非常に面倒である。

また、特許文献２の画像編集装置では、原稿の画像を画像編集するには、原稿をスキャンし、仮出力紙に原稿画像と編集処理内容をプリントし、その仮出力紙に編集対象の領域をマーカー・ペンで囲う。さらにその仮出力紙を編集処理マーカー・ペンでチェックした後、チェックした仮出力紙を画像編集装置のスキャナで更にスキャンする必要があり非常に面倒である。加えて、編集済みの画像を再度編集する場合は、前回編集した結果の出力された画像の出力紙を再度スキャナで読み取り、前回と同様な操作を行う必要があり更に面倒である。さらには、何度もスキャンとプリントを繰り返すことで画質の劣化が生じる。

また、特許文献３のNotepadは、ペンで書き込んだデータに対する処理に関するもので、スキャナで読み込んだ画像データに対する編集はできず、既にペンで書き込んだオブジェクトに対する処理対象の選択もできない。

従来のシステムには上述したような種々の問題があり、さらなる改善が望まれている。

本発明は、このような状況に鑑みてなされたもので、その目的とするところは、操作性を向上させ画質の劣化を抑えた画像編集システム及び方法並びにプログラムを提供することにある。

このような目的を達成するために、本発明の画像編集システムは、画像読み取り手段によって読み取られた画像データを画像データ格納手段に格納し、当該格納した画像データを編集するために編集対象領域を指定するに際し、前記画像データと該画像データに対する編集機能の選択を行うための領域を表示媒体に表示させ、該表示媒体上を位置指示手段によって指示された位置と前記画像データ上の位置とが対応する画像編集システムであって、前記位置指示手段によって編集対象領域を線で囲むことで、１つまたは複数の新たな編集対象領域を選択する新規領域処理手段と、前記新規領域処理手段によって選択された編集対象領域内を前記位置指示手段によって指示することで、当該指示された１つまたは複数の編集対象領域を再度選択する領域選択処理手段とを備えたことを特徴とする。

また上記目的を達成するために、本発明の画像編集システムは、画像読み取り手段によって読み取られた画像データを画像データ格納手段に格納し、当該格納した画像データを編集するために編集対象領域を指定するに際し、前記画像データと該画像データに対する編集機能の選択を行うための領域を表示した表示媒体を使用し、該表示媒体上を位置指示手段によって指示された位置と前記画像データ上の位置とが対応する画像編集システムであって、前記位置指示手段と通信する通信手段と、前記通信手段から定期的時間によりサンプリングし受信した、前記表示媒体上を前記位置指示手段が移動した軌跡を表す、前記表示媒体上の位置座標のベクトルが、前記表示媒体上で予め定義された編集領域内に包含されている場合は、前記位置座標のベクトルを編集対象の第１のベクトルとして扱い、または、前記位置座標のベクトルが、前記表示媒体上で予め定義された少なくとも１つの編集機能を指定する領域内に包含されている場合は、前記位置座標のベクトルを前記編集機能を識別する第２のベクトルとして扱って前記編集機能を識別するトークンに変換し、前記第１のベクトルまたは前記トークンにより決定される状態と、次に受信した前記第１のベクトルまたは前記トークンとにより決定される処理を実行するデータ解析手段とを備え、前記データ解析手段は、前記位置座標のベクトルの座標を包含する矩形領域であって前記編集領域または前記編集機能を指定する領域を規定する矩形領域と、前記位置座標のベクトルの座標に対して適用する処理とを管理する座標変換管理手段を有し、前記座標変換管理手段によって管理される処理を実行する場合に、前記状態と次に受信した前記第１のベクトルまたは前記トークンとにより決定される処理であって、前記第１のベクトルを一時的に保存するベクトル追加手段、前記第１のベクトルを前記編集領域に含まれるオブジェクトとして追加する処理を行う手書入力処理手段、前記位置指示手段によって編集対象領域を線で囲むことで、１つまたは複数の新たな編集対象領域を選択する新規領域処理手段、前記新規領域処理手段によって選択された編集対象領域内を前記位置指示手段によって指示することで、当該指示された１つまたは複数の編集対象領域を再度選択する領域選択処理手段のいずれかによる処理を実行することを特徴とする。

また上記目的を達成するために、本発明の画像編集方法は、画像読み取り手段によって読み取られた画像データを画像データ格納手段に格納し、当該格納した画像データを編集するために編集対象領域を指定するに際し、前記画像データと該画像データに対する編集機能の選択を行うための領域を表示媒体に表示させ、該表示媒体上を位置指示手段によって指示された位置と前記画像データ上の位置とが対応する画像編集システムの画像編集方法であって、前記位置指示手段によって編集対象領域を線で囲むことで、１つまたは複数の新たな編集対象領域を選択する新規領域処理ステップと、前記新規領域処理ステップにおいて選択された編集対象領域内を前記位置指示手段によって指示することで、当該指示された１つまたは複数の編集対象領域を再度選択する領域選択処理ステップとを備えることを特徴とする。

また上記目的を達成するために、本発明の画像編集方法は、画像読み取り手段によって読み取られた画像データを画像データ格納手段に格納し、当該格納した画像データを編集するために編集対象領域を指定するに際し、前記画像データと該画像データに対する編集機能の選択を行うための領域を表示した表示媒体を使用し、該表示媒体上を位置指示手段によって指示された位置と前記画像データ上の位置とが対応する画像編集システムの画像編集方法であって、前記位置指示手段と通信する通信ステップと、前記通信ステップにおいて定期的時間によりサンプリングし受信した、前記表示媒体上を前記位置指示手段が移動した軌跡を表す、前記表示媒体上の位置座標のベクトルが、前記表示媒体上で予め定義された編集領域内に包含されている場合は、前記位置座標のベクトルを編集対象の第１のベクトルとして扱い、または、前記位置座標のベクトルが、前記表示媒体上で予め定義された少なくとも１つの編集機能を指定する領域内に包含されている場合は、前記位置座標のベクトルを前記編集機能を識別する第２のベクトルとして扱って前記編集機能を識別するトークンに変換し、前記第１のベクトルまたは前記トークンにより決定される状態と、次に受信した前記第１のベクトルまたは前記トークンとにより決定される処理を実行するデータ解析ステップとを備え、前記データ解析ステップは、前記位置座標のベクトルの座標を包含する矩形領域であって前記編集領域または前記編集機能を指定する領域を規定する矩形領域と、前記位置座標のベクトルの座標に対して適用する処理とを管理する座標変換管理ステップを有し、前記座標変換管理ステップにおいて管理される処理を実行する場合に、前記状態と次に受信した前記第１のベクトルまたは前記トークンとにより決定される処理であって、前記第１のベクトルを一時的に保存するベクトル追加ステップ、前記第１のベクトルを前記編集領域に含まれるオブジェクトとして追加する処理を行う手書入力処理ステップ、前記位置指示手段によって編集対象領域を線で囲むことで、１つまたは複数の新たな編集対象領域を選択する新規領域処理ステップ、前記新規領域処理ステップにおいて選択された編集対象領域内を前記位置指示手段によって指示することで、当該指示された１つまたは複数の編集対象領域を再度選択する領域選択処理ステップのいずれかによる処理を実行することを特徴とする。

本発明の以上の構成により、既に処理済みの編集対象領域に対する編集領域の指定と選択を再度ペンで囲う必要はなく、編集対象領域内をペンで触れたりチェック・マークを書き込むだけで編集対象領域の選択が可能となる。さらに、再編集の際、仮出力紙のプリントとスキャンが不要であり、原稿スキャンは１回のみで済む。また、スキャナで読み込んだ画像データに対する編集と、既にペンで書き込んだオブジェクトに対する処理対象の選択とが、共に可能となる。

本発明によれば、画像編集システムの操作性を向上させ画質の劣化を抑える効果を奏する。

以下、図面を参照して本発明を適用できる実施形態を詳細に説明する。尚、各図面において同様の機能を有する箇所には同一の符号を付し、説明の重複は省略する。

（装置構成）
図１は、本発明を適用できる実施形態の画像編集システムの第１の構成図である。図１の画像編集システムは、原稿スキャン機能、プリント機能を登載したＭＦＰ（複合機能周辺装置;Multi Functional Peripheral）、ＦＡＸ装置、プリンタ装置などの本体ディバイス１００である。しかし、原稿スキャナ、プリンタなどの周辺装置や画像処理周辺ボードを搭載したＰＣでも実現可能である。

操作部サブシステム１０１は、液晶パネル上にペンの筆跡を感知するタブレット（図５の図中符号５００の画像編集用画面を表示）が搭載されている表示媒体とキーボードとが搭載され、画像編集システムの本体ディバイス１００のハードウェアに対する表示及び操作に関する制御と、タブレット入力及びキーボード入力を制御する機能とを提供する、ハードウェア・サブシステム及びソフトウェア・サブシステムである（以降では、ハードウェア・サブシステム及びソフトウェア・サブシステムをまとめて単にサブシステムと呼ぶ）。

編集コマンド処理サブシステム１０２は、本実施形態の特徴をあらわす処理部で、編集コマンド処理を司るサブシステムである。編集コマンド処理サブシステム１０２の詳細な説明は後述する。画像データ格納サブシステム１０４は、ＨＤＤ（hard disk drive）等の２次記憶装置（不図示）を制御し、画像データを格納し管理する。

画像処理サブシステム１０５は、画像処理ソフトウェア、画像処理ハードウェア、及び制御ソフトウェアで構成される。画像処理サブシステム１０５は、スキャナ・サブシステム１０６で読み込まれた画像データに対する矩形領域抽出及び下地除去等の画像処理の機能が登載されている。また、画像処理サブシステム１０５は、フォーム・データ生成サブシステム１０７と連携し、例えばＲＧＢ画像データをＫ（黒成分）を除去したＣＭＹ成分からなる色成分に変換する色空間変換機能や２次元座標ＩＤのドット・パターンを生成する２次元座標ドット・パターン生成機能が搭載されている。

スキャナ・サブシステム１０６は、原稿スキャナ（不図示）から読み込んだ原稿を画像処理サブシステム１０５と連携して画像データに変換し画像データ格納サブシステム１０４に格納する。フォーム・データ生成サブシステム１０７は、画像編集用フォーム（図５の符号５００）用のフォーム構造データの管理を行い、さらに、そのプリント・データの生成や編集コマンド・フォーム（図６の符号６００）用のプリント・データの生成を行う。

プリンタ・サブシステム１０８は、プリンタ装置（不図示）を制御してプリント・データをプリンタ装置に出力し、上記画像編集用フォーム用や編集コマンド・フォーム用のプリント・データを記録紙にプリントする。

画像データ編集サブシステム１０３は、スキャナ・サブシステム１０６で読み込まれ画像データ格納サブシステム１０４に格納された画像データを編集コマンド処理１０２の指示に従って画像編集処理を実施するとともに、画像データの編集状態を操作部サブシステム１０１や図３、４で後述する編集クライアント３００、４００上の表示装置に表示する。画像データ編集サブシステム１０３は、後述される図８に示すデータ・オブジェクト管理テーブルや図１１〜１８の編集領域管理テーブル等を、不図示のメモリや２次記憶装置に格納し管理する。

ジョブ制御サブシステム１０１は、システム内のジョブの制御を司り、画像バスとシステムバスとそれらを接続するイメージバスＩ／Ｆ等を含む。

図３は、図１の画像編集システムの変形形態で、本発明を適用できる実施形態の画像編集システムの第２の構成図である。図３と図１の画像編集システムの構成的な差を説明する。図３の画像編集システムは、図１の編集コマンド処理サブシステム１０２と画像データ編集サブシステム１０３を、本体ディバイス１００から編集クライアント３００として分離したシステムである。そして図３の画像編集システムは、本体ディバイス３０５にネットワーク通信サブシステム３０６を設け、編集クライアント３００にもネットワーク通信サブシステム３０３を設け、本体ディバイス３０５と編集クライアント３００との間の通信を行う。編集クライアント３００は、ＰＣ上で実現可能であり、また、専用端末で実現してもよい。

次に、図３と図１の画像編集システムの各サブシステムの機能的な差に関して説明する。図１の画像編集システムでは、編集コマンド処理サブシステム１０２へのキー入力やペン入力を、操作部サブシステム１０１のキーボード、操作部サブシステム１０１上の表示媒体（例えば、表示部にタッチパネルを重ね合わせたタブレット・ディバイス）、または前述した特許文献３に開示される２次元座標位置をドット・パターンで印字した画像編集用紙上で書き込みを行うデジタル・ペン等で行う。また図１の画像編集システムでは、画像データ編集サブシステム１０３による画像データの編集状態の表示は、操作部サブシステム１０１上の表示媒体で行う。

一方、図３の画像編集システムでは、編集コマンド処理サブシステム３０１へのキー入力やペン入力を、編集クライアント３００のキーボードや表示媒体で行い、または編集クライアント３００に無線通信を介して接続された、上述の２次元座標位置をドット・パターンで印字した画像編集用紙上で書き込みを行うデジタル・ペン等で行う。また図３の画像編集システムでは、画像データ編集サブシステム３０２による画像データの編集状態の表示は、編集クライアント３００の表示媒体で行う。

図４は、図３の画像編集システムの変形形態で、本発明を適用できる実施形態の画像編集システムの第３の構成図である。図４と図３の画像編集システムの構成的な差を説明する。図４の画像編集システムは、編集クライアント４００に画像データ格納サブシステム４０１を搭載し、本体ディバイス４０２の画像データ格納サブシステム４０３から編集対象の画像データを画像データ格納サブシステム４０１に格納する。画像データ編集サブシステム４０５は、画像データ格納サブシステム４０１に格納された画像データを編集コマンド処理４０４の指示に従って画像編集処理を実施する。

図２は編集コマンド処理サブシステム構成図であり、図１、図３、図４の編集コマンド処理サブシステム１０２、３０１、４０４の内部構成を示している。図２の編集コマンド処理サブシステム２００は、図５の符号５００に示すような、タブレットの画像編集用画面または画像編集用フォームをペンで編集する際に、タブレットやデジタル・ペンからペンで書き込んだ筆跡データの受信と解析を行う。

その処理内容の概要を述べると、ペンで書き込んだ筆跡に対してその編集対象領域に関するモード・ボタン（図５の５１３の何れかのモード・ボタン）が選択され、モード選択の前に編集対象領域５９９上にペンで書き込まれた筆跡データに対して対応するモード処理が実行される。

例えば、図形５０３の周りをペンで囲い（囲い線５０２）、５１３の新規領域モード・ボタンをペンでチェックした場合、囲い線５０２内の画像データやペンの筆跡データがトリミング、図形整形等の機能を適用する対象として新規に領域指定ならびに領域の選択が実行される。その後、機能ボタン（図５の５１４の何れかの機能ボタン）がペンでチェックされると前述の選択領域に対応して選択した機能ボタンに対応する処理が実行される。例えば、図５の図形領域５０３が囲い線５０２が選択された状態で図５の機能ボタン領域５１４のトリミング・ボタンをペンでチェックすると、囲い線５０２の外接切片である矩形領域５０４内の画像データがトリミング（切取り）される。

次に、図２に示した各構成部位に関して説明する。ディバイス通信部２０１は、キーボード、タブレットやデジタル・ペンと通信する部分でＲＳ−２３２Ｃ（Recommended Standard 232C）、ＵＳＢ（Universal Serial Bus）などの有線通信、ｉＲＤＡ（Infrared Data Association）などの赤外線通信、Bluetooth（商標）などの無線通信が用いられる。

ディバイス・データ解析部２０２は、本実施形態の特徴を最も現す部分の１つであり、ディバイス通信部２０１から定期的時間によりサンプリングし受信したタブレットやデジタル・ペンのペン・データを解析し編集状態、選択領域の管理や空き空間管理２０３からデータ削除２１５に至る部位の実行制御を司る部位である。ディバイス・データ解析部２０２の詳細な説明は、トークンとペン・ベクトル解析処理の状態遷移図である図１９を中心に参照し後述する。

空き空間管理部２０３は、前述のデジタル・ペンを用いた場合に、前述の２次元座標位置を特定する２次元座標空間の使用中領域管理と空き領域管理を行う。少なくとも、本実施形態の図１０の座標変換管理テーブル（後述）の矩形領域に登録されている２次元座標空間は、空き空間管理部２０３において前述の使用中領域として管理されている。ただし、タブレットを用いた場合は空き空間管理部２０３は用いられない。

座標変換管理部２０４では、図１０の座標変換管理テーブルで記載されたデータを管理し、図５の各ハッチングされた矩形領域ごとに対して領域ID、領域種別、代替トークン、領域対応処理オブジェクト、及びコメントを対応づけて管理している。詳細は図２１を用いて後で説明する。

ここで図１０の座標変換管理テーブルの詳細について説明する。領域ID欄は矩形領域を識別するためのIDである。矩形領域欄は、図５のハッチングされた領域である前述の編集領域５９９、各モード・ボタン５１３、各機能ボタン５１４、及び送信ボタン５１６の領域に関する情報である。例えば、デジタル・ペンを用いたシステムにおいて図５は編集用フォーム紙を表しており、矩形領域欄には、各矩形領域内に印字された２次元座標を表すドット・パターンに対応するIDの集合を示す情報が管理される。ただし、デジタル・ペンを用いたシステムにおいて送信ボタン５１６は特殊で、デジタル・ペンに蓄積されたペンの筆跡データを本実施形態の編集コマンド処理部３０１に送出するトリガとして用いられる。例えば、矩形領域欄のIDの集合を示す情報は、２次元空間の左上隅、右上隅、左下隅、右下隅の２次元座標である。

一方、タブレットを用いたシステムにおいては、矩形領域欄のIDの集合を示す情報は、タブレット上の表示装置に表示された図５の画像編集用画面のハッチングされた各矩形領域の画面の２次元領域情報である。例えば、２次元領域情報は、仮想表示画面上の左上隅、右上隅、左下隅、右下隅の２次元座標である。

領域種別欄は、編集領域なのかモード指定や機能指定を行うボタンなのかを識別する情報である。

代替トークンとは、一連かつ複数の２次元座標の集合を１つのトークンとして代替する図５で示した各ボタン５１３，５１４内のボタンの意味を抽象化したトークンであり、内部解析処理を単純化するために用いられる。なぜなら、ポインティング・ディバイスから入力された一連かつ複数の２次元座標を１座標毎に領域範囲チェックを行い対応する意味を求めることは処理系が複雑になるからである。図５で示した各ボタン５１３，５１４内の矩形領域内がペン等のポインティング・ディバイスでチェックされた場合、ポインティング・ディバイスから受信した座標情報をキーに図１０の座標変換管理テーブルが参照され、それにより各ボタン５１３，５１４内のボタンが代替トークンに変換される。代替トークンへの変換はディバイス・データ解析部の前段で実施される。

各代替トークンの内容の説明を以下に示す。
<T>：ボタン領域（図５の５１５内）のいずれかのボタンをペンで触れたことを意味するトークン。
<FTx>：機能ボタン領域（図５の５１４内）のいずれかのボタンをペンで触れたことを意味するトークン。”FTｘ”の”ｘ”各種機能ボタンを区別するために数字である。
<MT>：モード・ボタン領域（図５の５１３内）のいずれかのボタンをペンで触れたことを意味するトークン。
<AT>：領域関連のボタン（図５の５１３の新規領域モード、領域選択モード、領域選択解除モード）をペンで触れたことを意味するトークン。
<IT>：「手書き入力モード」（図５の５１３内）ボタンをペンで触れたことを意味するトークン。
<ST>：「領域選択モード」（図５の５１３内）ボタンをペンで触れたことを意味するトークン。
<NT>：「新規領域モード」（図５の５１３内）ボタンをペンで触れたことを意味するトークン。
<CT>：「領域選択解除モード」（図５の５１３内）ボタンをペンで触れたことを意味するトークン。

上記トークンのお互いの関係を以下に示す。
<T> --+-- <FT>
|
+-- <MT> --+-- <AT> --+-- <ST>
| +-- <NT>
+-- <IT> +-- <CT>

また、図１０の領域対応処理オブジェクト欄の処理は、各矩形領域に対応する処理である。具体的には、図２のディバイス・データ解析処理のプログラム・エントリを示す情報が格納される。コメント欄には領域の意味を識別するためのコメントが格納される。

図２の編集コマンド処理サブシステム２００における、手書き入力モード部２０６、ベクトル追加部２０７、新規領域モード部２０８、領域選択解除モード部２０９、及び領域選択モード部２１０は、各処理部の起動と処理パラメータの引渡しであり、各処理部の実際の処理に関しては、画像データ編集サブシステム（図１の１０３、図３の３０２、図４の４０５）で実行される。画像データ編集サブシステムの処理内容の詳細は、図２２〜図２６を用いて後述される。

図７は編集処理後の編集画面図７００であり、操作部１０１または編集クライアント３００，４００で表示される。図５、図７を用いて各機能処理部２１１〜２１３、及び２１５の処理結果の説明を行う。

画像→文字コード変換部２１１は、領域指定された画像内の文字部を抽出して文字コードに変換する。例えば、図５の領域５０９を選択し、画像→文字コード変換を行うと図７の７０７のように文字コードに変換されアノテーションとして編集データとして埋め込まれるとともに、７０６のように文字フォントの画像データとして書き込まれる。

筆跡→文字コード変換部２１２は、領域指定された領域内のタブレットやデジタル・ペン等のポインティング・ディバイスの筆跡ベクトルを文字コードに変換する。例えば、図５の領域５０６を選択し、筆跡→文字コード変換を行うと図７の７０３のように文字コード”あいう”に変換されアノテーションとして編集データとして埋め込まれるとともに、７０２のように文字フォントの画像データとして書き込まれる。

図形整形部２１３は、領域指定された領域内の前述のポインティング・ディバイスの筆跡ベクトルを図形整形し図形ベクトル・データに変換する。例えば、図５の領域５０７を選択し、図形整形を行うと前記ポインティング・ディバイスで書き込んだ三角形５０８が図７の７０４のように整形され画像として書き込まれる。さらに、整形された三角形の図形ベクトル・データがアノテーションとして編集データに埋め込まれる。

トリミング／マスキング部２１４は、領域指定された領域内の画像をトリミングまたはマスキングする。

データ削除部２１５は、領域指定された領域内の画像を削除し、ディフォルトの塗りつぶし色またはドット・パターンで置き換える。例えば、図５の領域５０２を指定しデータ削除を行うと図７の７０１のように指定された領域が削除される。７０１のように削除前の画像を破線で表示上は残し画像データは削除しても良いし、表示上完全に削除してもよい。

（動作説明）
以上述べたシステム構成において、本実施形態の画像編集システムの動作内容について説明する。

本実施形態の特徴であるディバイス・データ解析部２０２の詳細を説明する。最初に図２０のディバイス・データ解析処理のフローチャートを用いて説明する。ステップS2001でディバイス通信部２０１から一筆分のペン・データを受信する。ここで言うペン・データとはタブレットやデジタル・ペン等のポインティング・ディバイス（以降簡単のためペンと呼ぶ）の筆跡データである。

次に、ステップS2002で座標変換管理部２０４の座標変換管理処理（図２１を参照し後述）を実行し、ペン・データをペン・ベクトル（PVn）に変換しまたは図１０の座標変換管理テーブルを参照して代替トークンに変換し、図１０の座標変換管理テーブルを参照してペンで書き込んだ領域に対応した処理オブジェクトを選択する。次に、ステップS2003で処理オブジェクトが画像編集用の処理オブジェクトであるProc-Aか確認する。もし、NOならばステップS2005に移行しその他の対応処理を実行し終了する。一方、YESならばステップS2004に進みトークンとペン・ベクトル解析処理を実行し処理を終了する。なお、ステップS2004の詳細な説明は図１９を用いて後述される。

次に、図２１を用いて座標変換管理部２０４の処理に関して説明する。先ず、ステップS2101で図１０の座標変換管理テーブルを検索するために、テーブルのインデックス変数であるiに１をセットする。次に、ステップS2102に進み、テーブルの最大レコード数であるNと比較して最終レコードを全て検索したかチェックする。もし、iがNを超えて最終レコードを全て検索し終わった（YES）ならばステップS2108にジャンプする。もし、NOならばステップS2103に移行し、ペン・データが図１０の座標変換管理テーブルのインデックス変数iが指すレコード（CTRi）の矩形領域内のものか確認する。

次に、ステップS2104でペン・ベクトルが矩形領域内に存在するかチェックし、しない（NO）ならばステップS2109にジャンプする。一方、YESならばステップS2105に移行し、図１０の座標変換管理テーブルのインデックス変数iが指すレコードの領域種別が”編集”かどうかチェックし、NOならばステップS2110にジャンプする。一方、YESならば編集領域内をペンで書いたとみなし、ステップS2106に移行して、ペン・データをペン・ベクトル(PVn)に変換し、一時的なメモリ領域（一時格納領域）に格納する。

次に、ステップS2107に進みディバイス・データ解析部２０２に対する処理完了後の終了情報として、ペン・ベクトル(PVn)または代替トークンと図１０の座標変換管理テーブルのインデックス変数iが指すレコードの領域対応処理オブジェクトを、パラメータとして図２０の処理に引渡し処理を終了する。

また、ステップS2108は、ペン・データが図１０の座標変換管理テーブル上に未登録であり処理できない旨のエラー（または、編集領域かボタンの上をペンで書き込みを促す旨）を操作部１０１または編集クライアント３００，４００の表示装置に表示する。また、ステップS2109では、図１０の座標変換管理テーブルの次レコードを処理するためにインデックスiをインクリメントし、ステップS2102にジャンプする。また、ステップS2110では、ペンで書いた領域が前述のボタン領域なので、終了情報として引き渡すために、図１０の座標変換管理テーブルのインデックス変数iが指すレコードの代替トークンを取りだし、ステップS2107にジャンプする。

次に図１９のトークンとペン・ベクトル解析処理の状態遷移図を用いて図２０のステップS2004の詳細を説明する。

領域未選択状態１９０１は編集対象の領域が一切選択されていない状態を示している。編集入力中１状態１９０５は領域が一切選択されていない状態で、編集対象領域（図５の５９９）内をポインティング・ディバイスで書き込んでいる状態を示している。領域指定済み状態１９０８は編集対象の領域が指定されている状態を示している。編集入力中２状態１９１１は編集対象の領域が指定済みの状態で、かつ編集対象領域（図５の５９９）内をポインティング・ディバイスで書き込んでいる状態を示している。

図１９中の矢印は、ある状態から次の状態への遷移を示しており、矢印に付けた番号は下記IF-THEN式に示す番号（XまたはX-YのX）を示している。IF-THEN式の枝番号（X-Y）がついている式は枝番号（Y）分のIF−THEN式が存在していること示している。IF以降が遷移条件をTHEN以降が遷移した際の処理である。尚、括弧”＜＞”内は代替トークンを表している（前述の座標変換管理部２０４の説明を参照）。さらに、PVｎは編集対象領域（図５の５９９）内で書かれた筆跡データであるペン・ベクトルを示している。

＜＜IF-THEN式＞＞
（１）IF <T> THEN ユーザにエラーを通知する
（２）IF PVn THEN ベクトル追加処理を実行する
（３）−１ IF PVn THEN ベクトル追加処理を実行する
（３）−２ IF <FT> THEN ユーザにエラーを通知する
（４）−１ IF <CT> THEN <CT>前のPVｎと<CT>を無視する
（４）−２ IF <IT> THEN <IT>前のPVｎに対して手書き入力モード処理を実行する
（５）−１ IF <ST> THEN <ST>前のPVｎに対して領域選択モード処理を実行する
（５）−２ IF <NT> THEN <NT>前のPVｎに対して新規領域モード処理を実行する
（６） IF <IT>または<ST>または<NT> THEN ユーザにエラーを通知する
（７） IF PVn THEN ベクトル追加処理を実行する
（８）−１ IF PVn THEN ベクトル追加処理を実行する
（８）−２ IF <FT> THEN ユーザにエラーを通知する
（８）−３ IF <CT> THEN <CT>前のPVｎに対して領域選択解除モード処理を実行する
（９） IF <CT> THEN <CT>前のPVｎに対して領域選択解除モード処理を実行する
（１０）−１ IF <ST> THEN <ST>前のPVｎに対して領域選択モード処理を実行する
（１０）−２ IF <NT> THEN <NT>前のPVｎに対して新規領域モード処理を実行する
（１０）−３ IF <IT> THEN <IT>前のPVｎに対して手書き入力モード処理を実行する
（１１）−１ IF <FT> THEN 選択済みの領域に対して各種機能処理を実行する
（１１）−２ IF <CT> THEN 選択済みの領域にたいして領域選択解除モード処理を実行する

以降、上記IF-THEN式のTHEN以降記載の処理部の下線部分の詳細を図２と図２２〜２６図のフローチャートを用いて説明する。ここでそれに先立ち、まず、図８のデータ・オブジェクト管理テーブルのリスト図を説明し、さらに、図１１〜１８の編集領域管理テーブルに関して説明しておく。

図８のデータ・オブジェクト管理テーブルのリスト図を参照し、図５の編集対象領域５９９に書き込まれた領域関連以外の筆跡データを管理するためのデータ・オブジェクト管理テーブルについて説明する。

図８において、データ・オブジェクト管理テーブルでは、編集対象の筆跡データであるペン入力データの集合を一塊として管理する。具体的には、図５の５１４の機能ボタンが選択されるまでのペン入力データの集合を１つの管理レコードで管理する。そのペン入力データは、データ・オブジェクト管理テーブルの管理レコードの”ペン入力データ”欄に格納される。”データ種別”、”データ内容”それぞれの欄には、選択された機能ボタンに対応するデータ種別、および編集対象のペン・ベクトルPVnに対してその機能ボタンに対応する変換処理結果が格納される。

例えば、図８の１レコード目のオブジェクトID”Oa”は、図５の領域５０６内のペン・ベクトルに対して図５の５１４の機能ボタン”筆跡→文字列変換”が適用され、”データ種別”欄に”文字列”、”データ内容”欄に文字列である”あいう”７０３が格納される。

オブジェクトID”Ob”には、図５の領域５０８内のペン・ベクトルに対して図５の５１４の機能ボタン”図形整形”が適用され、”データ種別”欄に”図形”、”データ内容”欄に三角形７０５の図形ベクトルが格納される。

オブジェクトID”Oc”には、図５の領域５０９内のペン・ベクトルに対して図５の５１４の機能ボタン”画像→文字列変換”が適用され、”データ種別”欄に”文字列”、”データ内容”欄に変換された結果の文字列７０７が格納される。但し、図５の５１２は画像データの文字列なので”ペン入力データ”欄にはペン・ベクトルは格納されない。

次いで図５、図８、図９を参照しながら、図１１〜１８の編集領域管理テーブルの設定内容に関して説明しおく。

図１１は初期状態であり、図５の編集対象領域５９９が図１１の管理テーブルの１行目（１管理レコード目）であり、”内包領域”として”b”(その管理テーブルの２行目の”領域ID”)と”c”(その管理テーブルの３行目の”領域ID”)を包含している。その管理テーブルの２行目は図５の矩形領域５０３の管理レコード、３行目は図５の矩形領域５１０の管理レコードである。画像データからの矩形領域５０３、５１０の解析と矩形抽出は、図１の画像処理サブシステム１０５、図３の３０５中の画像処理サブシステム、図４の４０２中の画像処理サブシステムで処理され、その結果は図１１の２行目と３行目の管理レコードに反映される。

図１２は、図１１の初期状態からペンで１つめの新規の領域指定（図５の５０２）の囲線を書いた直後の編集領域管理テーブルの状態である。その結果、図１２の４つ目の管理レコード（”領域ID”が”ｄ”）が追加され、”選択状態”に”選択”、”種別”が手書領域”、その領域に外接する図５の破線の矩形５０４データが”領域ベクトル”にセットされ、囲い線５０２は矩形５０３を内包するので”内包領域”に”ｂ”がセットされる。さらに、図１２の１つ目の管理レコード”a”の”内包領域”が”c”と”d”にセットされる。

図１３はペンで図５の５０５の文字”あいう”を書き込んだ直後の編集領域管理テーブルである。その文字のペン・ベクトルは図８のデータ・オブジェクト管理テーブルの新規に追加された管理レコード（図８の１行目）の”ペン入力データ”にセットされ、”オブジェクトID”に”Oa”がセットされる。次に、図１３の１つ目の管理レコードの”内包オブジェクト”として”Oa”がセットされる。

図１４はペンで書き込んだ図５の５０５の文字の周辺をペンで囲線５０６で領域指定した直後の編集領域管理テーブルの状態である。操作上はペンで囲線５０６を書いた後に５１３内の新規領域モード・ボタンをチェックする。編集対象領域５９９の直下に新規領域５０６が新たに指定されたので、図１４の５番目の管理レコードが追加され、”領域ID”に”e”、”選択状態”に”選択”、”種別”に”手書領域”、”領域ベクトル”に５０６の外接矩形、”内包領域”に”なし”、さらに、”内包オブジェクト”に”Oa"がセットされる。さらに、図１４の１行目の”内包領域”に”e”が追加され、”内包オブジェクト”に”なし”がセットされる。これは、編集対象領域５９９がオブジェクト”Oa"を直接包含していた状態から、新規領域”e”がオブジェクト”Oa"を直接包含し、編集対象領域５９９が領域”e”を包含する構成になったためである。

図１５はペンで図５の図形５０８を書き込んだ直後の編集領域管理テーブルの状態である。その文字のペン・ベクトルは図８のデータ・オブジェクト管理テーブルの新規に追加された管理レコード（図８の２行目）の”ペン入力データ”にセットされ、”オブジェクトID”に”Ob”がセットされる。次に、図１５の１つ目の管理レコードの”内包オブジェクト”として”Ob”がセットされる。

図１６はペンで書き込んだ図５の図形５０８の周辺をペンで囲線５０７を書込んで、新規の領域を指定した直後の編集領域管理テーブルの状態である。操作上はペンで囲線５０７を書いた後に５１３内の新規領域モード・ボタンをチェックする。編集対象領域５９９の直下に新規領域５０７が新たに指定されたので、図１６の６番目の管理レコードが追加され、”領域ID”に”f”、”選択状態”に”選択”、”種別”に”手書領域”、”領域ベクトル”に５０７の外接矩形、”内包領域”に”なし”、さらに、”内包オブジェクト”に”Ob"がセットされる。さらに、図１６の１行目の”内包領域”に”f”が追加され、”内包オブジェクト”に”なし”がセットされる。これは、編集対象領域５９９がオブジェクト”Ob"を直接包含していた状態から、新規領域”f”がオブジェクト”Ob"を直接包含し、編集対象領域５９９が領域”f”を包含する構成になったためである。

次に、図１７は図５の文章５１２の周辺を囲線５０９で書込んで、新規の領域を指定した直後の編集領域管理テーブルの状態である。その結果、図１７の７つ目の管理レコード（”領域ID”が”g”）が追加され、”選択状態”に”選択”、”種別”が手書領域”、その領域に外接する不図示の矩形データが”領域ベクトル”にセットされる。さらに矩形領域５１０は囲線５０９を内包するので、図１７の３つ目の管理レコード”c”の”内包領域”が”g”にセットされる。

最後に、図１８は領域指定５０９内の画像に対して機能ボタン領域５１４中の「画像→文字列変換」を実行した直後の編集領域管理テーブルの状態である。この変換結果である文字列が図８のデータ・オブジェクト管理テーブルの３行目の管理レコードとしてセットされ、図１８の７行目（”領域ID”が”ｇ”）で”選択状態”に”未選択”、”内包オブジェクト”として図８の３行目の”0c”がセットされる。図９のデータ・オブジェクトの相互関連を示すツリー図は、図１８のオブジェクトと領域との関係を表している。

次いで、図２３のベクトル追加処理のフローチャートを用いてベクトル追加処理２０７を説明する。ステップS2301でペン・ベクトル・データ(PVn)を上記ペン・ベクトルの一時格納領域に格納する。次にステップS2302に進み、ペン・ベクトル（PVｎ）を筆跡データが選択済みの領域でもなく、編集対象の筆跡オブジェクトでもない未確定状態である旨の表現（例えば、表示装置がカラーディスプレイなら緑線、白黒ディスプレイの場合は破線）で表示装置に表示する。

次に、図２２の手書き入力モード処理のフローチャートを用いて手書き入力モード部２０６を詳細に説明する。まず、ステップS2201のNは図５の手書き入力モード・ボタンをチェックする前に入力されたペン・ベクトル数である。Nが０の場合はペン・ベクトルが１つも入力されていないことを意味する。従って、ステップS2201でそのNをチェックして Nが０以下の場合は、ステップS2208にジャンプしてその旨のエラーを表示装置（図１の１０１、図３，４の画像編集クライアント３００、４００の表示装置）に表示する。

一方、N>0ならばステップS2202に進み、図８のデータ・オブジェクト管理テーブルに新規にレコードを追加する。次に、ステップS2203に進みペン・ベクトルの一時格納領域から取り出したペン・ベクトル数をカウントする変数（ｎ）に１をセットする。 次に、ステップS2204に進み、n>N（最後のペン・ベクトルを取り出し済み）をチェックし、NOならばステップS2209にジャンプする。

一方、YESならばステップS2205に進み、前述の編集領域管理テーブルを検索し、一時格納領域から取り出した全てのペン・ベクトルを包含する領域の管理レコードが存在するかチェックする（ステップS2206）。そのような管理レコードが存在しないならステップS2212にジャンプする。一方、そのような管理レコードが存在するならステップS2207に移行し、編集領域管理テーブルのステップS2205で一致した管理レコードの”内包オブジェクト”として前述のデータ・オブジェクト管理テーブルのオブジェクトIDをセットし、処理を終了する。

ステップS2208では、前述の表示装置に”手書き入力モード・ボタンのチェック前にペンで書き込みが行われていない”旨のエラー表示を行い処理を終了する。

ステップS2209では、ペン・ベクトル・データの一時格納領域の次のペン・ベクトル(PVn)をステップS2202で追加したデータ・オブジェクト管理の管理レコードにセットする。次にステップS2210に進みそのペン・ベクトルを前述の表示装置に手書き入力の筆跡である旨の表現（例えば、表示装置がカラーディスプレイなら青線、白黒ディスプレイの場合は実線）で表示する。次に、ステップS2211で次にペン・ベクトル(PVn)を示すｎをインクリメントすし、ステップS2204にジャンプする。

ステップS2212では、前述の表示装置に対し”ペン・ベクトル(PVn)が複数の領域に跨っている”旨のエラー表示を行い処理を終了する。

次に、図２５の新規領域モード処理のフローチャートを用いて新規領域モード部２０８を説明する。先ず、ステップS2501では、N>0（Nは新規領域モード・ボタンのチェック前に入力されたペン・ベクトル(PVn)の個数）かチェックし入力されたペン・ベクトル数が０を超えるか確認し、NOならばステップS2507にジャンプする。

一方、ステップS2501のチェック結果がYESならばステップS2502に進み、新規領域モード・ボタンのチェック前に入力されたペン・ベクトル(PVn)のｎ個目を指定する変数ｎを１にセットする。次に、ステップS2503に進みn>Nをチェックし、全てのペン・ベクトル(PVn)の処理が完了しているか確認し、完了していない（NO）ならばステップS2508にジャンプする。

一方、完了している（YES）ならステップS2504に移行し、新規領域を指定する領域線がペン・ベクトル(PVn)の始点と終点が交差しているか、または予め定められた距離の範囲内にあり、かつ、同レベル（例えば、図９のデータ・オブジェクトの相互関連を示すツリー図におけるc, d, e, fのレベルやg, bのレベル）の他の領域と交差していないか確認する。その結果をステップS2505でチェックしてOKでないならステップS2511にジャンプする。

一方、ステップS2505でチェック結果がOKならステップS2506に進み、上記編集領域管理テーブの新規の管理レコードを追加し、その管理レコードの”選択状態”に”選択”をセットする。さらに、その新規領域が内包する領域が存在するかを確認するために、上記編集領域管理テーブを検索し、もし内包する領域があればその領域ＩＤをその新規の管理レコードの”内包領域”にセットする。さらに、その新規領域を内包する管理レコードの”内包領域”に新規管理レコードの領域ＩＤをセットし、正常終了する。

ステップS2507では、操作部サブシステム１０１や編集クライアント３００、４００上の表示装置に新規領域モード・ボタンをチェック前ペンで書き込みが行われていない”旨のエラー表示を行う。

ステップS2508では、ペン・ベクトル・データの一時格納領域から次のペン・ベクトル(PVn)を取り出し処理の対象とする。次に、ステップS2509に移行し、操作部サブシステム１０１や編集クライアント３００、４００上の表示装置にその編集対象領域の囲線を領域が選択されている旨をユーザに伝えるための表現（例えば、表示装置がカラーディスプレイなら赤線、白黒ディスプレイの場合は長短混在の破線）で表示し、ステップS2510に進み変数ｎをインクリメントし、ステップS2503にジャンプする。

ステップS2511では、操作部サブシステム１０１や編集クライアント３００、４００上の表示装置に手書きしたチェック・マークが領域内に収まっていない”旨のエラー表示を行い、エラー終了する。

次に、図２４の領域選択モード処理のフローチャートを用いて領域選択モード部２１０を説明する。まず、ステップS2401は領域選択モード・ボタンのチェック前に入力されたペン・ベクトル(PVn)のｎ個目を指定する変数ｎを１にセットし、編集対象の領域が幾つ選択されたかをカウントする変数ｍを０にセットする。次に、ステップS2402に進みn>N（Nは領域選択モード・ボタンのチェック前に入力されたペン・ベクトル(PVn)の個数）かチェックし最終ペン・ベクトルかチェックして、YESならばステップS2409にジャンプする。

一方、NOならばステップS2403に進み、図１１〜図１８の編集領域管理テーブルの領域ベクトル欄を検索し、ペン・ベクトル(PVn)を内包する管理レコードがあるかチェックし（ステップS2404）、そのようなレコードがもしなければステップS2412にジャンプする。一方、そのようなレコードがあればステップS2405に進み、領域が選択状態であること示すために、ペン・ベクトル(PVn)を包含する上記編集領域管理レコードの選択状態欄を”選択”状態にセットする。その際、操作部サブシステム１０１や編集クライアント３００、４００上の表示装置にその編集対象領域の囲線を領域が選択されている旨をユーザに伝えるための表現（例えば、表示装置がカラーディスプレイなら赤線、白黒ディスプレイの場合は長短混在の破線）で表示する。

次に、ステップS2406に進み選択された領域数カウンタである変数ｍをインクリメントする。次に、ステップS2407に進みペン・ベクトル・データの一時格納領域から次のペン・ベクトル(PVn)を取り出し、ステップS2408でペン・ベクトル(PVn)のｎ個目を指定する変数ｎをインクリメントしステップS2402にジャンプする。

ステップS2409ではN>0（Nは領域選択モード・ボタンのチェック前に入力されたペン・ベクトル(PVn)の個数）かチェックし入力されたペン・ベクトル数が０を超えるか確認し、NOならばステップS2411にジャンプする。一方、ステップS2409の結果がYESならばm>0かチェックし（ステップS2410）選択された領域が存在するか確認し、NOならばステップS2411へジャンプする。一方、ステップS2410の結果がYESならば正常終了する。

ステップS2411では操作部サブシステム１０１や編集クライアント３００、４００上の表示装置に”領域選択モード・ボタンのチェック前に１つも有効な領域選択がされていない”旨のエラー表示を行い、エラー終了する。

ステップS2412では操作部サブシステム１０１や編集クライアント３００、４００上の表示装置に”手書きしたチェック・マークが２つの領域に跨る等、領域内に収まっていない”旨の表示を行いステップS2407にジャンプする。

次に、図２６の領域選択解除モード処理のフローチャートを用いて領域選択解除モード部２０９を説明する。まず、ステップS2601において、領域選択解除モード・ボタンのチェック前に入力されたペン・ベクトル(PVn)のｎ個目を指定する変数ｎを１にセットし、編集対象の領域が幾つ選択されたかをカウントする変数ｍを０にセットする。次に、ステップS2602に進みn>N（Nは領域選択解除モード・ボタンのチェック前に入力されたペン・ベクトル(PVn)の個数）かチェックし最終ペン・ベクトルかチェックして、YESならばステップS2609にジャンプする。

一方、ステップS2602の結果がNOならばステップS2603に進み、図１１〜図１８の編集領域管理テーブルの領域ベクトル欄を検索し、ペン・ベクトル(PVn)を内包する管理レコードがあるかチェックし（ステップS2604）、もしそのような管理レコードがなければステップS2612にジャンプする。一方、そのような管理レコードがあればステップS2605に進み、領域が未選択状態であること示すために、ペン・ベクトル(PVn)を包含する上記編集領域管理レコードの選択状態欄を”未選択”状態にセットする。その際、操作部サブシステム１０１や編集クライアント３００、４００上の表示装置にその編集対象領域の囲線を領域が選択解除されている旨をユーザに伝えるための表現（例えば、表示装置がカラーディスプレイならグレー線、白黒ディスプレイの場合は細い破線）で表示する。

次に、ステップS2606に進み選択された領域数カウンタである変数ｍをインクリメントする。次に、ステップS2607に進みペン・ベクトル・データの一時格納領域から次のペン・ベクトル(PVn)を取り出し、ステップS2608でペン・ベクトル(PVn)のｎ個目を指定する変数ｎをインクリメントしステップS2602にジャンプする。

ステップS2609ではN>0（Nは領域選択解除モード・ボタンのチェック前に入力されたペン・ベクトル(PVn)の個数）かチェックし入力されたペン・ベクトル数が０を超えるか確認し、NOならばステップS2611にジャンプする。一方、ステップS2609で結果がYESならばm>0かチェックし選択された領域が存在するか確認し（ステップS2610）、NOならばステップS2611へジャンプする。一方、ステップS2610の結果がYESならば正常終了する。

ステップS2611では操作部サブシステム１０１や編集クライアント３００、４００上の表示装置に”領域選択解除モード・ボタンのチェック前に１つも有効な領域選択がされていない”旨のエラー表示を行い、エラー終了する。

ステップS2612では操作部サブシステム１０１や編集クライアント３００、４００上の表示装置に”手書きしたチェック・マークが２つの領域に跨る等、領域内に収まっていない”旨の表示を行いステップS2607にジャンプする。

（実施形態の効果）
以上説明したように本実施形態によれば、画像編集システムは、スキャナ手段で原稿を読み取り、読み取った画像データを画像データ格納手段に格納し、その画像データを編集するために、編集対象の領域を指定するに際し、その画像データとその画像データに対する編集機能の選択を行うため領域を表示媒体に表示させ、表示媒体上をポインティング・ディバイスで指示した位置とその画像データ上の位置が対応する画像編集システムは、そのポインティング・ディバイスで編集対象領域を線で囲むことで１つまたは複数の新たな編集対象領域を選択し、編集対象領域を選択するに際し、少なくともスキャナで読み取った画像データの一部の編集対象領域、または、新規に指定した編集対象領域内をポインティング・ディバイスでチェックすることで１つまたは複数の編集対象領域を再度選択し、既に指定済みで選択済みまたは未選択の編集対象領域内をポインティング・ディバイスでチェックすることで選択済みの１つまたは複数の編集対象領域の選択を解除し、選択された１つまたは複数の編集対象領域に含まれるオブジェクトに対して前記ポインティング・ディバイスで少なくとも１つまたは複数の編集機能の中から１つの機能を選択して適用する。

このため、特許文献１の手書き入力装置のように既に処理済みの編集対象領域に対する編集領域の指定と選択を再度ペンで囲う必要は無く、編集対象領域内をペンで触れたりチェック・マークを書き込むだけで編集対象領域の選択が可能となり、著しく操作性が向上する。

さらに、特許文献２の画像編集装置のようなマーカー・ペンで編集するシステムと比べると、仮出力紙にマーカー・ペンで記入後の仮出力紙のスキャンが不要になり、著しく操作性が向上する。さらに、特許文献２のマーカー・ペンで編集するシステムでは、同一原稿を再編集する度に仮出力紙のプリントとスキャンを行う必要があり、そのたびに画質が劣化するが、本実施形態では、再編集の際、仮出力紙のプリントとスキャンが不要となるばかりか、原稿スキャンは最初の１回のみなので画質の劣化が著しく改善される。

また、特許文献３のNotepadと比べ、スキャナで読み込んだ画像データに対する編集ができ、既にペンで書き込んだオブジェクトに対する処理対象の選択ができるので、著しく機能性および操作性が向上する。

（他の実施形態）
本発明を適用できる上述した実施形態は、その変形例として、上記形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体(又は記録媒体)を、システム又は装置に供給し、そのシステム又は装置のコンピュータ(又はＣＰＵやＭＰＵ（micro processing unit）)が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が上記実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、上記実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(ＯＳ)などが実際の処理の一部又は全部を行い、その処理によって上記実施形態の機能が実現される場合も、本発明の構成に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わる記憶媒体に書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も、本発明の構成に含まれることは言うまでもない。

また、本発明は、上記実施形態の機能を実現するソフトウェアのプログラムコードがネットワークを介して配信されることにより、システム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ（CD-ReWritable）、ＣＤ−Ｒ（CD recordable）等の記憶媒体に格納され、そのシステム又は装置のコンピュータ(又はＣＰＵやＭＰＵ)がそれら記憶手段や記憶媒体に格納されたプログラムコードを読み出して実行することによっても、達成されることは云うまでもない。

本発明を適用できる実施形態の画像編集システムの第１の構成図である。 本発明を適用できる実施形態の編集コマンド処理サブシステム構成図である。 本発明を適用できる実施形態の画像編集システムの第２の構成図である。 本発明を適用できる実施形態の画像編集システムの第３の構成図である。 本発明を適用できる実施形態の画像編集用画面または画像編集用フォームを示す図である。 本発明を適用できる実施形態の画像編集用フォームの編集コマンド・フォームを示す図である。 本発明を適用できる実施形態の編集処理後の編集画面図である。 本発明を適用できる実施形態のデータ・オブジェクト管理テーブルのリスト図である。 本発明を適用できる実施形態のデータ・オブジェクトの相互関連を示すツリー図である。 本発明を適用できる実施形態の座標変換管理テーブル図である。 本発明を適用できる実施形態の初期状態の編集領域管理テーブルのリスト図である。 本発明を適用できる実施形態のペンで１つめの領域指定直後編集領域管理テーブルのリスト図である。 本発明を適用できる実施形態のペンで文字を書き込んだ直後の編集領域管理テーブルのリスト図である。 本発明を適用できる実施形態のペンで書き込んだ文字の周辺をペンで領域指定直後編集領域管理テーブルのリスト図である。 本発明を適用できる実施形態のペンで図形を書き込んだ直後編集領域管理テーブルのリスト図である。 本発明を適用できる実施形態のペンで書き込んだ図形の周辺をペンで領域指定直後編集領域管理テーブルのリスト図である。 本発明を適用できる実施形態の文章の周辺をペンで領域指定直後編集領域管理テーブルのリスト図である。 本発明を適用できる実施形態の文章の周辺をペンで領域指定し「画像→文字列変換」を実行直後編集領域管理テーブルのリスト図である。 本発明を適用できる実施形態のトークンとペン・ベクトル解析処理の状態遷移図である。 本発明を適用できる実施形態のディバイス・データ解析処理のフローチャートである。 本発明を適用できる実施形態の座標変換管理処理のフローチャートである。 本発明を適用できる実施形態の手書き入力モード処理のフローチャートである。 本発明を適用できる実施形態のベクトル追加処理のフローチャートである。 本発明を適用できる実施形態の領域選択モード処理のフローチャートである。 本発明を適用できる実施形態の新規領域モード処理のフローチャートである。 本発明を適用できる実施形態の領域選択解除モード処理のフローチャートである。

符号の説明

２００ 編集コマンド処理サブシステム
２０１ ディバイス通信部
２０２ ディバイス・データ解析部
２０３ 空き空間管理部
２０４ 座標変換管理部
２０６ 手書き入力モード部
２０７ ベクトル追加部
２０８ 新規領域モード部
２０９ 領域選択解除モード部
２１０ 領域選択モード部
２１１ 画像→文字コード変換部
２１２ 筆跡→文字コード変換部
２１３ 図形整形部
２１４ トリミング／マスキング部
２１５ データ削除部

Claims (18)

1. 画像読み取り手段によって読み取られた画像データを画像データ格納手段に格納し、当該格納した画像データを編集するために編集対象領域を指定するに際し、前記画像データと該画像データに対する編集機能の選択を行うための領域を表示媒体に表示させ、該表示媒体上を位置指示手段によって指示された位置と前記画像データ上の位置とが対応する画像編集システムにおいて、
   前記位置指示手段によって編集対象領域を線で囲むことで、１つまたは複数の新たな編集対象領域を選択する新規領域処理手段と、
   前記新規領域処理手段によって選択された編集対象領域内を前記位置指示手段によって指示することで、当該指示された１つまたは複数の編集対象領域を再度選択する領域選択処理手段と
   を備えたことを特徴とする画像編集システム。
2. 前記新規領域処理手段によって選択された編集対象領域内を前記位置指示手段によって指示することで、当該指示された１つまたは複数の編集対象領域の選択を解除する領域選択解除処理手段
   をさらに備えたことを特徴とする請求項１に記載の画像編集システム。
3. 前記新規領域処理手段によって選択された１つまたは複数の編集対象領域、または前記領域選択処理手段によって選択された１つまたは複数の編集対象領域に含まれるオブジェクトに対して、１つまたは複数の前記編集機能の中から少なくとも１つの編集機能を前記位置指示手段によって指示することで選択し、当該選択された編集機能を適用する編集機能処理手段
   をさらに備えたことを特徴とする請求項１または２に記載の画像編集システム。
4. 選択済みの編集対象領域がなく、かつ、１つまたは複数の前記編集機能の中から少なくとも１つの編集機能が前記位置指示手段によって指示され選択された場合に、エラーを報知するエラー報知手段
   をさらに備えたことを特徴とする請求項３の画像編集システム。
5. 前記編集機能処理手段によって編集機能が適用された後に、選択されていた編集対象領域の選択を解除する
   ことを特徴とする請求項３の画像編集システム。
6. 画像読み取り手段によって読み取られた画像データを画像データ格納手段に格納し、当該格納した画像データを編集するために編集対象領域を指定するに際し、前記画像データと該画像データに対する編集機能の選択を行うための領域を表示した表示媒体を使用し、該表示媒体上を位置指示手段によって指示された位置と前記画像データ上の位置とが対応する画像編集システムにおいて、
   前記位置指示手段と通信する通信手段と、
   前記通信手段から定期的時間によりサンプリングし受信した、前記表示媒体上を前記位置指示手段が移動した軌跡を表す、前記表示媒体上の位置座標のベクトルが、前記表示媒体上で予め定義された編集領域内に包含されている場合は、前記位置座標のベクトルを編集対象の第１のベクトルとして扱い、または、前記位置座標のベクトルが、前記表示媒体上で予め定義された少なくとも１つの編集機能を指定する領域内に包含されている場合は、前記位置座標のベクトルを前記編集機能を識別する第２のベクトルとして扱って前記編集機能を識別するトークンに変換し、前記第１のベクトルまたは前記トークンにより決定される状態と、次に受信した前記第１のベクトルまたは前記トークンとにより決定される処理を実行するデータ解析手段とを備え、
   前記データ解析手段は、
   前記位置座標のベクトルの座標を包含する矩形領域であって前記編集領域または前記編集機能を指定する領域を規定する矩形領域と、前記位置座標のベクトルの座標に対して適用する処理とを管理する座標変換管理手段を有し、
   前記座標変換管理手段によって管理される処理を実行する場合に、前記状態と次に受信した前記第１のベクトルまたは前記トークンとにより決定される処理であって、
   前記第１のベクトルを一時的に保存するベクトル追加手段、
   前記第１のベクトルを前記編集領域に含まれるオブジェクトとして追加する処理を行う手書入力処理手段、
   前記位置指示手段によって編集対象領域を線で囲むことで、１つまたは複数の新たな編集対象領域を選択する新規領域処理手段、
   前記新規領域処理手段によって選択された編集対象領域内を前記位置指示手段によって指示することで、当該指示された１つまたは複数の編集対象領域を再度選択する領域選択処理手段
   のいずれかによる処理を実行する
   ことを特徴とする画像編集システム。
7. 前記表示媒体は、表示領域に対して２次元座標位置を特定するための２次元座標データを符号化した座標位置パターンを重畳した編集用紙であり、
   前記位置指示手段は、前記位置座標パターンを読み取り前記編集用紙上の前記２次元座標位置のベクトルを記憶し、当該記憶したベクトルを前記通信手段に伝送するデジタル・ペンである
   ことを特徴とする請求項６の画像編集システム。
8. 前記表示媒体は、表示装置であり、
   前記位置指示手段は、前記表示装置上の位置検出機能を有する
   ことを特徴とする請求項６の画像編集システム。
9. 画像読み取り手段によって読み取られた画像データを画像データ格納手段に格納し、当該格納した画像データを編集するために編集対象領域を指定するに際し、前記画像データと該画像データに対する編集機能の選択を行うための領域を表示媒体に表示させ、該表示媒体上を位置指示手段によって指示された位置と前記画像データ上の位置とが対応する画像編集システムの画像編集方法において、
   前記位置指示手段によって編集対象領域を線で囲むことで、１つまたは複数の新たな編集対象領域を選択する新規領域処理ステップと、
   前記新規領域処理ステップにおいて選択された編集対象領域内を前記位置指示手段によって指示することで、当該指示された１つまたは複数の編集対象領域を再度選択する領域選択処理ステップと
   を備えることを特徴とする画像編集方法。
10. 前記新規領域処理ステップにおいて選択された編集対象領域内を前記位置指示手段によって指示することで、当該指示された１つまたは複数の編集対象領域の選択を解除する領域選択解除処理ステップ
    をさらに備えることを特徴とする請求項９に記載の画像編集方法。
11. 前記新規領域処理ステップにおいて選択された１つまたは複数の編集対象領域、または前記領域選択処理ステップにおいて選択された１つまたは複数の編集対象領域に含まれるオブジェクトに対して、１つまたは複数の前記編集機能の中から少なくとも１つの編集機能を前記位置指示手段によって指示することで選択し、当該選択された編集機能を適用する編集機能処理ステップ
    をさらに備えることを特徴とする請求項９または１０に記載の画像編集方法。
12. 選択済みの編集対象領域がなく、かつ、１つまたは複数の前記編集機能の中から少なくとも１つの編集機能が前記位置指示手段によって指示され選択された場合に、エラーを報知するエラー報知ステップ
    をさらに備えたことを特徴とする請求項１１の画像編集方法。
13. 前記編集機能処理ステップにおいて編集機能が適用された後に、選択されていた編集対象領域の選択を解除する
    ことを特徴とする請求項１１の画像編集方法。
14. 画像読み取り手段によって読み取られた画像データを画像データ格納手段に格納し、当該格納した画像データを編集するために編集対象領域を指定するに際し、前記画像データと該画像データに対する編集機能の選択を行うための領域を表示した表示媒体を使用し、該表示媒体上を位置指示手段によって指示された位置と前記画像データ上の位置とが対応する画像編集システムの画像編集方法において、
    前記位置指示手段と通信する通信ステップと、
    前記通信ステップにおいて定期的時間によりサンプリングし受信した、前記表示媒体上を前記位置指示手段が移動した軌跡を表す、前記表示媒体上の位置座標のベクトルが、前記表示媒体上で予め定義された編集領域内に包含されている場合は、前記位置座標のベクトルを編集対象の第１のベクトルとして扱い、または、前記位置座標のベクトルが、前記表示媒体上で予め定義された少なくとも１つの編集機能を指定する領域内に包含されている場合は、前記位置座標のベクトルを前記編集機能を識別する第２のベクトルとして扱って前記編集機能を識別するトークンに変換し、前記第１のベクトルまたは前記トークンにより決定される状態と、次に受信した前記第１のベクトルまたは前記トークンとにより決定される処理を実行するデータ解析ステップとを備え、
    前記データ解析ステップは、
    前記位置座標のベクトルの座標を包含する矩形領域であって前記編集領域または前記編集機能を指定する領域を規定する矩形領域と、前記位置座標のベクトルの座標に対して適用する処理とを管理する座標変換管理ステップを有し、
    前記座標変換管理ステップにおいて管理される処理を実行する場合に、前記状態と次に受信した前記第１のベクトルまたは前記トークンとにより決定される処理であって、
    前記第１のベクトルを一時的に保存するベクトル追加ステップ、
    前記第１のベクトルを前記編集領域に含まれるオブジェクトとして追加する処理を行う手書入力処理ステップ、
    前記位置指示手段によって編集対象領域を線で囲むことで、１つまたは複数の新たな編集対象領域を選択する新規領域処理ステップ、
    前記新規領域処理ステップにおいて選択された編集対象領域内を前記位置指示手段によって指示することで、当該指示された１つまたは複数の編集対象領域を再度選択する領域選択処理ステップ
    のいずれかによる処理を実行する
    ことを特徴とする画像編集方法。
15. 前記表示媒体は、表示領域に対して２次元座標位置を特定するための２次元座標データを符号化した座標位置パターンを重畳した編集用紙であり、
    前記位置指示手段は、前記位置座標パターンを読み取り前記編集用紙上の前記２次元座標位置のベクトルを記憶し、当該記憶したベクトルを前記通信ステップの処理のために前記画像編集システムへ伝送するデジタル・ペンである
    ことを特徴とする請求項１４の画像編集方法。
16. 前記表示媒体は、表示装置であり、
    前記位置指示手段は、前記表示装置上の位置検出機能を有する
    ことを特徴とする請求項１４の画像編集方法。
17. 請求項９乃至１３のいずれかに記載の画像編集方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
18. 請求項１４乃至１６のいずれかに記載の画像編集方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
    

Images