JP2010073185A - 入力装置、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】 簡単な操作で編集を行うことができ、編集後に見映えの良い表示を行うことができる手書き入力装置、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体を提供する。
【解決手段】 確定モジュール２４は、グループに含まれる文字または／および図形の軌道を確定する。手書き入力モジュール２０によって編集命令を示すジェスチャが入力されると、編集管理モジュール２５が、入力された命令を解釈して実行する。このとき、命令の実行に伴ってグループ内での文字および図形の移動を行うが、この移動は、確定された軌道に沿って行われる。
【選択図】 図２

Description

本発明は、情報を入力するための入力装置、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体に関する。

情報処理機器には、情報を入力するための入力装置が備えられる。手書きは非常に強力で用途が広く、手で文字などを書くことはほとんどの人が長く使用する入力手段の１つであることから、ほとんどのユーザに親しみのある入力手段である。また手書き入力が利用可能な場合、ユーザは手書き入力を入力および管理のための様式として主に使用する傾向がある。ペンのインターフェースを有するより多くの電子装置が過去および未来において、情報の入力および操作手段として利用可能になり、これを発展させて効果的な電子機器を開発する必要がある。

特許文献１には、編集すべき文章データおよび図形データを記憶しておき、校正シンボルが入力されるとこれを認識し、入力された校正シンボルに近接する文字および図形を直接検索し、オペレータの意図する編集内容を推定し、用紙上の手書きによる訂正に類似する作業を行うことにより、図形および文章が混在する文書を容易に編集するドキュメントの編集装置が開示されている。

特許文献１記載には、手書きのジェスチャを捕捉および実施するためのシステムおよび処理が開示されている。ユーザはジェスチャを使用し、ペン中心の入力装置に迅速にコマンドを入力して作業を実行することができる。実施例においては、ユーザがペン中心のコンピューティングのプラットフォームにおいて、ペンを使用してテキストまたは手書きのインクを編集することができ、編集の結果をテキストまたはインクに及ぼすことができる。

特許文献１記載の技術では、手書きの校正シンボルが編集の命令として使用されているが、編集の対象は事前に入力される文章データである。また、編集は編集領域の指定にのみ関係し、たとえば削除に関しては、確定の編集領域において内容が削除されると、削除後の領域には補間するための代わりの図形（実施例では線）を表示する。
このように、編集後の領域においては、不自然な文章や画像が表示されてしまう。

特許文献１記載の技術では、ユーザがジェスチャを使用し、ペン中心の入力装置に迅速にコマンドして作業を実行することが記載されているが、具体的にどのように作業を実現するか開示されていない。

特許文献２記載の技術では、文字単位に分割された手書き入力データを、行情報に基づいて行内における文字の並びを整えることが記載されているが、全ての文字が行ごとに平行に整えられてしまうので、文字を平行に並べたくない場合などには対応することができない。

特開平１−１６１４８３号公報 特開平７−１８２４４９号公報

本発明の目的は、簡単な操作で編集を行うことができ、編集後に見映えの良い表示を行うことができる手書き入力装置、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体を提供することである。

本発明は、文字または／および図形を手書き入力するための手書き文字または／および図形入力部と、
前記手書き文字または／および図形入力部により入力された手書き文字または／および図形で構成される手書きデータを記憶する記憶部と、
前記手書きデータを編集するための命令を手書き入力するための手書き編集命令入力部と、
前記手書きデータに含まれる一連の文字または／および図形で構成されるグループに対して、手書きの入力方向を検出する入力方向検出部と、
前記手書き命令入力部によって命令が入力されると、入力された命令を検出するとともに、命令の実行に伴う前記グループ内での文字または／および図形の移動を、前記入力方向に従って行うように制御する編集管理部と、
前記手書きデータ、前記編集管理部により編集される前の手書きデータ、編集の命令実行後に編集された手書きデータを表示する表示部とを備えることを特徴とする入力装置である。

また本発明は、前記入力方向検出部は、グループに含まれる文字または／および図形に対して、１文字または／および図形ごとにその外接矩形を検出し、検出した外接矩形の幾何学的中心を検出し、検出された全ての幾何学的中心を連結した軌道を算出することを特徴とする。

また本発明は、前記手書き編集命令は削除命令を含み、
手書き編集命令として削除命令が入力されると、前記編集管理部は、削除すべき対象を削除し、削除された文字または／および図形よりも入力方向後ろ側の文字または／および図形を、入力方向前側に、前記軌道に沿って移動させることを特徴とする。

また本発明は、前記手書き編集命令は修正命令を含み、
手書き編集命令として修正命令が入力されると、前記編集管理部は、修正すべき対象を削除し、手書き文字または／および図形入力部により修正のための文字または／および図形が入力されると、入力された文字または／および図形の外接矩形と幾何学的中心を検出し、検出した幾何学的中心が、前記軌道上に位置するように、修正対象の文字または／および図形と置き換えを行うことを特徴とする。

また本発明は、前記手書き編集命令は挿入命令を含み、
手書き編集命令として挿入命令が入力されると、
前記編集管理部は、挿入位置よりも入力方向後ろ側の各文字または／および図形と、挿入位置よりも入力方向前側の文字または／および図形との間に所定の間隔を空けるように、挿入位置よりも入力方向前側または後側の文字を軌道に沿って移動させ、手書き文字または／および図形入力部によって入力された挿入のための文字または／および図形の外接矩形と幾何学的中心を検出し、検出した幾何学的中心が前記間隔にあって、前記軌道上に位置するように、入力された挿入のための文字または／および図形を配置することを特徴とする。

また本発明は、コンピュータを、上記の入力装置として機能させるための画像処理プログラムである。

また本発明は、コンピュータを、上記の入力装置として機能させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、手書き編集命令入力部によって編集のための命令が入力されると、入力された命令を実行するとともに、命令の実行に伴うグループ内での文字または／および図形の移動を、入力方向検出部が検出した入力方向に従って行い、編集された手書きデータを表示部に表示する。

これにより、文字または／および図形の移動を行い、その移動が入力方向に沿ったものであるので、簡単な操作で編集を行うことができ、編集後に見映えの良い表示を行うことができる。

また本発明によれば、入力方向検出部は、グループに含まれる文字または／および図形に対して、１文字または／および図形ごとに外接矩形を検出し、検出した外接矩形の幾何学的中心を検出し、検出された全ての幾何学的中心を連結した軌道を算出する。

これにより、編集後に軌道に沿って文字または／および図形の移動を行うので、編集後にさらに見映えの良い表示を行うことができる。

また本発明によれば、手書き編集命令として削除命令が入力されると、削除対象を削除し、削除された文字または／および図形よりも入力方向後ろ側の文字または／および図形を、入力方向前側に、軌道に沿って移動させる。

これにより、削除後にも空白部分や代替表示が行われることなく、削除された分を詰めて表示するので、編集後にさらに見映えの良い表示を行うことができる。

また本発明によれば、手書き編集命令として修正命令が入力されると、修正対象を削除し、手書き文字または／および図形入力部により修正のための文字または／および図形が入力されると、入力された文字または／および図形の外接矩形と幾何学的中心を検出し、検出した幾何学的中心が、軌道上に位置するように、修正対象の文字と置き換えを行う。

これにより、修正後にも、修正前の文字の配置に応じて新たに入力された修正のための文字または／および図形が置き換わるので、編集後にさらに見映えの良い表示を行うことができる。

また本発明によれば、手書き命令として挿入命令が入力されると、挿入位置よりも入力方向後ろ側の各文字または／および図形と、挿入位置よりも入力方向前側の文字または／および図形との間に所定の間隔を空けるように、挿入位置よりも入力方向前側または後側の文字または／および図形を軌道に沿って移動させる。

さらに、手書き文字または／および図形入力部によって入力された挿入のための文字または／および図形の外接矩形と幾何学的中心を検出し、検出した幾何学的中心が前記間隔にあって、軌道上に位置するように、入力された挿入のための文字または／および図形を配置する。

これにより、挿入用の間隔を確保するにあたって、軌道に沿って文字または／および図形の移動を行い、さらに挿入のための文字または／および図形の中心を、間隔にある軌道上に配置するので、編集後にさらに見映えの良い表示を行うことができる。

また本発明によれば、簡単な操作で入力された文字または／および図形の編集を行うことができ、編集後に見映えの良い表示を行うことができる画像処理装置を実現するための画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。

以下図面を参考にして本発明の好適な実施形態を詳細に説明する。
本発明は、手書きオブジェクトおよび手書きの軌道を確定し、削除、修正および挿入などの編集の命令として手書きのジェスチャを使用する。このとき、付加的な選択および操作を行うことなく編集作業を遂行する。また編集の後、手書きオブジェクトは、適切な場所に移動され、見映え良く表示される。

図１は、本発明の実施の一形態である入力装置１を備える複合機２のハードウェア構成を簡略化して示すブロック図である。図１では、煩雑を避けるために、たとえば複写動作に関連する部分だけを抽出して示す。複写動作とは、（１）原稿を読取って原稿に基づく読取データを生成し、（２）この読取データに基づく画像を用紙に形成する、という動作をいう。

情報処理機器である複合機２は、ユーザによって操作される操作部３と、原稿を読取って原稿に基づく読取データを生成する原稿読取部４と、読取データに基づく画像を用紙に形成する画像形成部５と、制御部７と、メモリ１８とを有する。操作部３は、キースイッチ８と、画面を表示する表示部９と、表示部９の前面に配置されるタッチパネル１０とを有する。複合機２には、（１）キースイッチ８を操作すること、（２）タッチパネル１０を操作することによって情報を入力することができる。

本実施の形態の入力装置１は、情報を入力するとともに予め入力された情報（主に文章データ）を編集するために用いられる。入力装置１から入力される入力情報としては、文字および図形が挙げられる。

図２は、入力装置１のモジュール構成を示す図である。
入力装置１は、手書き入力モジュール２０、データのキャッシュメモリ２１、表示モジュール２２、手書きオブジェクトの抽出モジュール２３、手書き軌道の確定モジュール２４、編集管理モジュール２５、第１データベース２６および第２データベース２７で構成される。

手書き入力モジュール２０は、タッチパネル１０に入力され読み取られた座標に基づいて座標軌跡データを取得する。座標軌跡データの取得は、公知の技術を用いて取得することができる。

データのキャッシュメモリ２１は、手書きの軌道データおよび他のデータを一時的に保存する記憶領域である。データのキャッシュメモリのデータ構造については、他のデータ構造とともに後述する。

表示モジュール２２は、表示部９に表示を行うためのインターフェースとして機能し、手書き入力された軌道や編集の対象となる文章などを表示部９に適宜表示させる。

手書きオブジェクトの抽出モジュール２３は、手書き入力モジュール２０で入力された軌道データに基づいて、手書きオブジェクトであるかどうかを認識する。手書きオブジェクトと認識されなかったデータは、誤ったデータとして破棄される一方、手書きオブジェクトと認識された軌道データは、登録される。

手書き軌道の確定モジュール２４は、一連の手書きオブジェクトを含むグループにおいて、各手書きオブジェクトの入力方向および入力位置を表す入力軌道を確定する。

編集管理モジュール２５は、本発明の最も特徴となる構成であり、手書き入力された確定の編集用オブジェクトにより編集作業を行う。

第１データベース２６は、予め入力される手書きのテキストデータおよびその関連情報が記憶される。第１データベースのデータの構成は、他のデータ構造とともに後述する。

第２データベース２７は、編集用オブジェクトである手書きジェスチャが記憶されている。第２データベースのデータの構成は、他のデータ構造とともに後述する。

本発明の入力装置１は、編集作業のみならず手書きによる文字入力も行うことができ、文字入力について説明する。

第１データベース２６には、手書き文字認識辞書が記憶される。手書き文字認識辞書には、各文字または／および図形に対する手書きオブジェクトのパターンが予め登録される。手書きオブジェクトの抽出モジュール２３は、手書き入力モジュール２０から入力される手書きオブジェクトと、各文字または／および図形に対する手書きオブジェクトパターンと照合して文字または／および図形の認識を行う。

図３は、本発明の入力装置１による編集処理を示すフローチャートである。
ステップＳ１で、手書き入力モジュール２０により手書きオブジェクトが入力されると、ステップＳ２で、手書きオブジェクトの抽出モジュール２３により手書き入力モジュール２０で入力された手書きオブジェクトに基づいて、手書きオブジェクトパターンと照合して文字または／および図形の認識を行う。

ステップＳ３では、認識された手書きオブジェクトを、手書きグループに組み込んで確定する。具体的には、予め時間の閾値τを設定しておき、手書き入力時のアイドル時間Ｔを検知する。アイドル時間Ｔは、タッチパネル１０に最後に座標が入力されてから座標入力がなされない経過時間である。Ｔ＞τの場合、Ｔよりも前に入力された手書きオブジェクトは、１つの手書きオブジェクトのグループとして確定する。

ステップＳ４では、手書きの軌道を確定する。具体的には、確定された手書きグループの各々の手書きオブジェクトに外接する最小の矩形（以下では「外接矩形」という）を検出し、外接矩形各々の幾何学的中心を検出する。検出された各々の幾何学的中心を通る直線または曲線を抽出し手書きの軌道を確定する。
ステップＳ５では、編集管理を行う。

以下では編集管理について、詳細に説明する。図４は、編集管理モジュール２５の動作を示す図である。

編集管理モジュール２５は、受信動作３０において、手書き軌道の確定モジュール２４から手書きオブジェクトである手書きテキスト４０および手書きジェスチャ４１を受信する。続いて編集準備動作３１において、第２データベース２７に記憶される手書きジェスチャと比較し、入力された手書きジェスチャから手書きジェスチャに対応する編集命令を認識する。編集命令は、主に削除、修正および挿入などの異なる命令からなる。また、編集管理モジュール２５は、編集対象の手書き軌道の読み込みを行う。

編集動作３２において、認識された編集命令および手書き軌道に基づいて、具体的な編集作業である、削除作業、修正作業、挿入作業を実行する。

削除作業、修正作業、挿入作業においては、手書き軌道の操作が行われる。手書き軌道の操作は、編集作業に伴う文字の削除、置き換え、追加に伴って文字のオブジェクトを手書き軌道に沿って移動させる。たとえば指定される文字のオブジェクトが削除される場合、指定されたオブジェクトよりも入力方向後ろ側にある文字オブジェクトを、軌道に沿って順に前側に移動させる。特に挿入作業においては、文字数が増加することにより予め確定された軌道を延長して文字オブジェクトを入力方向後ろ側へと移動させる必要があるので、その場合は、予め確定された軌道に基づいて予測を行い、軌道を延長する。削除作業、修正作業、挿入作業の具体的な処理については後述する。

ここで、データのキャッシュメモリ２１、第１データベース２６および第２データベース２７のデータ構造について説明する。

図５は、キャッシュメモリ２１のデータ構造を示す図である。
データのＩＤ５１は、キャッシュメモリ２１における手書きオブジェクトの通し番号である。サブファイル５２は、手書きオブジェクトが属するファイル番号である。サブページ５３は、手書きオブジェクトが属するファイルのページ番号である。フォーメーション時間５４は、手書きオブジェクトの入力が開始された時刻（年、月、日、時、分、秒）である。軌道５５は、手書きオブジェクトが属するグループの軌道データである。属性５６は、オブジェクトの属性を示し、装置の外部からオンライン入力されたオブジェクトの属性はデフォルトであり、手書きオブジェクトの抽出モジュール２３または編集管理モジュール２５から入力された手書きオブジェクトの属性はテキストまたはジェスチャである。ラベル５７は、オブジェクトに付与するラベルであり、オンライン入力されたオブジェクトのラベルはデフォルトであり、手書きオブジェクトの抽出モジュール２３または編集管理モジュール２５から入力された手書きオブジェクトのラベルはデフォルトまたは編集である。その他５８には、予備の情報が記載される。

図６は、第１データベース２６のデータ構造を示す図である。
手書きオブジェクトのＩＤ６１は、第１データベース２６における手書きオブジェクトの通し番号である。サブファイル６２は、手書きオブジェクトが属するファイル番号である。サブページ６３は、手書きオブジェクトが属するファイルのページ番号である。フォーメーション時間６４は、手書きオブジェクトの入力が開始された時刻（年、月、日、時、分、秒）である。軌道６５は、手書きオブジェクトが属するグループの軌道データである。属性６６は、手書きオブジェクトの属性を示し、テキストまたはジェスチャである。ラベル６７は、オブジェクトに付与するラベルである。手書きオブジェクトがジェスチャである場合、ラベルは対応する編集命令が記載される。ジェスチャでなければデフォルトが記載される。その他６８には、予備の情報が記載される。

図７は、第２データベース２７のデータ構造を示す図である。
編集のジェスチャのＩＤ７１は、第２データベース２７における手書きジェスチャの通し番号である。定義元７２は、ジェスチャの定義元を示し、予めシステム側で定義されたものであれば、システムが記載され、ユーザが新たに定義したものであれば、ユーザが記載される。フォーメーション時間７３は、手書きジェスチャの入力が開始された時刻（年、月、日、時、分、秒）である。軌道７４は、手書きジェスチャが対象とするグループの軌道データである。ラベル７５は、ジェスチャに付与するラベルであり、編集内容を示す。その他７６には、予備の情報が記載される。

以下では、具体的な編集作業について説明する。
本発明の編集作業においては、手書きオブジェクトのグループにおける軌道を用いることが特徴である。本発明におけるグループの軌道は、上記のように、手書きグループの各々の手書きオブジェクト外接矩形における幾何学的中心を連結することによって得られる直線または曲線である。ここで、幾何学的中心としてはたとえば、重心を用いることができる。

グループが一行からなる場合は、図８の軌道の例に示すように、（ａ）一本の曲線または（ｂ）一本の直線で表される。１本の線分の軌道の入力方向はたとえば左から右に規定される。

グループが複数行からなる場合は、図９の軌道の例に示すように、（ａ）横方向の複数の線分の集合または（ｂ）縦方向の複数の線分の集合で表される。横方向の複数の線分の集合では、一本の線分については、入力方向はたとえば左から右に規定され、一本の線分の右端から、次の線分である直下の線分の左端に連結する。縦方向の複数の線分の集合では、一本の線分については、入力方向はたとえば上から下に規定され、一本の線分の下端から、次の線分である左隣の線分の上端に連結する。

図１０は、手書きジェスチャの例を示す図である。
第２データベース２７において記憶される手書きジェスチャのデフォルト値は装置により予め定義される。なお、手書きジェスチャはユーザにより新たに定義することも可能である。ユーザにより新たに定義される場合は、手書きジェスチャの認識学習が必要である。

手書きジェスチャの図形はどのようなものでもよいが、ユーザが直感的に編集内容を理解しやすいようにヒューマンインターフェイスに基づいて定義されることが好ましい。

本実施形態では、図１０に示すように（ａ）削除用ジェスチャ、（ｂ）修正用ジェスチャ、（ｃ）挿入用ジェスチャが定義されているものとする。削除用ジェスチャは、×の形状を有するオブジェクトで定義され、修正用ジェスチャは、二重線の形状を有するオブジェクトで定義され、挿入用ジェスチャはＹの形状を有するオブジェクトで定義される。

まず編集対象の文字が漢字の場合について説明する。
図１１Ａおよび図１１Ｂは、軌道の確定処理を示す図である。タッチパネル１０などに設定される手書き入力領域１００に手書き文字が入力されると、手書きオブジェクトである手書き文字のグループ１０１が確定される（図１１Ａ（ａ））。そしてグループ１０１ごとに、グループ１０１に含まれる手書きオブジェクトごとの外接矩形１０２が検出され、その幾何学的中心Ｃが検出される（図１１Ａ（ｂ））。

中心Ｃが検出されると、１つのグループ１０１に含まれる全ての中心Ｃを連結して軌道１０３が確定される（図１１Ｂ（ｃ））。

図１２は、編集内容が削除の場合の例を示す図である。図１２（ａ）は、削除時の表示例を示し、図１２（ｂ）は、表示変更の具体的な処理を示す図である。

手書き入力領域１００に表示されている１つのグループ１０１に削除用ジェスチャ１０４である「×」が入力されると、削除用ジェスチャ１０４が入力された該当箇所の文字オブジェクトを削除し、削除された文字よりも入力方向後ろ側の文字オブジェクトを、入力方向前側に、軌道１０３に沿って移動させて新たなグループを作成して表示する。

削除対象の文字オブジェクトは、削除用ジェスチャ１０４が入力された座標（軌道）を含む外接矩形１０２を検出し、検出された外接矩形１０２に対応する文字オブジェクトを削除対象のオブジェクトとして認識する。

削除後の残余のオブジェクトの移動は、残余の文字オブジェクトの中心Ｃを軌道１０３に沿って移動させ、移動先の他の文字オブジェクトの外接矩形１０２と、移動させる文字オブジェクトの外接矩形１０２とが所定の重なり領域を有するように移動させる。

図１３は、編集内容が修正の場合の例を示す図である。
手書き入力領域１００に表示されている１つのグループ１０１に修正用ジェスチャ１０５である「＝」が入力されると、修正用ジェスチャ１０５が入力された該当箇所の文字オブジェクトを一旦削除する。修正後の文字オブジェクトが入力されると、入力された文字オブジェクトを削除された文字オブジェクトに置き換えて表示する。

修正対象のオブジェクトは、削除操作と同様に、修正用ジェスチャ１０５が入力された座標（軌道）を含む外接矩形１０２を検出し、検出された外接矩形１０２に対応する文字オブジェクトを修正対象のオブジェクトとして認識する。

修正後の文字オブジェクトが入力されるとその外接矩形および幾何学的中心を検出し、中心が軌道上に位置するよう、かつ修正位置に隣接する他の文字オブジェクトの外接矩形１０２と、修正後の文字オブジェクトの外接矩形１０２とが所定の重なり領域を有するように配置させる。

図１４は、編集内容が挿入の場合の例を示す図である。
挿入される文字が複数の場合は、１文字ずつ順に挿入する処理と、複数文字を１つの文字とみなしてまとめて挿入する処理とがある。図１４に示す処理は、１文字ずつ挿入する処理を示している。

たとえば「上海」の２文字を挿入する場合、まず手書き入力領域１００に表示されている１つのグループ１０１の挿入位置１０６に挿入用ジェスチャ１０７である「Ｙ」が入力されると、挿入位置１０６よりも入力方向後ろ側の各文字オブジェクトと、挿入位置１０６よりも入力方向前側の文字オブジェクトとの間に所定の間隔を空けるように、挿入位置１０６よりも入力方向後ろ側の各文字オブジェクトを軌道１０３に沿って移動させる。

このとき、グループ１０１に含まれる最後尾の文字オブジェクトは、軌道１０３を示す線分の範囲外に移動させる必要があるので、入力方向後ろ側に軌道１０３を延長したのち、挿入位置１０６よりも入力方向後ろ側の各文字オブジェクトを軌道１０３に沿って移動させる必要がある。
軌道１０３の延長は、公知の技術によって処理することが可能である。

挿入に必要な間隔は、次のようにして決定する。挿入の編集を行う場合、挿入用ジェスチャ１０７の入力に続いて挿入対象の文字オブジェクトを入力する。本実施形態では、図１４に示すように、挿入用ジェスチャ１０７の下部の直線部分が、挿入位置１０６を示し、挿入用ジェスチャ１０７の上部のＶ字部分の上方に入力された文字オブジェクト１０８である「上」を、挿入対象の文字オブジェクトとして認識する。

入力された挿入対象の文字オブジェクトの外接矩形からその幅ｒ１を取得し、挿入後に両隣の文字オブジェクトとの間に設ける所定の間隔ｒ２を用いて、挿入間隔ｒ３をｒ３＝ｒ１＋２×ｒ２で算出する。したがって、軌道１０３の延長長さは、少なくとも挿入間隔ｒ３だけ必要である。

また、挿入対象の文字オブジェクトの配置は、挿入後の両隣の文字オブジェクトにおけるそれぞれの中心を取得し、これら２つの中心間の軌道上であって、中心間の中央位置に、挿入対象の文字オブジェクトの中心が一致するように配置する。

続いて２文字目として「海」を挿入するが、これについては１文字目の「上」と同じ処理であるので説明を省略する。

図１５は、編集内容が挿入の場合の例を示す図である。
図１５に示す処理は、複数文字を１つの文字とみなしてまとめて挿入する処理を示している。

複数文字まとめて挿入する処理は、複数の文字を含む文字オブジェクトを１つの文字オブジェクトとみなして処理を行うので、具体的な処理は、図１４に示した処理例を同様である。異なるのは、挿入用ジェスチャ１０７を入力した後、挿入用ジェスチャ１０７の上部のＶ字部分の上方に複数文字が入力された場合に、これを１つの文字オブジェクトとみなして、全ての挿入文字を含む外接矩形を１つ検出して処理を行うことである。

ところで、複数の文字をまとめて挿入する場合、図１５に示したように、見映えが劣化しない場合がほとんどであるが、特定の条件下では、挿入後に見栄えが劣化する場合がある。

特定の条件とは、挿入先のグループの軌道と、挿入する複数の文字からなる軌道が大きく異なるような場合である。特に挿入する文字数が多くなると見栄えの劣化が顕著になる。図１６に示すように、たとえば「北京市」の３文字を挿入する場合、「北京市」の３文字のオブジェクトから検出される軌道１０９は右上がりの直線であり、挿入先のグループの軌道１０３が右下がりの直線であるので、「北京市」の３文字をまとめて挿入すると、図に示すように、グループ内での軌道の変化が大きく、挿入後に表示される文字の見映えが劣化する。

このような場合は、図１７に示すように、入力された複数の文字を１文字ずつの文字オブジェクトに分割して１つの挿入位置１０６に挿入するように処理すればよい。

「北京市」の３文字を挿入する場合は、「北」の文字オブジェクト１０８ａ、「京」の文字オブジェクト１０８ｂ、「市」の文字オブジェクト１０８ｃに分割し、それぞれの外接矩形と中心とを検出する。そののちは、図１４に示した１文字ずつの挿入と同じように、１文字ずつの文字オブジェクトの中心が軌道上に位置するように挿入すればよい。

次に編集対象の文字がアルファベットの場合について説明する。
漢字では、１文字ずつの外接矩形を検出して、中心を検出し軌道を確定すればよいが、アルファベットの場合は、外接矩形の検出が異なっている。

アルファベットの外観および書込みの習性が漢字と異なるため、たとえば１単語（ワード）ごとの外接矩形を検出するだけでは不十分である。アルファベットの場合は、特に１文字ごとの縦方向の大きさが大きく異なるため、単純に１単語の外接矩形を検出すると、外接矩形の縦の長さは大きな文字の縦方向の大きさに支配されることになる。

したがって、アルファベットの場合は、図１８の検出処理の例に示すように、他の文字の高さに比べて大きく外れるような筆記部分、図に示した例では、線ｄ−ｅ間、線ｆ−ｇ間、線ｈ−ｉ間の筆記については、外接矩形の検出対象から外すようにする。

図１９は、編集対象の文字がアルファベットの場合の軌道確定を説明するための図である。まず１つのグループ１０１において、１単語ごとに分割し、１単語ごとの主体部分、図１８に示した例では、線ａ−ｂ間、線ｃ−ｄ間、線ｇ−ｈを検出する。次に、主体部分を対象とする外接矩形１０２を検出し、その幾何学的中心を検出する。最後に検出した全ての中心を連結して軌道を確定する。
軌道を確定したのちの具体的な編集内容については漢字の場合と同様である。

図２０は、編集内容が削除の場合の例を示す図である。図２０（ａ）は、削除時の表示例を示し、図２０（ｂ）は、表示変更の具体的な処理を示す図である。

手書き入力領域１００に表示されている１つのグループ１０１に削除用ジェスチャ１０４である「×」が入力されると、削除用ジェスチャ１０４が入力された該当箇所の単語オブジェクトを削除し、削除された単語よりも入力方向後ろ側の単語オブジェクトを、入力方向前側に、軌道に沿って移動させて新たなグループを作成して表示する。

削除対象の単語オブジェクトは、削除用ジェスチャ１０４が入力された座標（軌道）を含む外接矩形１０２（単数または複数）を検出し、検出された外接矩形１０２に対応する単語オブジェクトを削除対象のオブジェクトとして認識する。

削除後の残余のオブジェクトの移動は、残余の単語オブジェクトの中心Ｃを軌道１０３に沿って移動させ、削除対象の単語オブジェクトが削除される前に、その外接矩形の左端部があった位置に、移動させる単語オブジェクトの外接矩形１０２の左端部が一致するように移動させる。

図２１は、編集内容が修正の場合の例を示す図である。
手書き入力領域１００に表示されている１つのグループ１０１に修正用ジェスチャ１０５である「＝」が入力されると、修正用ジェスチャ１０５が入力された該当箇所の単語オブジェクトを一旦削除する。修正後の単語オブジェクトが入力されると、入力された単語オブジェクトを削除された単語オブジェクトに置き換えて表示する。

修正対象のオブジェクトは、削除操作と同様に、修正用ジェスチャ１０５が入力された座標（軌道）を含む外接矩形１０２を検出し、検出された外接矩形１０２に対応する単語オブジェクトを修正対象のオブジェクトとして認識する。

修正後の単語オブジェクトが入力されるとその外接矩形および幾何学的中心を検出し、中心が軌道上に位置するよう、かつ修正対象の単語オブジェクトが削除される前に、その外接矩形の左端部があった位置に、移動させる単語オブジェクトの外接矩形１０２の左端部が一致するように移動させる。

図２２は、編集内容が挿入の場合の例を示す図である。
まず手書き入力領域１００に表示されている１つのグループ１０１の挿入位置１０６に挿入用ジェスチャ１０７である「Ｙ」が入力されると、挿入位置１０６よりも入力方向後ろ側の各単語オブジェクトと、挿入位置１０６よりも入力方向前側の単語オブジェクトとの間に所定の間隔を空けるように、挿入位置１０６よりも入力方向後ろ側の各単語オブジェクトを軌道に沿って移動させる。

このとき、グループ１０１に含まれる最後尾の単語オブジェクトは、軌道を示す線分の範囲外に移動させる必要があるので、入力方向後ろ側に軌道を延長したのち、挿入位置１０６よりも入力方向後ろ側の各単語オブジェクトを軌道に沿って移動させる必要がある。
軌道の延長は、公知の技術によって処理することが可能である。

また、挿入対象の単語オブジェクトの配置は、挿入後の両隣の文字オブジェクトにおけるそれぞれの中心を取得し、これら２つの中心間の軌道上であって、中心間の中央位置に、挿入対象の文字オブジェクトの中心が一致するように配置する。

次に編集対象のオブジェクトが図形を含む場合について説明する。
ここでは、図形としてフローチャートの編集例について説明する。

図２３は、編集対象がフローチャートの場合の軌道確定を説明するための図である。
フローチャートの主要な要素は、各ステップでの処理を表す図形である。上記の文字を対象した実施形態では、外接矩形を検出したが、フローチャートについては、図形が入力されているので、この図形オブジェクト１１０の幾何学的中心Ｃを検出する。
検出された中心Ｃを全て連結して軌道１１１を確定する。
軌道を確定したのちの具体的な編集内容については漢字の場合と同様である。

図２４は、編集内容が削除の場合の例を示す図である。
手書き入力領域１００に表示されている１つのグループ１０１に削除用ジェスチャ１０４である「×」が入力されると、削除用ジェスチャ１０４が入力された該当箇所の単語オブジェクトを削除し、削除された単語よりも入力方向後ろ側の図形オブジェクトを、入力方向前側に、軌道に沿って移動させて新たなグループを作成して表示する。

削除対象の図形オブジェクトは、削除用ジェスチャ１０４が入力された座標（軌道）を含む外接矩形１０２（単数または複数）を検出し、検出された外接矩形１０２に対応する図形オブジェクトを削除対象のオブジェクトとして認識する。

削除後の残余のオブジェクトの移動は、残余の図形オブジェクトの中心Ｃを軌道に沿って移動させ、削除対象の図形オブジェクトが削除される前にあったときの中心位置に、移動させる図形オブジェクトの中心位置が一致するように移動させる。

図２５は、編集内容が修正の場合の例を示す図である。
手書き入力領域１００に表示されている１つのグループ１０１に修正用ジェスチャ１０５である「＝」が入力されると、修正用ジェスチャ１０５が入力された該当箇所の図形オブジェクトを一旦削除する。修正後の図形オブジェクトが入力されると、入力された図形オブジェクトを削除された図形オブジェクトに置き換えて表示する。

修正対象のオブジェクトは、削除操作と同様に、修正用ジェスチャ１０５が入力された座標（軌道）を含む外接矩形１０２を検出し、検出された外接矩形１０２に対応する図形オブジェクトを修正対象のオブジェクトとして認識する。

修正後の図形オブジェクトが入力されるとその幾何学的中心を検出し、中心が軌道上に位置するよう、かつ修正位置に隣接する他の図形オブジェクトと、修正後の図形オブジェクトとが所定の間隔を空けるように配置させる。

図２６は、編集内容が挿入の場合の例を示す図である。
まず手書き入力領域１００に表示されている１つのグループ１０１の挿入位置１０６に挿入用ジェスチャ１０７である「Ｙ」が入力されると、挿入位置１０６よりも入力方向後ろ側の各図形オブジェクトと、挿入位置１０６よりも入力方向前側の図形オブジェクトとの間に所定の間隔を空けるように、挿入位置１０６よりも入力方向前側の各図形オブジェクトを軌道に沿って移動させる。

このとき、グループ１０１に含まれる先頭の図形オブジェクトは、軌道を示す線分の範囲外に移動させる必要があるので、入力方向前側に軌道を延長したのち、挿入位置１０６よりも入力方向前側の各図形オブジェクトを軌道に沿って移動させる必要がある。
軌道の延長は、公知の技術によって処理することが可能である。

また、挿入対象の図形オブジェクトの配置は、挿入後の両隣の図形オブジェクトにおけるそれぞれの中心を取得し、これら２つの中心間の軌道上であって、中心間の中央位置に、挿入対象の図形オブジェクトの中心が一致するように配置する。

なお本発明のような編集処理を行うにあたっては、手書きによって文字および文章を入力する書き込みモードと編集処理を行う編集モードとに切り替えを行い、編集モードにおける動作時には、上記のような手書きジェスチャに基づく編集処理を実行すればよい。

書き込みモードと編集モードとの切り替えは公知の切り替え処理により実行することができる。

図２７は、ハードウェア処理によるモード切り替えを説明する図である。
たとえば、図２７（ａ）に示すように、手書き入力で使用されるペンに、切り替えボタン２００を備え、切り替えボタン２００が押される度に、書き込みモードと編集モードとを切り替えるように構成される。切り替えボタンの押下は、ペンから入力装置本体に対して有線または無線データ通信により送信される。図２７（ｂ）に示すように、入力装置自体に切り替えボタン２０１を備え、切り替えボタン２０１が押される度に、書き込みモードと編集モードとを切り替えるように構成される。

図２８は、ソフトウェア処理によるモード切り替えを説明する図である。
ユーザインターフェイスのアイコンの１つに切り替え処理を割り当てておき、ペンによって当該アイコン３００がタッチされると、書き込みモードと編集モードとを切り替えるように構成される。

また本発明は、他の実施形態として、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した編集処理を行う画像処理プログラムを記録するものとすることもできる。

この結果、編集処理を行う画像処理を実行するプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録した記録媒体を持ち運び自在に提供することができる。

なお、本実施形態では、この記録媒体として、マイクロコンピュータで処理が行われるために図示していないメモリ、たとえばＲＯＭ（Read Only Memory）のようなものそのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。

いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。

ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable
Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固
定的にプログラムコードを担持する媒体であっても良い。

また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

上記記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで上記の画像処理方法が実行される。

コンピュータシステムは、フラットベッドスキャナ、フィルムスキャナ、デジタルカメラなどの画像入力装置、所定のプログラムコードがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するＣＲＴディスプレイ、液晶ディスプレイなどの画像表示装置およびコンピュータの処理結果を紙などに出力するプリンタより構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。

本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形態で実施できる。したがって、前述の実施形態はあらゆる点で単なる例示に過ぎず、本発明の範囲は特許請求の範囲に示すものであって、明細書本文には何ら拘束されない。さらに、特許請求の範囲に属する変形や変更は全て本発明の範囲内のものである。

本発明の実施の一形態である入力装置１を備える複合機２のハードウェア構成を簡略化して示すブロック図である。 入力装置１のモジュール構成を示す図である。 本発明の入力装置１による編集処理を示すフローチャートである。 編集管理モジュール２５の動作を示す図である。 キャッシュメモリ２１のデータ構造を示す図である。 第１データベース２６のデータ構造を示す図である。 第２データベース２７のデータ構造を示す図である。 １行の場合の軌道の１例を示す図である。 複数行の場合の軌道の１例を示す図である。 編集用のジェスチャの例を示す図である。 軌道の確定処理を示す図である。 軌道の確定処理を示す図である。 編集内容が削除の場合の例を示す図である。 編集内容が修正の場合の例を示す図である。 編集内容が挿入の場合の例を示す図である。 編集内容が挿入の場合の例を示す図である。 挿入によって見映えが劣化する場合の例を示す図である。 挿入する文字を分割して挿入する場合の例を示す図である。 アルファベットの場合の外接矩形の検出処理例を示す図である。 編集対象の文字がアルファベットの場合の軌道確定を説明するための図である。 編集内容が削除の場合の例を示す図である。 編集内容が修正の場合の例を示す図である。 編集内容が挿入の場合の例を示す図である。 編集対象がフローチャートの場合の軌道確定を説明するための図である。 編集対象がフローチャートで編集内容が削除の場合の例を示す図である。 編集対象がフローチャートで編集内容が修正の場合の例を示す図である。 編集対象がフローチャートで編集内容が挿入の場合の例を示す図である。 ハードウェア処理によるモード切り替えを説明する図である。 ソフトウェア処理によるモード切り替えを説明する図である。

符号の説明

１ 入力装置
２ 複合機
３ 操作部
４ 原稿読取部
５ 画像形成部
７ 制御部
８ キースイッチ
９ 表示部
１０ タッチパネル
１８ メモリ
２０ 入力モジュール
２１ キャッシュメモリ
２２ 表示モジュール
２３ 抽出モジュール
２４ 確定モジュール
２５ 編集管理モジュール
２６ 第１データベース
２７ 第２データベース

Claims (7)

1. 文字または／および図形を手書き入力するための手書き文字または／および図形入力部と、
   前記手書き文字または／および図形入力部により入力された手書き文字または／および図形で構成される手書きデータを記憶する記憶部と、
   前記手書きデータを編集するための命令を手書き入力するための手書き編集命令入力部と、
   前記手書きデータに含まれる一連の文字または／および図形で構成されるグループに対して、手書きの入力方向を検出する入力方向検出部と、
   前記手書き命令入力部によって命令が入力されると、入力された命令を検出するとともに、命令の実行に伴う前記グループ内での文字または／および図形の移動を、前記入力方向に従って行うように制御する編集管理部と、
   前記手書きデータ、前記編集管理部により編集される前の手書きデータ、編集の命令実行後に編集された手書きデータを表示する表示部とを備えることを特徴とする入力装置。
2. 前記入力方向検出部は、グループに含まれる文字または／および図形に対して、１文字または／および図形ごとにその外接矩形を検出し、検出した外接矩形の幾何学的中心を検出し、検出された全ての幾何学的中心を連結した軌道を算出することを特徴とする請求項１記載の入力装置。
3. 前記手書き編集命令は削除命令を含み、
   手書き編集命令として削除命令が入力されると、前記編集管理部は、削除すべき対象を削除し、削除された文字または／および図形よりも入力方向後ろ側の文字または／および図形を、入力方向前側に、前記軌道に沿って移動させることを特徴とする請求項２記載の入力装置。
4. 前記手書き編集命令は修正命令を含み、
   手書き編集命令として修正命令が入力されると、前記編集管理部は、修正すべき対象を削除し、手書き文字または／および図形入力部により修正のための文字または／および図形が入力されると、入力された文字または／および図形の外接矩形と幾何学的中心を検出し、検出した幾何学的中心が、前記軌道上に位置するように、修正対象の文字または／および図形と置き換えを行うことを特徴とする請求項２記載の入力装置。
5. 前記手書き編集命令は挿入命令を含み、
   手書き編集命令として挿入命令が入力されると、
   前記編集管理部は、挿入位置よりも入力方向後ろ側の各文字または／および図形と、挿入位置よりも入力方向前側の文字または／および図形との間に所定の間隔を空けるように、挿入位置よりも入力方向前側または後側の文字を軌道に沿って移動させ、手書き文字または／および図形入力部によって入力された挿入のための文字または／および図形の外接矩形と幾何学的中心を検出し、検出した幾何学的中心が前記間隔にあって、前記軌道上に位置するように、入力された挿入のための文字または／および図形を配置することを特徴とする請求項２記載の入力装置。
6. コンピュータを、請求項１〜５のいずれか１つに記載の入力装置として機能させるための画像処理プログラム。
7. コンピュータを、請求項１〜５のいずれか１つに記載の入力装置として機能させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images