JP2004272377A - 文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体 - Google Patents
文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2004272377A JP2004272377A JP2003058914A JP2003058914A JP2004272377A JP 2004272377 A JP2004272377 A JP 2004272377A JP 2003058914 A JP2003058914 A JP 2003058914A JP 2003058914 A JP2003058914 A JP 2003058914A JP 2004272377 A JP2004272377 A JP 2004272377A
- Authority
- JP
- Japan
- Prior art keywords
- character
- recognition
- type
- target
- editing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Character Discrimination (AREA)
- Document Processing Apparatus (AREA)
Abstract
【課題】手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできる文字編集装置等を提供することを目的とする。
【解決手段】操作者の手書き入力を検知し、座標値を出力する座標入力処理手段13と、手書き文字認識を実行するか、認識結果の文字編集を行うかを判別するコマンド判別処理手段14と、座標値メモリ11に記憶されたストローク群から手書き文字を認識する手書き文字認識処理手段15と、手書き文字認識処理手段15によって得られた認識結果に対して文字編集を行う文字編集処理手段16と、座標入力処理手段13及び手書き文字認識処理手段16の出力を表示する表示処理手段17と、座標値を線分単位でストロークとして記憶する座標値メモリ11と、手書き文字認識処理手段15及び文字編集処理手段16で得られた認識結果を記憶する結果メモリ12とを有する文字編集装置である。
【選択図】 図23
【解決手段】操作者の手書き入力を検知し、座標値を出力する座標入力処理手段13と、手書き文字認識を実行するか、認識結果の文字編集を行うかを判別するコマンド判別処理手段14と、座標値メモリ11に記憶されたストローク群から手書き文字を認識する手書き文字認識処理手段15と、手書き文字認識処理手段15によって得られた認識結果に対して文字編集を行う文字編集処理手段16と、座標入力処理手段13及び手書き文字認識処理手段16の出力を表示する表示処理手段17と、座標値を線分単位でストロークとして記憶する座標値メモリ11と、手書き文字認識処理手段15及び文字編集処理手段16で得られた認識結果を記憶する結果メモリ12とを有する文字編集装置である。
【選択図】 図23
Description
【0001】
【発明の属する技術分野】
本発明は、文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体に係り、特に、操作者が手書き文字を入力し、手書き文字認識を実行した際、ひらがなの修正、カタカナの修正、英字の大文字/小文字の修正、文字種の修正等を行う文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体に関する。
【0002】
【従来の技術】
本発明は、タブレットやマウスなどの座標入力装置を備える文字編集装置において、操作者が手書き文字を入力し、手書き文字認識を実行した際、ひらがなの修正、カタカナの修正、英字の大文字/小文字の修正、文字種の修正等を行う文字編集装置に関するものである。
【0003】
このような手書き文字の認識を行う文字編集装置に関して、次の技術が知られている。
【0004】
特開2000−99223号公報(特許文献1)には、手書き文字が誤認識された場合の操作が簡易であって作業効率を上げた手書き文字入力インタフェースを有する文字編集装置が開示されている。特開2000−99223号公報に記載された発明は、固定型の手書き入力枠をもつインターフェースであり、手書き文字入力枠がペンにより指定されると、この発明の文字入力インタフェースは、この手書き文字入力枠の手書き文字に対する文字候補と、入力枠の削除、手書き文字の書き直し等の実行が可能な編集コマンドとを一括して表示し、文字候補のいずれかが選択された場合は、手書き文字入力枠の文字候補の表示を、選択された文字候補の表示に変更し、また編集コマンドのいずれかが選択された場合は、指定された手書き文字入力枠に対して、選択された編集コマンドを実行するものである。
【0005】
特開2001−14103号公報(特許文献2)には、入力目的に応じて各種の入力機能(例えば、手書きによる入力、キーボードによる入力、部首検索による入力)を切り替えて文字入力を効率的に行う文字編集装置が開示されている。特開2001−14103号公報に記載された発明は、固定入力枠をもつインターフェースであり、入力目的に応じて、画面上の操作で入力機能に対応したサブモジュールを切替えることにより、入力方法を切替える文字編集装置である。
【0006】
特開2001−76380号公報(特許文献3)には、タッチパネル上で手書きで文字入力する際に、入力枠等や文書書式の設定を意識することなく、任意の入力方向で手書き文字を入力できるようにした文字編集装置が開示されている。
【0007】
特開2001−76380号公報に記載された発明は、手書き入力パネル上の任意位置における手書き文字の入力を2文字分検出すると、その手書き位置を基準にして、認識率が最も高い方向を手書き文字の認識方向に設定し、この認識方向に応じた用紙向き書式と、用紙向きに対する手書き文字の入力位置と配列向きとを設定し、この用紙向きと手書き文字の入力位置と配列向きに基づいて、入力される手書き文字の文字認識とカーソル移動を繰り返し実行する文字編集装置である。
【0008】
特開平9−319503号公報(特許文献4)には、筆記文字列入力方式と認識文字列入力方式とを併用または混用した文書入力や文書編集を、簡単な操作で自由に行う文字編集装置が開示されている。
【0009】
特開平9−319503号公報に記載された発明は、手書き入力された文字に対して文字認識を行い、文字コードに変換する認識文字列入力方式と、手書き入力された文字に対して文字認識を行わず、筆跡をストロークのデータとして扱う筆記文字列入力方式とを、併用または混用した文字編集装置である。
【0010】
特開平11−212964号公報(特許文献5)には、連続して文字編集を行う場合に、キー又はマウスの操作回数を減らすことにより、編集操作を簡略化した文字編集装置が開示されている。
【0011】
特開平11−212964号公報に記載された発明は、OCRやワードプロセッサなどに利用され、イメージ原稿の文字部分又はOCR認識部分を文字コードに編集する場合に、一回のキー操作で次に編集対象エリアを自動選択し、編集可能状態にする文字編集装置である。
【0012】
ところで、手書き文字認識のユーザインターフェース(以下、「UI」と言う。)には大きく分けて2種類が存在する。一つは、上記特許文献1及び特許文献2に記載された発明のように、ある固定の枠を設け、ユーザに一文字単位でその枠内に文字を記入させる方法であり、現在最も一般的な方法である。一文字単位の切り出し処理が不要であり、切り出しミスによる誤認識がないが、ユーザ負担が多く、使い難いインターフェースである(以下、「固定枠手書き文字認識」と言う。)。もう一つは、上記特許文献3及び特許文献4に記載された発明のように、入力枠がなく、手書き領域内に自由に文字を書き、一文字切り出し処理を行なって、文字認識をする方法である。一文字単位の切り出し処理による誤認識はあるものの、ユーザにとっては普通に鉛筆を走らせる動作と同じ操作で文字入力ができるメリットがある(以下、「自由手書き認識」と言う。)。
【0013】
【発明が解決しようとする課題】
上述したように、手書き文字の認識に関して、固定枠手書き文字認識及び自由手書き認識が存在する。しかし、現状の文字認識では100%の認識率を得ることはできないというのが現状である。したがって、ユーザは誤認識を修正する必要がある。
【0014】
ところで、特開2001−14103号公報に記載された発明は、文字入力を効率的に行う発明であり、特開2001−76380号公報に記載された発明は、入力枠等や文書書式の設定を意識することなく、任意の入力方向で手書き文字を入力できるようにした発明であり、特開平9−319503号公報に記載された発明は、簡単な操作で自由に行う発明であり、特開平11−212964号公報に記載された発明は、編集操作を簡略化した発明である。このような従来技術の発明は、如何に、文字入力を効率的に行うかの発明であり、誤認識を前提にした発明ではなく、ユーザによる誤認識の修正に対して応えるものではない。
【0015】
また、特開2000−99223号公報に記載された発明は、手書き文字が誤認識された場合の作業効率を上げた発明であるが、固定枠手書き文字認識方式であり、上述したように、この方式は、ユーザ負担が多く、使い難いという問題がある。また、特開2000−99223号公報に記載された発明は、自由手書き認識方式には対応できないという問題がある。
【0016】
また、この修正作業を極力減らす方法として、文脈推定や言語解析などの技術が取り入れられているが、これらの方法でもユーザの修正作業を無くすことはできない。
【0017】
本発明は、上記問題に鑑みなされたものであり、手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできる文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体を提供することを目的とする。
【0018】
【課題を解決するための手段】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【0019】
請求項1に記載された発明は、操作者の手書き入力を検知し、座標値を出力する座標入力手段と、手書き文字を認識する手書き文字認識手段と、前記手書き文字認識手段によって得られた認識結果に対して文字編集を行う文字編集手段と、前記手書き文字認識手段の出力を表示する表示手段とを有する文字編集装置において、前記文字編集手段が、認識結果のひらがな、カタカナ及び英字の大文字/小文字を修正する大文字/小文字修正手段、又は認識結果の漢字、ひらがな、カタカナ及び英数字の文字種を認識候補から修正する文字種修正手段とを有することを特徴とする。
【0020】
請求項1に記載された発明によれば、操作者の手書き入力を検知し、座標値を出力する座標入力手段と、手書き文字を認識する手書き文字認識手段と、前記手書き文字認識手段によって得られた認識結果に対して文字編集を行う文字編集手段と、前記手書き文字認識手段の出力を表示する表示手段とを有する文字編集装置において、前記文字編集手段が、認識結果のひらがな、カタカナ及び英字の大文字/小文字を修正する大文字/小文字修正手段、又は認識結果の漢字、ひらがな、カタカナ及び英数字の文字種を認識候補から修正する文字種修正手段とを有することにより、手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできる文字編集装置を提供することができる。
【0021】
請求項2に記載された発明は、請求項1記載の文字編集装置において、前記大文字/小文字修正手段が、ジェスチャを用いて大文字/小文字を修正する第1のジェスチャ型修正手段を有することを特徴とする。
【0022】
請求項2に記載された発明によれば、大文字/小文字修正手段が、ジェスチャを用いて大文字/小文字を修正する第1のジェスチャ型修正手段を有することにより、大文字/小文字修正作業をジェスチャで行い、直感的で簡単に修正することができる。
【0023】
請求項3に記載された発明は、請求項2記載の文字編集装置において、前記第1のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分であることを特徴とする。
【0024】
請求項3に記載された発明によれば、第1のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分であることにより、大文字/小文字修正作業を対象文字に対する線分ジェスチャで行うことができる。
【0025】
請求項4に記載された発明は、請求項2記載の文字編集装置において、前記第1のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部を2回連続で指示することを特徴とする。
【0026】
請求項4に記載された発明によれば、第1のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部を2回連続で指示することにより、大文字/小文字修正作業を対象文字のダブルクリックで行うができる。
【0027】
請求項5に記載された発明は、前記大文字/小文字修正手段は、対象文字の外接四角形内部を1回指示することでメニューを表示する第1のメニュー表示手段と、前記第1のメニュー表示手段で表示されるメニュー項目から修正したい対象を選択することにより、大文字/小文字を修正する第1のメニュー型修正手段とを有することを特徴とする請求項1記載の文字編集装置。
【0028】
請求項5に記載された発明によれば、大文字/小文字修正手段は、対象文字の外接四角形内部を1回指示することでメニューを表示する第1のメニュー表示手段と、第1のメニュー表示手段で表示されるメニュー項目から修正したい対象を選択することにより、大文字/小文字を修正する第1のメニュー型修正手段とを有することにより、大文字/小文字修正作業をメニューからの選択で行うことができる。
【0029】
請求項6に記載された発明は、請求項5記載の文字編集装置において、第1のメニュー表示手段は、対象文字が大文字の場合は小文字修正のみを、対象文字が小文字の場合は大文字修正のみを項目として表示する第1の項目表示手段を有することを特徴とする。
【0030】
請求項6に記載された発明によれば、第1のメニュー表示手段は、対象文字が大文字の場合は小文字修正のみを、対象文字が小文字の場合は大文字修正のみを項目として表示する第1の項目表示手段を有することにより、メニューに表示される項目から対象文字の現状態を除くことにより、項目の選択し易さを向上することができる。
【0031】
請求項7に記載された発明は、請求項1記載の文字編集装置において、前記文字種修正手段は、ジェスチャを用いて文字種を修正する第2のジェスチャ型修正手段を有することを特徴とする。
【0032】
請求項7に記載された発明によれば、文字種修正手段は、ジェスチャを用いて文字種を修正する第2のジェスチャ型修正手段を有することにより、文字種修正作業をジェスチャで行い、直感的で簡単に行うことができる。
【0033】
請求項8に記載された発明は、請求項7記載の文字編集装置において、前記第2のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分であることを特徴とする。
【0034】
請求項8に記載された発明によれば、第2のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分ことにより、文字種修正作業を対象文字に対する線分ジェスチャで行うことができる。
【0035】
請求項9に記載された発明は、請求項7記載の文字編集装置において、前記第2のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部を2回連続で指示することを特徴とする。
【0036】
請求項9に記載された発明によれば、第2のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部を2回連続で指示することにより、文字種修正作業を対象文字のダブルクリックで行うことができる。
【0037】
請求項10に記載された発明は、請求項1記載の文字編集装置において、前記文字種修正手段が、対象文字の外接四角形内部を1回指示することでメニューを表示する第2のメニュー表示手段と、前記第2のメニュー表示手段で表示されるメニュー項目から修正したい対象を選択することにより、文字種を修正する第2のメニュー型修正手段とを有することを特徴とする。
【0038】
請求項10に記載された発明によれば、文字種修正手段が、対象文字の外接四角形内部を1回指示することでメニューを表示する第2のメニュー表示手段と、第2のメニュー表示手段で表示されるメニュー項目から修正したい対象を選択することにより、文字種を修正する第2のメニュー型修正手段とを有することにより、文字種修正作業をメニューからの選択で行うことができる。
【0039】
請求項11に記載された発明は、請求項10記載の文字編集装置において、前記第2のメニュー表示手段は、対象文字の元の文字種以外を修正項目として表示する第2の項目表示手段を有することを特徴とする。
【0040】
請求項11に記載された発明によれば、第2のメニュー表示手段は、対象文字の元の文字種以外を修正項目として表示する第2の項目表示手段を有することにより、メニューに表示される項目から対象文字の現状態を除くことにより、項目の選択し易さを向上するができる。
【0041】
請求項12に記載された発明は、請求項1記載の文字編集装置において、前記文字編集手段が、前記文字種修正手段によって対象文字が他文字種に修正されたとき、対象文字の前後に文字が存在する場合、同時に文字種を変更する文字の開始位置及び終了位置を調査する開始/終了位置調査手段と、開始位置から終了位置までのそれぞれの文字について前記手書き文字認識手段で得られる認識候補を参照し、同じ文字種があるかどうかを調査する認識候補調査手段と、前記認識候補調査手段で同文字種が存在した場合に文字種を変更する前後文字修正手段とを有することを特徴とする。
【0042】
請求項12に記載された発明によれば、文字編集手段が、前記文字種修正手段によって対象文字が他文字種に修正されたとき、対象文字の前後に文字が存在する場合、同時に文字種を変更する文字の開始位置及び終了位置を調査する開始/終了位置調査手段と、開始位置から終了位置までのそれぞれの文字について手書き文字認識手段で得られる認識候補を参照し、同じ文字種があるかどうかを調査する認識候補調査手段と、認識候補調査手段で同文字種が存在した場合に文字種を変更する前後文字修正手段とを有することにより、文字種が修正された文字の前後の文字も同時に文字種修正することにより、作業量を減らすことができる。
【0043】
請求項13に記載された発明は、請求項1ないし12いずれか一項記載の文字編集装置において、前記座標値を線分単位でストロークとして記憶するストローク記憶手段を有することを特徴とする。
【0044】
請求項13に記載された発明によれば、座標値を線分単位でストロークとして記憶するストローク記憶手段を有することにより、文字認識等における座標値を取扱い易くすることができる。
【0045】
請求項14に記載された発明は、請求項1ないし13いずれか一項記載の文字編集装置において、前記手書き文字認識手段及び文字編集手段で得られた結果を文字単位で記憶する結果記憶手段を有することを特徴とする。
【0046】
請求項14に記載された発明によれば、前記手書き文字認識手段及び文字編集手段で得られた結果を文字単位で記憶する結果記憶手段を有することにより、ひらがなの修正、カタカナの修正、英字の大文字/小文字の修正、文字種の修正等の文字編集において、認識された文字データを取扱い易くすることができる。
【0047】
請求項15に記載された発明は、操作者の手書き入力を検知し、座標値を出力する座標入力ステップと、手書き文字を認識する手書き文字認識ステップと、前記手書き文字認識ステップによって得られた認識結果に対して文字編集を行う文字編集ステップと、前記手書き文字認識ステップの出力を表示する表示ステップとを有する文字編集方法において、前記文字編集ステップが、認識結果のひらがな、カタカナ及び英字の大文字/小文字を修正する大文字/小文字修正ステップ、又は認識結果の漢字、ひらがな、カタカナ及び英数字の文字種を認識候補から修正する文字種修正ステップとを有することを特徴とする。
【0048】
請求項16に記載された発明は、請求項15記載の文字編集方法において、前記大文字/小文字修正ステップが、ジェスチャを用いて大文字/小文字を修正する第1のジェスチャ型修正ステップを有することを特徴とする。
【0049】
請求項17に記載された発明は、請求項16記載の文字編集方法において、前記第1のジェスチャ型修正ステップのジェスチャは、対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分であることを特徴とする。
【0050】
請求項18に記載された発明は、請求項16記載の文字編集方法において、前記第1のジェスチャ型修正ステップのジェスチャは、対象文字の外接四角形内部を2回連続で指示することを特徴とする。
【0051】
請求項19に記載された発明は、請求項15記載の文字編集方法において、前記大文字/小文字修正ステップは、対象文字の外接四角形内部を1回指示することでメニューを表示する第1のメニュー表示ステップと、前記メニュー表示ステップ1で表示されるメニュー項目から修正したい対象を選択することにより、大文字/小文字を修正する第1のメニュー型修正ステップとを有することを特徴とする。
【0052】
請求項20に記載された発明は、請求項19記載の文字編集方法において、第1のメニュー表示ステップは、対象文字が大文字の場合は小文字修正のみを、対象文字が小文字の場合は大文字修正のみを項目として表示する第1の項目表示ステップを有することを特徴とする。
【0053】
請求項21に記載された発明は、請求項15記載の文字編集方法において、前記文字種修正ステップは、ジェスチャを用いて文字種を修正する第2のジェスチャ型修正ステップを有することを特徴とする。
【0054】
請求項22に記載された発明は、請求項21記載の文字編集方法において、前記第2のジェスチャ型修正ステップのジェスチャは、対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分であることを特徴とする。
【0055】
請求項23に記載された発明は、請求項21記載の文字編集方法において、前記第2のジェスチャ型修正ステップのジェスチャは、対象文字の外接四角形内部を2回連続で指示することを特徴とする。
【0056】
請求項24に記載された発明は、請求項15記載の文字編集方法において、前記文字種修正ステップが、対象文字の外接四角形内部を1回指示することでメニューを表示する第2のメニュー表示ステップと、前記第2のメニュー表示ステップで表示されるメニュー項目から修正したい対象を選択することにより、文字種を修正する第2のメニュー型修正ステップと、を有することを特徴とする。
【0057】
請求項25に記載された発明は、請求項24記載の文字編集方法において、前記第2のメニュー表示ステップは、対象文字の元の文字種以外を修正項目として表示する第2の項目表示ステップを有することを特徴とする。
【0058】
請求項26に記載された発明は、請求項15記載の文字編集方法において、前記文字編集ステップが、前記文字種修正ステップによって対象文字が他文字種に修正されたとき、対象文字の前後に文字が存在する場合、同時に文字種を変更する文字の開始位置及び終了位置を調査する開始/終了位置調査ステップと、開始位置から終了位置までのそれぞれの文字について前記手書き文字認識ステップで得られる認識候補を参照し、同じ文字種があるかどうかを調査する認識候補調査ステップと、前記認識候補調査ステップで同文字種が存在した場合に文字種を変更する前後文字修正ステップと、を有することを特徴とする。
【0059】
請求項27に記載された発明は、請求項15ないし26いずれか一項記載の文字編集方法において、前記座標値を線分単位でストロークとして記憶するストローク記憶ステップを有することを特徴とする。
【0060】
請求項28に記載された発明は、請求項15ないし27いずれか一項記載の文字編集方法において、前記手書き文字認識手段及び文字編集手段で得られた結果を文字単位で記憶する結果記憶手段を有することを特徴とする。
【0061】
請求項15ないし28いずれか一項記載の文字編集方法により、手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできる文字編集方法を提供することができる。
【0062】
請求項29に記載された発明は、請求項15ないし28のいずれか一項記載の文字編集方法をコンピュータに実施させる文字編集プログラムである。
【0063】
請求項29に記載の発明により、手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできる文字編集プログラムを提供することができる。
【0064】
請求項30に記載された発明は、請求項29記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体である。
【0065】
請求項30に記載の発明により、手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできるコンピュータが読み取り可能な記憶媒体を提供することができる。
【0066】
請求項31に記載された発明は、請求項1ないし14のいずれか一項記載の文字編集装置と、手書き文字入力・出力装置とからなる文字入力・表示装置である。
【0067】
請求項31に記載の発明により、手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできる文字入力・表示装置を提供することができる。
【0068】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
(システム構成)
図1は、本発明のシステム構成図である。本システムは、例えば、マルチメディアボード2のような、座標入力装置を有する大画面表示装置とパーソナルコンピュータ(以下、「PC」と言う。)1から構成される。
【0069】
ここでいう「マルチメディアボード」は、大型ディスプレイ、タッチパネル、電子黒板などの機能を1台に融合したものであり、その1例の仕様が、図2に示されている。このマルチメディアボードは、パソコンデータなどを大型ディスプレイ上に、通常照明のもとでも利用できる明るさで表示できるうえ、画面上への書き込みも指先で自由に行える。また。このマルチメディアボードは、インタラクティブなコミュニケーションツールであり、会議や打ち合わせ、学校や塾での授業などで利用できる。
【0070】
なお、このマルチメディアボードは、座標入力装置と表示装置を兼用したものであるが、本発明における座標入力装置としては、マルチメディアボードに限らず、マウスやタブレットを用いてもよく、また、表示装置としてCRTやプロジェクタなどを用いてもよい。また、Virtual Inc社製の「mimio」やEFI社製の「eBeam」のようにすでに市販されている座標入力装置とプロジェクタとを組み合わせたものでもよい。
【0071】
また、座標入力装置は、図1に示すように、操作者3が指又はペンなどの指示部4を使って座標入力部及び表示部5へ入力した信号を座標値として検出し、PC1へ送り込む装置である。送り込まれた座標値の集合(以下、「ストローク」と言う。)に対して処理を行ない、得られた処理内容を座標入力部及び表示部5に表示する。座標入力部及び表示部5を以下では手書き入力画面と言う。
(処理概要)
図3は、本発明の処理概要を説明するためのブロック図である。マルチメディアボード2は、図1に示されているように、手書き入力画面を有している。この手書き入力画面は、座標入力装置と表示装置を兼用しており、図3における座標入力装置51でもあり、表示装置52でもある。
【0072】
図3のシステムは、座標入力装置51及び表示装置52が図1のマルチメディアボードであり、その座標入力装置51及び表示装置52に対する座標入力処理、表示処理等をPCが行う構成となっている。また、PCの処理において、太線で示した矢印は本手法の処理の流れであり、細線で示した矢印はメモリへのデータアクセスを意味する。以下に、処理の流れに沿って説明する。なお、この処理は、PC1に搭載された文字編集プログラムにより行われるものであるが、説明上、PC1が行うように説明する。
【0073】
まず、PC1は、座標入力装置51から出力される座標値を、座標入力処理S10によって順次、座標値メモリ11に記憶する。PC1は、座標値メモリ11に対する記憶処理が終了したとき、表示処理S14に処理を渡す。表示処理S14では、入力された前後の座標値を線分で結び、表示装置52に出力する。PC1は、1ストローク分の座標値を得ると、コマンド処理S11へ処理を渡す。コマンド処理S11では、ユーザが文字認識開始の命令を行ったか、認識文字に対する編集の命令を行ったかを判別し、それぞれ手書き文字認識処理S12及び文字編集処理S13へ処理を渡す。いずれにも該当しない場合は、座標入力処理S10へ処理を渡す。手書き文字認識処理S12では、手書き文字を認識し、文字認識の結果を結果メモリ12へ記憶するとともに表示処理S14へ処理を渡す。結果メモリ12は、手書き文字認識処理S12及び文字編集処理S13で得られた結果を記憶するメモリである。文字編集処理S13では、ユーザの認識文字へのアクションを判別し、文字の修正などの編集を行い、表示処理S14へ処理を渡す。最後に、表示処理S14では、各処理で得られた結果を各メモリから取得し、表示装置52へ表示を行なう。同時に、座標入力処理S10へ処理を返し、新たな入力を待つ。
(詳細処理)
以下に、各部の詳しい処理について述べる。はじめに、座標入力処理について図4を用いて説明する。
【0074】
マルチメディアボード2の手書き入力画面5を制御するドライバでは、座標を検知すると、Windows(登録商標)のマウスイベントに対応付けを行なう。つまり、操作者3が指やペンなどの指示部4で手書き入力画面5に触れることを、マウス左ボタンのDOWNイベントに対応付け、操作者3が指示部4で手書き入力画面5に触れた状態のまま移動することを、マウス左ボタンのMOVEイベントに対応付け、操作者3が指示部4を手書き入力画面5から離すことを、マウス左ボタンのUPイベントに対応付ける。よって、マルチメディアボード2の手書き入力画面5を制御するドライバは、得られた座標値とマウスイベントの情報を座標入力処理S10に対して出力する。
【0075】
座標入力処理S10では、マウスイベントを常に監視している(S101)。マウスイベントが無い場合は(S101:イベントなし)、マウスイベントの監視でループし続ける。手書き入力画面5でマウスイベントがあった場合は(S101:イベントあり)、座標値を座標値メモリ11に記憶する(S102)。そして、UPイベントかどうかを調べ(S103)、UPイベントでなければ(S103:NO)、マウスイベントの監視処理S101へ処理を返す。UPイベントであれば(S103:YES)、座標値メモリ11のページを捲る(1大きくする)(S104)。
【0076】
図5に手書き入力画面5で、一つのストロークを入力した場合を説明する。図5は、操作者3が指やペンなどの指示部4で手書き入力画面5の、座標点51で手書き入力画面5に触れ(Windows(登録商標)のマウス左ボタンのDOWNイベントに対応)、手書き入力画面5に触れた状態で移動(Windows(登録商標)のマウス左ボタンのMOVEイベントに対応)し、座標点56で手書き入力画面5から離れた(Windows(登録商標)のマウス左ボタンのUPイベントに対応)場合である。PC1は、手書き入力画面5に触れた座標点51(x51、y51)、移動途中の座標点52(x52、y52)、53(x53、y53)、54(x54、y54)、55(x55、y55)及び手書き入力画面5から離れた座標点56(x56、y56)を順次、座標値メモリ11に記憶する。
【0077】
このように、マウスのDOWNからMOVEを経てUPまでのイベントで得られた座標値群をストロークとして、座標値メモリ11に記憶される。
【0078】
なお、ストローク単位を操作者3に明示するために、表示処理S14は、図5に示すように各座標点間を直線で結んで表示する。つまり、PC1は、座標値メモリ11に座標値を記憶すると、表示処理S14へ処理を渡し、表示処理S14は、手書き入力画面5に線分を表示する。
【0079】
図6に座標値メモリ11の構造について示す。座標値メモリは複数のページを有しており、1ページが1ストロークに対応する。ページ内にはマウスのDOWNイベントからUPイベントまでに得られた座標値がすべて記憶されている(一ストロークの座標点の座標値のすべてが記憶される。)。上述したように、ページを捲ると、次のイベントは新しいストロークとして記憶される。ページ捲り後、PC1は、コマンド処理S11へ処理を渡す。
【0080】
次に、座標入力処理S10から処理を受け取るコマンド処理S11について、図7を用いて説明する。まず、文字認識開始の命令があったかどうかを調査する。手書き文字認識では、文字認識開始の命令が一般に以下の2種類存在する。1つは、手書き文字入力画面5の任意の場所に認識開始用のボタンを配置し、操作者3が同ボタンを押下した場合に命令を発行する。もう一つは、マウスUPイベント後、所定の時間内にさらなる入力があるかどうかを調査し、入力が無ければ認識開始の命令を発行する。本実施の形態では、上記いずれかの方法で認識開始命令を取得する。認識開始の命令があった場合(S111:YES)、PC1は、手書き文字認識処理S12へ処理を渡し、手書き文字認識を開始する。認識開始の命令がなかった場合(S111:NO)、PC1は、結果メモリ12を参照し、文字領域が指示されたか否かを調査する。結果メモリ12は、手書き文字認識処理及び文字編集処理で得られた結果を記憶するメモリであり、同メモリには、文字の存在する位置を外接四角形の左上座標と右下座標として1文字単位で記憶している。この外接四角形が文字領域である。操作者3が文字領域内を指示した場合(S112:YES)、PC1は、文字編集処理S13へ処理を渡し、そうでない場合は(S112:NO)、座標入力処理S10へ処理を戻す。
【0081】
以上述べたように、コマンド処理S11からの処理の渡し先は、手書き文字認識S12及び文字編集処理S13の2つである。(座標入力処理S10は返し先である。)以下に、それぞれの処理内容について説明する。
【0082】
先ず、手書き文字認識処理S12について、図8を用いて説明する。まず、座標値メモリ11を参照し、全ストローク(全座標値)を呼び出す。そして、一文字切り出しによって一文字単位のストロークに分ける。一文字切り出し処理により、座標メモリの何ページから何ページまでが一文字かが分かるので、この情報を結果メモリ12に記憶する。一文字単位のストローク群それぞれについて、認識エンジンを用いて文字認識を行い、結果メモリ12へ、文字認識の結果及び認識候補を記憶する。
【0083】
次いで、一文字が記憶されている結果メモリ12の全ページから、一文字単位の文字領域を求め、それを結果メモリ12に記憶する。具体的には、一文字分のストローク群のx座標及びy座標について、最小値及び最大値を求める。左上の所定の位置を原点として、x座標の最小値をXmin、最大値をXmax、y座標の最小値をYmin、最大値をYmaxとすると、外接四角形、つまり文字領域は、左上座標(Xmin,Ymin)と右下座標(Xmax,Ymax)で定義し、結果メモリ12に記憶する。
【0084】
なお、本実施の形態で利用する一文字切り出し及び認識エンジンは、すでに多くの様々な手法が提案されており、そのいずれを使用してもよい。
【0085】
全文字について認識が終了したら、手書き文字認識処理S12は、表示処理S14に処理を渡す。
【0086】
上述の処理で得られる結果を記憶する結果メモリ12の構造を図9に示す。座標値メモリ11と同様に、結果メモリ12もページを有しており、1ページは一文字に対応している。1ページ内には、認識文字、認識候補、文字領域及び座標値メモリページの4つのパラメータが存在する。
【0087】
次いで、文字編集処理S13について、図10を用いて説明する。文字編集処理では、大文字/小文字の修正及び文字種の修正のいずれを行うか判断するために、まず、修正方法判別処理S131を実行する。その方法は以下の3通りである。図11及び図12に示すように、認識結果は活字と文字領域を表す破線で表示される。
【0088】
第一の方法は、文字領域に対する線分ジェスチャによる方法である。図11において、文字列“持つて”を“持って”のように大文字を小文字に修正したい場合は、文字“つ”の文字領域に対して領域内から始まり領域外で終わる線分を描画する。このジェスチャにより、修正方法判別処理S131は、大文字を小文字に修正する命令がなされたことを認識する。
【0089】
また、図12において、文字列“バっク”を“バック”のようにカタカナへ修正したい場合は、文字“っ”の文字領域に対して領域内から始まり領域内で終わる線分を描画する。このジェスチャにより、修正方法判別処理S131は、ひらがなをカタカナに修正する命令がなされたことを認識する。
【0090】
つまり、線分ジェスチャによる判別では、線分の終点が領域の外部であるか、内部であるかを調べることで修正方法を判別できる。
【0091】
第二の方法は、メニューの表示による方法である。図11のような認識結果が表示されていた場合、文字“つ”の文字領域をクリックする。クリックを行うと、Windows(登録商標)内でClickイベントが発生するため、上記線分ジェスチャとは区別できる。クリック後、図13のようなメニューを表示する。メニューの項目としては、大文字、小文字、ひらがな、カタカナ及び英数字が表示さる。操作者がメニュー項目から修正したい対象を選択することにより、修正方法を判別できる。例えば、小文字にしたい場合は、図13のメニューにおいて、小文字を選択する。また、カタカナにしたい場合は、図13のメニューにおいて、カタカナを選択する。
【0092】
第三の方法は、文字領域のダブルクリックによる方法である。図11のような認識結果が表示されていた場合、文字“つ”の文字領域をダブルクリックする。ダブルクリックを行うと、Windows(登録商標)内でDouble Clickイベントが発生するため、上記線分ジェスチャ及びメニュー表示とは区別できる。ダブルクリックを1度行うと処理する内容を変化させていく。例えば、大文字修正→小文字修正→ひらがな修正→...などである。
【0093】
上記いずれかの方法で、修正方法判別処理S131は、修正方法を判別し、大文字/小文字への修正の場合は大文字/小文字修正処理S132へ、文字種の修正の場合は文字種修正処理S133へ処理を渡す。大文字/小文字修正処理S133では、対象文字の大文字修正又は小文字修正を行い、表示処理S14へ処理を渡す。文字種修正処理S133では、対象文字の文字種を修正し、前後文字修正処理S134へ処理を渡す。前後文字修正処理S134では、対象文字の前後に文字がある場合、それらの文字の文字種を対象文字の修正後の文字種に合わせて修正を行ない、表示処理S14へ処理を渡す。
【0094】
以下に、大文字/小文字修正処理、文字種修正処理及び前後文字修正処理の詳しい内容を説明する。
【0095】
大文字/小文字修正処理S132について、図14を用いて説明する。まず、結果メモリ12内の各ページの文字領域を参照し、線分ジェスチャの開始点、クリック位置、ダブルクリック位置がどのページの文字領域内に存在するか、つまり、どの文字に対するアクションかを調べ、対象文字の特定を行なう(S1321)。次に、大文字修正であるか、小文字修正であるかを特定する(S1322)。線分ジェスチャの場合は、図15のように特定する。つまり、文字“つ”の文字領域内から始まり、下方向への線分であった場合は小文字ジェスチャ、上方向への線分であった場合は大文字ジェスチャとし、それぞれ小文字修正、大文字修正と特定する。また、メニュー表示の場合は、図16のように特定する。文字“つ”の文字領域内をクリックするとメニューが表示される。メニューから小文字を選択すると、対象文字を小文字に修正する処理と特定する。ここで、図16に表示されるメニューは、図13のメニューとは異なり、大文字及びひらがなが選択不可になっている。これは、対象文字“つ”が大文字であり、ひらがなであることが文字コードから事前に分かっており、大文字及びひらがなを選択する必要がないためである。また、ダブルクリックの場合は、図17のように特定する。対象文字“つ”の対象領域内をダブルクリックすると、1回目は小文字変換、2回目はカタカナ変換、3回目は英数字変換、4回目はひらがな変換と特定する。これは、文字コードを調べ、対象文字が“ひらがな”かつ“大文字”である場合は小文字変換、対象文字が“ひらがな”かつ“小文字”である場合はカタカナ変換、対象文字が“カタカナ”の場合は英数字変換、対象文字が“英数字”の場合はひらがな変換を行なうように設定しているためである。変換の特定では、さらに、修正前の対象文字の文字コードを調査し、特定した変換が可能であるかを判断する。そして、変換が可能であれば特定した変換を文字に施し、結果メモリ12に記憶する。変換が不可能であれば結果メモリ12には記憶しない。大文字/小文字修正処理S132は、最後に表示処理S14へ処理を渡す。
【0096】
文字種修正処理S133について、図18を用いて説明する。まず、結果メモリ12内の各ページの文字領域を参照し、線分ジェスチャの開始点、クリック位置、ダブルクリック位置がどのページの文字領域内に存在するか、つまり、どの文字に対するアクションかを調べ、対象文字の特定を行なう(S1331)。次に、どの文字種への修正かを特定する(S1332)。修正前の対象文字がひらがなの場合はカタカナへ、カタカナの場合は英数字へ、英数字の場合はひらがなへの文字修正と特定する。次に、文字の修正を行なう(S1333)。例えば、線分ジェスチャで、図19に示すように文字“つ”が対象文字となると、結果メモリ12から文字“つ”の認識候補を呼び出す。認識候補が“っフ7>コ⊃アァワ”だとすると、文字種は左から、ひらがな、カタカナ、英数字、英数字、カタカナ、英数字、カタカナ、カタカナ、カタカナである。対象文字がひらがなであるので、左からカタカナを探す。すると、カタカナ“フ”が該当し、カタカナ変換を施し、結果メモリ12に記憶する。ただし、認識結果によっては認識候補内にカタカナが存在しない場合がある。この場合は、カタカナを飛ばし、英数字を探し、見つかった英数字に修正する。英数字も見つからなかった場合は何も処理しない。メニュー表示及びダブルクリックの場合は、前述したように図16及び図17のような処理を行なう。この場合も、認識候補内に該当する文字種の文字が存在しなければ飛ばし、いずれも無ければ何も処理しない。文字種修正処理S133は、最後に前後文字編集処理S134を行なう。
【0097】
前後文字修正処理S134について、図20を用いて説明する。まず、修正する開始文字と終了文字を特定する(S1341)。文字種修正処理で修正された対象文字の結果メモリ12を参照し、結果メモリ12のページ番号を取得する。同ページの前後のページを探索し、座標値メモリページを参照して、ページ数が6以下の文字を求める。対象文字を中心に探索を行い、ページ数が7以上、又は、最初のページか最終ページになったら探索を止める。見つかったページでページ番号が最小の文字を開始文字、最大の文字を終了ページとする。例えば、図21において、対象文字“つ”に対してカタカナ変換をおこなったとする。図21の下部にある認識候補を参照すると、対象文字“つ”は“フ”と修正される。そして対象文字“つ”の前後の文字を探索し、座標値メモリページのページ数が6以下のものを求めると、文字“識”及び文字“開”は7以上のページ数であるから、開始文字は“り”、終了文字は“f”となる。
【0098】
次に、開始文字から終了文字へ順に認識候補のチェックを行なう(S1343)。認識候補に文字種修正処理で修正した文字種と同じ文字種があった場合(S1343:YES)、その文字を修正する(S1344)。図21では、文字“り”の認識候補を参照し、左からカタカナを探索する。ここでは“ソ”が該当するので、文字“り”を“ソ”に修正する。また、文字“f”の認識候補を参照し、左からカタカナを探索する。ここでは、“ト”が該当するので、文字“f”を“ト”に修正する。その結果、図21のように“認識ソフト開発”という文字列が得られる。この処理は、終了文字まで繰り返され(S1345)、認識候補に同文字種が無い場合(S1343:NO)、修正は行なわれない(S1346)。最後に、前後文字修正処理S134は、表示処理S14へ処理を渡す。
【0099】
最後に、表示処理14について図22を用いて説明する。表示処理S14は、座標入力処理S10、手書き文字認識処理S12及び文字編集処理S13から処理を受け取る。座標入力処理S10から処理を受け取った場合は、座標値メモリ11内の座標点を線分で結び、表示装置52で表示する。手書き文字認識処理S12及び文字編集処理S13から処理を受け取った場合は、結果メモリ内12の認識文字を文字列にして表示装置52でText表示する。Text表示の方法は、Visual Basicに代表されるようなText Boxにて行う。更に、結果メモリ12の文字領域を参照し、各文字ごとに文字領域を表示する。そして、表示処理14は、座標入力処理S10へ処理を返す。
【0100】
なお、本発明による文字編集方法に従って動作するよう作成したコンピュータプログラムを、磁気ディスク等のコンピュータが読み取り可能な記憶媒体に保存することが可能である。このような記憶媒体にプログラムを保存することにより、コンピュータシステムにこれを読み取らせ、文字編集装置として動作させることができる。
【0101】
また、パーソナルコンピュータ1は、文字編集装置の一部として機能する。図23は、パーソナルコンピュータが文字編集装置の一部として奏する機能を説明するためのブロック図である。
【0102】
PC1は、操作者の手書き入力を検知し、座標値を出力する座標入力処理手段13と、手書き文字認識を実行するか、認識結果の文字編集を行うかを判別するコマンド判別処理手段14と、座標値メモリ11に記憶されたストローク群から手書き文字を認識する手書き文字認識処理手段15と、手書き文字認識処理手段15によって得られた認識結果に対して文字編集を行う文字編集処理手段16と、座標入力処理手段13及び手書き文字認識処理手段16の出力を表示する表示処理手段17と、座標値を線分単位でストロークとして記憶する座標値メモリ11と、手書き文字認識処理手段15及び文字編集処理手段16で得られた認識結果を記憶する結果メモリ12とを有する。
【0103】
また、文字編集処理手段16は、図24に示すように、認識結果のひらがな、カタカナ及び英字の大文字/小文字を修正する大文字/小文字修正手段161と、認識結果の漢字、ひらがな、カタカナ及び英数字の文字種を認識候補から修正する文字種修正手段162と、文字種修正手段162によって対象文字が他文字種に修正されたとき、対象文字の前後に文字が存在する場合、同時に文字種を変更する文字の開始位置及び終了位置を調査する開始/終了位置調査手段と、開始位置から終了位置までのそれぞれの文字について手書き文字認識手段15で得られる認識候補を参照し、同じ文字種があるかどうかを調査する認識候補調査手段163と、認識候補調査手段163で同文字種が存在した場合に文字種を変更する前後文字修正手段164とを有する。
【0104】
また、大文字/小文字修正手段161は、図25に示すように、ジェスチャを用いて大文字/小文字を修正するジェスチャ型修正手段1611と、対象文字の外接四角形内部を1回指示することでメニューを表示するメニュー表示手段1612と、メニュー表示手段1612で表示されるメニュー項目から修正したい対象を選択することにより、大文字/小文字を修正するメニュー型修正手段1613とを有している。なお、メニュー表示手段1612は、対象文字が大文字の場合は小文字修正のみを、対象文字が小文字の場合は大文字修正のみを項目として表示する項目表示手段16121を有している。
【0105】
また、文字種修正手段162は、図26に示すように、ジェスチャを用いて文字種を修正するジェスチャ型修正手段1621と、対象文字の外接四角形内部を1回指示することでメニューを表示するメニュー表示手段1622と、メニュー表示手段1622で表示されるメニュー項目から修正したい対象を選択することにより、文字種を修正するメニュー型修正手段1623とを有している。
【0106】
なお、メニュー表示手段1622は、対象文字の元の文字種以外を修正項目として表示する項目表示手段16221有している。
【0107】
なお、本実施の形態によれば、固定枠手書き文字認識方式及び自由手書き認識方式における手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間行うことができる。
【0108】
【発明の効果】
上述の如く本発明によれば、手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできる文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体を提供することができる。
【0109】
【図面の簡単な説明】
【図1】本発明のシステム構成図を説明するための図である。
【図2】マルチメディアボードの仕様の例を説明するための図である。
【図3】本発明の処理概要を説明するためのブロック図である。
【図4】座標入力処理を説明するための処理ブロック図である。
【図5】手書き入力画面で一つのストロークを入力した場合を説明するための図である。
【図6】座標値メモリの構造を説明するための図である。
【図7】コマンド処理を説明するための処理ブロック図である。
【図8】手書き文字認識処理を説明するための処理ブロック図である。
【図9】結果メモリを説明するための図である。
【図10】文字編集処理を説明するための処理ブロック図である。
【図11】修正方法判別処理を説明するための図(その1)である。
【図12】修正方法判別処理を説明するための図(その2)である。
【図13】修正方法判別処理を説明するための図(その3)である。
【図14】大文字/小文字修正処理を説明するための処理ブロック図である。
【図15】変換処理を説明するための図(その1)である。
【図16】変換処理を説明するための図(その2)である。
【図17】変換処理を説明するための図(その3)である。
【図18】文字種修正処理を説明するための処理ブロック図である。
【図19】文字種変換処理を説明するための図である。
【図20】前後文字修正処理を説明するための処理ブロック図である。
【図21】前後文字変換処理を説明するための図である。
【図22】表示処理を説明するための処理ブロック図である。
【図23】本発明におけるパーソナルコンピュータが奏する機能のブロック図である。
【図24】文字編集処理手段を説明するための図である。
【図25】大文字/小文字修正手段を説明するための図である。
【図26】文字種修正手段を説明するための図である。
【符号の説明】
1 パーソナルコンピュータ(PC)
2 マルチメディアボード
3 操作者
4 指示部
5 座標入力部及び表示部(手書き入力画面、座標入力装置及び表示装置)
11 座標値メモリ
12 結果メモリ
13 座標入力処理手段
14 コマンド判別処理手段
15 手書き文字認識処理手段
16 文字編集処理手段
17 表示処理手段
S10 座標入力処理
S11 コマンド処理
S12 手書き文字認識処理
S13 文字編集処理
S14 表示処理
【発明の属する技術分野】
本発明は、文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体に係り、特に、操作者が手書き文字を入力し、手書き文字認識を実行した際、ひらがなの修正、カタカナの修正、英字の大文字/小文字の修正、文字種の修正等を行う文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体に関する。
【0002】
【従来の技術】
本発明は、タブレットやマウスなどの座標入力装置を備える文字編集装置において、操作者が手書き文字を入力し、手書き文字認識を実行した際、ひらがなの修正、カタカナの修正、英字の大文字/小文字の修正、文字種の修正等を行う文字編集装置に関するものである。
【0003】
このような手書き文字の認識を行う文字編集装置に関して、次の技術が知られている。
【0004】
特開2000−99223号公報(特許文献1)には、手書き文字が誤認識された場合の操作が簡易であって作業効率を上げた手書き文字入力インタフェースを有する文字編集装置が開示されている。特開2000−99223号公報に記載された発明は、固定型の手書き入力枠をもつインターフェースであり、手書き文字入力枠がペンにより指定されると、この発明の文字入力インタフェースは、この手書き文字入力枠の手書き文字に対する文字候補と、入力枠の削除、手書き文字の書き直し等の実行が可能な編集コマンドとを一括して表示し、文字候補のいずれかが選択された場合は、手書き文字入力枠の文字候補の表示を、選択された文字候補の表示に変更し、また編集コマンドのいずれかが選択された場合は、指定された手書き文字入力枠に対して、選択された編集コマンドを実行するものである。
【0005】
特開2001−14103号公報(特許文献2)には、入力目的に応じて各種の入力機能(例えば、手書きによる入力、キーボードによる入力、部首検索による入力)を切り替えて文字入力を効率的に行う文字編集装置が開示されている。特開2001−14103号公報に記載された発明は、固定入力枠をもつインターフェースであり、入力目的に応じて、画面上の操作で入力機能に対応したサブモジュールを切替えることにより、入力方法を切替える文字編集装置である。
【0006】
特開2001−76380号公報(特許文献3)には、タッチパネル上で手書きで文字入力する際に、入力枠等や文書書式の設定を意識することなく、任意の入力方向で手書き文字を入力できるようにした文字編集装置が開示されている。
【0007】
特開2001−76380号公報に記載された発明は、手書き入力パネル上の任意位置における手書き文字の入力を2文字分検出すると、その手書き位置を基準にして、認識率が最も高い方向を手書き文字の認識方向に設定し、この認識方向に応じた用紙向き書式と、用紙向きに対する手書き文字の入力位置と配列向きとを設定し、この用紙向きと手書き文字の入力位置と配列向きに基づいて、入力される手書き文字の文字認識とカーソル移動を繰り返し実行する文字編集装置である。
【0008】
特開平9−319503号公報(特許文献4)には、筆記文字列入力方式と認識文字列入力方式とを併用または混用した文書入力や文書編集を、簡単な操作で自由に行う文字編集装置が開示されている。
【0009】
特開平9−319503号公報に記載された発明は、手書き入力された文字に対して文字認識を行い、文字コードに変換する認識文字列入力方式と、手書き入力された文字に対して文字認識を行わず、筆跡をストロークのデータとして扱う筆記文字列入力方式とを、併用または混用した文字編集装置である。
【0010】
特開平11−212964号公報(特許文献5)には、連続して文字編集を行う場合に、キー又はマウスの操作回数を減らすことにより、編集操作を簡略化した文字編集装置が開示されている。
【0011】
特開平11−212964号公報に記載された発明は、OCRやワードプロセッサなどに利用され、イメージ原稿の文字部分又はOCR認識部分を文字コードに編集する場合に、一回のキー操作で次に編集対象エリアを自動選択し、編集可能状態にする文字編集装置である。
【0012】
ところで、手書き文字認識のユーザインターフェース(以下、「UI」と言う。)には大きく分けて2種類が存在する。一つは、上記特許文献1及び特許文献2に記載された発明のように、ある固定の枠を設け、ユーザに一文字単位でその枠内に文字を記入させる方法であり、現在最も一般的な方法である。一文字単位の切り出し処理が不要であり、切り出しミスによる誤認識がないが、ユーザ負担が多く、使い難いインターフェースである(以下、「固定枠手書き文字認識」と言う。)。もう一つは、上記特許文献3及び特許文献4に記載された発明のように、入力枠がなく、手書き領域内に自由に文字を書き、一文字切り出し処理を行なって、文字認識をする方法である。一文字単位の切り出し処理による誤認識はあるものの、ユーザにとっては普通に鉛筆を走らせる動作と同じ操作で文字入力ができるメリットがある(以下、「自由手書き認識」と言う。)。
【0013】
【発明が解決しようとする課題】
上述したように、手書き文字の認識に関して、固定枠手書き文字認識及び自由手書き認識が存在する。しかし、現状の文字認識では100%の認識率を得ることはできないというのが現状である。したがって、ユーザは誤認識を修正する必要がある。
【0014】
ところで、特開2001−14103号公報に記載された発明は、文字入力を効率的に行う発明であり、特開2001−76380号公報に記載された発明は、入力枠等や文書書式の設定を意識することなく、任意の入力方向で手書き文字を入力できるようにした発明であり、特開平9−319503号公報に記載された発明は、簡単な操作で自由に行う発明であり、特開平11−212964号公報に記載された発明は、編集操作を簡略化した発明である。このような従来技術の発明は、如何に、文字入力を効率的に行うかの発明であり、誤認識を前提にした発明ではなく、ユーザによる誤認識の修正に対して応えるものではない。
【0015】
また、特開2000−99223号公報に記載された発明は、手書き文字が誤認識された場合の作業効率を上げた発明であるが、固定枠手書き文字認識方式であり、上述したように、この方式は、ユーザ負担が多く、使い難いという問題がある。また、特開2000−99223号公報に記載された発明は、自由手書き認識方式には対応できないという問題がある。
【0016】
また、この修正作業を極力減らす方法として、文脈推定や言語解析などの技術が取り入れられているが、これらの方法でもユーザの修正作業を無くすことはできない。
【0017】
本発明は、上記問題に鑑みなされたものであり、手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできる文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体を提供することを目的とする。
【0018】
【課題を解決するための手段】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【0019】
請求項1に記載された発明は、操作者の手書き入力を検知し、座標値を出力する座標入力手段と、手書き文字を認識する手書き文字認識手段と、前記手書き文字認識手段によって得られた認識結果に対して文字編集を行う文字編集手段と、前記手書き文字認識手段の出力を表示する表示手段とを有する文字編集装置において、前記文字編集手段が、認識結果のひらがな、カタカナ及び英字の大文字/小文字を修正する大文字/小文字修正手段、又は認識結果の漢字、ひらがな、カタカナ及び英数字の文字種を認識候補から修正する文字種修正手段とを有することを特徴とする。
【0020】
請求項1に記載された発明によれば、操作者の手書き入力を検知し、座標値を出力する座標入力手段と、手書き文字を認識する手書き文字認識手段と、前記手書き文字認識手段によって得られた認識結果に対して文字編集を行う文字編集手段と、前記手書き文字認識手段の出力を表示する表示手段とを有する文字編集装置において、前記文字編集手段が、認識結果のひらがな、カタカナ及び英字の大文字/小文字を修正する大文字/小文字修正手段、又は認識結果の漢字、ひらがな、カタカナ及び英数字の文字種を認識候補から修正する文字種修正手段とを有することにより、手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできる文字編集装置を提供することができる。
【0021】
請求項2に記載された発明は、請求項1記載の文字編集装置において、前記大文字/小文字修正手段が、ジェスチャを用いて大文字/小文字を修正する第1のジェスチャ型修正手段を有することを特徴とする。
【0022】
請求項2に記載された発明によれば、大文字/小文字修正手段が、ジェスチャを用いて大文字/小文字を修正する第1のジェスチャ型修正手段を有することにより、大文字/小文字修正作業をジェスチャで行い、直感的で簡単に修正することができる。
【0023】
請求項3に記載された発明は、請求項2記載の文字編集装置において、前記第1のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分であることを特徴とする。
【0024】
請求項3に記載された発明によれば、第1のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分であることにより、大文字/小文字修正作業を対象文字に対する線分ジェスチャで行うことができる。
【0025】
請求項4に記載された発明は、請求項2記載の文字編集装置において、前記第1のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部を2回連続で指示することを特徴とする。
【0026】
請求項4に記載された発明によれば、第1のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部を2回連続で指示することにより、大文字/小文字修正作業を対象文字のダブルクリックで行うができる。
【0027】
請求項5に記載された発明は、前記大文字/小文字修正手段は、対象文字の外接四角形内部を1回指示することでメニューを表示する第1のメニュー表示手段と、前記第1のメニュー表示手段で表示されるメニュー項目から修正したい対象を選択することにより、大文字/小文字を修正する第1のメニュー型修正手段とを有することを特徴とする請求項1記載の文字編集装置。
【0028】
請求項5に記載された発明によれば、大文字/小文字修正手段は、対象文字の外接四角形内部を1回指示することでメニューを表示する第1のメニュー表示手段と、第1のメニュー表示手段で表示されるメニュー項目から修正したい対象を選択することにより、大文字/小文字を修正する第1のメニュー型修正手段とを有することにより、大文字/小文字修正作業をメニューからの選択で行うことができる。
【0029】
請求項6に記載された発明は、請求項5記載の文字編集装置において、第1のメニュー表示手段は、対象文字が大文字の場合は小文字修正のみを、対象文字が小文字の場合は大文字修正のみを項目として表示する第1の項目表示手段を有することを特徴とする。
【0030】
請求項6に記載された発明によれば、第1のメニュー表示手段は、対象文字が大文字の場合は小文字修正のみを、対象文字が小文字の場合は大文字修正のみを項目として表示する第1の項目表示手段を有することにより、メニューに表示される項目から対象文字の現状態を除くことにより、項目の選択し易さを向上することができる。
【0031】
請求項7に記載された発明は、請求項1記載の文字編集装置において、前記文字種修正手段は、ジェスチャを用いて文字種を修正する第2のジェスチャ型修正手段を有することを特徴とする。
【0032】
請求項7に記載された発明によれば、文字種修正手段は、ジェスチャを用いて文字種を修正する第2のジェスチャ型修正手段を有することにより、文字種修正作業をジェスチャで行い、直感的で簡単に行うことができる。
【0033】
請求項8に記載された発明は、請求項7記載の文字編集装置において、前記第2のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分であることを特徴とする。
【0034】
請求項8に記載された発明によれば、第2のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分ことにより、文字種修正作業を対象文字に対する線分ジェスチャで行うことができる。
【0035】
請求項9に記載された発明は、請求項7記載の文字編集装置において、前記第2のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部を2回連続で指示することを特徴とする。
【0036】
請求項9に記載された発明によれば、第2のジェスチャ型修正手段のジェスチャは、対象文字の外接四角形内部を2回連続で指示することにより、文字種修正作業を対象文字のダブルクリックで行うことができる。
【0037】
請求項10に記載された発明は、請求項1記載の文字編集装置において、前記文字種修正手段が、対象文字の外接四角形内部を1回指示することでメニューを表示する第2のメニュー表示手段と、前記第2のメニュー表示手段で表示されるメニュー項目から修正したい対象を選択することにより、文字種を修正する第2のメニュー型修正手段とを有することを特徴とする。
【0038】
請求項10に記載された発明によれば、文字種修正手段が、対象文字の外接四角形内部を1回指示することでメニューを表示する第2のメニュー表示手段と、第2のメニュー表示手段で表示されるメニュー項目から修正したい対象を選択することにより、文字種を修正する第2のメニュー型修正手段とを有することにより、文字種修正作業をメニューからの選択で行うことができる。
【0039】
請求項11に記載された発明は、請求項10記載の文字編集装置において、前記第2のメニュー表示手段は、対象文字の元の文字種以外を修正項目として表示する第2の項目表示手段を有することを特徴とする。
【0040】
請求項11に記載された発明によれば、第2のメニュー表示手段は、対象文字の元の文字種以外を修正項目として表示する第2の項目表示手段を有することにより、メニューに表示される項目から対象文字の現状態を除くことにより、項目の選択し易さを向上するができる。
【0041】
請求項12に記載された発明は、請求項1記載の文字編集装置において、前記文字編集手段が、前記文字種修正手段によって対象文字が他文字種に修正されたとき、対象文字の前後に文字が存在する場合、同時に文字種を変更する文字の開始位置及び終了位置を調査する開始/終了位置調査手段と、開始位置から終了位置までのそれぞれの文字について前記手書き文字認識手段で得られる認識候補を参照し、同じ文字種があるかどうかを調査する認識候補調査手段と、前記認識候補調査手段で同文字種が存在した場合に文字種を変更する前後文字修正手段とを有することを特徴とする。
【0042】
請求項12に記載された発明によれば、文字編集手段が、前記文字種修正手段によって対象文字が他文字種に修正されたとき、対象文字の前後に文字が存在する場合、同時に文字種を変更する文字の開始位置及び終了位置を調査する開始/終了位置調査手段と、開始位置から終了位置までのそれぞれの文字について手書き文字認識手段で得られる認識候補を参照し、同じ文字種があるかどうかを調査する認識候補調査手段と、認識候補調査手段で同文字種が存在した場合に文字種を変更する前後文字修正手段とを有することにより、文字種が修正された文字の前後の文字も同時に文字種修正することにより、作業量を減らすことができる。
【0043】
請求項13に記載された発明は、請求項1ないし12いずれか一項記載の文字編集装置において、前記座標値を線分単位でストロークとして記憶するストローク記憶手段を有することを特徴とする。
【0044】
請求項13に記載された発明によれば、座標値を線分単位でストロークとして記憶するストローク記憶手段を有することにより、文字認識等における座標値を取扱い易くすることができる。
【0045】
請求項14に記載された発明は、請求項1ないし13いずれか一項記載の文字編集装置において、前記手書き文字認識手段及び文字編集手段で得られた結果を文字単位で記憶する結果記憶手段を有することを特徴とする。
【0046】
請求項14に記載された発明によれば、前記手書き文字認識手段及び文字編集手段で得られた結果を文字単位で記憶する結果記憶手段を有することにより、ひらがなの修正、カタカナの修正、英字の大文字/小文字の修正、文字種の修正等の文字編集において、認識された文字データを取扱い易くすることができる。
【0047】
請求項15に記載された発明は、操作者の手書き入力を検知し、座標値を出力する座標入力ステップと、手書き文字を認識する手書き文字認識ステップと、前記手書き文字認識ステップによって得られた認識結果に対して文字編集を行う文字編集ステップと、前記手書き文字認識ステップの出力を表示する表示ステップとを有する文字編集方法において、前記文字編集ステップが、認識結果のひらがな、カタカナ及び英字の大文字/小文字を修正する大文字/小文字修正ステップ、又は認識結果の漢字、ひらがな、カタカナ及び英数字の文字種を認識候補から修正する文字種修正ステップとを有することを特徴とする。
【0048】
請求項16に記載された発明は、請求項15記載の文字編集方法において、前記大文字/小文字修正ステップが、ジェスチャを用いて大文字/小文字を修正する第1のジェスチャ型修正ステップを有することを特徴とする。
【0049】
請求項17に記載された発明は、請求項16記載の文字編集方法において、前記第1のジェスチャ型修正ステップのジェスチャは、対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分であることを特徴とする。
【0050】
請求項18に記載された発明は、請求項16記載の文字編集方法において、前記第1のジェスチャ型修正ステップのジェスチャは、対象文字の外接四角形内部を2回連続で指示することを特徴とする。
【0051】
請求項19に記載された発明は、請求項15記載の文字編集方法において、前記大文字/小文字修正ステップは、対象文字の外接四角形内部を1回指示することでメニューを表示する第1のメニュー表示ステップと、前記メニュー表示ステップ1で表示されるメニュー項目から修正したい対象を選択することにより、大文字/小文字を修正する第1のメニュー型修正ステップとを有することを特徴とする。
【0052】
請求項20に記載された発明は、請求項19記載の文字編集方法において、第1のメニュー表示ステップは、対象文字が大文字の場合は小文字修正のみを、対象文字が小文字の場合は大文字修正のみを項目として表示する第1の項目表示ステップを有することを特徴とする。
【0053】
請求項21に記載された発明は、請求項15記載の文字編集方法において、前記文字種修正ステップは、ジェスチャを用いて文字種を修正する第2のジェスチャ型修正ステップを有することを特徴とする。
【0054】
請求項22に記載された発明は、請求項21記載の文字編集方法において、前記第2のジェスチャ型修正ステップのジェスチャは、対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分であることを特徴とする。
【0055】
請求項23に記載された発明は、請求項21記載の文字編集方法において、前記第2のジェスチャ型修正ステップのジェスチャは、対象文字の外接四角形内部を2回連続で指示することを特徴とする。
【0056】
請求項24に記載された発明は、請求項15記載の文字編集方法において、前記文字種修正ステップが、対象文字の外接四角形内部を1回指示することでメニューを表示する第2のメニュー表示ステップと、前記第2のメニュー表示ステップで表示されるメニュー項目から修正したい対象を選択することにより、文字種を修正する第2のメニュー型修正ステップと、を有することを特徴とする。
【0057】
請求項25に記載された発明は、請求項24記載の文字編集方法において、前記第2のメニュー表示ステップは、対象文字の元の文字種以外を修正項目として表示する第2の項目表示ステップを有することを特徴とする。
【0058】
請求項26に記載された発明は、請求項15記載の文字編集方法において、前記文字編集ステップが、前記文字種修正ステップによって対象文字が他文字種に修正されたとき、対象文字の前後に文字が存在する場合、同時に文字種を変更する文字の開始位置及び終了位置を調査する開始/終了位置調査ステップと、開始位置から終了位置までのそれぞれの文字について前記手書き文字認識ステップで得られる認識候補を参照し、同じ文字種があるかどうかを調査する認識候補調査ステップと、前記認識候補調査ステップで同文字種が存在した場合に文字種を変更する前後文字修正ステップと、を有することを特徴とする。
【0059】
請求項27に記載された発明は、請求項15ないし26いずれか一項記載の文字編集方法において、前記座標値を線分単位でストロークとして記憶するストローク記憶ステップを有することを特徴とする。
【0060】
請求項28に記載された発明は、請求項15ないし27いずれか一項記載の文字編集方法において、前記手書き文字認識手段及び文字編集手段で得られた結果を文字単位で記憶する結果記憶手段を有することを特徴とする。
【0061】
請求項15ないし28いずれか一項記載の文字編集方法により、手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできる文字編集方法を提供することができる。
【0062】
請求項29に記載された発明は、請求項15ないし28のいずれか一項記載の文字編集方法をコンピュータに実施させる文字編集プログラムである。
【0063】
請求項29に記載の発明により、手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできる文字編集プログラムを提供することができる。
【0064】
請求項30に記載された発明は、請求項29記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体である。
【0065】
請求項30に記載の発明により、手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできるコンピュータが読み取り可能な記憶媒体を提供することができる。
【0066】
請求項31に記載された発明は、請求項1ないし14のいずれか一項記載の文字編集装置と、手書き文字入力・出力装置とからなる文字入力・表示装置である。
【0067】
請求項31に記載の発明により、手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできる文字入力・表示装置を提供することができる。
【0068】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
(システム構成)
図1は、本発明のシステム構成図である。本システムは、例えば、マルチメディアボード2のような、座標入力装置を有する大画面表示装置とパーソナルコンピュータ(以下、「PC」と言う。)1から構成される。
【0069】
ここでいう「マルチメディアボード」は、大型ディスプレイ、タッチパネル、電子黒板などの機能を1台に融合したものであり、その1例の仕様が、図2に示されている。このマルチメディアボードは、パソコンデータなどを大型ディスプレイ上に、通常照明のもとでも利用できる明るさで表示できるうえ、画面上への書き込みも指先で自由に行える。また。このマルチメディアボードは、インタラクティブなコミュニケーションツールであり、会議や打ち合わせ、学校や塾での授業などで利用できる。
【0070】
なお、このマルチメディアボードは、座標入力装置と表示装置を兼用したものであるが、本発明における座標入力装置としては、マルチメディアボードに限らず、マウスやタブレットを用いてもよく、また、表示装置としてCRTやプロジェクタなどを用いてもよい。また、Virtual Inc社製の「mimio」やEFI社製の「eBeam」のようにすでに市販されている座標入力装置とプロジェクタとを組み合わせたものでもよい。
【0071】
また、座標入力装置は、図1に示すように、操作者3が指又はペンなどの指示部4を使って座標入力部及び表示部5へ入力した信号を座標値として検出し、PC1へ送り込む装置である。送り込まれた座標値の集合(以下、「ストローク」と言う。)に対して処理を行ない、得られた処理内容を座標入力部及び表示部5に表示する。座標入力部及び表示部5を以下では手書き入力画面と言う。
(処理概要)
図3は、本発明の処理概要を説明するためのブロック図である。マルチメディアボード2は、図1に示されているように、手書き入力画面を有している。この手書き入力画面は、座標入力装置と表示装置を兼用しており、図3における座標入力装置51でもあり、表示装置52でもある。
【0072】
図3のシステムは、座標入力装置51及び表示装置52が図1のマルチメディアボードであり、その座標入力装置51及び表示装置52に対する座標入力処理、表示処理等をPCが行う構成となっている。また、PCの処理において、太線で示した矢印は本手法の処理の流れであり、細線で示した矢印はメモリへのデータアクセスを意味する。以下に、処理の流れに沿って説明する。なお、この処理は、PC1に搭載された文字編集プログラムにより行われるものであるが、説明上、PC1が行うように説明する。
【0073】
まず、PC1は、座標入力装置51から出力される座標値を、座標入力処理S10によって順次、座標値メモリ11に記憶する。PC1は、座標値メモリ11に対する記憶処理が終了したとき、表示処理S14に処理を渡す。表示処理S14では、入力された前後の座標値を線分で結び、表示装置52に出力する。PC1は、1ストローク分の座標値を得ると、コマンド処理S11へ処理を渡す。コマンド処理S11では、ユーザが文字認識開始の命令を行ったか、認識文字に対する編集の命令を行ったかを判別し、それぞれ手書き文字認識処理S12及び文字編集処理S13へ処理を渡す。いずれにも該当しない場合は、座標入力処理S10へ処理を渡す。手書き文字認識処理S12では、手書き文字を認識し、文字認識の結果を結果メモリ12へ記憶するとともに表示処理S14へ処理を渡す。結果メモリ12は、手書き文字認識処理S12及び文字編集処理S13で得られた結果を記憶するメモリである。文字編集処理S13では、ユーザの認識文字へのアクションを判別し、文字の修正などの編集を行い、表示処理S14へ処理を渡す。最後に、表示処理S14では、各処理で得られた結果を各メモリから取得し、表示装置52へ表示を行なう。同時に、座標入力処理S10へ処理を返し、新たな入力を待つ。
(詳細処理)
以下に、各部の詳しい処理について述べる。はじめに、座標入力処理について図4を用いて説明する。
【0074】
マルチメディアボード2の手書き入力画面5を制御するドライバでは、座標を検知すると、Windows(登録商標)のマウスイベントに対応付けを行なう。つまり、操作者3が指やペンなどの指示部4で手書き入力画面5に触れることを、マウス左ボタンのDOWNイベントに対応付け、操作者3が指示部4で手書き入力画面5に触れた状態のまま移動することを、マウス左ボタンのMOVEイベントに対応付け、操作者3が指示部4を手書き入力画面5から離すことを、マウス左ボタンのUPイベントに対応付ける。よって、マルチメディアボード2の手書き入力画面5を制御するドライバは、得られた座標値とマウスイベントの情報を座標入力処理S10に対して出力する。
【0075】
座標入力処理S10では、マウスイベントを常に監視している(S101)。マウスイベントが無い場合は(S101:イベントなし)、マウスイベントの監視でループし続ける。手書き入力画面5でマウスイベントがあった場合は(S101:イベントあり)、座標値を座標値メモリ11に記憶する(S102)。そして、UPイベントかどうかを調べ(S103)、UPイベントでなければ(S103:NO)、マウスイベントの監視処理S101へ処理を返す。UPイベントであれば(S103:YES)、座標値メモリ11のページを捲る(1大きくする)(S104)。
【0076】
図5に手書き入力画面5で、一つのストロークを入力した場合を説明する。図5は、操作者3が指やペンなどの指示部4で手書き入力画面5の、座標点51で手書き入力画面5に触れ(Windows(登録商標)のマウス左ボタンのDOWNイベントに対応)、手書き入力画面5に触れた状態で移動(Windows(登録商標)のマウス左ボタンのMOVEイベントに対応)し、座標点56で手書き入力画面5から離れた(Windows(登録商標)のマウス左ボタンのUPイベントに対応)場合である。PC1は、手書き入力画面5に触れた座標点51(x51、y51)、移動途中の座標点52(x52、y52)、53(x53、y53)、54(x54、y54)、55(x55、y55)及び手書き入力画面5から離れた座標点56(x56、y56)を順次、座標値メモリ11に記憶する。
【0077】
このように、マウスのDOWNからMOVEを経てUPまでのイベントで得られた座標値群をストロークとして、座標値メモリ11に記憶される。
【0078】
なお、ストローク単位を操作者3に明示するために、表示処理S14は、図5に示すように各座標点間を直線で結んで表示する。つまり、PC1は、座標値メモリ11に座標値を記憶すると、表示処理S14へ処理を渡し、表示処理S14は、手書き入力画面5に線分を表示する。
【0079】
図6に座標値メモリ11の構造について示す。座標値メモリは複数のページを有しており、1ページが1ストロークに対応する。ページ内にはマウスのDOWNイベントからUPイベントまでに得られた座標値がすべて記憶されている(一ストロークの座標点の座標値のすべてが記憶される。)。上述したように、ページを捲ると、次のイベントは新しいストロークとして記憶される。ページ捲り後、PC1は、コマンド処理S11へ処理を渡す。
【0080】
次に、座標入力処理S10から処理を受け取るコマンド処理S11について、図7を用いて説明する。まず、文字認識開始の命令があったかどうかを調査する。手書き文字認識では、文字認識開始の命令が一般に以下の2種類存在する。1つは、手書き文字入力画面5の任意の場所に認識開始用のボタンを配置し、操作者3が同ボタンを押下した場合に命令を発行する。もう一つは、マウスUPイベント後、所定の時間内にさらなる入力があるかどうかを調査し、入力が無ければ認識開始の命令を発行する。本実施の形態では、上記いずれかの方法で認識開始命令を取得する。認識開始の命令があった場合(S111:YES)、PC1は、手書き文字認識処理S12へ処理を渡し、手書き文字認識を開始する。認識開始の命令がなかった場合(S111:NO)、PC1は、結果メモリ12を参照し、文字領域が指示されたか否かを調査する。結果メモリ12は、手書き文字認識処理及び文字編集処理で得られた結果を記憶するメモリであり、同メモリには、文字の存在する位置を外接四角形の左上座標と右下座標として1文字単位で記憶している。この外接四角形が文字領域である。操作者3が文字領域内を指示した場合(S112:YES)、PC1は、文字編集処理S13へ処理を渡し、そうでない場合は(S112:NO)、座標入力処理S10へ処理を戻す。
【0081】
以上述べたように、コマンド処理S11からの処理の渡し先は、手書き文字認識S12及び文字編集処理S13の2つである。(座標入力処理S10は返し先である。)以下に、それぞれの処理内容について説明する。
【0082】
先ず、手書き文字認識処理S12について、図8を用いて説明する。まず、座標値メモリ11を参照し、全ストローク(全座標値)を呼び出す。そして、一文字切り出しによって一文字単位のストロークに分ける。一文字切り出し処理により、座標メモリの何ページから何ページまでが一文字かが分かるので、この情報を結果メモリ12に記憶する。一文字単位のストローク群それぞれについて、認識エンジンを用いて文字認識を行い、結果メモリ12へ、文字認識の結果及び認識候補を記憶する。
【0083】
次いで、一文字が記憶されている結果メモリ12の全ページから、一文字単位の文字領域を求め、それを結果メモリ12に記憶する。具体的には、一文字分のストローク群のx座標及びy座標について、最小値及び最大値を求める。左上の所定の位置を原点として、x座標の最小値をXmin、最大値をXmax、y座標の最小値をYmin、最大値をYmaxとすると、外接四角形、つまり文字領域は、左上座標(Xmin,Ymin)と右下座標(Xmax,Ymax)で定義し、結果メモリ12に記憶する。
【0084】
なお、本実施の形態で利用する一文字切り出し及び認識エンジンは、すでに多くの様々な手法が提案されており、そのいずれを使用してもよい。
【0085】
全文字について認識が終了したら、手書き文字認識処理S12は、表示処理S14に処理を渡す。
【0086】
上述の処理で得られる結果を記憶する結果メモリ12の構造を図9に示す。座標値メモリ11と同様に、結果メモリ12もページを有しており、1ページは一文字に対応している。1ページ内には、認識文字、認識候補、文字領域及び座標値メモリページの4つのパラメータが存在する。
【0087】
次いで、文字編集処理S13について、図10を用いて説明する。文字編集処理では、大文字/小文字の修正及び文字種の修正のいずれを行うか判断するために、まず、修正方法判別処理S131を実行する。その方法は以下の3通りである。図11及び図12に示すように、認識結果は活字と文字領域を表す破線で表示される。
【0088】
第一の方法は、文字領域に対する線分ジェスチャによる方法である。図11において、文字列“持つて”を“持って”のように大文字を小文字に修正したい場合は、文字“つ”の文字領域に対して領域内から始まり領域外で終わる線分を描画する。このジェスチャにより、修正方法判別処理S131は、大文字を小文字に修正する命令がなされたことを認識する。
【0089】
また、図12において、文字列“バっク”を“バック”のようにカタカナへ修正したい場合は、文字“っ”の文字領域に対して領域内から始まり領域内で終わる線分を描画する。このジェスチャにより、修正方法判別処理S131は、ひらがなをカタカナに修正する命令がなされたことを認識する。
【0090】
つまり、線分ジェスチャによる判別では、線分の終点が領域の外部であるか、内部であるかを調べることで修正方法を判別できる。
【0091】
第二の方法は、メニューの表示による方法である。図11のような認識結果が表示されていた場合、文字“つ”の文字領域をクリックする。クリックを行うと、Windows(登録商標)内でClickイベントが発生するため、上記線分ジェスチャとは区別できる。クリック後、図13のようなメニューを表示する。メニューの項目としては、大文字、小文字、ひらがな、カタカナ及び英数字が表示さる。操作者がメニュー項目から修正したい対象を選択することにより、修正方法を判別できる。例えば、小文字にしたい場合は、図13のメニューにおいて、小文字を選択する。また、カタカナにしたい場合は、図13のメニューにおいて、カタカナを選択する。
【0092】
第三の方法は、文字領域のダブルクリックによる方法である。図11のような認識結果が表示されていた場合、文字“つ”の文字領域をダブルクリックする。ダブルクリックを行うと、Windows(登録商標)内でDouble Clickイベントが発生するため、上記線分ジェスチャ及びメニュー表示とは区別できる。ダブルクリックを1度行うと処理する内容を変化させていく。例えば、大文字修正→小文字修正→ひらがな修正→...などである。
【0093】
上記いずれかの方法で、修正方法判別処理S131は、修正方法を判別し、大文字/小文字への修正の場合は大文字/小文字修正処理S132へ、文字種の修正の場合は文字種修正処理S133へ処理を渡す。大文字/小文字修正処理S133では、対象文字の大文字修正又は小文字修正を行い、表示処理S14へ処理を渡す。文字種修正処理S133では、対象文字の文字種を修正し、前後文字修正処理S134へ処理を渡す。前後文字修正処理S134では、対象文字の前後に文字がある場合、それらの文字の文字種を対象文字の修正後の文字種に合わせて修正を行ない、表示処理S14へ処理を渡す。
【0094】
以下に、大文字/小文字修正処理、文字種修正処理及び前後文字修正処理の詳しい内容を説明する。
【0095】
大文字/小文字修正処理S132について、図14を用いて説明する。まず、結果メモリ12内の各ページの文字領域を参照し、線分ジェスチャの開始点、クリック位置、ダブルクリック位置がどのページの文字領域内に存在するか、つまり、どの文字に対するアクションかを調べ、対象文字の特定を行なう(S1321)。次に、大文字修正であるか、小文字修正であるかを特定する(S1322)。線分ジェスチャの場合は、図15のように特定する。つまり、文字“つ”の文字領域内から始まり、下方向への線分であった場合は小文字ジェスチャ、上方向への線分であった場合は大文字ジェスチャとし、それぞれ小文字修正、大文字修正と特定する。また、メニュー表示の場合は、図16のように特定する。文字“つ”の文字領域内をクリックするとメニューが表示される。メニューから小文字を選択すると、対象文字を小文字に修正する処理と特定する。ここで、図16に表示されるメニューは、図13のメニューとは異なり、大文字及びひらがなが選択不可になっている。これは、対象文字“つ”が大文字であり、ひらがなであることが文字コードから事前に分かっており、大文字及びひらがなを選択する必要がないためである。また、ダブルクリックの場合は、図17のように特定する。対象文字“つ”の対象領域内をダブルクリックすると、1回目は小文字変換、2回目はカタカナ変換、3回目は英数字変換、4回目はひらがな変換と特定する。これは、文字コードを調べ、対象文字が“ひらがな”かつ“大文字”である場合は小文字変換、対象文字が“ひらがな”かつ“小文字”である場合はカタカナ変換、対象文字が“カタカナ”の場合は英数字変換、対象文字が“英数字”の場合はひらがな変換を行なうように設定しているためである。変換の特定では、さらに、修正前の対象文字の文字コードを調査し、特定した変換が可能であるかを判断する。そして、変換が可能であれば特定した変換を文字に施し、結果メモリ12に記憶する。変換が不可能であれば結果メモリ12には記憶しない。大文字/小文字修正処理S132は、最後に表示処理S14へ処理を渡す。
【0096】
文字種修正処理S133について、図18を用いて説明する。まず、結果メモリ12内の各ページの文字領域を参照し、線分ジェスチャの開始点、クリック位置、ダブルクリック位置がどのページの文字領域内に存在するか、つまり、どの文字に対するアクションかを調べ、対象文字の特定を行なう(S1331)。次に、どの文字種への修正かを特定する(S1332)。修正前の対象文字がひらがなの場合はカタカナへ、カタカナの場合は英数字へ、英数字の場合はひらがなへの文字修正と特定する。次に、文字の修正を行なう(S1333)。例えば、線分ジェスチャで、図19に示すように文字“つ”が対象文字となると、結果メモリ12から文字“つ”の認識候補を呼び出す。認識候補が“っフ7>コ⊃アァワ”だとすると、文字種は左から、ひらがな、カタカナ、英数字、英数字、カタカナ、英数字、カタカナ、カタカナ、カタカナである。対象文字がひらがなであるので、左からカタカナを探す。すると、カタカナ“フ”が該当し、カタカナ変換を施し、結果メモリ12に記憶する。ただし、認識結果によっては認識候補内にカタカナが存在しない場合がある。この場合は、カタカナを飛ばし、英数字を探し、見つかった英数字に修正する。英数字も見つからなかった場合は何も処理しない。メニュー表示及びダブルクリックの場合は、前述したように図16及び図17のような処理を行なう。この場合も、認識候補内に該当する文字種の文字が存在しなければ飛ばし、いずれも無ければ何も処理しない。文字種修正処理S133は、最後に前後文字編集処理S134を行なう。
【0097】
前後文字修正処理S134について、図20を用いて説明する。まず、修正する開始文字と終了文字を特定する(S1341)。文字種修正処理で修正された対象文字の結果メモリ12を参照し、結果メモリ12のページ番号を取得する。同ページの前後のページを探索し、座標値メモリページを参照して、ページ数が6以下の文字を求める。対象文字を中心に探索を行い、ページ数が7以上、又は、最初のページか最終ページになったら探索を止める。見つかったページでページ番号が最小の文字を開始文字、最大の文字を終了ページとする。例えば、図21において、対象文字“つ”に対してカタカナ変換をおこなったとする。図21の下部にある認識候補を参照すると、対象文字“つ”は“フ”と修正される。そして対象文字“つ”の前後の文字を探索し、座標値メモリページのページ数が6以下のものを求めると、文字“識”及び文字“開”は7以上のページ数であるから、開始文字は“り”、終了文字は“f”となる。
【0098】
次に、開始文字から終了文字へ順に認識候補のチェックを行なう(S1343)。認識候補に文字種修正処理で修正した文字種と同じ文字種があった場合(S1343:YES)、その文字を修正する(S1344)。図21では、文字“り”の認識候補を参照し、左からカタカナを探索する。ここでは“ソ”が該当するので、文字“り”を“ソ”に修正する。また、文字“f”の認識候補を参照し、左からカタカナを探索する。ここでは、“ト”が該当するので、文字“f”を“ト”に修正する。その結果、図21のように“認識ソフト開発”という文字列が得られる。この処理は、終了文字まで繰り返され(S1345)、認識候補に同文字種が無い場合(S1343:NO)、修正は行なわれない(S1346)。最後に、前後文字修正処理S134は、表示処理S14へ処理を渡す。
【0099】
最後に、表示処理14について図22を用いて説明する。表示処理S14は、座標入力処理S10、手書き文字認識処理S12及び文字編集処理S13から処理を受け取る。座標入力処理S10から処理を受け取った場合は、座標値メモリ11内の座標点を線分で結び、表示装置52で表示する。手書き文字認識処理S12及び文字編集処理S13から処理を受け取った場合は、結果メモリ内12の認識文字を文字列にして表示装置52でText表示する。Text表示の方法は、Visual Basicに代表されるようなText Boxにて行う。更に、結果メモリ12の文字領域を参照し、各文字ごとに文字領域を表示する。そして、表示処理14は、座標入力処理S10へ処理を返す。
【0100】
なお、本発明による文字編集方法に従って動作するよう作成したコンピュータプログラムを、磁気ディスク等のコンピュータが読み取り可能な記憶媒体に保存することが可能である。このような記憶媒体にプログラムを保存することにより、コンピュータシステムにこれを読み取らせ、文字編集装置として動作させることができる。
【0101】
また、パーソナルコンピュータ1は、文字編集装置の一部として機能する。図23は、パーソナルコンピュータが文字編集装置の一部として奏する機能を説明するためのブロック図である。
【0102】
PC1は、操作者の手書き入力を検知し、座標値を出力する座標入力処理手段13と、手書き文字認識を実行するか、認識結果の文字編集を行うかを判別するコマンド判別処理手段14と、座標値メモリ11に記憶されたストローク群から手書き文字を認識する手書き文字認識処理手段15と、手書き文字認識処理手段15によって得られた認識結果に対して文字編集を行う文字編集処理手段16と、座標入力処理手段13及び手書き文字認識処理手段16の出力を表示する表示処理手段17と、座標値を線分単位でストロークとして記憶する座標値メモリ11と、手書き文字認識処理手段15及び文字編集処理手段16で得られた認識結果を記憶する結果メモリ12とを有する。
【0103】
また、文字編集処理手段16は、図24に示すように、認識結果のひらがな、カタカナ及び英字の大文字/小文字を修正する大文字/小文字修正手段161と、認識結果の漢字、ひらがな、カタカナ及び英数字の文字種を認識候補から修正する文字種修正手段162と、文字種修正手段162によって対象文字が他文字種に修正されたとき、対象文字の前後に文字が存在する場合、同時に文字種を変更する文字の開始位置及び終了位置を調査する開始/終了位置調査手段と、開始位置から終了位置までのそれぞれの文字について手書き文字認識手段15で得られる認識候補を参照し、同じ文字種があるかどうかを調査する認識候補調査手段163と、認識候補調査手段163で同文字種が存在した場合に文字種を変更する前後文字修正手段164とを有する。
【0104】
また、大文字/小文字修正手段161は、図25に示すように、ジェスチャを用いて大文字/小文字を修正するジェスチャ型修正手段1611と、対象文字の外接四角形内部を1回指示することでメニューを表示するメニュー表示手段1612と、メニュー表示手段1612で表示されるメニュー項目から修正したい対象を選択することにより、大文字/小文字を修正するメニュー型修正手段1613とを有している。なお、メニュー表示手段1612は、対象文字が大文字の場合は小文字修正のみを、対象文字が小文字の場合は大文字修正のみを項目として表示する項目表示手段16121を有している。
【0105】
また、文字種修正手段162は、図26に示すように、ジェスチャを用いて文字種を修正するジェスチャ型修正手段1621と、対象文字の外接四角形内部を1回指示することでメニューを表示するメニュー表示手段1622と、メニュー表示手段1622で表示されるメニュー項目から修正したい対象を選択することにより、文字種を修正するメニュー型修正手段1623とを有している。
【0106】
なお、メニュー表示手段1622は、対象文字の元の文字種以外を修正項目として表示する項目表示手段16221有している。
【0107】
なお、本実施の形態によれば、固定枠手書き文字認識方式及び自由手書き認識方式における手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間行うことができる。
【0108】
【発明の効果】
上述の如く本発明によれば、手書き文字の誤認識に対する修正作業を軽減し、修正作業を簡単にかつ短時間にできる文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体を提供することができる。
【0109】
【図面の簡単な説明】
【図1】本発明のシステム構成図を説明するための図である。
【図2】マルチメディアボードの仕様の例を説明するための図である。
【図3】本発明の処理概要を説明するためのブロック図である。
【図4】座標入力処理を説明するための処理ブロック図である。
【図5】手書き入力画面で一つのストロークを入力した場合を説明するための図である。
【図6】座標値メモリの構造を説明するための図である。
【図7】コマンド処理を説明するための処理ブロック図である。
【図8】手書き文字認識処理を説明するための処理ブロック図である。
【図9】結果メモリを説明するための図である。
【図10】文字編集処理を説明するための処理ブロック図である。
【図11】修正方法判別処理を説明するための図(その1)である。
【図12】修正方法判別処理を説明するための図(その2)である。
【図13】修正方法判別処理を説明するための図(その3)である。
【図14】大文字/小文字修正処理を説明するための処理ブロック図である。
【図15】変換処理を説明するための図(その1)である。
【図16】変換処理を説明するための図(その2)である。
【図17】変換処理を説明するための図(その3)である。
【図18】文字種修正処理を説明するための処理ブロック図である。
【図19】文字種変換処理を説明するための図である。
【図20】前後文字修正処理を説明するための処理ブロック図である。
【図21】前後文字変換処理を説明するための図である。
【図22】表示処理を説明するための処理ブロック図である。
【図23】本発明におけるパーソナルコンピュータが奏する機能のブロック図である。
【図24】文字編集処理手段を説明するための図である。
【図25】大文字/小文字修正手段を説明するための図である。
【図26】文字種修正手段を説明するための図である。
【符号の説明】
1 パーソナルコンピュータ(PC)
2 マルチメディアボード
3 操作者
4 指示部
5 座標入力部及び表示部(手書き入力画面、座標入力装置及び表示装置)
11 座標値メモリ
12 結果メモリ
13 座標入力処理手段
14 コマンド判別処理手段
15 手書き文字認識処理手段
16 文字編集処理手段
17 表示処理手段
S10 座標入力処理
S11 コマンド処理
S12 手書き文字認識処理
S13 文字編集処理
S14 表示処理
Claims (31)
- 操作者の手書き入力を検知し、座標値を出力する座標入力手段と、手書き文字を認識する手書き文字認識手段と、前記手書き文字認識手段によって得られた認識結果に対して文字編集を行う文字編集手段と、前記手書き文字認識手段の出力を表示する表示手段とを有する文字編集装置において、
前記文字編集手段が、
認識結果のひらがな、カタカナ及び英字の大文字/小文字を修正する大文字/小文字修正手段、又は
認識結果の漢字、ひらがな、カタカナ及び英数字の文字種を認識候補から修正する文字種修正手段
とを有することを特徴とする文字編集装置。 - 前記大文字/小文字修正手段が、
ジェスチャを用いて大文字/小文字を修正する第1のジェスチャ型修正手段を有することを特徴とする請求項1記載の文字編集装置。 - 前記第1のジェスチャ型修正手段のジェスチャは、
対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分であることを特徴とする請求項2記載の文字編集装置。 - 前記第1のジェスチャ型修正手段のジェスチャは、
対象文字の外接四角形内部を2回連続で指示することを特徴とする請求項2記載の文字編集装置。 - 前記大文字/小文字修正手段は、
対象文字の外接四角形内部を1回指示することでメニューを表示する第1のメニュー表示手段と、
前記第1のメニュー表示手段で表示されるメニュー項目から修正したい対象を選択することにより、大文字/小文字を修正する第1のメニュー型修正手段と、を有することを特徴とする請求項1記載の文字編集装置。 - 第1のメニュー表示手段は、
対象文字が大文字の場合は小文字修正のみを、対象文字が小文字の場合は大文字修正のみを項目として表示する第1の項目表示手段を有することを特徴とする請求項5記載の文字編集装置。 - 前記文字種修正手段は、
ジェスチャを用いて文字種を修正する第2のジェスチャ型修正手段を有することを特徴とする請求項1記載の文字編集装置。 - 前記第2のジェスチャ型修正手段のジェスチャは、
対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分であることを特徴とする請求項7記載の文字編集装置。 - 前記第2のジェスチャ型修正手段のジェスチャは、
対象文字の外接四角形内部を2回連続で指示することを特徴とする請求項7記載の文字編集装置。 - 前記文字種修正手段が、
対象文字の外接四角形内部を1回指示することでメニューを表示する第2のメニュー表示手段と、
前記第2のメニュー表示手段で表示されるメニュー項目から修正したい対象を選択することにより、文字種を修正する第2のメニュー型修正手段と、
を有することを特徴とする請求項1記載の文字編集装置。 - 前記第2のメニュー表示手段は、
対象文字の元の文字種以外を修正項目として表示する第2の項目表示手段を有することを特徴とする請求項10記載の文字編集装置。 - 前記文字編集手段が、
前記文字種修正手段によって対象文字が他文字種に修正されたとき、対象文字の前後に文字が存在する場合、同時に文字種を変更する文字の開始位置及び終了位置を調査する開始/終了位置調査手段と、開始位置から終了位置までのそれぞれの文字について前記手書き文字認識手段で得られる認識候補を参照し、同じ文字種があるかどうかを調査する認識候補調査手段と、
前記認識候補調査手段で同文字種が存在した場合に文字種を変更する前後文字修正手段と、
を有することを特徴とする請求項1記載の文字編集装置。 - 前記座標値を線分単位でストロークとして記憶するストローク記憶手段を有することを特徴とする請求項1ないし12いずれか一項記載の文字編集装置。
- 前記手書き文字認識手段及び文字編集手段で得られた結果を文字単位で記憶する結果記憶手段を有することを特徴とする請求項1ないし13いずれか一項記載の文字編集装置。
- 操作者の手書き入力を検知し、座標値を出力する座標入力ステップと、手書き文字を認識する手書き文字認識ステップと、前記手書き文字認識ステップによって得られた認識結果に対して文字編集を行う文字編集ステップと、前記手書き文字認識ステップの出力を表示する表示ステップとを有する文字編集方法において、
前記文字編集ステップが、
認識結果のひらがな、カタカナ及び英字の大文字/小文字を修正する大文字/小文字修正ステップ、又は
認識結果の漢字、ひらがな、カタカナ及び英数字の文字種を認識候補から修正する文字種修正ステップ
とを有することを特徴とする文字編集方法。 - 前記大文字/小文字修正ステップが、
ジェスチャを用いて大文字/小文字を修正する第1のジェスチャ型修正ステップを有することを特徴とする請求項15記載の文字編集方法。 - 前記第1のジェスチャ型修正ステップのジェスチャは、
対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分であることを特徴とする請求項16記載の文字編集方法。 - 前記第1のジェスチャ型修正ステップのジェスチャは、
対象文字の外接四角形内部を2回連続で指示することを特徴とする請求項16記載の文字編集方法。 - 前記大文字/小文字修正ステップは、
対象文字の外接四角形内部を1回指示することでメニューを表示する第1のメニュー表示ステップと、
前記メニュー表示ステップ1で表示されるメニュー項目から修正したい対象を選択することにより、大文字/小文字を修正する第1のメニュー型修正ステップと、
を有することを特徴とする請求項15記載の文字編集方法。 - 第1のメニュー表示ステップは、
対象文字が大文字の場合は小文字修正のみを、対象文字が小文字の場合は大文字修正のみを項目として表示する第1の項目表示ステップを有することを特徴とする請求項19記載の文字編集方法。 - 前記文字種修正ステップは、
ジェスチャを用いて文字種を修正する第2のジェスチャ型修正ステップを有することを特徴とする請求項15記載の文字編集方法。 - 前記第2のジェスチャ型修正ステップのジェスチャは、
対象文字の外接四角形内部から始まり、対象文字の外接四角形外部又は対象文字の外接四角形内部で終わる線分であることを特徴とする請求項21記載の文字編集方法。 - 前記第2のジェスチャ型修正ステップのジェスチャは、
対象文字の外接四角形内部を2回連続で指示することを特徴とする請求項21記載の文字編集方法。 - 前記文字種修正ステップが、
対象文字の外接四角形内部を1回指示することでメニューを表示する第2のメニュー表示ステップと、
前記第2のメニュー表示ステップで表示されるメニュー項目から修正したい対象を選択することにより、文字種を修正する第2のメニュー型修正ステップと、
を有することを特徴とする請求項15記載の文字編集方法。 - 前記第2のメニュー表示ステップは、
対象文字の元の文字種以外を修正項目として表示する第2の項目表示ステップを有することを特徴とする請求項24記載の文字編集方法。 - 前記文字編集ステップが、
前記文字種修正ステップによって対象文字が他文字種に修正されたとき、対象文字の前後に文字が存在する場合、同時に文字種を変更する文字の開始位置及び終了位置を調査する開始/終了位置調査ステップと、開始位置から終了位置までのそれぞれの文字について前記手書き文字認識ステップで得られる認識候補を参照し、同じ文字種があるかどうかを調査する認識候補調査ステップと、
前記認識候補調査ステップで同文字種が存在した場合に文字種を変更する前後文字修正ステップと、
を有することを特徴とする請求項15記載の文字編集方法。 - 前記座標値を線分単位でストロークとして記憶するストローク記憶ステップを有することを特徴とする請求項15ないし26いずれか一項記載の文字編集方法。
- 前記手書き文字認識手段及び文字編集手段で得られた結果を文字単位で記憶する結果記憶手段を有することを特徴とする請求項15ないし27いずれか一項記載の文字編集方法。
- 請求項15ないし28のいずれか一項記載の文字編集方法をコンピュータに実施させる文字編集プログラム。
- 請求項29記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
- 請求項1ないし14のいずれか一項記載の文字編集装置と、手書き文字入力・出力装置とからなる文字入力・表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003058914A JP2004272377A (ja) | 2003-03-05 | 2003-03-05 | 文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003058914A JP2004272377A (ja) | 2003-03-05 | 2003-03-05 | 文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004272377A true JP2004272377A (ja) | 2004-09-30 |
Family
ID=33121913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003058914A Pending JP2004272377A (ja) | 2003-03-05 | 2003-03-05 | 文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004272377A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010102553A1 (en) * | 2009-03-09 | 2010-09-16 | Nokia Corporation | Method and apparatus for handwriting input |
JP2012038151A (ja) * | 2010-08-09 | 2012-02-23 | Aba Kk | 漢字検索システム、漢字検索方法及びプログラム |
JP2013029925A (ja) * | 2011-07-27 | 2013-02-07 | Kyocera Corp | 電子機器、文章編集方法及び制御プログラム |
CN104461341A (zh) * | 2013-09-25 | 2015-03-25 | 京瓷办公信息系统株式会社 | 输入装置、图像形成装置以及电子设备 |
JP2016015099A (ja) * | 2014-07-03 | 2016-01-28 | シャープ株式会社 | 手書入力装置及び手書入力方法 |
WO2020076950A1 (en) * | 2018-10-09 | 2020-04-16 | Google Llc | Writing device with electromagnetic tracking |
-
2003
- 2003-03-05 JP JP2003058914A patent/JP2004272377A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010102553A1 (en) * | 2009-03-09 | 2010-09-16 | Nokia Corporation | Method and apparatus for handwriting input |
JP2012038151A (ja) * | 2010-08-09 | 2012-02-23 | Aba Kk | 漢字検索システム、漢字検索方法及びプログラム |
JP2013029925A (ja) * | 2011-07-27 | 2013-02-07 | Kyocera Corp | 電子機器、文章編集方法及び制御プログラム |
CN104461341A (zh) * | 2013-09-25 | 2015-03-25 | 京瓷办公信息系统株式会社 | 输入装置、图像形成装置以及电子设备 |
JP2015064776A (ja) * | 2013-09-25 | 2015-04-09 | 京セラドキュメントソリューションズ株式会社 | 入力装置及び電子機器 |
JP2016015099A (ja) * | 2014-07-03 | 2016-01-28 | シャープ株式会社 | 手書入力装置及び手書入力方法 |
WO2020076950A1 (en) * | 2018-10-09 | 2020-04-16 | Google Llc | Writing device with electromagnetic tracking |
CN113039511A (zh) * | 2018-10-09 | 2021-06-25 | 谷歌有限责任公司 | 具有电磁跟踪的书写设备 |
US11762485B2 (en) | 2018-10-09 | 2023-09-19 | Google Llc | Writing device with electromagnetic tracking |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3486459B2 (ja) | 電子情報機器及びその制御方法 | |
EP0992877B1 (en) | Information processing apparatus | |
US8600163B2 (en) | Handwriting determination apparatus and method and program | |
US7634718B2 (en) | Handwritten information input apparatus | |
US6938220B1 (en) | Information processing apparatus | |
US20060119588A1 (en) | Apparatus and method of processing information input using a touchpad | |
JP2003303047A (ja) | 画像入力及び表示システム、ユーザインタフェースの利用方法並びにコンピュータで使用可能な媒体を含む製品 | |
JPH09319556A (ja) | 情報処理装置 | |
KR20180119647A (ko) | 문자열에 문자를 삽입하기 위한 방법 및 대응하는 디지털 디바이스 | |
JPH06139229A (ja) | ペン型スタイラスおよびコンピュータを使用するかな文字−漢字変換方法 | |
JP2000122768A (ja) | 文字入力装置、方法および記録媒体 | |
JPH06131110A (ja) | 情報処理装置 | |
JP2000123115A (ja) | 手書き文字処理装置、手書き文字処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2004272377A (ja) | 文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体 | |
Hornbuckle | The computer graphics user/machine interface | |
JP6655331B2 (ja) | 電子機器及び方法 | |
JP4148867B2 (ja) | 筆跡処理装置 | |
JPH08314917A (ja) | かな漢字変換装置 | |
JPH07200723A (ja) | 文字認識方法及び装置 | |
JP3526479B2 (ja) | オンライン手書き文字入力方法及び装置 | |
JPH07287634A (ja) | 文書作成装置及びその図形作成方法 | |
JP3759974B2 (ja) | 情報処理装置および情報処理方法 | |
JPH11154198A (ja) | 手書き入力装置及び記憶媒体 | |
JPH1078956A (ja) | 情報処理装置 | |
JP2991909B2 (ja) | 文書処理装置および文書処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090129 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090331 |