JP2012216027A - 手書き文字入力装置 - Google Patents

手書き文字入力装置 Download PDF

Info

Publication number
JP2012216027A
JP2012216027A JP2011080290A JP2011080290A JP2012216027A JP 2012216027 A JP2012216027 A JP 2012216027A JP 2011080290 A JP2011080290 A JP 2011080290A JP 2011080290 A JP2011080290 A JP 2011080290A JP 2012216027 A JP2012216027 A JP 2012216027A
Authority
JP
Japan
Prior art keywords
character
display
unit
input
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011080290A
Other languages
English (en)
Other versions
JP5550598B2 (ja
Inventor
Hideaki Harumoto
英明 春元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2011080290A priority Critical patent/JP5550598B2/ja
Priority to PCT/JP2012/001532 priority patent/WO2012132244A1/ja
Priority to TW101107516A priority patent/TW201248514A/zh
Priority to CN2012800168957A priority patent/CN103460225A/zh
Publication of JP2012216027A publication Critical patent/JP2012216027A/ja
Application granted granted Critical
Publication of JP5550598B2 publication Critical patent/JP5550598B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/226Character recognition characterised by the type of writing of cursive writing
    • G06V30/2268Character recognition characterised by the type of writing of cursive writing using stroke segmentation
    • G06V30/2272Character recognition characterised by the type of writing of cursive writing using stroke segmentation with lexical matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/28Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Discrimination (AREA)

Abstract

【課題】一度文字認識処理されて確定した誤認識文字を、誤認識された時点の筆跡データの続きから再度手書き入力すること。
【解決手段】本発明の手書き文字入力装置は、一度文字認識処理されて確定した誤認識文字データから、認識エンジン115が保持するリファレンス用のストローク情報を逆引きして取得し、その取得したストローク情報の続きから文字を手書き入力可能にする。
【選択図】図2

Description

本発明は、手書き文字入力装置に関する。
特許文献1では、文字認識された後に画面上に表示された手書き文字を手書き文字入力用のデバイスでダブルタップすることで、手書き文字の入力エリアに、その文字の認識前の手書き文字を表示する手書き文字入力装置が開示されている。
また、特許文献2では、文字認識された後に画面上に表示された手書き文字を、画面上の訂正ボタンを押下して訂正文字の候補を選択する画面上の入力操作だけで、文字訂正することができる手書き文字入力装置が開示されている。
また、特許文献3では、入力エリアに手書き入力された漢字の非部首部分が、漢字の部首(たとえば、へん、かんむり)に対して小さい場合に、漢字の非部首部分を抽出して部分パターンを拡大生成し、所定の大きさに正規化することで文字認識率を上げる手書き文字入力装置が開示されている。
特開2001−243421号公報 特開2008−158880号公報 特開平9−161005号公報
しかし、上述した従来の手書き文字入力装置では、例えば、ユーザが漢字である「閥」をタッチパネル上の筆跡入力エリアに入力する場合、途中の「門」まで入力してから残りの部分である「伐」を書き始めるまでに時間がかかると、「閥」の一部(部首)である「門(門がまえ)」だけが誤って自動的に文字認識される場合がある。その結果、タッチパネル上の表示エリアには、誤認識文字である「門」だけが表示される。したがって、従来の手書き文字入力装置では、ユーザが表示エリア上の「門」を消去するタッチパネル操作を行った後、改めて「閥」の筆跡入力を最初からやり直す必要がある。誤認識される毎に筆跡入力を最初からやり直すのでは、文字入力(特に、漢字)の際にユーザにとって大きな負担となってしまう。
本発明の目的は、一度文字認識処理されて確定した誤認識文字を、誤認識された時点の筆跡データの続きから手書き入力可能とする手書き文字入力装置を提供することである。
本発明の手書き文字入力装置は、接触を感知するタッチパネルと、前記タッチパネルと一体に設けられ、文字認識されて確定した文字のビットマップデータを表示する表示エリアと前記タッチパネルが感知した接触により手書き文字入力する入力エリアとを有する表示部と、前記文字のストローク情報を内蔵する文字認識辞書を参照して文字認識処理する文字認識処理部と、前記表示エリアに表示された文字のビットマップデータの前記入力エリアへの移動を制御する移動制御部と、前記移動制御部の制御対象となる文字の文字コードに基づき、前記文字認識処理部に内蔵された文字認識辞書から前記文字のストローク情報を逆引きして取得するストロークデータ取得部と、前記表示エリアに新たに手書き入力された筆跡データを取得する筆跡データ取得部と、前記ストロークデータ取得部が取得した前記文字のストローク情報及び前記筆跡データ取得部が取得した筆跡データを保持するバッファと、前記表示部の表示を制御する表示制御部と、を備え、前記文字認識処理部は、前記表示エリアに表示された文字のビットマップデータが前記入力エリアへ移動した場合に、前記バッファに保持された前記文字のストローク情報及び前記筆跡データに基づき文字認識処理して、文字コードを前記表示制御部へ出力し、前記表示制御部は、前記文字認識処理部から入力された文字コードに対応する文字を前記表示エリアに表示するよう前記表示部を制御する。
また、本発明の手書き文字入力装置は、接触を感知するタッチパネルと、前記タッチパネルと一体に設けられ、文字認識されて確定した文字のビットマップデータを表示する表示エリアと前記タッチパネルが感知した接触により手書き文字入力する入力エリアとを有する表示部と、前記文字のストローク情報を内蔵する文字認識辞書を参照して文字認識処理する文字認識処理部と、前記表示エリアに表示された文字のビットマップデータの前記入力エリアへの移動を制御する移動制御部と、前記入力エリアに移動した文字のビットマップデータの大きさ又はその位置を編集するデータレタッチ制御部と、前記文字認識処理部に内蔵された文字認識辞書から前記文字のストローク情報を逆引きして取得し、当該文字のストローク情報を前記データレタッチ制御部の編集操作に基づき変形するストロークデータ取得部と、前記表示エリアに新たに手書き入力された筆跡データを取得する筆跡データ取得部と、前記ストロークデータ取得部により変形済みの文字のストローク情報及び前記筆跡データ取得部が取得した筆跡データを保持するバッファと、前記表示部の表示を制御する表示制御部と、を備え、前記文字認識処理部は、前記表示エリアに表示された文字のビットマップデータが前記入力エリアへ移動した場合に、前記バッファに保持された前記変形済みの文字のストローク情報及び前記筆跡データに基づき文字認識処理して、文字コードを前記表示制御部へ出力し、前記表示制御部は、前記文字認識処理部から入力された文字コードに対応する文字を前記表示エリアに表示するよう前記表示部を制御する。
また、本発明の手書き文字入力装置は、接触を感知するタッチパネルと、前記タッチパネルと一体に設けられ、文字認識されて確定した文字のビットマップデータを表示する表示エリアと前記タッチパネルが感知した接触により手書き文字入力する入力エリアとを有する表示部と、前記文字のストローク情報を内蔵する文字認識辞書を参照して文字認識処理する文字認識処理部と、前記表示エリアに表示された文字のビットマップデータの前記入力エリアへの移動を制御する移動制御部と、前記入力エリアに移動した文字のビットマップデータの位置と、当該文字の文字コードとに基づき、当該文字をその位置に表示される部首として認識し、当該部首に合わせて当該文字のビットマップデータを編集する部首認識部と、前記文字認識処理部に内蔵された文字認識辞書から前記文字のストローク情報を逆引きして取得し、当該文字のストローク情報を前記部首認識部の編集操作に基づき変形するストロークデータ取得部と、前記表示エリアに新たに手書き入力された筆跡データを取得する筆跡データ取得部と、前記ストロークデータ取得部により変形済みの前記文字のストローク情報及び前記筆跡データ取得部が取得した筆跡データを保持するバッファと、前記表示部の表示を制御する表示制御部と、を備え、前記文字認識処理部は、前記表示エリアに表示された文字のビットマップデータが前記入力エリアへ移動した場合に、前記バッファに保持された前記文字のストローク情報及び前記筆跡データに基づき文字認識処理して、文字コードを前記表示制御部へ出力し、前記表示制御部は、前記文字認識処理部から入力された文字コードに対応する文字を前記表示エリアに表示するよう前記表示部を制御する。
本発明に係る手書き文字入力装置によれば、一度文字認識処理されて確定した誤認識文字を、誤認識された時点の筆跡データの続きから再度手書き入力可能にできる。
実施の形態1に係る手書き文字入力装置100の動作を説明するための図 手書き文字入力装置100の構成を示すブロック図 (a)手書き文字入力装置100の手書き文字入力処理のフロー(1)、(b)手書き文字入力装置100の手書き文字入力処理のフロー(2) 実施の形態2に係る手書き文字入力装置300の動作を説明するための図 手書き文字入力装置300の構成を示すブロック図 (a)手書き文字入力装置300の手書き文字入力処理のフロー(1)、(b)手書き文字入力装置300の手書き文字入力処理のフロー(2) 実施の形態3に係る手書き文字入力装置500の動作を説明するための図 手書き文字入力装置500の構成を示すブロック図 (a)手書き文字入力装置500の手書き文字入力処理のフロー(1)、(b)手書き文字入力装置500の手書き文字入力処理のフロー(2)
以下、本発明の実施の形態について、図面を参照して説明する。
(実施の形態1)
図1を参照して、手書き文字入力装置100の動作の概要について説明する。図1は、実施の形態1に係る手書き文字入力装置100の動作を説明するための図である。説明のため、図1ではタッチパネル101の画面だけ図示する。図1では、拙速誤認識文字として“門”を例にとって説明する。正しい文字は“閥”である。
ここで、拙速誤認識文字とは、手書き文字入力装置100が、実際には手書き入力途中の文字を、手書き入力が中断した時点から所定時間経過後に文字認識処理して、自動的に確定した文字のことを言う。ユーザが手書き入力の途中で、たとえばタッチパネル101から指を離している間に所定時間が経過すると、手書き文字入力装置100は、手書き入力途中の文字であってもその文字を文字認識処理して自動的に確定する。
タッチパネル101の画面(1−1)で、ユーザが指で拙速誤認識文字である“門”に触れると、ユーザは拙速誤認識文字をオブジェクトとして表示エリアS1で移動(たとえば、ドラッグ操作)できるようになる。
タッチパネル101の画面(1−2)で、ユーザが指で拙速誤認識文字である“門”を表示エリアS1からドラッグして、入力エリアS2へドロップする。そして、タッチパネル101の画面(1−3)で、入力エリアS2へドロップされた拙速誤認識文字である“門”が、入力エリアS2に表示される。この時、入力エリアS2は、拙速誤認識された時点の筆跡(すなわち“門”)の続きから手書き入力可能な状態で、拙速誤認識文字である“門”を表示する。そのため、タッチパネル101の画面(1−4)で、ユーザは拙速誤認識された時点の筆跡(すなわち、“門”)の続きから継続して筆跡を入力することができる。
実施の形態1に係る手書き文字入力装置100は、ユーザが表示エリアS1から手書き入力可能な入力エリアS2に拙速誤認識文字をドラッグ&ドロップすると、拙速誤認識文字を拙速誤認識時の筆跡データの続きから手書き入力可能な状態にできる。
図2を参照して、実施の形態1に係る手書き文字入力装置100の構成について説明する。図2は、手書き文字入力装置100の構成を示すブロック図である。図2に示す手書き文字入力装置100は、タッチパネル101と、第2表示部103と、表示制御部105と、ドロップ機能制御部107と、第2バッファ109と、ストロークデータ取得部111と、筆跡データ取得部113と、認識エンジン115と、ストローク情報保持部116と、CPU117と、第1表示部121と、ドラッグ機能制御部123と、第1バッファ125と、を備える。
タッチパネル101は、入力インタフェースとして機能する場合、指の接触などを検出し、その検出結果を筆跡データ取得部113と、ドラッグ機能制御部123とに出力する。
また、タッチパネル101は、認識文字などを表示する第1表示部121及び手書き文字入力エリアである第2表示部103を一体に備える。そのため、第2表示部103、第1表示部121は、タッチパネル上で検出された接触に応じた表示を行うことができる。
ここで、タッチパネル101が検出する接触とは、たとえば、ユーザの指の接触のことである。
第1表示部121(図1中、表示エリアS1に相当)は、表示制御部105の制御に基づき、第1バッファ125に保持されていた文字を表示する。
また、第1表示部121は、タッチパネル101と一体に設けられている。そのため、第1表示部121は、ユーザがタッチパネル101の第1表示部121に表示された文字をドラッグする場合、そのタッチパネル操作に応じた文字の移動を表示することができる。なお、第1表示部121に表示された文字の移動は、後述するドラッグ機能制御部123の制御に基づき制御される。
第1バッファ125は、第1表示部121に表示するためのデータなどを保持する。例えば、第1バッファ125は、後述する認識エンジン115の文字認識処理により確定された文字を保持する。
ドラッグ機能制御部123は、ユーザが第1表示部121に表示された文字をドラッグして移動させる場合、その文字の移動を制御する。上述のように、ユーザがドラッグして移動させる第1表示部121に表示された文字は、認識エンジン115の文字認識処理により一度確定された文字である。
そして、ドラッグ機能制御部123は、ユーザが第1表示部121でドラッグした文字を第2表示部103にドロップする場合、その文字のビットマップデータと、その文字に対応するJISコードとをドロップ機能制御部107に引き継ぐ。
以下、ドラッグ機能制御部123がドロップ機能制御部107に引き継ぐ文字を漢字として説明する。すなわち、ドラッグ機能制御部123は、その漢字のビットマップデータと、その漢字に対応するJIS漢字コードをドロップ機能制御部107に引き継ぐ。なお、漢字は文字の一例であり、これに限定されるものではない。
ドラッグ機能制御部123がドロップ機能制御部107に、漢字のビットマップデータと、その漢字に対応するJIS漢字コードを引き継ぐと、ドラッグ機能制御部123は第1バッファ125の移動したその漢字のビットマップデータを削除する。つまり、移動した漢字のビットマップデータが第1バッファ125からクリアされると、その漢字は、確定文字から解除される。上述のように、ドラッグ機能制御部123がドロップ機能制御部107へ引き継ぐ漢字は、認識エンジン115の文字認識処理により一度確定された文字である。
なお、ユーザが第1表示部121で漢字のビットマップデータをドラッグした指を離すと、ドラッグ機能制御部123は、その漢字のビットマップデータを元の位置に移動させる。漢字のビットマップデータは第1表示部121内の元の位置に戻るので、ドラッグ機能制御部123は、第1バッファ125にある漢字のビットマップデータを削除しない。つまり、元の位置に戻った漢字のビットマップデータが第1バッファ125からクリアされないので、その漢字は、確定文字として認識される。
ドロップ機能制御部107は、ユーザが第1表示部121でドラッグした文字を第2表示部103にドロップする場合、ドラッグ機能制御部123から引き継いだ漢字のビットマップデータを第2表示部103にドロップする。
そして、ドロップ機能制御部107は、ドラッグ機能制御部123から引き継いだ
その漢字に対応するJIS漢字コードをストロークデータ取得部111へ、その漢字のビットマップデータを第2バッファ109へ出力する。
ストロークデータ取得部111は、ユーザが第1表示部121でドラッグした文字を第2表示部103にドロップする場合、ドロップ機能制御部107から入力されたJIS漢字コード に基づき、そのJIS漢字コードに対応するストローク情報を認識エンジン115が保持するリファレンス用のストローク情報から逆引きして取得する。
通常、認識エンジン115は、認識エンジン115自体が保持するリファレンス用のストローク情報に基づき、第2表示部103に入力された手書き文字を文字認識して確定する。しかし、ストロークデータ取得部111は、一度文字認識処理された後の文字データに基づき、認識エンジン115が保持するリファレンス用のストローク情報を取得している。
つまり、認識エンジン115は、リファレンス用のストローク情報から手書き文字の文字認識処理を行っている一方、ストロークデータ取得部111は、一度文字認識処理された文字コードからストローク情報を取得している。つまり、本実施の形態に係る手書き文字入力装置100は、通常の文字認識処理のフローに加えて、通常の文字認識処理のフローとは逆方向の文字認識処理フローを行っている。
上記構成により、本実施の形態に係る手書き文字入力装置100は、一度認識エンジン115の文字認識処理により確定された文字データから認識エンジン115が保持するリファレンス用のストローク情報を逆引きして取得し、その取得したストローク情報の続きから文字を手書き入力可能にすることができる。
特に、認識エンジン115の文字認識処理により一度確定された文字が拙速誤認識文字である場合、ユーザは拙速誤認識された時点の筆跡の続きから手書き文字入力を再開することができる。そのため、ユーザは最初から拙速誤認識文字を入力し直なす等の煩わしい動作をしなくて済む。さらには、ユーザは拙速誤認識された時点の筆跡の続きから手書き文字入力を再開することができるので、再開した後の手書き文字入力装置100の文字認識率を向上させることができる。
そして、ストロークデータ取得部111は、認識エンジン115から逆引きして得られたJIS漢字コードに対応する漢字のストローク情報をストローク情報保持部116へ出力する。
筆跡データ取得部113は、タッチパネル101の第2表示部103上で検出された一又は複数の接触から、新たに手書き入力された筆跡データを取得し、その新たな筆跡データを、入力済みの筆跡データが保持されている第2バッファ109に追記する。つまり、第2バッファ109には、漢字のビットマップデータに対して、新たに手書き入力された筆跡データが付け加えられる。更に、筆跡データ取得部113は、新たに手書き入力された筆跡データに基づき、この筆跡データに対応するストローク情報を、ストローク情報保持部116に追記する。
第2バッファ109は、ドロップ機能制御部107から入力された漢字のビットマップデータを保持する。さらに、第2バッファ109は、筆跡データ取得部113から入力された入力済みの筆跡データを保持する。第2バッファ109に保持された漢字のビットマップデータ及び入力済みの筆跡データは、第2表示部103に表示される。
表示制御部105は、第2バッファ109に保持された漢字のビットマップデータを、第2表示部103に表示する。上述のように、第2バッファ109には、ドロップ機能制御部107から入力された漢字のビットマップデータと、筆跡データ取得部113から入力された入力済みの筆跡データとが保持されている。
本実施の形態では、第2表示部103において、例えば、図1の画面(1−4)に示す部首「門(もんがまえ)」は、ドロップ機能制御部107から入力された漢字のビットマップデータであり、残りの「伐」は筆跡データ取得部113から入力された入力済みの筆跡データである。
ストローク情報保持部116には、(1)ストロークデータ取得部111が、ドロップ機能制御部107から入力されたJIS漢字コード に基づき、認識エンジン115から逆引きして取得したJIS漢字コードに対応するストローク情報と、(2)筆跡データ取得部113から入力された、新たに手書き入力済み筆跡データのストローク情報と、が保持されている。
また、認識エンジン115は、ストロークデータ取得部111及び筆跡データ取得部113からストローク情報保持部116に記入されたストローク情報に基づいて文字認識処理を行い、そのストローク情報に対応するJIS漢字コード を表示制御部105へ出力する。
また、認識エンジン115は、ユーザが手書き入力を中断してから所定時間が経過すると、手書き入力途中の文字であってもその筆跡データに基づき、文字認識処理して自動的に確定する。
表示制御部105は、認識エンジン115から出力されたJIS漢字コードに基づき、表示エリアS1である第1表示部121にJIS漢字コードに対応する漢字を表示させる制御を行う。
図3(a)を参照して、手書き文字入力装置100の手書き文字入力処理のフロー(1)を示す。図3(a)に示す手書き文字入力処理のフロー(1)は、ユーザが入力エリアS2(第2表示部103)に手書きで文字を入力してから、表示エリアS1(第1表示部121)に手書きで入力された文字を表示するまでの処理である。
ステップST200では、タッチパネル101が、第2表示部103(入力エリアS2)に入力された接触を検出する。そして、ステップST202へ遷移する。
ステップST202では、筆跡データ取得部113が、タッチパネル101の検出結果から筆跡データを取得する。そして、ステップST204へ遷移する。
ステップST204では、認識エンジン115が、文字認識辞書に基づき、筆跡データの文字認識処理を行い、筆跡データに対応する文字コードを出力する。そして、ステップST206へ遷移する。
ステップST206では、表示制御部105が認識エンジン115から出力された文字コードに対応する文字を第1表示部121(表示エリアS1)に表示させる制御を行う。そして、処理を終了する。
図3(b)を参照して、手書き文字入力装置100の手書き文字入力処理のフロー(2)を示す。図3(b)に示す手書き文字入力処理のフロー(2)は、ユーザが表示エリアS1(第1表示部121)に表示された拙速誤認識文字をドラッグしてから、入力エリアS2(第2表示部103)に拙速誤認識文字を表示するまでの処理である。
ステップST220では、タッチパネル101が、ユーザが第1表示部121(表示エリアS1)に表示された拙速誤認識文字を選択したことを検出する。そして、ステップST222へ遷移する。
ステップST222では、ドラッグ機能制御部123が、ユーザがタッチパネル101上でドラッグする拙速誤認識文字の移動を制御する。そして、ステップST224へ遷移する。
ステップST224では、ドロップ機能制御部107が、ドラッグ機能制御部123から、ユーザがタッチパネル101上でドラッグする拙速誤認識文字のビットマップデータ、文字コードを引き継ぐ。そして、ステップST226へ遷移する。
ステップST226では、ドロップ機能制御部107が、ドラッグ機能制御部123から引き継いだ文字を第2表示部103にドロップする。そして、ステップST228へ遷移する。
ステップST228では、ストロークデータ取得部111が、表示エリアS1の文字から引き継がれた文字コードに基づき、認識エンジン115から逆引きして取得した、この文字コードに対応する文字のストローク情報をストローク情報保持部116に出力する。そして、ステップST230へ遷移する。
ステップST230では、筆跡データ取得部113は、新たに手書き入力された筆跡データに基づき、この筆跡データに対応するストローク情報を、ストローク情報保持部116に追記する。そして、ステップST232へ遷移する。
ステップST232では、認識エンジン115は、ストローク情報保持部116に保持されたストローク情報に基づき、文字認識処理を行い、このストローク情報に対応する文字コードを表示制御部105へ出力する。そして、ステップST234へ遷移する。
ステップST234では、表示制御部105は、認識エンジン115から出力された文字コードに基づき、表示エリアS1(第1表示部121)にこの文字コードに対応する文字を表示させる。
上述のように、実施の形態1に係る手書き文字入力装置100は、ユーザがタッチパネル101上の表示エリアS1で選択した拙速誤認識文字を表示エリアS1からドラッグして手書き入力可能な入力エリアS2にドロップすると、拙速誤認識文字を拙速誤認識した時点の筆跡データの続きから手書き入力可能な状態にすることができる。
更に、本実施の形態に係る手書き文字入力装置100は、認識エンジン115の文字認識処理により一度確定された文字コードから、この文字コードに対応するストローク情報を、認識エンジン115が保持するリファレンス用のストローク情報を逆引きして取得し、この逆引きして取得したストローク情報の続きから、文字を手書き入力することができる。特に、認識エンジン115の文字認識処理により一度確定された文字が上述した拙速誤認識文字である場合、ユーザは拙速誤認識された時点の筆跡の続きから手書き文字入力を再開することができる。そのため、ユーザは最初から文字を入力し直なすなどの煩わしい動作をしなくて済む。
なお、本実施の形態において、認識エンジン115はオンライン認識処理を行っているが、オフライン認識処理を行う場合には、ストロークデータ取得部111が、文字コードに基づき、認識エンジン115から逆引きして文字コードに対応するストローク情報を取得する必要はない。
ドロップ機能制御部107が、引き継いだ漢字のビットマップデータに新たな手書き入力の筆跡を追記し、認識エンジン115がオフライン認識すれば良い。
(実施の形態2)
図4を参照して、実施の形態2に係る手書き文字入力装置300の動作の概要について説明する。図4は、本実施の形態に係る手書き文字入力装置300の動作を説明するための図である。説明のため、図4ではタッチパネル101の画面だけ図示する。なお、図4では、拙速誤認識文字として“角”を例にとって説明する。正しい文字は“解”であるとする。
ここで、拙速誤認識文字とは、手書き文字入力装置300が、実際には手書き入力途中の文字を、手書き入力が中断した時点から所定時間経過後に文字認識処理して、自動的に確定した文字のことを言う。ユーザが手書き入力の途中で、たとえばタッチパネル101から指を離している間に所定時間が経過すると、手書き文字入力装置300は、手書き入力途中の文字であってもその文字を文字認識処理して自動的に確定する。
タッチパネル101の画面(4−1)で、ユーザが拙速誤認識文字である“角”に触れると、ユーザは、拙速誤認識文字をオブジェクトとして表示エリアS1でドラッグできるようになる。
タッチパネル101の画面(4−2)で、ユーザが拙速誤認識文字である“角”を表示エリアS1からドラッグして入力エリアS2へドロップする。そして、タッチパネル101の画面(4−3)で、入力エリアS2へドロップされた拙速誤認識文字である“角”は、その文字コードに基づき、入力エリアS2にビットマップデータとして表示される。ユーザは入力エリアS2に表示されたビットマップデータを編集することができる。
タッチパネル101の画面(4−4)で、ユーザは、入力エリアS2に表示されたビットマップデータ“角”を、例えば入力エリアS2内で左寄せして、正しい文字“解”の一部(例えば、部首“へん”)となるように編集する。この時、入力エリアS2は、拙速誤認識された時点の筆跡(すなわち“角”)の続きから手書き入力可能な状態で、拙速誤認識文字である“角”を表示する。そのため、タッチパネル101の画面(4−4)で、ユーザは拙速誤認識された時点の筆跡(すなわち、“角”)の続きから継続して筆跡を入力することができる。
なお、本実施の形態では、入力エリアS2に表示されたビットマップデータの編集操作として、“左寄せ”を一例にとって説明するがこれに限らない。左寄せ以外にも、右寄せ、上寄せ、下寄せなど、あらゆる方向への編集操作が考えられる。
なお、本実施の形態では、拙速誤認識文字のビットマップは、正しい文字の部首“へん”として説明しているが、これに限らない。部首としては、“へん”以外にも、“つくり”、“かんむり”、“あし”、“たれ”、“にょう”、“かまえ”などがある。本実施の形態では、部首の態様に合わせて拙速誤認識文字のビットマップデータを編集操作できる。
図5を参照して、実施の形態2に係る手書き文字入力装置300の構成について説明する。図5は、手書き文字入力装置300の構成を示すブロック図である。図5に示す手書き文字入力装置300は、タッチパネル101と、第2表示部103と、表示制御部105と、第2バッファ109と、筆跡データ取得部113と、CPU117と、第1表示部121と、第1バッファ125と、ドロップ機能制御部307と、ストロークデータ取得部311と、認識エンジン315と、ストローク情報保持部316と、筆跡データレタッチ制御部317と、ドラッグ機能制御部323と、を備える。
タッチパネル101は、入力インタフェースとして機能する場合、一又は複数の接触を同時に検出し、その検出結果を筆跡データ取得部113と、ドラッグ機能制御部323とに出力する。
また、タッチパネル101は、認識文字などを表示する第1表示部121及び手書き文字入力エリアである第2表示部103を一体に備える。そのため、第1表示部121、第2表示部103は、タッチパネル上で検出された接触に応じた表示を行うことができる。
ここで、タッチパネル101が検出する一又は複数の接触とは、たとえば、ユーザの一又は複数の指の接触のことである。
第1表示部121(図4中、表示エリアS1に相当)は、表示制御部105の制御に基づき、第1バッファ125に保持されていた文字を表示する。
また、第1表示部121は、タッチパネル101と一体に設けられている。そのため、第1表示部121は、ユーザがタッチパネル101の第1表示部121に表示された文字をドラッグする場合、そのタッチパネル操作に応じた文字の移動を表示することができる。なお、第1表示部121に表示された文字の移動は、後述するドラッグ機能制御部323の制御に基づき制御される。
第1バッファ125は、第1表示部121に表示するためのデータなどを保持する。例えば、第1バッファ125は、後述する認識エンジン315の文字認識処理により確定された文字を保持する。
ドラッグ機能制御部323は、ユーザが第1表示部121に表示された文字をビットマップデータとしてドラッグして移動させる場合、その文字の移動を制御する。上述のように、ユーザがドラッグして移動させる第1表示部121に表示された文字は、認識エンジン315の文字認識処理により一度確定された文字である。
そして、ドラッグ機能制御部323は、ユーザが第1表示部121でドラッグした文字を第2表示部103にドロップする場合、その文字のビットマップデータと、その文字に対応するJISコードをドロップ機能制御部307に引き継ぐ。
以下、ドラッグ機能制御部323がドロップ機能制御部307に引き継ぐ文字を漢字として説明する。すなわち、ドラッグ機能制御部323は、その漢字のビットマップデータと、その漢字に対応するJIS漢字コードをドロップ機能制御部307に引き継ぐ。なお、漢字は文字の一例であり、これに限定されるものではない。
ドラッグ機能制御部323がドロップ機能制御部307に、漢字のビットマップデータと、その漢字に対応するJIS漢字コードとを引き継ぐと、ドラッグ機能制御部323は第1バッファ125の移動したその漢字のビットマップデータを削除する。つまり、移動した漢字のビットマップデータが第1バッファ125からクリアされると、その漢字は、確定文字から解除される。上述のように、ドラッグ機能制御部323がドロップ機能制御部307へ引き継ぐ漢字は、認識エンジン315の文字認識処理により一度確定された文字である。
なお、ユーザが第1表示部121で漢字のビットマップデータをドラッグした指を離すと、ドラッグ機能制御部323は、その漢字のビットマップデータを元の位置に移動させる。漢字のビットマップデータは第1表示部121内の元の位置に戻るので、ドラッグ機能制御部323は、第1バッファ125にある漢字のビットマップデータを削除しない。つまり、元の位置に戻った漢字のビットマップデータが第1バッファ125からクリアされないので、その漢字は、確定文字として認識される。
ドロップ機能制御部307は、ユーザが第1表示部121でドラッグした文字を第2表示部103にドロップする場合、ドラッグ機能制御部323から引き継いだ漢字のビットマップデータを第2表示部103にドロップする。そして、ドロップ機能制御部307は、ドラッグ機能制御部323から引き継いだその漢字に対応するJIS漢字コードをストロークデータ取得部311へ、その漢字のビットマップデータを第2バッファ109へ出力する。
筆跡データレタッチ制御部317は、第2バッファ109内で漢字のビットマップデータを編集する制御を行う。例えば、ユーザがタッチパネル101の画面上で拙速誤認識文字である“角”のビットマップデータを正しい文字“解”の部首(“へん”)に編集するために、第2バッファ109内で左寄せする編集操作を行う。
例えば、ユーザが、図4に示す画面4−3、4−4のように入力エリアS2のビットマップデータを編集する場合には、筆跡データレタッチ制御部317が、ドロップ機能制御部307から出力された漢字のビットマップデータを第2バッファ109内で編集する制御を行う。
ストロークデータ取得部311は、ユーザが第1表示部121でドラッグした文字を第2表示部103にドロップする場合、ドロップ機能制御部307から入力されたJIS漢字コード に基づき、そのJIS漢字コードに対応するストローク情報を認識エンジン115が保持するリファレンス用のストローク情報から逆引きして取得する。
通常、認識エンジン315は、認識エンジン315自体が保持するリファレンス用のストローク情報に基づき、第2表示部103に入力された手書き文字を文字認識して確定する。しかし、ストロークデータ取得部311は、一度文字認識処理された後の文字データに基づき、認識エンジン315が保持するリファレンス用のストローク情報を取得している。
さらに、ストロークデータ取得部311は、筆跡データレタッチ制御部317がドロップ機能制御部307から出力された漢字のビットマップデータを第2バッファ109内で編集した場合には、逆引きして取得したストローク情報を、この筆跡データレタッチ制御部317による編集操作と同様の変更方法で変形する。そして、ストロークデータ取得部311は、この編集済みストローク情報を、ストローク情報保持部316へ出力する。
筆跡データ取得部113は、タッチパネル101の第2表示部103上で検出された一又は複数の接触から、新たに手書き入力された筆跡データを取得し、その新たな筆跡データを、入力済みの筆跡データが保持されている第2バッファ109に追記する。つまり、第2バッファ109には、編集済みの漢字のビットマップデータに対して、新たに手書き入力された筆跡データが付け加えられる。
更に、筆跡データ取得部113は、新たに手書き入力された筆跡データに基づき、この筆跡データに対応するストローク情報を、ストローク情報保持部316に追記する。
第2バッファ109は、筆跡データレタッチ制御部317により編集された編集済みの漢字のビットマップデータを保持する。さらに、第2バッファ109は、筆跡データ取得部113から入力された入力済みの筆跡データを保持する。第2バッファ109に保持された編集済みの漢字のビットマップデータと、入力済みの筆跡データとは、第2表示部103に表示される。
なお、筆跡データレタッチ制御部317により漢字のビットマップデータが編集される前には、ドラッグ機能制御部323から引き継いだ漢字のビットマップデータが、第2表示部103に表示される。
表示制御部105は、第2バッファ109に保持された漢字のビットマップデータを、第2表示部103に表示する。上述のように、第2バッファ109には、筆跡データレタッチ制御部317により編集された編集済みの漢字のビットマップデータと、筆跡データ取得部113から入力された入力済みの筆跡データとが保持されている。
本実施の形態では、第2表示部103において、例えば、図4の画面(4−4)に示す部首「角(つのへん)」は、筆跡データレタッチ制御部317により編集された編集済みの漢字のビットマップデータである。なお、正しい文字“解”から部首「角(つのへん)」を除いた部分が筆跡データ取得部113から入力された入力済みの筆跡データとして入力される。
ストローク情報保持部316には、(1)ストロークデータ取得部311から出力された編集済みストローク情報と、(2)筆跡データ取得部113から入力された、新たに手書き入力済み筆跡データのストローク情報と、が保持されている。
また、認識エンジン315は、ストロークデータ取得部311及び筆跡データ取得部113からストローク情報保持部316に記入されたストローク情報に基づいて文字認識処理を行い、そのストローク情報に対応するJIS漢字コード を表示制御部105へ出力する。
また、認識エンジン315は、ユーザが手書き入力を中断してから所定時間が経過すると、手書き入力途中の文字であってもその筆跡データに基づき、文字認識処理して自動的に確定する。
表示制御部105は、認識エンジン315から出力されたJIS漢字コードに基づき、表示エリアS1である第1表示部121にJIS漢字コードに対応する漢字を表示させる制御を行う。
図6(a)を参照して、手書き文字入力装置300の手書き文字入力処理のフロー(1)を示す。図6(a)に示す手書き文字入力処理のフロー(1)は、ユーザが入力エリアS2(第2表示部103)に手書きで文字を入力してから、表示エリアS1(第1表示部121)に手書きで入力された文字を表示するまでの処理である。
ステップST400では、タッチパネル101が、第2表示部103(入力エリアS2)に入力された接触を検出する。そして、ステップST402へ遷移する。
ステップST402では、筆跡データ取得部113が、タッチパネル101の検出結果から筆跡データを取得する。そして、ステップST404へ遷移する。
ステップST404では、認識エンジン315が、文字認識辞書に基づき、筆跡データの文字認識処理を行い、筆跡データに対応する文字コードを出力する。そして、ステップST406へ遷移する。
ステップST406では、表示制御部105が認識エンジン315から出力された文字コードに対応する文字を第1表示部121(表示エリアS1)に表示させる制御を行う。そして、処理を終了する。
図6(b)を参照して、手書き文字入力装置300の手書き文字入力処理のフロー(2)を示す。図6(b)に示す手書き文字入力処理のフロー(2)は、ユーザが表示エリアS1(第1表示部121)に表示された拙速誤認識文字をドラッグしてから、入力エリアS2(第2表示部103)に拙速誤認識文字を表示するまでの処理である。
ステップST420では、タッチパネル101が、ユーザが第1表示部121(表示エリアS1)に表示された拙速誤認識文字を選択したことを検出する。そして、ステップST422へ遷移する。
ステップST422では、ドラッグ機能制御部323が、ユーザがタッチパネル101上でドラッグする拙速誤認識文字のビットマップデータの移動を制御する。そして、ステップST424へ遷移する。
ステップST424では、ドロップ機能制御部307が、ドラッグ機能制御部323から、ユーザがタッチパネル101上でドラッグする拙速誤認識文字に対応するビットマップデータと、その文字コードとを引き継ぐ。そして、ステップST426へ遷移する。
ステップST426では、ドロップ機能制御部307が、ドラッグ機能制御部323から引き継いだ文字のビットマップデータを第2バッファ109に出力する。そして、ステップST428へ遷移する。
ステップST428では、筆跡データレタッチ制御部317が、ドロップ機能制御部307から入力された拙速誤認識文字のビットマップデータを第2バッファ109内で編集する。そして、ステップST430へ遷移する。
ステップST430では、ストロークデータ取得部311が、文字コードに基づき、この文字コードに対応するストローク情報を認識エンジン315から逆引きして取得する。そして、ステップST432へ遷移する。
ステップST432では、ストロークデータ取得部311が、この逆引きして取得したストローク情報を、筆跡データレタッチ制御部317による編集操作と同様の変更方法で変形し、編集済みストローク情報としてストローク情報保持部316に出力する。そして、ステップST434へ遷移する。
ステップST434では、筆跡データ取得部113が新たに手書き入力された筆跡データに基づき、この筆跡データに対応するストローク情報を、ストローク情報保持部316に追記する。そして、ステップST436へ出力する。
ステップST436では、認識エンジン315は、ストローク情報保持部316に保持されたストローク情報に基づき、文字認識処理を行い、このストローク情報に対応する文字コードを表示制御部105へ出力する。そして、ステップST438へ遷移する。
ステップST438では、表示制御部105は、認識エンジン315から出力された文字コードに基づき、表示エリアS1(第1表示部121)に文字コードに対応する文字を表示させる。そして、処理を終了する。
本実施の形態に係る手書き文字入力装置300は、一度認識エンジン315の文字認識処理により確定された文字データから認識エンジン315が保持するリファレンス用のストローク情報を逆引きして取得し、その取得したストローク情報の続きから文字を手書き入力することができる。
特に、一度認識エンジン315の文字認識処理により確定された文字が拙速誤認識文字である場合、ユーザは拙速誤認識された時点の筆跡の続きから手書き文字入力を再開することができる。そのため、ユーザは最初から拙速誤認識文字を入力し直なす等の煩わしい動作をしなくて済む。さらには、ユーザは拙速誤認識された時点の筆跡の続きから手書き文字入力を再開することができるので、再開した後の手書き文字入力装置300の文字認識率を向上させることができる。
(実施の形態3)
図7を参照して、実施の形態3に係る手書き文字入力装置500の動作の概要について説明する。図7は、本実施の形態に係る手書き文字入力装置500の動作を説明するための図である。説明のため、図7ではタッチパネル101の画面だけ図示する。なお、図7では、拙速誤認識文字として“角”を例にとって説明する。正しい文字は“解”であるとする。
ここで、拙速誤認識文字とは、手書き文字入力装置500が、実際には手書き入力途中の文字を、手書き入力が中断した時点から所定時間経過後に文字認識処理して、自動的に確定した文字のことを言う。ユーザが手書き入力の途中で、たとえばタッチパネル101から指を離している間に所定時間が経過すると、手書き文字入力装置500は、手書き入力途中の文字であってもその文字を文字認識処理して自動的に確定する。
タッチパネル101の画面(7−1)で、ユーザが拙速誤認識文字である“角”に触れると、ユーザは、拙速誤認識文字をオブジェクトとして表示エリアS1でドラッグできるようになる。
タッチパネル101の画面(7−2)で、ユーザが拙速誤認識文字である“角”を表示エリアS1からドラッグして入力エリアS2の左半分(入力エリアS2−1)にドロップすると、タッチパネル101の画面(7−3)で、入力エリアS2へドロップされた拙速誤認識文字である“角”は、その文字コード及び入力エリアS2のドロップ位置に基づき、正しい文字である“解”の部首としてビットマップデータで表示される。
つまり、本実施の形態に係る手書き文字入力装置500は、ユーザが入力エリアS2に表示されたビットマップデータを編集する操作を行わなくても、その文字コード及び入力エリアS2のドロップ位置に基づき、拙速誤認識文字である“角”を部首として内部認識して、ビットマップデータを部首として適切な位置(左寄せ)、大きさ(リサイズ)に自動的に編集することができる。
タッチパネル101の画面(7−4)で、入力エリアS2は、拙速誤認識された時点の筆跡(すなわち“角”)の続きから手書き入力可能な状態で、拙速誤認識文字である“角”を表示する。そのため、タッチパネル101の画面(7−4)で、ユーザは拙速誤認識された時点の筆跡(すなわち、“角”)の続きから継続して、正しい文字である“解”の筆跡を入力することができる。
なお、本実施の形態では、入力エリアS2に表示されたビットマップデータの編集操作として、“左寄せ”と“リサイズ”を一例にとって説明するがこれに限らない。左寄せ以外にも、右寄せ、上寄せ、下寄せなど、あらゆる方向への編集操作が考えられる。
なお、本実施の形態では、拙速誤認識文字のビットマップは、正しい文字の部首“へん”として説明しているが、これに限らない。部首としては、“へん”以外にも、“つくり”、“かんむり”、“あし”、“たれ”、“にょう”、“かまえ”などがある。本実施の形態に係る手書き文字入力装置500は、その文字コード及び入力エリアS2のドロップ位置に基づき、部首の態様に合わせて拙速誤認識文字のビットマップデータを自動的に編集できる。
図8を参照して、実施の形態3に係る手書き文字入力装置500の構成について説明する。図8は、手書き文字入力装置500の構成を示すブロック図である。図8に示す手書き文字入力装置500は、タッチパネル101と、第2表示部103と、表示制御部105と、第2バッファ109と、筆跡データ取得部113と、CPU117と、第1表示部121と、第1バッファ125と、認識エンジン315と、ドラッグ機能制御部323と、ドロップ機能・ドロップ位置制御部507と、ストロークデータ取得部511と、ストローク情報保持部516と、部首認識部517と、を備える。
タッチパネル101は、入力インタフェースとして機能する場合、一又は複数の接触を同時に検出し、その検出結果を筆跡データ取得部113と、ドラッグ機能制御部323とに出力する。
また、タッチパネル101は、認識文字などを表示する第1表示部121及び手書き文字入力エリアである第2表示部103を一体に備える。そのため、第2表示部103、第1表示部121は、タッチパネル上で検出された接触に応じた表示を行うことができる。
ここで、タッチパネル101が検出する一又は複数の接触とは、たとえば、ユーザの一又は複数の指の接触のことである。
第1表示部121(図7中、表示エリアS1に相当)は、表示制御部105の制御に基づき、第1バッファ125に保持されていた文字を表示する。
また、第1表示部121は、タッチパネル101と一体に設けられている。そのため、第1表示部121は、ユーザがタッチパネル101の第1表示部121に表示された文字をドラッグする場合、そのタッチパネル操作に応じた文字の移動を表示することができる。なお、第1表示部121に表示された文字の移動は、後述するドラッグ機能制御部323の制御に基づき制御される。
第1バッファ125は、第1表示部121に表示するためのデータなどを保持する。例えば、第1バッファ125は、後述する認識エンジン315の文字認識処理により確定された文字を保持する。
ドラッグ機能制御部323は、ユーザが第1表示部121に表示された文字をドラッグして移動させる場合、その文字の移動を制御する。上述のように、ユーザがドラッグして移動させる第1表示部121に表示された文字は、認識エンジン315の文字認識処理により一度確定された文字である。
そして、ドラッグ機能制御部323は、ユーザが第1表示部121でドラッグした文字を第2表示部103にドロップする場合、その文字のビットマップデータと、その文字に対応する文字コード(たとえば、JISコード)をドロップ機能・ドロップ位置制御部507に引き継ぐ。
以下、ドラッグ機能制御部323がドロップ機能・ドロップ位置制御部507に引き継ぐ文字を漢字として説明する。すなわち、ドラッグ機能制御部323は、その漢字のビットマップデータと、その漢字に対応するJIS漢字コードとをドロップ機能・ドロップ位置制御部507に引き継ぐ。なお、漢字は文字の一例であり、これに限定されるものではない。
ドラッグ機能制御部323が、漢字のビットマップデータと、その漢字に対応するJIS漢字コードとをドロップ機能・ドロップ位置制御部507に引き継ぐと、ドラッグ機能制御部323は、第1バッファ125の移動した漢字のビットマップデータを削除する。つまり、移動した漢字のビットマップデータが第1バッファ125からクリアされると、その漢字は、確定文字から解除される。上述のように、ドラッグ機能制御部323がドロップ機能・ドロップ位置制御部507へ引き継ぐ漢字は、認識エンジン315の文字認識処理により一度確定された文字である。
なお、ユーザが第1表示部121で漢字のビットマップデータをドラッグした指を離すと、ドラッグ機能制御部323は、その漢字のビットマップデータを元の位置に移動させる。漢字のビットマップデータは第1表示部121内の元の位置に戻るので、ドラッグ機能制御部323は、第1バッファ125にある漢字のビットマップデータを削除しない。つまり、元の位置に戻った漢字のビットマップデータが第1バッファ125からクリアされないので、その漢字は、確定文字として認識される。
ドロップ機能・ドロップ位置制御部507は、ユーザが第1表示部121でドラッグした文字を第2表示部103にビットマップデータとしてドロップする場合、ドラッグ機能制御部323のドラッグ操作に基づき、入力エリアS2内のどこでドロップされるか、そのドロップ位置を検出する。本実施の形態では、例えば図7を参照して説明したように、拙速誤認識文字である“角”は入力エリアS2の左半分(入力エリアS2−1)にドロップされる。つまり、本実施の形態では、拙速誤認識文字である“角”が正しい漢字の部首を構成する場合には、検出されるドロップ位置が、漢字の部首が本来入力されるエリアに含まれることを利用する。
また、ドロップ機能・ドロップ位置制御部507は、ドラッグ機能制御部323から引き継いだ漢字に対応するJIS漢字コード及び検出されたドロップ位置(“S2−1”)を部首認識部517へ出力する。
さらに、ドロップ機能・ドロップ位置制御部507は、ドラッグ機能制御部323から引き継いだその漢字に対応するJIS漢字コードをストロークデータ取得部511へ、その漢字のビットマップデータを第2バッファ109へ出力する。
部首認識部517は、ドロップ機能・ドロップ位置制御部507から入力されたJIS漢字コード及びドロップ位置に基づき、ドラッグ機能制御部323から引き継いだ漢字を部首として自動的に認識し、第2バッファ109内で漢字のビットマップデータを編集する制御を行う。そのため、本実施の形態では、入力エリアS2内で編集作業がユーザによって行われなくても、ユーザが指定したドロップ位置に対応する部首を自動的に認識することができる。本実施の形態では、部首認識部517が認識する部首は、“角(つのへん)”である。
ストロークデータ取得部511は、ユーザが第1表示部121でドラッグした文字を第2表示部103にドロップする場合、ドロップ機能・ドロップ位置制御部507から入力されたJIS漢字コードに基づき、そのJIS漢字コードに対応するストローク情報を認識エンジン315が保持するリファレンス用のストローク情報から逆引きして取得する。
さらに、ストロークデータ取得部511は、部首認識部517が部首として自動的に認識した漢字のビットマップデータを第2バッファ109内で編集する場合には、逆引きして取得したストローク情報を、この部首認識部517が部首として自動的に認識した部首に合わせて変形する。そして、ストロークデータ取得部511は、この編集済みストローク情報を、ストローク情報保持部516へ出力する。
通常、認識エンジン315は、認識エンジン315自体が保持するリファレンス用のストローク情報に基づき、第2表示部103に入力された手書き文字を文字認識して確定する。しかし、ストロークデータ取得部511は、一度文字認識処理された後の文字データに基づき、認識エンジン315が保持するリファレンス用のストローク情報を取得している。
そして、ストロークデータ取得部511は、認識エンジン315から逆引きして得られたJIS漢字コードに対応する漢字のストローク情報をストローク情報保持部516へ出力する。
筆跡データ取得部113は、タッチパネル101の第2表示部103上で検出された一又は複数の接触から、新たに手書き入力された筆跡データを取得し、その新たな筆跡データを、入力済みの筆跡データが保持されている第2バッファ109に追記する。つまり、第2バッファ109には、ドロップ機能・ドロップ位置制御部507から入力された漢字のビットマップデータに対して、新たに手書き入力された筆跡データが付け加えられる。
更に、筆跡データ取得部113は、新たに手書き入力された筆跡データに基づき、新たに手書き入力されたストローク情報を、ストローク情報保持部516に追記する。
第2バッファ109は、ドロップ機能・ドロップ位置制御部507から入力された漢字のビットマップデータを保持する。さらに、第2バッファ109は、筆跡データ取得部113から入力された入力済みの筆跡データを保持する。第2バッファ109に保持された編集済みの漢字のビットマップデータと、入力済みの筆跡データとは、第2表示部103に表示される。
なお、ドロップ機能・ドロップ位置制御部507により漢字のビットマップデータが編集される前には、ドラッグ機能制御部323から引き継いだ漢字のビットマップデータが、第2表示部103に表示される。
表示制御部105は、第2バッファ109に保持された漢字のビットマップデータを、第2表示部103に表示する。つまり、第2バッファ109に保持された部首として認識された漢字のビットマップデータと、入力済みの筆跡データとは、第2表示部103に表示される。
本実施の形態では、第2表示部103において、例えば、図7の画面(7−3)に示す部首「角(つのへん)」は、部首認識部517により自動認識された漢字のビットマップデータである。また、図7の画面(7−4)に示すように、正しい文字“解”から部首「角(つのへん)」を除いた部分が筆跡データ取得部113から入力された入力済みの筆跡データとして入力される。
ストローク情報保持部516には、(1)ストロークデータ取得部511から出力された編集済みストローク情報と、(2)筆跡データ取得部113から入力された、新たに手書き入力済み筆跡データのストローク情報と、が保持されている。
また、認識エンジン315は、ストロークデータ取得部511及び筆跡データ取得部113からストローク情報保持部516に入力されたストローク情報に基づいて文字認識処理を行い、このストローク情報に対応するJIS漢字コード を表示制御部105へ出力する。
また、認識エンジン315は、ユーザが手書き入力を中断してから所定時間が経過すると、手書き入力途中の文字であってもその筆跡データに基づき、文字認識処理して自動的に確定する。
表示制御部105は、認識エンジン315から出力されたJIS漢字コードに基づき、表示エリアS1である第1表示部121にJIS漢字コードに対応する漢字を表示させる制御を行う。
本実施の形態に係る手書き文字入力装置500では、部首認識部517が、ドロップ機能・ドロップ位置制御部507から入力されたJIS漢字コード及びドロップ位置に基づき、文字データが正しい文字“解”の部首“角(つのへん)”であることを認識する。そのため、ユーザは、拙速誤認識文字“角”が正しい文字“解”の部首である場合には、入力エリアS2のうち正しい文字の部首として適切なエリアに、拙速誤認識文字のビットマップデータをドロップするだけで、拙速誤認識された時点の筆跡の続きから手書き文字入力を再開することができる。再開した後の手書き文字入力装置500の文字認識率を向上させることができる。なお、本実施の形態では、辺やつくりなどの部首単体に対して、認識エンジン315が独自に認識可能な専用の文字コードを割り当てても良い。
図9(a)を参照して、手書き文字入力装置500の手書き文字入力処理のフロー(1)を示す。図9(a)に示す手書き文字入力処理のフロー(1)は、ユーザが入力エリアS2(第2表示部103)に手書きで文字を入力してから、表示エリアS1(第1表示部121)に手書きで入力された文字を表示するまでの処理である。
ステップST600では、タッチパネル101が、第2表示部103(入力エリアS2)に入力された接触を検出する。そして、ステップST602へ遷移する。
ステップST602では、筆跡データ取得部113が、タッチパネル101の検出結果から筆跡データを取得する。そして、ステップST604へ遷移する。
ステップST604では、認識エンジン315が、文字認識辞書に基づき、筆跡データの文字認識処理を行い、筆跡データに対応する文字コードを出力する。そして、ステップST606へ遷移する。
ステップST606では、表示制御部105が認識エンジン315から出力された文字コードに対応する文字を第1表示部121(表示エリアS1)に表示させる制御を行う。そして、処理を終了する。
図9(b)を参照して、手書き文字入力装置500の手書き文字入力処理のフロー(2)を示す。図9(b)に示す手書き文字入力処理のフロー(2)は、ユーザが表示エリアS1(第1表示部121)に表示された拙速誤認識文字をドラッグしてから、入力エリアS2(第2表示部103)に拙速誤認識文字を表示するまでの処理である。
ステップST620では、タッチパネル101が、ユーザが第1表示部121(表示エリアS1)に表示された拙速誤認識文字を選択したことを検出する。そして、ステップST622へ遷移する。
ステップST622では、ドラッグ機能制御部323が、ユーザがタッチパネル101上でドラッグする拙速誤認識文字のビットマップデータの移動を制御する。そして、ステップST624へ遷移する。
ステップST624では、ドロップ機能・ドロップ位置制御部507が、ドラッグ機能制御部323から、ユーザがタッチパネル101上でドラッグする拙速誤認識文字に対応するビットマップデータと、その文字コードとを引き継ぐ。そして、ステップST626へ遷移する。
ステップST626では、ドロップ機能・ドロップ位置制御部507が、ドラッグ機能制御部323から引き継いだ文字のビットマップデータを第2バッファ109に出力する。そして、ステップST628へ遷移する。
ステップST628では、ドロップ機能・ドロップ位置制御部507が、ドラッグ機能制御部323のドラッグ操作に基づき、入力エリアS2内のどこでドロップされるか、そのドロップ位置を検出する。そして、ステップST630へ遷移する。
ステップST630では、部首認識部517は、ドロップ機能・ドロップ位置制御部507から入力されたJIS漢字コード及びドロップ位置に基づき、ドラッグ機能制御部323から引き継いだ漢字を部首として自動的に認識し、第2バッファ109内で漢字のビットマップデータを編集する制御を行う。そして、ステップST632へ遷移する。
ステップST632では、ストロークデータ取得部511が、ドロップ機能・ドロップ位置制御部507から入力されたJIS漢字コードに基づき、そのJIS漢字コードに対応するストローク情報を認識エンジン315が保持するリファレンス用のストローク情報から逆引きして取得し、そのストローク情報をストローク情報保持部516に出力する。そして、ステップST634へ遷移する。
ステップST634では、筆跡データ取得部113が、新たに手書き入力された筆跡データに基づき、新たに手書き入力されたストローク情報を、ストローク情報保持部516に出力する。そして、ステップST636へ出力する。
ステップST636では、認識エンジン315は、ストロークデータ取得部511から入力されたストローク情報に基づき、ストローク情報に対応する文字コード(JIS漢字コード)を表示制御部105へ出力する。そして、ステップST638へ遷移する。
ステップST638では、表示制御部105は、認識エンジン315から出力された文字コードに基づき、表示エリアS1(第1表示部121)に文字コードに対応する文字を表示させる。そして、処理を終了する。
なお、上記各実施の形態に係る手書き文字入力装置は、タッチパネルを備える携帯端末などの電子機器に適用することができる。
なお、上記各実施の形態において、タッチパネル101は、容量性、抵抗性、赤外線、及び弾性表面波技術、並びにその他の近接センサアレイ、又は、タッチパネル101と接触点を決定するための複数のタッチセンシティビティ技術を用いて、タッチパネル101は上の接触及び接触による任意の動き又はその動きの中断を検出することができる。
なお、上記各実施の形態に係る手書き文字入力装置では、タッチパネル101が検出する接触とは、たとえば、ユーザの一又は複数の指の接触であるとして説明したが、これに限らない。タッチパネル101が、タッチペンなどの入力デバイスの接触を検出しても良い。
なお、上記各実施の形態において、ドラッグする拙速誤認識文字を1文字で説明したがこれに限らない。拙速誤認識文字を含む複数の文字を表示エリアS1上で選択しても良いし、拙速誤認識文字を含んで誤って入力された単語、文節、一文を選択しても良い。
なお、上記各実施の形態において、拙速誤認識文字を例にとって説明したがこれに限らない。単に誤認識された文字であっても良い。
本発明に係る手書き文字入力装置は、一度文字認識処理されて確定した誤認識文字を、誤認識された時点の筆跡データの続きから再度手書き入力可能にするという効果を有し、携帯端末等として有用である。
100、300、500 手書き文字入力装置
101 タッチパネル
103 第2表示部
105 表示制御部
107、307 ドロップ機能制御部
109 第2バッファ
111、311、511 ストロークデータ取得部
113 筆跡データ取得部
115、315 認識エンジン
116、316、516 ストローク情報保持部
117 CPU
121 第1表示部
123、323 ドラッグ機能制御部
125 第1バッファ
317 筆跡データレタッチ制御部
507 ドロップ機能・ドロップ位置制御部
517 部首認識部
S1 表示エリア
S2 入力エリア

Claims (3)

  1. 接触を感知するタッチパネルと、
    前記タッチパネルと一体に設けられ、文字認識されて確定した文字のビットマップデータを表示する表示エリアと前記タッチパネルが感知した接触により手書き文字入力する入力エリアとを有する表示部と、
    前記文字のストローク情報を内蔵する文字認識辞書を参照して文字認識処理する文字認識処理部と、
    前記表示エリアに表示された文字のビットマップデータの前記入力エリアへの移動を制御する移動制御部と、
    前記移動制御部の制御対象となる文字の文字コードに基づき、前記文字認識処理部に内蔵された文字認識辞書から前記文字のストローク情報を逆引きして取得するストロークデータ取得部と、
    前記表示エリアに新たに手書き入力された筆跡データを取得する筆跡データ取得部と、
    前記ストロークデータ取得部が取得した前記文字のストローク情報及び前記筆跡データ取得部が取得した筆跡データを保持するバッファと、
    前記表示部の表示を制御する表示制御部と、を備え、
    前記文字認識処理部は、
    前記表示エリアに表示された文字のビットマップデータが前記入力エリアへ移動した場合に、前記バッファに保持された前記文字のストローク情報及び前記筆跡データに基づき文字認識処理して、文字コードを前記表示制御部へ出力し、
    前記表示制御部は、
    前記文字認識処理部から入力された文字コードに対応する文字を前記表示エリアに表示するよう前記表示部を制御する、
    手書き文字入力装置。
  2. 接触を感知するタッチパネルと、
    前記タッチパネルと一体に設けられ、文字認識されて確定した文字のビットマップデータを表示する表示エリアと前記タッチパネルが感知した接触により手書き文字入力する入力エリアとを有する表示部と、
    前記文字のストローク情報を内蔵する文字認識辞書を参照して文字認識処理する文字認識処理部と、
    前記表示エリアに表示された文字のビットマップデータの前記入力エリアへの移動を制御する移動制御部と、
    前記入力エリアに移動した文字のビットマップデータの大きさ又はその位置を編集するデータレタッチ制御部と 、
    前記文字認識処理部に内蔵された文字認識辞書から前記文字のストローク情報を逆引きして取得し、当該文字のストローク情報を前記データレタッチ制御部の編集操作に基づき変形するストロークデータ取得部と、
    前記表示エリアに新たに手書き入力された筆跡データを取得する筆跡データ取得部と、
    前記ストロークデータ取得部により変形済みの文字のストローク情報及び前記筆跡データ取得部が取得した筆跡データを保持するバッファと、
    前記表示部の表示を制御する表示制御部と、を備え、
    前記文字認識処理部は、
    前記表示エリアに表示された文字のビットマップデータが前記入力エリアへ移動した場合に、前記バッファに保持された前記変形済みの文字のストローク情報及び前記筆跡データに基づき文字認識処理して、文字コードを前記表示制御部へ出力し、
    前記表示制御部は、
    前記文字認識処理部から入力された文字コードに対応する文字を前記表示エリアに表示するよう前記表示部を制御する、
    手書き文字入力装置。
  3. 接触を感知するタッチパネルと、
    前記タッチパネルと一体に設けられ、文字認識されて確定した文字のビットマップデータを表示する表示エリアと前記タッチパネルが感知した接触により手書き文字入力する入力エリアとを有する表示部と、
    前記文字のストローク情報を内蔵する文字認識辞書を参照して文字認識処理する文字認識処理部と、
    前記表示エリアに表示された文字のビットマップデータの前記入力エリアへの移動を制御する移動制御部と、
    前記入力エリアに移動した文字のビットマップデータの位置と、当該文字の文字コードとに基づき、当該文字をその位置に表示される部首として認識し、当該部首に合わせて当該文字のビットマップデータを編集する部首認識部と、
    前記文字認識処理部に内蔵された文字認識辞書から前記文字のストローク情報を逆引きして取得し、当該文字のストローク情報を前記部首認識部の編集操作に基づき変形するストロークデータ取得部と、
    前記表示エリアに新たに手書き入力された筆跡データを取得する筆跡データ取得部と、
    前記ストロークデータ取得部により変形済みの前記文字のストローク情報及び前記筆跡データ取得部が取得した筆跡データを保持するバッファと、
    前記表示部の表示を制御する表示制御部と、を備え、
    前記文字認識処理部は、
    前記表示エリアに表示された文字のビットマップデータが前記入力エリアへ移動した場合に、前記バッファに保持された前記文字のストローク情報及び前記筆跡データに基づき文字認識処理して、文字コードを前記表示制御部へ出力し、
    前記表示制御部は、
    前記文字認識処理部から入力された文字コードに対応する文字を前記表示エリアに表示するよう前記表示部を制御する、
    手書き文字入力装置。
JP2011080290A 2011-03-31 2011-03-31 手書き文字入力装置 Expired - Fee Related JP5550598B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011080290A JP5550598B2 (ja) 2011-03-31 2011-03-31 手書き文字入力装置
PCT/JP2012/001532 WO2012132244A1 (ja) 2011-03-31 2012-03-06 手書き文字入力装置
TW101107516A TW201248514A (en) 2011-03-31 2012-03-06 Handwritten character input device
CN2012800168957A CN103460225A (zh) 2011-03-31 2012-03-06 手写字符输入装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011080290A JP5550598B2 (ja) 2011-03-31 2011-03-31 手書き文字入力装置

Publications (2)

Publication Number Publication Date
JP2012216027A true JP2012216027A (ja) 2012-11-08
JP5550598B2 JP5550598B2 (ja) 2014-07-16

Family

ID=46930039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011080290A Expired - Fee Related JP5550598B2 (ja) 2011-03-31 2011-03-31 手書き文字入力装置

Country Status (4)

Country Link
JP (1) JP5550598B2 (ja)
CN (1) CN103460225A (ja)
TW (1) TW201248514A (ja)
WO (1) WO2012132244A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186688A (ja) * 2013-03-25 2014-10-02 Kyocera Corp 携帯電子機器、制御方法及び制御プログラム
JP2016177529A (ja) * 2015-03-20 2016-10-06 カシオ計算機株式会社 手書き入力装置、手書き入力方法、及び、プログラム
JP2021168159A (ja) * 2013-06-09 2021-10-21 アップル インコーポレイテッドApple Inc. リアルタイム手書き認識の管理
US11620046B2 (en) 2019-06-01 2023-04-04 Apple Inc. Keyboard management user interfaces
US11640237B2 (en) 2016-06-12 2023-05-02 Apple Inc. Handwriting keyboard for screens
US11816326B2 (en) 2013-06-09 2023-11-14 Apple Inc. Managing real-time handwriting recognition

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6125390B2 (ja) * 2013-09-24 2017-05-10 株式会社東芝 ストローク処理装置、方法及びプログラム
CN116185209A (zh) * 2014-08-11 2023-05-30 张锐 手写输入字符的处理、数据拆分和合并及编解码处理方法
JP6986848B2 (ja) * 2016-04-27 2021-12-22 シャープ株式会社 入力表示装置および入力表示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271897A (ja) * 1994-03-30 1995-10-20 Mitsubishi Electric Corp 文字認識装置
JP2001243421A (ja) * 2000-02-25 2001-09-07 Canon Inc 文字処理装置及び文字処理方法
JP2005165533A (ja) * 2003-12-01 2005-06-23 Sharp Corp 電子機器および電子辞書装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271897A (ja) * 1994-03-30 1995-10-20 Mitsubishi Electric Corp 文字認識装置
JP2001243421A (ja) * 2000-02-25 2001-09-07 Canon Inc 文字処理装置及び文字処理方法
JP2005165533A (ja) * 2003-12-01 2005-06-23 Sharp Corp 電子機器および電子辞書装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186688A (ja) * 2013-03-25 2014-10-02 Kyocera Corp 携帯電子機器、制御方法及び制御プログラム
JP2021168159A (ja) * 2013-06-09 2021-10-21 アップル インコーポレイテッドApple Inc. リアルタイム手書き認識の管理
JP7011747B2 (ja) 2013-06-09 2022-01-27 アップル インコーポレイテッド リアルタイム手書き認識の管理
JP2022062064A (ja) * 2013-06-09 2022-04-19 アップル インコーポレイテッド リアルタイム手書き認識の管理
JP7078808B2 (ja) 2013-06-09 2022-05-31 アップル インコーポレイテッド リアルタイム手書き認識の管理
US11816326B2 (en) 2013-06-09 2023-11-14 Apple Inc. Managing real-time handwriting recognition
JP2016177529A (ja) * 2015-03-20 2016-10-06 カシオ計算機株式会社 手書き入力装置、手書き入力方法、及び、プログラム
US11640237B2 (en) 2016-06-12 2023-05-02 Apple Inc. Handwriting keyboard for screens
US11941243B2 (en) 2016-06-12 2024-03-26 Apple Inc. Handwriting keyboard for screens
US11620046B2 (en) 2019-06-01 2023-04-04 Apple Inc. Keyboard management user interfaces
US11842044B2 (en) 2019-06-01 2023-12-12 Apple Inc. Keyboard management user interfaces

Also Published As

Publication number Publication date
WO2012132244A1 (ja) 2012-10-04
CN103460225A (zh) 2013-12-18
TW201248514A (en) 2012-12-01
JP5550598B2 (ja) 2014-07-16

Similar Documents

Publication Publication Date Title
JP5550598B2 (ja) 手書き文字入力装置
US20210406578A1 (en) Handwriting-based predictive population of partial virtual keyboards
RU2702270C2 (ru) Обнаружение выбора рукописного фрагмента
JP4560062B2 (ja) 筆跡判定装置、方法およびプログラム
JP2018515817A (ja) 視線追跡と音声認識とを組み合わせることにより制御を改善する方法
US10996843B2 (en) System and method for selecting graphical objects
KR20160101683A (ko) 공식 입력 방법 및 장치
KR20180119647A (ko) 문자열에 문자를 삽입하기 위한 방법 및 대응하는 디지털 디바이스
JP2009093291A (ja) ジェスチャー判定装置及び方法
JP2012088969A (ja) 入力表示装置、入力表示方法、コンピュータプログラム及び記録媒体
JP2014056389A (ja) 文字認識装置、文字認識方法及びプログラム
JP2007102369A (ja) ジェスチャ認識装置およびジェスチャ認識方法
JP2003196593A (ja) 文字認識装置および文字認識方法および文字認識プログラム
TW201423563A (zh) 手寫輸入識別系統及方法
JPH0683524A (ja) ペン入力方式
JP2013218592A (ja) 文字入力装置
JPH0744308A (ja) ワードプロセッサ
JP4430910B2 (ja) 文字認識装置、文字認識方法、および文字認識プログラム
JP6475874B2 (ja) 情報処理装置、情報処理プログラムおよび情報処理方法
JP6376953B2 (ja) 情報処理装置およびその制御方法、コンピュータプログラム、記憶媒体
JPH06251198A (ja) 文字入力装置
JP5642862B2 (ja) 入力装置および入力方法
JP2001167229A (ja) 手書き文字認識された文字を修正するための方法
JPH1125224A (ja) オンライン文字認識装置
JP2014021621A (ja) 入力支援装置、入力支援方法、入力支援プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140520

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees