JP2015060470A - 認識装置 - Google Patents
認識装置 Download PDFInfo
- Publication number
- JP2015060470A JP2015060470A JP2013194693A JP2013194693A JP2015060470A JP 2015060470 A JP2015060470 A JP 2015060470A JP 2013194693 A JP2013194693 A JP 2013194693A JP 2013194693 A JP2013194693 A JP 2013194693A JP 2015060470 A JP2015060470 A JP 2015060470A
- Authority
- JP
- Japan
- Prior art keywords
- input
- character
- locus
- unit
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
- G06V30/347—Sampling; Contour coding; Stroke extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Character Discrimination (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】認識結果の表示エリアを新たに確保することなく、手書き入力の軌跡と認識結果との対比を、容易に行う。【解決手段】操作部(20)が受け付けた手書き文字から当該手書き文字の軌跡を検出すると(S10)、検出された軌跡から認識結果を決定し(S18)、決定された認識結果を、手書き文字の軌跡に重ねて表示するように表示部(30)を制御する(S20)。【選択図】図1
Description
本発明は、手書き入力された文字または図形を認識する技術に関するものである。
従来から、スタイラスペンやマウス、ユーザの指先などの指示体を用いた手書き入力を受け付け、当該手書き入力の軌跡(筆跡)から、ユーザが書いた(描いた)文字または図形(以下、「文字等」と称する。)を認識する認識装置が知られている。認識装置は、手書き入力された軌跡がどのような文字等に認識されたかを、自装置に備えたGUI(Graphical User Interface)上に提示する。
例えば、特許文献1の図1の(a)〜(c)には、手書き入力の軌跡と、その認識結果である文字等との提示方法が示されている。具体的には、同図の(a)には、GUI上に所定の提示エリアを設け、該提示エリアに認識結果を提示する方法が示されている。また、同図の(b)には、手書き入力の軌跡を認識結果に置き換えて提示する方法が示されている。そして、同図の(c)には、上記手書き入力の軌跡の近傍のエリアに認識結果を提示する方法が示されている。
しかしながら、特許文献1における図1の(a)・(c)の場合、上記認識結果を提示するためのエリアを、上記手書き入力の軌跡を提示するエリアの他に確保する必要がある。また、同文献における図1の(b)の場合、手書き入力の軌跡が認識結果の文字等に置き換わってしまうので、手書き入力した軌跡と、当該軌跡に対応する認識結果とを対比することが困難である。
本願は、上記問題に鑑みてなされたものであり、その目的は、新たな表示エリアを確保することなく、手書き入力の軌跡と当該入力の認識結果とを容易に対比できる認識装置を提供することを目的とする。
上記の課題を解決するために、本発明の一態様に係る認識装置は、受付部が受け付けた手書き入力から当該手書き入力の軌跡を検出する軌跡検出手段と、上記軌跡検出手段が検出した軌跡を、文字または図形として認識する認識手段と、上記手書き入力の軌跡と、上記認識手段が認識した文字または図形の軌跡とを重ねて表示するように表示部を制御する表示制御手段とを備えることを特徴とする。
本発明の一態様によれば、新たな提示エリアを確保することなく、手書き入力の軌跡と当該入力の認識結果とを容易に対比できるという効果を奏する。
本発明の実施形態について、図1〜図5に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付記し、適宜その説明を省略する。
〔実施形態1〕
図2は、本発明の第1の実施形態に係る文字認識装置1の要部構成を示すブロック図である。なお、同図では、発明の構成に直接関係のない構成は省略した。
図2は、本発明の第1の実施形態に係る文字認識装置1の要部構成を示すブロック図である。なお、同図では、発明の構成に直接関係のない構成は省略した。
≪要部構成≫
本実施形態に係る文字認識装置1(認識装置)は、ユーザの手書き入力を受け付け、当該手書き入力の軌跡を検出し、当該軌跡に対応する(軌跡が示す)文字等を認識する機能を備えた装置である。なお、本実施形態における文字認識装置1は、手書き入力から当該手書き入力の軌跡(筆跡)が示す文字を認識することとするが、文字認識装置1が軌跡から認識可能なものは、文字に限定されない。具体的には、文字認識装置1は、手書き入力の軌跡から、図形などを認識してもよい。なお、本実施形態では、手書き入力された文字(手書き文字)から文字を認識することとする。
本実施形態に係る文字認識装置1(認識装置)は、ユーザの手書き入力を受け付け、当該手書き入力の軌跡を検出し、当該軌跡に対応する(軌跡が示す)文字等を認識する機能を備えた装置である。なお、本実施形態における文字認識装置1は、手書き入力から当該手書き入力の軌跡(筆跡)が示す文字を認識することとするが、文字認識装置1が軌跡から認識可能なものは、文字に限定されない。具体的には、文字認識装置1は、手書き入力の軌跡から、図形などを認識してもよい。なお、本実施形態では、手書き入力された文字(手書き文字)から文字を認識することとする。
文字認識装置1は図示の通り、制御部10と、操作部20(受付部)と、表示部30と、記憶部40とを備えている。
操作部20は、スタイラスペンやマウス、ユーザの指先などの指示体による手書き入力を受け付けるものである。上記手書き入力の情報は、制御部10の操作判別部11へ送信される。なお、操作部20は、手書き入力の他にも、文字認識装置1に対する種々の操作を受け付ける構成であってよい。表示部30は、制御部10の制御に従い画像を表示するものである。表示部30は、例えば、LCD(液晶ディスプレイ)などの表示装置で実現される。なお、本実施形態では、操作部20と表示部30とはタッチパネルとして一体に形成されている。しかしながら、本発明においてタッチパネルは必須の構成ではなく、操作部20は手書き入力を含むユーザの操作を受け付け可能であればよく、表示部30は画像を表示可能であればよい。
制御部10は、文字認識装置1を統括的に制御するものである。制御部10は、操作判別部11(軌跡検出手段)と、軌跡取得部12と、認識部13(認識手段)と、表示データ生成部14(表示制御手段)とを含む。また、軌跡取得部12と認識部13とを併せて、文字認識装置1の文字認識処理を行う文字認識処理部を形成している。
操作判別部11は、操作部20における操作の種類を判別するものである。具体的には、操作判別部11は、操作部20から手書き入力の情報を受信すると、当該情報が示す手書き入力の軌跡を検出する。そして、操作判別部11は、当該軌跡が手書き文字の入力操作を示すのか、手書き文字の消去操作を示すのかを判別する。当該判別の方法は特に限定しないが、例えば、軌跡の形状や長さ、画面上での位置座標などにより、当該軌跡が示す操作の種類を判別すればよい。判別された操作の種類は、文字認識処理部(軌跡取得部12および認識部13)に通知され、手書き入力の軌跡は軌跡取得部12へ送信される。
なお、本実施形態において操作判別部11は、手書き入力において所定の軌跡を入力すると、当該入力を消去操作であると判別することとした。しかしながら、上記消去操作は必ずしも手書き入力である必要はなく、例えば削除ボタンなどを押下した場合に上記消去操作が行われたとしてもよい。
また、操作判別部11は、手書き文字の入力または消去操作の終了を判定する。当該判定の方法も特に限定しないが、例えば、操作部20において所定の期間操作が検出されなかった場合や、操作部20において、手書き入力以外の予め定められた操作(所定のボタンをタッチするなど)が行われた場合などに、直前の操作(手書き文字の入力または消去操作)を終了させたと判定すればよい。当該判定の結果は軌跡取得部12へ送信される。
軌跡取得部12は、手書き入力の軌跡を取得し保持するものである。操作判別部11が入力操作を、手書き文字の入力であると判別した場合、軌跡取得部12は操作判別部11から手書き文字の軌跡を受信し保持すると共に、表示データ生成部14へ送信する。また、操作判別部11にて手書き文字の入力操作が終了したと判定されると、軌跡取得部12はその時点で保持している手書き文字の軌跡を、認識部13へ送信する。
また、操作部20にて手書き文字の消去操作が行われた場合、軌跡取得部12は、操作判別部11から当該消去操作の軌跡を取得し、その時点で保持している手書き文字の軌跡と共に、認識部13へ送信する。
認識部13は、手書き入力された文字等または消去操作を認識するものである。具体的には、認識部13は、まず、手書き入力(手書き文字の入力または消去操作)の軌跡から、該軌跡の特徴点を抽出する。次に、認識部13は、手書き文字の軌跡の特徴点から、当該特徴点が示す文字を特定する。また、認識部13は、消去操作の軌跡の特徴点から、手書き文字の文字列および認識結果の文字列のうち、消去対象となる箇所を特定し、消去するものである。
より具体的には、操作部20にて手書き文字の入力操作が行われた場合、認識部13は、軌跡取得部12から手書き文字の軌跡を取得し、当該軌跡の特徴点を抽出する。ここで、特徴点とは、文字であれば、各軌跡の形状および長さ、各軌跡における止め、はね、はらいなど、筆跡の各種特徴を意味する。
さらに、認識部13は、記憶部40から認識候補データ41を読み出し、抽出した特徴点と、認識候補データ41とを照合することにより、手書き文字の軌跡に対応する文字(文字列)を認識結果として決定する。以降、上記照合により決定された文字または文字列のことを、単に「認識結果」と呼称する。決定された認識結果は、表示データ生成部14へ送信される。
操作部20にて手書き文字の消去操作が行われた場合、軌跡取得部12は、取得した軌跡(消去操作の軌跡)の特徴点を抽出する。具体的には、軌跡の始点および終点、長さなどを抽出し、当該特徴点から消去対象となる箇所を特定する。そして、認識部13は、手書き文字の軌跡および認識結果(文字列)から、該当箇所の手書き文字の軌跡および認識結果の文字を消去する。その後、認識部13は、該当箇所を消去した手書き文字の軌跡および認識結果の文字を、表示データ生成部14へ送信する。なお、このとき、認識部13は消去操作の軌跡を表示データ生成部14に送信してもよい。
表示データ生成部14は、手書き文字の軌跡と、認識結果とを保持し、これらのデータから表示部30に表示させる表示データを作成するものである。表示データ生成部14は、軌跡取得部12から手書き文字の軌跡を受信する。また、表示データ生成部14は、認識部13から手書き文字の軌跡と、認識結果の文字列とを受信する。
表示データ生成部14は、手書き文字の軌跡、または認識結果の文字列の少なくとも1方を受信したとき、すなわち、保持している上記軌跡または上記文字列の情報が更新されたときに、表示データを作成する。表示データ生成部14はまた、認識部13から消去操作の軌跡を受信し、これも表示データに含めてもよい。
ここで、表示データとは、表示部30の1画面(1フレーム)分の画像データであり、手書き文字の軌跡および当該軌跡の認識結果の少なくとも1方が画像として含まれているデータを示す。表示データ生成部14は、上述のように自己の保持する情報が軌跡取得部12または認識部13により更新される毎に表示データを生成し、表示部30に送信することにより、表示部30の表示画面を更新させる。
本実施形態では、表示データ生成部14は、手書き入力(手書き文字および消去操作の少なくとも一方)の軌跡と、認識結果(認識部13が認識した文字または図形の軌跡)とを含む表示データを生成する場合、上記手書き入力の軌跡と、上記認識結果とが重ねて表示されるようにする。換言すると、表示データ生成部14は、上記手書き入力の軌跡と、上記認識結果とが重なって表示されるように、表示部30を制御する。
さらに、表示データ生成部14は表示部30を、認識結果1文字と、当該1文字に対応する分の手書き文字の軌跡とを重ねて表示されるように制御することが望ましい。
記憶部40は、文字認識装置1にて使用する各種データを記憶するものである。本実施形態では、記憶部40は、認識候補データ41を記憶する。認識候補データ41は、認識部13が、手書き文字の軌跡(軌跡の特徴点)から認識結果を得る際に用いる、当該認識結果の候補となる文字を示す情報である。認識候補データ41は、手書き入力の軌跡と当該データとを照合することにより、少なくとも1つの認識結果を得ることができるようなデータであればよく、その形式は特に限定しない。認識候補データ41の一例としては、認識結果の文字等と、当該認識結果の特徴点とを対応づけた情報などが挙げられる。
≪画面例≫
次に、上記構成の文字認識装置1における表示動作の一例を、図3を用いて説明する。図3は、文字認識装置1に対し手書き文字の入力、消去、および再入力操作を行った場合の、表示状態を示している。なお、図3では、4つの入力欄に、1文字ずつ手書き文字を書き込むことにより、文字認識装置1が各手書き文字の認識を行う構成としているが、本発明の表示形態、および手書き入力の認識形態はこれに限定されない。以降の図も同様である。
次に、上記構成の文字認識装置1における表示動作の一例を、図3を用いて説明する。図3は、文字認識装置1に対し手書き文字の入力、消去、および再入力操作を行った場合の、表示状態を示している。なお、図3では、4つの入力欄に、1文字ずつ手書き文字を書き込むことにより、文字認識装置1が各手書き文字の認識を行う構成としているが、本発明の表示形態、および手書き入力の認識形態はこれに限定されない。以降の図も同様である。
図3の(a)は、ユーザの指または指示体などにより、タッチパネルの所定の入力欄(操作部20の入力面)に手書き文字が入力されたときの表示状態を示している。図示の通り、手書き文字が入力されると、当該入力の軌跡(手書きの筆跡)が表示される。手書き文字の入力が続く間(新たに軌跡が入力されている間)、表示状態は随時更新され、入力の軌跡が表示されていく。
ここで、一定時間手書き文字の入力を行わない、または、所定の終了操作を行うことなどにより、手書き文字の入力が終了すると、文字認識装置1(特に、文字認識処理部)は、それまで入力された手書き文字の軌跡から、当該軌跡に対応する文字列を認識し、認識結果として表示する。図3の(b)は、手書き文字の入力が終了し、認識結果が表示された画面を示している。図示の通り、手書き文字「あかりに」の軌跡と、それに対応する認識結果の文字「あかいに」とが重なった状態で表示される。
このように、文字認識装置1は、手書き文字の軌跡と、自装置の認識結果とを重ねて表示する。これにより、文字認識装置1は、認識結果を表示するための新たな表示エリアを確保することなく、手書き入力された文字等とその認識結果とを確認させることができる。つまり、文字認識装置1は、ユーザによる手書き入力の軌跡と当該入力の認識結果との対比を容易にすることができる。
また、文字認識装置1は、「あ」「か」「い」「に」というそれぞれ1文字ずつの認識結果と、各認識結果に対応する部分の、手書き文字の軌跡とを重ねて表示している。これにより、文字認識装置1はユーザに、手書き文字の軌跡のどの部分が、どの文字(認識結果)として認識されたかを示すことができる。したがって、手書き文字の軌跡と、その認識結果との対比をより容易にさせることができる。
図3の(b)の通り、最初の手書き文字の認識では、手書き文字の誤認識や、ユーザの書き損じ(4つ目の欄に「に」に相当する余分な軌跡を入力した)などにより、意図した認識結果「あかり」が得られなかった。このような場合、文字認識装置1では、ユーザが所定の消去操作を行うことにより、認識結果および対応する軌跡を消去し、再度手書き入力する(認識結果を修正する)ことができる。以下、図3の(b)に続いて、誤認識の箇所を修正した場合の画面例を、図3の(c)〜(f)を用いて説明する。なお、以降の説明では、手書き入力において、認識結果の文字が表示されている上から、予め定められた長さ以上の横線を引く操作を行った場合、当該操作を消去操作と判定することとする。
図3の(c)は、ユーザにより消去操作が行われた場合の表示状態を示している。ユーザにより、認識結果「い」と「に」が表示されている入力欄をまたぐような軌跡aが入力されると、文字認識装置1は当該消去操作の軌跡を取得し、当該軌跡から、どの文字(認識結果)を消去するかを決定する。図3の(c)の場合、消去対象となるのは、「い」と「に」の2文字である。そして、文字認識装置1は、図3の(d)に示すように、消去対象となる認識結果と、当該認識結果に対応する軌跡とを消去する。
続いて、再度手書き文字の入力が行われるときの画面例を説明する。図3の(e)〜(f)は、消去操作の後、再度手書き文字の入力を行った場合の表示状態を示している。
ユーザにより手書き文字が再入力されると、当該再入力の軌跡が、消去されていない手書き文字の軌跡、およびその認識結果と共に表示される。具体的には、図3の(e)に示すように、ユーザにより再入力された手書き文字(軌跡b1)が、同図の(b)において表示されていた軌跡および認識結果のうち、同図の(c)〜(d)で消去されなかった認識結果「あ」と「か」、およびそれに対応する軌跡と共に表示される。
そして、上記再入力が終了すると、文字認識装置1は、上記再入力された手書き文字の軌跡b1に対応する文字を認識し、認識結果を表示する。図3の(f)では、上記軌跡b1に対応する認識結果b2は「り」である。このように、文字認識装置1はユーザに手書き文字の入力、消去、再入力を行わせることにより、最終的に正しい認識結果(ユーザが意図した認識結果)「あかり」を提示する。
このように、文字認識装置1は、手書き文字の軌跡と、自装置の認識結果とを重ねて表示した状態から、ユーザに消去操作を行わせる。このため、ユーザに、どの文字を修正すればよいかを容易に判断させることができる。また、どの手書き文字がどのような文字に誤認識されているのかを提示することができる。
具体的には、文字認識装置1は、図3の(b)に示す画面を提示することにより、ユーザが、自分が入力した文字を覚えていなくとも、「い」を「り」に書き換えればよいことを容易に判断させることができる。また、図3の(b)の表示状態では、「り」を意図した筆跡が、「い」に誤認識されていることが明らかである。そのため、ユーザに誤認識を回避できるような手書き入力を促す(例えば、「い」と間違われないような筆跡で「り」と再入力させる)ことができる。
なお、図3の(b)などのように、手書き文字の軌跡と、それに対応する認識結果とを重ねて表示するときは、色、濃淡、大きさ、線の太さなど表示形態を変えて表示することが望ましい。これにより、手書き文字の軌跡と、当該軌跡に対応する認識結果と軌跡との区別を明確にすることができる。さらに、上記手書き文字の軌跡よりも上記認識結果の方が目立つように、上記表示形態を変えて表示することが望ましい。
図示の例では、手書き文字の軌跡を淡く表示する一方、認識結果を濃く表示している。他にも、例えば手書き文字の軌跡を黒色で、認識結果を赤色で表示することとしてもよいし、手書き文字の軌跡を小さく、認識結果を大きく表示してもよいし、手書き文字の軌跡を細い線で、認識結果を太い線で表示してもよい。さらには、上述したような各種表示形態を組み合わせてもよい。このように、手書き文字の軌跡よりも認識結果の方が目立つように表示形態を変えて表示することにより、ユーザは、上記認識結果を容易に把握することができる。
また、図3の(c)では、消去操作の軌跡aを画面上に表示することとしたが、軌跡aの表示は必須ではない。以降の図でも同様である。
≪処理の流れ≫
次に、文字認識装置1における文字認識に係る処理の流れについて、図1を用いて説明する。図1は、文字認識装置1が行う処理の流れを示すフローチャートである。
次に、文字認識装置1における文字認識に係る処理の流れについて、図1を用いて説明する。図1は、文字認識装置1が行う処理の流れを示すフローチャートである。
ユーザにより、操作部20の入力面に対し手書き入力が行われると、操作部20は当該手書き入力を受け付け、当該手書き入力の情報を操作判別部11へ送信する。操作判別部11は操作部20から上記情報を受信すると、当該情報から手書き入力の軌跡を検出する(S10、軌跡検出ステップ)。その後、操作判別部11は、軌跡が示す操作の種類を判別する。操作の種類が手書き文字の入力である場合(S12で「手書き文字の入力」)、操作判別部11は手書き文字の軌跡を軌跡取得部12へ送信する。軌跡取得部12は、上記手書き文字の軌跡を取得し(S14)、表示データ生成部14へ送信する。表示データ生成部14は、受信した上記軌跡を含む表示データを生成し、表示部30に表示させる(S14)。以降、軌跡取得部12における軌跡の取得、および、表示データ生成部14における表示データの生成(軌跡の表示の更新)は、手書き文字の入力が終了するまで順次、所定の時間間隔にて行われる。
操作判別部11において、手書き文字の入力が終了したと判定されると(S16でYES)、認識部13は、軌跡取得部12から手書き文字の軌跡を取得し、認識部13へ送信する。また、認識部13は、手書き文字の軌跡から特徴点を抽出し、当該特徴点と、認識候補データ41とを照合することにより、認識結果を決定する(S18、認識ステップ)。決定した認識結果は、手書き文字の軌跡と共に、表示データ生成部14へ送信される。
表示データ生成部14は、認識部13から受信した、手書き文字の軌跡およびその認識結果を含む表示データを生成する。ここで、表示データ生成部14が生成する表示データは、上記認識結果が、上記手書き文字の軌跡に重ねて表示されるような画面のデータである。表示データ生成部14は、当該表示データを表示部30へ送信することにより、表示部30に、認識結果を手書き文字の軌跡に重ねて表示させる。(S20、表示制御ステップ)。
一方、操作判別部11が判別した操作の種類が消去操作であった場合(S12で「消去」)、軌跡取得部12は操作判別部11から消去操作の軌跡を取得し(S26)、認識部13へ送信する。認識部13は、消去操作の軌跡から特徴点を抽出することにより、消去操作の軌跡に対応する認識結果および手書き文字の軌跡の箇所(消去対象となる箇所)を特定し、それぞれのデータから当該箇所を消去する(S28)。消去操作を行った後の手書き文字の軌跡、およびその認識結果は表示データ生成部14へ送信され、表示データ生成部14により表示データが生成され、表示部30の表示が更新される。以降、操作判別部11が、消去操作が終了したと判定する(S30でYES)まで、S26〜S28の処理を繰り返す。
〔実施形態2〕
図4は、本発明の第2実施形態に係る文字認識装置1に対し手書き文字の入力、消去、および再入力操作を行った場合の、表示状態を示している。
図4は、本発明の第2実施形態に係る文字認識装置1に対し手書き文字の入力、消去、および再入力操作を行った場合の、表示状態を示している。
実施形態1に係る文字認識装置1では、消去操作が行われると、当該消去操作の軌跡に対応する認識結果と、手書き文字の軌跡との両方を表示画面から消去することとした(図1のS28、図3の(d))。
これに対し、本実施形態における文字認識装置は、消去操作の軌跡に対応する認識結果を表示画面から消去する一方、当該消去した認識結果に対応する手書き文字の軌跡は消去せず、引き続き表示している。このような場合における文字認識装置の処理および表示状態について、図4の(a)〜(d)を用いて説明する。
図4の(a)は、図3の(c)と同様に、ユーザにより消去操作(軌跡a)が行われた際の表示状態を示している。このような消去操作が行われた場合、本実施形態に係る文字認識装置は、図4の(b)に示すように、表示画面(表示データ)から上記消去操作の軌跡に対応する認識結果のみを消去し、手書き文字の軌跡は表示したままとする。具体的には、認識部13は、軌跡取得部12より消去操作の軌跡を取得すると、認識結果のうち消去操作の軌跡に対応する箇所を消去し、上記箇所が消去された認識結果と、軌跡取得部12から取得した手書き文字の軌跡とを表示データ生成部14へ送信し、表示データを作成させればよい。
そして、図4の(c)に示すように、ユーザにより手書き文字の再入力(軌跡b1)がなされると、文字認識装置は、ユーザにより再入力された手書き文字(軌跡b1)を、前回の(消去操作を行う前の)手書き文字の軌跡の上に重ねて表示する。具体的には、軌跡取得部12は、前回の手書き文字の軌跡と、再入力された軌跡b1とを共に保持しておき、それらを表示データ生成部14へ送信し、2つの軌跡を重ねて表示するような表示データを作成させればよい。
そして、手書き文字の再入力が終了すると、文字認識装置は、上記再入力された手書き文字の軌跡b1に対応する文字を認識し、認識結果を表示すると共に、前回の手書き文字の軌跡の表示を終了する。すなわち、図4の(d)に示すように、軌跡b1と、当該軌跡に対応する認識結果「り」とを重ねて表示すると共に、当該入力欄に表示されていた、消去操作を行う前の手書き文字の軌跡を表示から消去する。具体的には、軌跡取得部12が、手書き文字の再入力が終了したときに(図1のS16)、保持している手書き文字の軌跡を再入力に係る軌跡のみとなるように更新すればよい。
上記構成によれば、文字認識装置は、消去操作を行った後も消去された認識結果に対応する手書き入力の軌跡(「い」および「に」に対応する軌跡)を引き続き表示する。換言すると、認識装置は、図4の(c)に示したように、ユーザにより手書き文字の再入力が行われるまで、前回入力した手書き文字の軌跡を表示し続ける。
そのため、文字認識装置は、ユーザに前回の入力内容を参照させながら再入力を行わせることができ、再入力した文字等が再び誤認識される可能性を減少させることができる。
〔実施形態3〕
図5は、本発明の第3実施形態に係る文字認識装置1に対し手書き文字の入力、消去、および再入力操作を行った場合の、表示状態を示している。本実施形態に係る文字認識装置は、第2実施形態の文字認識装置1に比べて、ユーザにより手書き文字が上書きされたときに、当該上書きを手書き文字の再入力とし、認識結果を、上書きされた軌跡に対応する認識結果に変更している。
〔実施形態3〕
図5は、本発明の第3実施形態に係る文字認識装置1に対し手書き文字の入力、消去、および再入力操作を行った場合の、表示状態を示している。本実施形態に係る文字認識装置は、第2実施形態の文字認識装置1に比べて、ユーザにより手書き文字が上書きされたときに、当該上書きを手書き文字の再入力とし、認識結果を、上書きされた軌跡に対応する認識結果に変更している。
図5の(a)は、認識結果が「い」である3つ目の入力欄にユーザが手書き文字(軌跡b1)を再入力(上書き)した場合の表示状態を示している。再入力が行われると、文字認識装置1は、同図の(b)に示すように、再入力前の手書き文字の軌跡と、当該軌跡に対応する認識結果とを表示画面から消去する。そして、同図の(c)に示すように、3つ目の入力欄に、当該上書きした手書き文字の軌跡b1と、軌跡b1に対応する認識結果b2(「り」)とを表示する。
上記の構成によれば、ユーザに前回の入力内容および認識結果を参照させながら再入力を行わせることができるので、再入力した文字等が再び誤認識される可能性をさらに減少させることができる。
〔ソフトウェアによる実現例〕
文字認識装置1の制御ブロック(特に認識部13および表示データ生成部14)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
文字認識装置1の制御ブロック(特に認識部13および表示データ生成部14)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、文字認識装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る認識装置(文字認識装置1)は、受付部(操作部20)が受け付けた手書き入力から当該手書き入力の軌跡を検出する軌跡検出手段(操作判別部11)と、上記軌跡検出手段が検出した軌跡を、文字または図形として認識する認識手段(認識部13)と、上記手書き入力の軌跡と、上記認識手段が認識した文字または図形の軌跡(認識結果)とを重ねて表示するように表示部(表示部30)を制御する表示制御手段(表示データ生成部14)とを備えている。
本発明の態様1に係る認識装置(文字認識装置1)は、受付部(操作部20)が受け付けた手書き入力から当該手書き入力の軌跡を検出する軌跡検出手段(操作判別部11)と、上記軌跡検出手段が検出した軌跡を、文字または図形として認識する認識手段(認識部13)と、上記手書き入力の軌跡と、上記認識手段が認識した文字または図形の軌跡(認識結果)とを重ねて表示するように表示部(表示部30)を制御する表示制御手段(表示データ生成部14)とを備えている。
上記構成によれば、表示制御手段は、表示部に、手書き入力の軌跡と、当該手書き入力の認識結果である文字等とを重ねて表示させる。これにより、認識装置は、認識結果を表示するための新たな表示エリアを確保することなく、手書き入力された文字等とその認識結果とを確認させることができる。したがって、認識装置は、ユーザによる手書き入力の軌跡と当該入力の認識結果との対比を容易にすることができる。
なお、上記表示制御手段は、上記認識手段が認識した上記文字または図形の軌跡と、上記軌跡検出手段が検出した上記手書き入力の軌跡のうち、当該文字または図形それぞれに対応する手書き入力の軌跡とを重ねて表示することが望ましい。これにより、認識装置はユーザに、手書き入力の軌跡のどの部分が、どの文字等(認識結果)として認識されたかを示すことができる。したがって、手書き入力の軌跡と、その認識結果との対比をより容易にさせることができる。
本発明の態様2に係る認識装置は、上記態様1において、上記表示制御手段は、上記受付部が手書き入力の再入力を受け付けた後に、上記再入力前に表示部に表示させていた手書き入力の軌跡の表示を終了させてもよい。
上記構成によれば、認識装置は、手書き入力の再入力の受け付けが終了した後に、再入力前に表示していた手書き入力の軌跡の表示を終了する。換言すると、再入力中には、当該再入力前に入力した手書き入力の軌跡(前回の手書き入力の軌跡)が表示されている。
このように、ユーザに前回の入力内容を参照させながら再入力を行わせることができるので、再入力した文字等が再び誤認識される可能性を減少させることができる。
なお、上記再入力前の手書き入力の軌跡の表示を終了することは、上記再入力の受け付けを終了した時点から、上記再入力の軌跡が認識され、認識された軌跡と上記再入力の軌跡とを重ねて表示する時点までの間に行われればよい。
本発明の態様3に係る認識装置は、上記態様2において、上記受付部は、上記手書き入力に加え所定の消去操作を受け付け、上記表示制御手段は、上記受付部が上記再入力を受け付ける前に上記消去操作を受け付けると、上記再入力前に表示部に表示させていた、上記認識した文字または図形の軌跡の表示を終了させてもよい。
上記の構成によれば、手書き入力の再入力前に消去操作を行うと、認識された文字等の軌跡の表示が消去されるが、手書き入力の軌跡は表示されたままである。従って、第2態様に係る認識装置の効果を確実に奏することができる。
本発明の態様4に係る認識装置は、上記態様2において、上記表示制御手段は、上記受付部が上記再入力を受け付けた後に、上記再入力前に表示部に表示させていた、上記認識した文字または図形の軌跡の表示を終了させてもよい。
上記の構成によれば、手書き入力の再入力中には、再入力前に表示していた手書き入力の軌跡および認識結果の軌跡が表示されている。従って、ユーザに前回の入力内容および認識結果を参照させながら再入力を行わせることができるので、再入力した文字等が再び誤認識される可能性をさらに減少させることができる。
なお、上記再入力前の文字または図形の軌跡の表示を終了することは、上記再入力の受け付けが終了した時点から、上記再入力の軌跡が認識され、認識された文字または図形の軌跡と上記再入力の軌跡とを重ねて表示する時点までの間に終了されればよい。
本発明の態様5に係る認識装置は、上記態様1から4において、上記表示制御手段は、上記手書き入力の軌跡よりも、上記認識した文字または図形の軌跡の方が目立つように表示部を制御することが好ましい。
上記構成によれば、認識された文字または図形の軌跡をユーザは容易に把握することができる。なお、上記目立つように表示部を制御するには、上記手書き入力の軌跡と、上記文字または図形の軌跡との表示形態がそれぞれ異なるように、表示部を制御すればよい。上記表示形態の例としては、色、濃淡、大きさ、線の太さなどが挙げられる。
本発明の態様6に係る認識装置の制御方法は、手書き入力された文字または図形を認識する認識装置の制御方法であって、受付部が受け付けた手書き入力から当該手書き入力の軌跡を検出する軌跡検出ステップ(S10)と、上記軌跡検出ステップにて検出された軌跡を、文字または図形として認識する認識ステップ(S18)と、上記手書き入力の軌跡と、上記認識ステップにて認識された文字または図形の軌跡とを重ねて表示するように表示部を制御する表示制御ステップ(S20)とを含む。この場合、上記態様1と同様の効果を奏する。
本発明の各態様に係る認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記認識装置が備える各手段として動作させることにより上記文字認識装置をコンピュータにて実現させる認識装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
本発明は、手書き入力された文字または図形などを認識する認識装置に用いられ、特に、タッチパネルを有する認識装置に好適に用いることができる。
1 文字認識装置(認識装置)、11 操作判別部(軌跡検出手段)、12 軌跡取得部、13 認識部(認識手段)、14 表示データ生成部(表示制御手段)、20 操作部(受付部)、30 表示部、40 記憶部、41 認識候補データ
Claims (5)
- 受付部が受け付けた手書き入力から当該手書き入力の軌跡を検出する軌跡検出手段と、
上記軌跡検出手段が検出した軌跡を、文字または図形として認識する認識手段と、
上記手書き入力の軌跡と、上記認識手段が認識した文字または図形の軌跡とを重ねて表示するように表示部を制御する表示制御手段とを備えることを特徴とする認識装置。 - 上記表示制御手段は、上記受付部が手書き入力の再入力を受け付けた後に、上記再入力前に表示部に表示させていた手書き入力の軌跡の表示を終了させることを特徴とする請求項1に記載の認識装置。
- 上記受付部は、上記手書き入力に加え所定の消去操作を受け付け、
上記表示制御手段は、上記受付部が上記再入力を受け付ける前に上記消去操作を受け付けると、上記再入力前に表示部に表示させていた、上記認識した文字または図形の軌跡の表示を終了させることを特徴とする、請求項2に記載の認識装置。 - 上記表示制御手段は、上記受付部が上記再入力を受け付けた後に、上記再入力前に表示部に表示させていた、上記認識した文字または図形の軌跡の表示を終了させることを特徴とする、請求項2に記載の認識装置。
- 上記表示制御手段は、上記手書き入力の軌跡よりも、上記認識した文字または図形の軌跡の方が目立つように表示部を制御することを特徴とする請求項1から4の何れか1項に記載の認識装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013194693A JP2015060470A (ja) | 2013-09-19 | 2013-09-19 | 認識装置 |
PCT/JP2014/072160 WO2015041004A1 (ja) | 2013-09-19 | 2014-08-25 | 認識装置および認識装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013194693A JP2015060470A (ja) | 2013-09-19 | 2013-09-19 | 認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015060470A true JP2015060470A (ja) | 2015-03-30 |
Family
ID=52688659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013194693A Pending JP2015060470A (ja) | 2013-09-19 | 2013-09-19 | 認識装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2015060470A (ja) |
WO (1) | WO2015041004A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11528387B2 (en) | 2020-07-22 | 2022-12-13 | Ricoh Company, Ltd. | Information processing apparatus, method and non-transitory recording medium storing program codes for replacing color of character pixel based on selection of first and second processing methods |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03214309A (ja) * | 1990-01-19 | 1991-09-19 | Fujitsu Ltd | 手書き入力処理装置 |
JPH0512495A (ja) * | 1991-06-28 | 1993-01-22 | Toshiba Corp | 手書き文字入力装置 |
JPH05143780A (ja) * | 1991-11-18 | 1993-06-11 | Canon Inc | 文字認識装置 |
JP2001014096A (ja) * | 1999-06-25 | 2001-01-19 | Toshiba Corp | ペン入力装置、及び同装置に於ける文字入力方法 |
JP2006106906A (ja) * | 2004-09-30 | 2006-04-20 | Toshiba Corp | 文字読取装置 |
JP2011034284A (ja) * | 2009-07-31 | 2011-02-17 | Casio Computer Co Ltd | 文字読取装置、その制御方法及びプログラム |
JP2013012134A (ja) * | 2011-06-30 | 2013-01-17 | Sharp Corp | 手書き入力機能付表示装置 |
-
2013
- 2013-09-19 JP JP2013194693A patent/JP2015060470A/ja active Pending
-
2014
- 2014-08-25 WO PCT/JP2014/072160 patent/WO2015041004A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03214309A (ja) * | 1990-01-19 | 1991-09-19 | Fujitsu Ltd | 手書き入力処理装置 |
JPH0512495A (ja) * | 1991-06-28 | 1993-01-22 | Toshiba Corp | 手書き文字入力装置 |
JPH05143780A (ja) * | 1991-11-18 | 1993-06-11 | Canon Inc | 文字認識装置 |
JP2001014096A (ja) * | 1999-06-25 | 2001-01-19 | Toshiba Corp | ペン入力装置、及び同装置に於ける文字入力方法 |
JP2006106906A (ja) * | 2004-09-30 | 2006-04-20 | Toshiba Corp | 文字読取装置 |
JP2011034284A (ja) * | 2009-07-31 | 2011-02-17 | Casio Computer Co Ltd | 文字読取装置、その制御方法及びプログラム |
JP2013012134A (ja) * | 2011-06-30 | 2013-01-17 | Sharp Corp | 手書き入力機能付表示装置 |
Non-Patent Citations (1)
Title |
---|
岩田 泰明、外3名: ""文字認識結果の目視一括化方式"", 電子情報通信学会技術研究報告, vol. 111, no. 378, JPN6014043357, 12 January 2012 (2012-01-12), JP, pages 1 - 6, ISSN: 0003446440 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11528387B2 (en) | 2020-07-22 | 2022-12-13 | Ricoh Company, Ltd. | Information processing apparatus, method and non-transitory recording medium storing program codes for replacing color of character pixel based on selection of first and second processing methods |
Also Published As
Publication number | Publication date |
---|---|
WO2015041004A1 (ja) | 2015-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10572779B2 (en) | Electronic information board apparatus, information processing method, and computer program product | |
US8619045B2 (en) | Calculator and computer-readable medium | |
US20100066691A1 (en) | Input apparatus and computer readable recording medium recorded with image processing program | |
US20140368453A1 (en) | Handwriting input apparatus, non-transitory computer-readable storage medium and control method | |
WO2016095689A1 (zh) | 基于终端界面多次触控操作进行识别搜索的方法及系统 | |
JP5723697B2 (ja) | 手書き入力機能付表示装置 | |
US10013156B2 (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
JP2011204141A (ja) | 手書き入力装置、手書き入力方法及び手書き入力プログラム | |
CN105183231B (zh) | 一种应用于触摸屏装置的信息处理方法及触摸屏装置 | |
TW201426513A (zh) | 手寫輸入識別系統及方法 | |
CN111814885A (zh) | 一种管理图像框的方法、系统、设备及介质 | |
US8581910B2 (en) | Input display apparatus, input display method, and recording medium | |
US10684772B2 (en) | Document viewing apparatus and program | |
US20160062601A1 (en) | Electronic device with touch screen and method for moving application functional interface | |
CN108415890B (zh) | 置顶显示单元格的方法、终端设备及计算机可读存储介质 | |
EP3125089B1 (en) | Terminal device, display control method, and program | |
KR101399401B1 (ko) | 터치스크린 단말기를 이용한 전자서명 시스템 및 그 방법 | |
US9323431B2 (en) | User interface for drawing with electronic devices | |
WO2015041004A1 (ja) | 認識装置および認識装置の制御方法 | |
TW201423563A (zh) | 手寫輸入識別系統及方法 | |
US10444984B2 (en) | Device processing method and electronic device | |
US20140212043A1 (en) | Character display apparatus, character display method, and computer readable medium | |
CN112042175A (zh) | 一种终端翻页方法、装置及手写板 | |
US20160012286A1 (en) | Electronic apparatus, method and storage medium | |
JP6408273B2 (ja) | 情報処理装置、情報処理プログラムおよび情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161129 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170606 |