JP2007213433A - Character retrieving apparatus - Google Patents

Character retrieving apparatus Download PDF

Info

Publication number
JP2007213433A
JP2007213433A JP2006034277A JP2006034277A JP2007213433A JP 2007213433 A JP2007213433 A JP 2007213433A JP 2006034277 A JP2006034277 A JP 2006034277A JP 2006034277 A JP2006034277 A JP 2006034277A JP 2007213433 A JP2007213433 A JP 2007213433A
Authority
JP
Japan
Prior art keywords
stroke
similarity
dictionary
input
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006034277A
Other languages
Japanese (ja)
Other versions
JP4817297B2 (en
Inventor
Katsuhiko Akiyama
勝彦 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006034277A priority Critical patent/JP4817297B2/en
Priority to CNB2006100850834A priority patent/CN100481115C/en
Publication of JP2007213433A publication Critical patent/JP2007213433A/en
Application granted granted Critical
Publication of JP4817297B2 publication Critical patent/JP4817297B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a character retrieving apparatus which retrieves a character by a partial pattern even when a plurality of images are inputted by one stroke. <P>SOLUTION: The character retrieving apparatus is provided with: a stroke similarity degree calculation part 13 for referring to a stroke dictionary storage part 17 in which at least dictionary strokes and stroke order data are registered and finding out the similarity degree of an input stroke to a dictionary stroke string; a similarity degree table preparation part 14 for preparing a similarity degree table for the combinations of input strokes included in one input pattern with the dictionary stroke string of one character or symbol; a similarity degree sum calculation part 15 for finding out the total sum of maximum similarity degrees for respective input strokes from the similarity degree table; a penalty value subtraction part 16 for subtracting a prescribed penalty value from the sum of maximum similarity degrees to find out a pattern matching degree when a prescribed penalty condition is formed by referring to the similarity degree table; and a retrieved result presentation part 18 for presenting characters or symbols as retrieved results in the descending order of pattern matching degrees. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、筆跡入力可能なポインティングデバイスにより手書きで入力されたパターンに基づいて文字または記号の検索を行う文字検索装置に関し、特に、入力されたパターンの少なくとも一部が一致する文字または記号の検索を効率的に行うことができる文字検索装置に関する。   The present invention relates to a character search device that searches for a character or symbol based on a pattern input by handwriting using a pointing device capable of handwriting input, and in particular, searches for a character or symbol that matches at least part of the input pattern. The present invention relates to a character search apparatus that can efficiently perform the above.

従来、ペンタブレットまたはマウスなどの筆跡入力可能なポインティングデバイスにより、手書きで文字や記号を入力することができる情報処理装置が広く知られている。このような情報処理装置において、入力されたパターンと、辞書に登録されている文字や記号のパターンとを比較することにより、手書き入力されたパターンが、文字辞書に登録されている文字または記号のどれに一致または類似するかを判断する手書き文字認識(手書き文字検索ともいう)について、様々な手法が従来提案されている。   2. Description of the Related Art Conventionally, information processing apparatuses that can input characters and symbols by hand using a pointing device capable of handwriting input such as a pen tablet or a mouse are widely known. In such an information processing apparatus, by comparing the input pattern with the character or symbol pattern registered in the dictionary, the handwritten input pattern is the character or symbol registered in the character dictionary. Various methods have conventionally been proposed for handwritten character recognition (also referred to as handwritten character search) for determining which one matches or is similar.

また、ユーザが漢字を入力しようとする場合、漢字は仮名に比べて画数が多いので、文字全体の入力が完了しなくても、部分パターンに基づいて文字を検索して類似度の高い文字候補をユーザに提示できれば、ユーザの入力の手間が省け、ユーザが漢字全体の構成を覚えていなくても漢字入力が可能となる点で好都合である。図7に、部分パターンによる文字検索の一例を示す。図7に示すように、ユーザが漢字の少なくとも一部を入力すると、入力された部分パターンに類似するパターンを含む文字候補が表示されるので、ユーザは、表示された文字候補から、自分が入力しようとした漢字を選択すれば良い。   Also, when the user wants to input kanji characters, kanji characters have more strokes than kana characters, so even if input of the entire character is not completed, characters are searched based on partial patterns and character candidates with high similarity Can be presented to the user, which is advantageous in that it saves the user's input and allows the user to input kanji even if the user does not remember the entire configuration of the kanji. FIG. 7 shows an example of character search using partial patterns. As shown in FIG. 7, when the user inputs at least a part of the kanji, character candidates including a pattern similar to the input partial pattern are displayed, so that the user can input from the displayed character candidates. Just select the kanji you tried.

従来の手書き文字認識または手書き文字検索手法としては、例えば以下のような技術が知られている。   For example, the following techniques are known as conventional handwritten character recognition or handwritten character search methods.

例えば、手書き文字を、ストローク、部分パターン、および文字と順に認識していくことで、高速で高精度な文字認識を可能とするオンライン文字認識装置が、特許文献1(特開平7−57056号公報)に開示されている。   For example, Patent Document 1 (Japanese Patent Application Laid-Open No. 7-57056) discloses an online character recognition device that enables high-speed and high-accuracy character recognition by recognizing handwritten characters in order of strokes, partial patterns, and characters. ).

また、入力と辞書の各ストロークとの間で類似度を求めて類似度行列を生成し、各列で最大の類似度を持つ要素を各行ごとに一意に決定し、その最大類似度の和を取ることで文字間の類似度を求め、文字を認識する文字認識方法が、特許文献2(特許第3155577号公報)に開示されている。この文字認識方法によれば、筆順に依存しない文字検索を行うことが可能である。   Also, a similarity matrix is generated by calculating the similarity between the input and each stroke of the dictionary, the element having the maximum similarity in each column is uniquely determined for each row, and the sum of the maximum similarity is calculated. A character recognition method for obtaining the similarity between characters by taking them and recognizing the characters is disclosed in Patent Document 2 (Japanese Patent No. 3155777). According to this character recognition method, it is possible to perform a character search independent of the stroke order.

さらに、ストローク−ストローク列間で荒く対応を取り、その後でストローク対応に重複がないように整合を取ることで、筆順違いや筆画の続け書きを許容した文字認識を実現させる技術が、下記の非特許文献1に開示されている。   Furthermore, the technology that achieves character recognition that allows stroke order differences and strokes to be written continuously by taking rough correspondence between strokes and strokes, and then aligning strokes so that there is no duplication. It is disclosed in Patent Document 1.

また、部分パターンを対象としてパターン認識を行い、部分パターンと漢字の対応表から漢字を探すことにより、部分パターン文字検索を実現する技術が、特許文献3(特開平8−123903号公報)に開示されている。   Further, Japanese Patent Laid-Open No. 8-123903 discloses a technique for performing partial pattern character search by performing pattern recognition on a partial pattern and searching for a kanji from a partial pattern and kanji correspondence table. Has been.

また、ストローク形状とストローク間位置関係の辞書を用いて入力パターンと辞書パターンのストロークを一画ずつ順番に照合し、部分パターン文字検索を行う方法が、特許文献4(特開平9−190499号公報)に開示されている。この方法は、検索できる部分パターンの種類に制約を受けないので、柔軟な検索が可能である。
特開平7−57056号公報 特許第3155577号公報 特開平8−123903号公報 特開平9−190499号公報 小高和巳、若原徹、梅田三千雄、「選択的ストローク結合による画数・筆順に依存しないオンライン文字認識」、電子通信学会論文誌、昭和58年5月、J66-D, No.5, p.593-600
Further, a method of performing partial pattern character search by sequentially matching the strokes of the input pattern and the dictionary pattern one by one using a dictionary of stroke shape and positional relationship between strokes is disclosed in JP-A-9-190499. ). Since this method is not limited by the types of partial patterns that can be searched, a flexible search is possible.
JP 7-57056 A Japanese Patent No. 3155777 JP-A-8-123903 JP-A-9-190499 Kazutaka Odaka, Toru Wakahara, Michio Umeda, “Online Character Recognition Independent of Stroke Number and Stroke Order by Selective Stroke Combination”, IEICE Transactions, May 1983, J66-D, No.5, p.593- 600

手書きによる文字入力の場合、特に、画数が多く複雑な漢字の場合、文字全体を正しく書くことが困難であることがある。また、しばしば、本来は複数画からなる部分パターンが、続け書きによって1ストロークで入力される。従って、文字全体が正しく筆記されていない場合、または複数画が1ストロークで入力された場合でも、部分パターンによる文字検索が可能であることが好ましい。   In the case of handwritten character input, especially in the case of a complex kanji with a large number of strokes, it may be difficult to write the entire character correctly. In many cases, a partial pattern originally composed of a plurality of images is input in one stroke by successive writing. Therefore, it is preferable that the character search by the partial pattern is possible even when the entire character is not written correctly or when a plurality of images are input in one stroke.

例えば、上記特許文献3に記載された検索方法では、部分パターンと文字との対応表にない文字は検索できず、部分パターン辞書にないパターンを書いても検索することができない。また、完全な対応表や部分パターン辞書を作成するのは困難である。   For example, in the search method described in Patent Document 3, a character that is not in the correspondence table between partial patterns and characters cannot be searched, and even if a pattern that is not in the partial pattern dictionary is written, it cannot be searched. Also, it is difficult to create a complete correspondence table or partial pattern dictionary.

また、特許文献4に記載された方法では、入力パターンのストロークを辞書パターンのストロークと一画ずつ照合するため、複数画が1ストロークで入力された場合は、正しい検索ができない。   In the method described in Patent Document 4, since the stroke of the input pattern is collated with the stroke of the dictionary pattern one by one, when a plurality of images are input with one stroke, a correct search cannot be performed.

複数画の続け書きに対処した文字認識方式としては、上記非特許文献1の手法が提案されているが、この方法は、文字全体の筆記が完了していることを前提とした方式であり、ユーザの入力の手間を軽減できない。また、この手法は、筆順の異なる筆画を対応付けて精度良く認識を行うために、対応の重複を取り除く処理を含んでおり、これが処理量の多大な増加を招いている。   As a character recognition method that copes with the continuous writing of a plurality of images, the method of Non-Patent Document 1 has been proposed. This method is based on the premise that writing of the entire character has been completed. The user input can not be reduced. In addition, this method includes a process for removing correspondence duplication in order to accurately recognize strokes with different stroke orders and this causes a great increase in processing amount.

上記の課題を鑑み、本発明は、複数画が1ストロークで入力された場合でも、部分パターンによる文字または記号の検索が可能な文字検索装置を提供することを目的とする。   In view of the above problems, an object of the present invention is to provide a character search device capable of searching for characters or symbols by partial patterns even when a plurality of strokes are input in one stroke.

上記の目的を達成するために、本発明にかかる文字検索装置は、筆跡入力可能なポインティングデバイスによる入力パターンと、辞書記憶部に登録されている文字または記号のパターンとを対比し、前記入力パターンと全体または部分が一致または類似する文字または記号を提示する文字検索装置であって、前記辞書記憶部には、文字または記号のパターンを表すデータとして、当該文字または記号を構成するストロークである辞書ストロークを表すデータと、各辞書ストロークの筆順を表す筆順データとが少なくとも登録され、前記辞書記憶部を参照し、入力パターンに含まれる入力ストロークと、一つの辞書ストロークまたは連続して筆記される複数の辞書ストロークである辞書ストローク列との類似度を求めるストローク類似度算出部と、前記ストローク類似度算出部によって求められた類似度に基づき、一つの入力パターンに含まれる入力ストロークと、前記辞書記憶部に登録されている一つの文字または記号の辞書ストローク列との組合せについて類似度表を作成する類似度表作成部と、前記類似度表から、各入力ストロークに対して最大類似度を与える辞書ストローク列を決定し、全ての入力ストロークに対する最大類似度の総和を最大類似度和として求める類似度和算出部と、前記類似度表を参照し、入力パターンと、前記辞書記憶部に登録されている文字または記号のパターンとの間に、類似度を下げるべき所定のペナルティ条件が成立していれば、前記条件に応じた所定のペナルティ値を前記最大類似度和から減算してパターン一致度とし、所定のペナルティ条件が成立していない時には前記最大類似度和をパターン一致度とするペナルティ値減算部と、前記ペナルティ値減算部で求められたパターン一致度が高い順に、文字または記号を検索結果として提示する検索結果提示部とを備えたことを特徴とする。   In order to achieve the above object, a character search device according to the present invention compares an input pattern by a pointing device capable of handwriting input with a character or symbol pattern registered in a dictionary storage unit, and the input pattern. And a character search device that presents a character or symbol that matches or resembles the whole or part of the dictionary, and the dictionary storage unit is a dictionary that is a stroke constituting the character or symbol as data representing a character or symbol pattern Data representing a stroke and stroke order data representing the stroke order of each dictionary stroke are registered at least, and referring to the dictionary storage unit, an input stroke included in the input pattern and one dictionary stroke or a plurality of consecutive strokes Stroke similarity calculator for calculating similarity with a dictionary stroke sequence that is a dictionary stroke Based on the similarity obtained by the stroke similarity calculation unit, the combination of an input stroke included in one input pattern and a dictionary stroke sequence of one character or symbol registered in the dictionary storage unit is similar A similarity table creation unit that creates a degree table, and a dictionary stroke sequence that gives the maximum similarity to each input stroke is determined from the similarity table, and the sum of the maximum similarities for all input strokes is determined as the maximum similarity A similarity sum calculation unit obtained as a sum, a predetermined penalty condition for lowering the similarity between the input pattern and the character or symbol pattern registered in the dictionary storage unit with reference to the similarity table Is satisfied, a predetermined penalty value corresponding to the condition is subtracted from the maximum similarity sum to obtain a pattern matching degree, and a predetermined penalty condition is satisfied. A search result that presents characters or symbols as a search result in descending order of the pattern matching degree obtained by the penalty value subtracting unit using the maximum similarity sum as a pattern matching degree and the penalty value subtracting unit And a presentation unit.

本発明に関して、「ストローク」は、1回のペンダウンからペンアップまでに書かれる筆跡を意味する。また、「パターン」は、1つまたは複数の「ストローク」から形成される、文字または記号の全体または部分パターンを意味する。   In the context of the present invention, “stroke” means a handwriting written from one pen-down to a pen-up. “Pattern” means a whole or partial pattern of characters or symbols formed from one or more “strokes”.

上記の構成によれば、類似度表作成部が、ストローク類似度算出部によって求められた類似度に基づき、一つの入力パターンに含まれる入力ストロークと、前記辞書記憶部に登録されている一つの文字または記号の辞書ストローク列との組合せについて類似度表を作成し、類似度和算出部が、前記類似度表から、各入力ストロークに対して最大類似度を与える辞書ストローク列を決定し、全ての入力ストロークに対する最大類似度の総和を最大類似度和として求めることにより、本来は複数ストロークで書かれるべきパターンが1ストロークで入力された場合でも、部分パターンによる文字または記号の検索が可能となる。また、ペナルティ値減算部が、前記類似度表を参照し、入力パターンと、前記辞書記憶部に登録されている文字または記号のパターンとの間に、類似度を下げるべき所定のペナルティ条件が成立していれば、前記条件に応じた所定のペナルティ値を前記最大類似度和から減算し、パターン一致度を求めることにより、部分パターンによる文字または記号の検索精度を向上させることが可能となる。   According to the above configuration, the similarity table creating unit is configured to input the input stroke included in one input pattern based on the similarity obtained by the stroke similarity calculating unit and one registered in the dictionary storage unit. Create a similarity table for a combination of character or symbol dictionary stroke sequences, and the similarity sum calculation unit determines a dictionary stroke sequence that gives the maximum similarity for each input stroke from the similarity table, all By obtaining the sum of the maximum similarities with respect to the input strokes as the maximum similarity sum, even if a pattern that should originally be written in a plurality of strokes is input in one stroke, it is possible to search for characters or symbols by partial patterns. . The penalty value subtracting unit refers to the similarity table, and a predetermined penalty condition for lowering the similarity is established between the input pattern and the character or symbol pattern registered in the dictionary storage unit. If so, it is possible to improve the search accuracy of the character or symbol by the partial pattern by subtracting a predetermined penalty value corresponding to the condition from the maximum similarity sum to obtain the pattern matching degree.

上記の文字検索装置において、前記ペナルティ条件は、例えば、ある入力パターンに含まれる一つの入力ストロークに対して最大の類似度を与える辞書ストローク列が、同じ入力パターンに含まれる別の入力ストロークに対しても最大の類似度を与えることである。   In the above character search device, the penalty condition is, for example, that a dictionary stroke sequence that gives the maximum similarity to one input stroke included in a certain input pattern corresponds to another input stroke included in the same input pattern. Even giving the maximum similarity.

上記の文字検索装置において、前記ペナルティ条件は、例えば、ある入力ストロークに対して一定値以上の類似度で対応する辞書ストロークがあり、かつ、当該辞書ストロークの後に、前記入力ストロークの次の入力ストロークに対して前記一定値以上の類似度で対応する辞書ストロークがないことである。   In the above character search device, the penalty condition includes, for example, a dictionary stroke corresponding to a certain input stroke with a similarity equal to or higher than a certain value, and the input stroke next to the input stroke after the dictionary stroke. In contrast, there is no corresponding dictionary stroke with a similarity greater than or equal to the predetermined value.

上記の文字検索装置において、前記ペナルティ条件は、例えば、入力ストロークに対して一定値以上の類似度で対応する辞書ストロークがないことである。   In the above character search device, the penalty condition is, for example, that there is no dictionary stroke corresponding to the input stroke with a similarity greater than or equal to a certain value.

上記の文字検索装置において、前記ストローク類似度算出部が、伸縮マッチング法に従って、入力ストロークと辞書ストローク列との類似度を求めることが好ましい。   In the above character search device, it is preferable that the stroke similarity calculation unit obtains the similarity between the input stroke and the dictionary stroke sequence according to an expansion / contraction matching method.

また、上記の目的を達成するために、本発明にかかるプログラムは、筆跡入力可能なポインティングデバイスによる入力パターンと、辞書記憶部に登録されている文字または記号のパターンとを対比し、前記入力パターンと全体または部分が一致または類似する文字または記号を提示する文字検索処理をコンピュータに実行させるプログラムであって、前記辞書記憶部には、文字または記号のパターンを表すデータとして、当該文字または記号を構成するストロークである辞書ストロークを表すデータと、各辞書ストロークの筆順を表す筆順データとが少なくとも登録され、前記辞書記憶部を参照し、入力パターンに含まれる入力ストロークと、一つの辞書ストロークまたは連続して筆記される複数の辞書ストロークである辞書ストローク列との類似度を求めるストローク類似度算出処理と、前記ストローク類似度算出処理によって求められた類似度に基づき、一つの入力パターンに含まれる入力ストロークと、前記辞書記憶部に登録されている一つの文字または記号の辞書ストローク列との組合せについて類似度表を作成する類似度表作成処理と、前記類似度表から、各入力ストロークに対して最大類似度を与える辞書ストローク列を決定し、全ての入力ストロークに対する最大類似度の総和を最大類似度和として求める類似度和算出処理と、前記類似度表を参照し、入力パターンと、前記辞書記憶部に登録されている文字または記号のパターンとの間に、類似度を下げるべき所定のペナルティ条件が成立していれば、前記条件に応じた所定のペナルティ値を前記最大類似度和から減算してパターン一致度とし、所定のペナルティ条件が成立していない時には前記最大類似度和をパターン一致度とするペナルティ値減算処理と、前記ペナルティ値減算処理で求められたパターン一致度が高い順に、文字または記号を検索結果として提示する検索結果提示処理とをコンピュータに実行させることを特徴とする。   In order to achieve the above object, a program according to the present invention compares an input pattern by a pointing device capable of handwriting input with a character or symbol pattern registered in a dictionary storage unit, and the input pattern And a program for causing a computer to execute a character search process that presents a character or symbol that is identical or similar in whole or part, and the dictionary storage unit stores the character or symbol as data representing a character or symbol pattern. Data representing a dictionary stroke, which is a constituent stroke, and stroke order data representing the stroke order of each dictionary stroke are registered, and the dictionary storage unit is referred to. Dictionary stroke sequence, which is a plurality of dictionary strokes A stroke similarity calculation process for determining the similarity of the input stroke, an input stroke included in one input pattern based on the similarity calculated by the stroke similarity calculation process, and one character registered in the dictionary storage unit Alternatively, a similarity table creation process for creating a similarity table for combinations of symbolic strokes with symbols, and a dictionary stroke sequence that gives the maximum similarity to each input stroke is determined from the similarity table, and all inputs are determined. Similarity sum calculation processing for obtaining the sum of the maximum similarities with respect to the stroke as the maximum similarity sum, between the input pattern and the character or symbol pattern registered in the dictionary storage unit with reference to the similarity table If a predetermined penalty condition for lowering the similarity is satisfied, a predetermined penalty value corresponding to the condition is calculated from the maximum similarity sum. The pattern matching degree is subtracted, and when a predetermined penalty condition is not satisfied, the penalty value subtraction process using the maximum similarity degree as the pattern matching degree, and the pattern matching degree obtained in the penalty value subtraction process in descending order. And a search result presentation process for presenting characters or symbols as search results.

本発明によれば、複数画が1ストロークで入力された場合でも、部分パターンによる文字または記号の検索が可能な文字検索装置を提供することができる。   According to the present invention, it is possible to provide a character search device capable of searching for characters or symbols by partial patterns even when a plurality of images are input in one stroke.

以下、図面を参照し、本発明の一実施形態について説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

なお、本発明は、部分パターンによる文字または記号の検索を行うための装置、方法、プログラム等に関するが、検索対象となる文字または記号には、仮名、漢字、および数字の他、任意の記号が含まれる。また、本明細書および特許請求の範囲では、これらの文字または記号の検索を「文字検索」と略称する。   The present invention relates to an apparatus, method, program, etc. for searching for characters or symbols by partial patterns. The characters or symbols to be searched include arbitrary symbols in addition to kana, kanji, and numbers. included. In the present specification and claims, the search for these characters or symbols is abbreviated as “character search”.

本発明は、ペンタブレットまたはマウスなどの筆跡入力可能なポインティングデバイスの接続されたコンピュータ環境上で実行される文字検索プログラムとして実施することが可能である。また、この文字検索プログラムを記録した記録媒体も、本発明の一実施形態である。なお、本発明は、適当なポインティングデバイスを備えたコンピュータまたは携帯情報端末として実施されても良い。このようにコンピュータまたは携帯情報端末として本発明の文字検索装置を実施する場合、コンピュータまたは携帯情報端末は、文字検索機能以外の任意の機能を有し得る。   The present invention can be implemented as a character search program that is executed in a computer environment to which a pointing device capable of inputting handwriting such as a pen tablet or a mouse is connected. A recording medium on which the character search program is recorded is also an embodiment of the present invention. Note that the present invention may be implemented as a computer or a portable information terminal provided with an appropriate pointing device. Thus, when implementing the character search device of the present invention as a computer or a portable information terminal, the computer or the portable information terminal can have any function other than the character search function.

以下では、本発明にかかる文字検索プログラムがインストールされたコンピュータを、本発明にかかる文字検索装置の一実施形態として説明する。   Hereinafter, a computer in which the character search program according to the present invention is installed will be described as an embodiment of the character search device according to the present invention.

図1は、本実施形態にかかるコンピュータにおいて、本発明の文字検索プログラムが実行されることによって実現される機能的構成を示したブロック図である。   FIG. 1 is a block diagram showing a functional configuration realized by executing the character search program of the present invention in the computer according to the present embodiment.

図1に示すように、本実施形態にかかるコンピュータ1は、ユーザに手書き文字を入力させるために、ポインティングデバイス11とディスプレイ12とを備えている。また、コンピュータ1は、文字検索機能を実現するために、ストローク類似度算出部13と、類似度表作成部14と、類似度和算出部15と、ペナルティ値減算部16と、ストローク辞書記憶部17と、入力ストローク記憶部18と、検索結果提示部19とを備えている。なお、ストローク類似度算出部13、類似度表作成部14、類似度和算出部15、ペナルティ値減算部16、および検索結果提示部19は、コンピュータ1のプロセッサ(図示せず)がメモリ(図示せず)にインストールされた文字検索プログラムを実行することによって機能的に実現されるものであって、これらの各部に個々に対応するハードウェアは必ずしも存在しない。   As shown in FIG. 1, the computer 1 according to the present embodiment includes a pointing device 11 and a display 12 for allowing a user to input handwritten characters. Further, the computer 1 implements a character search function by using a stroke similarity calculation unit 13, a similarity table creation unit 14, a similarity sum calculation unit 15, a penalty value subtraction unit 16, and a stroke dictionary storage unit. 17, an input stroke storage unit 18, and a search result presentation unit 19. The stroke similarity calculating unit 13, the similarity table creating unit 14, the similarity sum calculating unit 15, the penalty value subtracting unit 16, and the search result presenting unit 19 are stored in a memory (not shown) of the processor (not shown) of the computer 1. It is functionally realized by executing a character search program installed in the system (not shown), and hardware corresponding to each of these units does not necessarily exist.

ポインティングデバイス11としては、マウスやペンタブレット等の、手書き入力が可能な入力装置が用いられる。なお、ポインティングデバイス11としてディスプレイ一体型のペンタブレットを用いる場合は、ディスプレイ12を省略可能である。   As the pointing device 11, an input device capable of handwriting input such as a mouse or a pen tablet is used. When a display-integrated pen tablet is used as the pointing device 11, the display 12 can be omitted.

ユーザにより手書き入力がなされると、ポインティングデバイス11が、入力パターンの1ストローク毎に、入力ストロークデータを取得する。取得された入力ストロークデータは、入力ストローク記憶部18に記憶される。なお、「1ストローク」とは、ペンダウンからペンアップまで(マウスの場合はドラッグ開始からドラッグ終了まで)に描かれる連続した軌跡を意味する。   When handwriting input is made by the user, the pointing device 11 acquires input stroke data for each stroke of the input pattern. The acquired input stroke data is stored in the input stroke storage unit 18. “One stroke” means a continuous trajectory drawn from pen down to pen up (in the case of a mouse, from drag start to drag end).

ここで、入力ストロークデータは、
(xi,yi,ti):0≦i<n
と表される時系列の特徴点データである。xi,yiは特徴点座標であり、tiはペンアップダウン情報、iは特徴点番号、nは整数である。特徴点は、ストロークのサンプリングデータから特徴的な点を抽出したものである。特徴点抽出には、再帰的最遠点分離法や、一定の時間間隔でサンプリングしなおす方法、方向成分を量子化する方法など、様々な方法が提案されている。本発明は、特徴点抽出の方法には特に依存しない。また、複数のストロークが入力された場合、それらの入力ストロークのストロークデータには、筆記された順にストローク番号が付けられ、入力ストローク記憶部18に記憶される。本実施形態では、ストローク番号を付加したが、ストロークデータを順番に保存するなり、ストロークデータ列を保存するなりして、ストロークの順序がわかるように保存すれば、必ずしもストローク番号を付加する必要はない。
Here, the input stroke data is
(X i , y i , t i ): 0 ≦ i <n
It is time-series feature point data expressed as follows. x i and y i are feature point coordinates, t i is pen up / down information, i is a feature point number, and n is an integer. The feature point is a characteristic point extracted from the sampling data of the stroke. Various methods have been proposed for feature point extraction, such as a recursive farthest point separation method, a method of re-sampling at regular time intervals, and a method of quantizing a direction component. The present invention does not particularly depend on the feature point extraction method. When a plurality of strokes are input, the stroke data of those input strokes are given stroke numbers in the order of writing, and stored in the input stroke storage unit 18. In this embodiment, the stroke number is added. However, if the stroke data is saved in order, the stroke data string is saved, and the stroke order is saved, it is not always necessary to add the stroke number. Absent.

ストローク辞書記憶部17には、様々な文字または記号のパターンを、そのパターンを構成するストロークで表した辞書ストロークデータが記憶されている。時系列の特徴点データで定義した辞書ストロークデータが記憶されている。辞書ストロークデータは、
(vxij,vyij,vtij):0≦i<m, 0≦j<k
と表される。vxij,vyijは特徴点座標であり、vtijはペンアップダウン情報である。jは特徴点番号である。iは、その文字パターン中のストローク番号である。ストローク番号は、各ストロークの筆順に従って付与されている。m、kは整数である。
The stroke dictionary storage unit 17 stores dictionary stroke data in which various character or symbol patterns are represented by strokes constituting the pattern. Dictionary stroke data defined by time-series feature point data is stored. Dictionary stroke data is
(Vx ij , vy ij , vt ij ): 0 ≦ i <m, 0 ≦ j <k
It is expressed. vx ij and vy ij are feature point coordinates, and vt ij is pen-up / down information. j is a feature point number. i is a stroke number in the character pattern. The stroke number is given according to the stroke order of each stroke. m and k are integers.

ストローク類似度算出部13は、ストローク辞書記憶部17を参照し、入力ストロークと、一つの文字前記辞書ストローク群のうち、一つの辞書ストロークまたは連続して筆記される辞書ストローク列との類似度を求める。求めた類似度は、類似度表作成部14へ渡される。なお、「辞書ストローク列」とは、1つの文字パターンを構成する複数の辞書ストロークのうち、時系列的に連続する複数のストロークを意味する。つまり、ユーザが手書き入力を行う際、本来は複数ストロークで筆記すべき箇所を、続け書きにより1ストロークで筆記することがしばしばある。このため、ストローク類似度算出部13は、1つの入力ストロークを、複数の辞書ストローク(すなわち辞書ストローク列)と順次対比することにより、類似度を求める。   The stroke similarity calculation unit 13 refers to the stroke dictionary storage unit 17 and calculates the similarity between an input stroke and one dictionary stroke or a dictionary stroke sequence written continuously in the dictionary stroke group of one character. Ask. The obtained similarity is passed to the similarity table creation unit 14. Note that the “dictionary stroke sequence” means a plurality of strokes continuous in time series among a plurality of dictionary strokes constituting one character pattern. That is, when a user performs handwriting input, a portion that should be originally written with a plurality of strokes is often written with one stroke by continuous writing. For this reason, the stroke similarity calculation unit 13 obtains a similarity by sequentially comparing one input stroke with a plurality of dictionary strokes (that is, a dictionary stroke sequence).

ストローク類似度算出部13は、入力ストロークと辞書ストローク列との類似度を求める際に、伸縮マッチングの手法を用いる。伸縮マッチングで最もよく知られている方法の一つには、動的計画法によるマッチング(いわゆるDPマッチング)があるが、本発明に適用可能な伸縮マッチングはDPマッチングのみに限定されない。なお、入力ストローク一つに対して辞書ストローク列の何画目までが対応するかを決定するためには、次のような方法が考えられる。例えば、一つの入力ストロークと、辞書ストローク列の1画目のストロークからt画目のストロークまでで形成されるパターンとの類似度s(t)が、同じ入力ストロークと、同じ辞書ストローク列の1画目のストロークから(t+1)画目のストロークまでの類似度s(t+1)よりも大きい場合に、前記一つの入力ストロークに対して、辞書ストローク列の1画目からt画目までのストロークが対応していると決定する方法である。   The stroke similarity calculation unit 13 uses an expansion / contraction matching method when obtaining the similarity between the input stroke and the dictionary stroke sequence. One of the most well-known methods for stretch matching is dynamic programming matching (so-called DP matching), but stretch matching applicable to the present invention is not limited to DP matching alone. In order to determine the number of strokes in the dictionary stroke sequence corresponding to one input stroke, the following method can be considered. For example, the similarity s (t) between one input stroke and a pattern formed from the stroke of the first stroke to the stroke of the t-th stroke in the dictionary stroke sequence is the same input stroke and 1 in the same dictionary stroke sequence. When the similarity s (t + 1) from the stroke of the stroke to the stroke of the (t + 1) stroke is larger, the stroke from the first stroke to the t-th stroke of the dictionary stroke sequence is greater than the one input stroke. It is a method of determining that it corresponds.

これにより、例えば、図2(a)に示すような入力ストロークSin1と、図2(b)に示すような辞書パターンとがあった場合、ストローク類似度算出部13は、図2(a)の入力ストロークSin1に対応付く辞書ストロークが、図2(b)のSdic1およびSdic2であると決定することができる。 Thereby, for example, when there is an input stroke S in1 as shown in FIG. 2A and a dictionary pattern as shown in FIG. It is possible to determine that the dictionary strokes corresponding to the input stroke S in1 are S dic1 and S dic2 in FIG.

ストローク類似度算出部13が入力ストロークと辞書ストローク列との類似度を求めるための他の方法としては、次のような方法もある。例えば、入力ストロークの特徴点(xp,yp)と辞書ストロークの特徴点(vxiq、vyiq)との対応を[p,q]と表し、そのローカルな評価値がf(p,q)で与えられるとき、対応[p,q]の次の対応[p’、q’]を、[p+1,q]、[p,q+1]、[p+1,q+1]の中からf(p’、q’)を最大化するように選択し、これを繰り返す。そして、この繰り返し処理の過程で、入力ストロークおよび辞書ストローク共に最終ストロークまで辿り着いた時点で、マッチングを終了する。 As another method for the stroke similarity calculation unit 13 to obtain the similarity between the input stroke and the dictionary stroke sequence, there is the following method. For example, the feature point (x p, y p) of the input stroke characteristic points of the dictionary stroke (vx iq, vy iq) represents the correspondence between [p, q] and its local evaluation value f (p, q ), The next correspondence [p ′, q ′] of the correspondence [p, q] is changed to f (p ′, q + 1) from [p + 1, q], [p, q + 1], [p + 1, q + 1]. Choose to maximize q ′) and repeat. Then, in the process of this iterative process, when both the input stroke and the dictionary stroke reach the final stroke, the matching is finished.

類似度表作成部14は、ストローク類似度算出部13の処理結果に基づき、入力パターンと辞書に登録されている全ての文字パターンとの組合せについて、入力ストロークに対する辞書ストローク列の類似度の表(以降、この表を「類似度表」と称する。)を作成し、少なくとも一時的に記憶する。なお、「類似度表を作成する」とは、入力ストロークと辞書ストローク列との全ての組合せについて総当たり的に類似度を求めることを意味し、必ずしも表形式の出力を求めるわけではない。   Based on the processing result of the stroke similarity calculation unit 13, the similarity table creation unit 14 creates a dictionary stroke string similarity table for input strokes for combinations of input patterns and all character patterns registered in the dictionary ( Hereinafter, this table is referred to as a “similarity table”) and is stored at least temporarily. Note that “creating a similarity table” means that all combinations of input strokes and dictionary stroke sequences are determined for similarity, and does not necessarily require a tabular output.

ここで、類似度表作成部14は、一つの入力パターンと一つの文字パターンとの類似度表を作成する場合、当該一つの入力パターンを構成するストロークのそれぞれと、当該一つの文字パターンの辞書ストロークのそれぞれを先頭とする辞書ストローク列との組合せについて、ストローク類似度算出部13を用いて類似度を求める。つまり、入力パターンのストローク数をnin、辞書に登録されているある文字パターンのストローク数をndicとすれば、その入力パターンと文字パターンとの組合せについて、nin×ndicの大きさの類似度表が作られることになる。 Here, when creating the similarity table between one input pattern and one character pattern, the similarity table creating unit 14 creates a dictionary of each stroke constituting the one input pattern and the one character pattern. For the combination with the dictionary stroke sequence starting from each stroke, the similarity is calculated using the stroke similarity calculation unit 13. That is, if the number of strokes of the input pattern is n in and the number of strokes of a certain character pattern registered in the dictionary is n dic , the combination of the input pattern and the character pattern has a size of n in × n dic . A similarity table will be created.

例えば、入力パターンのストローク数が3であり、辞書に登録されているある文字パターンのストローク数が5であるとする。この場合、この入力パターンと文字パターンとの組合せについて、入力パターンの3ストロークのそれぞれに対して、次の(1)〜(5)までの5種類の辞書ストローク列との類似度が、ストローク類似度算出部13によって求められ、3×5の類似度表が作成される。この類似度表の各要素を、ss(i,j)と表すことにする。ここで、iは入力パターン中のストローク番号、jは辞書ストローク列の先頭となる辞書ストローク番号である。   For example, it is assumed that the number of strokes of the input pattern is 3, and the number of strokes of a certain character pattern registered in the dictionary is 5. In this case, with respect to the combination of the input pattern and the character pattern, the similarity between the three strokes of the following (1) to (5) is the stroke similarity for each of the three strokes of the input pattern. The 3 × 5 similarity table is created by the degree calculation unit 13. Each element of the similarity table is represented as ss (i, j). Here, i is the stroke number in the input pattern, and j is the dictionary stroke number that is the head of the dictionary stroke sequence.

(1)文字パターンの辞書ストロークの第1画〜第5画からなる辞書ストローク列、
(2)第2画〜第5画からなる辞書ストローク列、
(3)第3画〜第5画からなる辞書ストローク列、
(4)第4および第5画からなる辞書ストローク列、
(5)第5画からなる辞書ストローク列。
(1) A dictionary stroke string composed of first to fifth strokes of dictionary strokes of character patterns;
(2) A dictionary stroke sequence comprising the second to fifth strokes,
(3) A dictionary stroke sequence consisting of the third to fifth strokes,
(4) A dictionary stroke sequence comprising the fourth and fifth strokes,
(5) A dictionary stroke sequence composed of the fifth stroke.

類似度和算出部15は、類似度表作成部14によって作成された類似度表から、各入力ストロークに対して最も大きな類似度を与える辞書ストローク列を選び出し、入力ストロークの全てについて、選び出した最大類似度の和stを求める。すなわち、和stは以下の式によって求められる。   The similarity sum calculation unit 15 selects a dictionary stroke sequence that gives the largest similarity to each input stroke from the similarity table created by the similarity table creation unit 14, and selects the maximum selected for all the input strokes. Find the sum st of similarities. That is, the sum st is obtained by the following equation.

st=Σ[i=0〜(nin−1)]max[ss(i,j)|0≦j<ndic] st = Σ [i = 0 to (n in −1)] max [ss (i, j) | 0 ≦ j <n dic ]

ペナルティ値減算部16は、類似度表作成部14によって作成された類似度表を参照し、入力パターンと、前記辞書記憶部に登録されている文字または記号のパターンとの間に、類似度を下げるべき所定のペナルティ条件が成立する場合に、前記ペナルティ条件に応じた所定のペナルティ値を、類似度和算出部15によって算出された最大類似度和stから減算する。この結果得られた値が、入力パターンと文字パターンとのパターン一致度となる。ペナルティ値の算出については、後に詳しく説明する。   The penalty value subtracting unit 16 refers to the similarity table created by the similarity table creating unit 14, and calculates the similarity between the input pattern and the character or symbol pattern registered in the dictionary storage unit. When a predetermined penalty condition to be lowered is satisfied, a predetermined penalty value corresponding to the penalty condition is subtracted from the maximum similarity sum st calculated by the similarity sum calculation unit 15. The value obtained as a result is the pattern matching degree between the input pattern and the character pattern. The calculation of the penalty value will be described in detail later.

検索結果提示部19は、検索結果として、入力パターンと辞書に登録されている全ての文字パターンとの組合せのそれぞれについて求められたパターン一致度が大きい順に、文字パターンをディスプレイ12に表示する。   The search result presentation unit 19 displays the character patterns on the display 12 as the search results in descending order of the pattern matching degree obtained for each combination of the input pattern and all the character patterns registered in the dictionary.

ここで、ペナルティ値減算部16の処理の詳細について説明する。ペナルティ値減算部16においてペナルティ値の減算を行うべきペナルティ条件としては、例えば、以下の第1〜第3の条件が考えられる。   Here, details of the processing of the penalty value subtraction unit 16 will be described. For example, the following first to third conditions can be considered as penalty conditions for the penalty value subtraction unit 16 to subtract penalty values.

第1の条件は、ペナルティ値減算部16が、類似度表作成部14によって作成された類似度表を参照し、ある入力パターンに含まれる一つの入力ストロークに対して最大類似度を与える辞書ストローク列が、同じ入力パターンに含まれる別の入力ストロークに対しても最大類似度を与えることである。この場合、ペナルティ値減算部16は、入力ストロークと辞書ストロークとの対応に重複ありと見なして、所定のペナルティ値p1を最大類似度和stから減算する。 The first condition is that the penalty value subtracting unit 16 refers to the similarity table created by the similarity table creating unit 14 and gives a dictionary stroke that gives the maximum similarity to one input stroke included in a certain input pattern. The column gives maximum similarity to another input stroke included in the same input pattern. In this case, the penalty value subtracting unit 16 considers that there is an overlap in the correspondence between the input stroke and the dictionary stroke, and subtracts the predetermined penalty value p 1 from the maximum similarity sum st.

上述のように、本実施形態では、ストローク類似度算出部13、類似度表作成部14、および類似度和算出部15は、入力パターンと辞書の文字パターンとにおけるストローク対応の重複を許して類似度を算出する処理を行っている。しかし、このように、入力パターンの各ストロークが本来対応すべき辞書ストローク以外とのストロークとも重複して対応することを許可すれば、例えば同様のストロークがいくつか並んだパターンを持つ文字間の識別が困難になってしまう。上記第1の条件によるペナルティ値減算は、ストロークの重複による識別の困難さをある程度軽減し、高精度化する役割を果たす。   As described above, in this embodiment, the stroke similarity calculation unit 13, the similarity table creation unit 14, and the similarity sum calculation unit 15 are similar by allowing overlapping of stroke correspondence between the input pattern and the character pattern in the dictionary. Processing to calculate the degree. However, as described above, if it is permitted that each stroke of the input pattern overlaps with a stroke other than the dictionary stroke that should correspond originally, for example, identification between characters having a pattern in which several similar strokes are arranged. Will become difficult. The penalty value subtraction according to the first condition serves to reduce the difficulty of identification due to overlapping strokes to some extent and increase the accuracy.

例えば、図3(a)に示す入力パターンを構成する3つの入力ストロークSin1〜Sin3を、図3(b)に示す文字パターンの辞書ストロークSdic1〜Sdic3と比較して類似度を求めた場合、入力ストロークSin1およびSin2のそれぞれは、辞書ストロークSdic1に対して最大類似度を有し、入力ストロークSin3は、辞書ストロークSdic3に対して最大類似度を有する。ペナルティ値減算部16によるペナルティ値減算がなければ、入力ストロークSin1〜Sin3の全てについて、位置、形状共に良く似た辞書ストロークが存在するので、図3(a)の入力パターンと、図3(b)の文字パターンとのパターン一致度は、非常に高くなる。しかし、図3(a)の入力パターンは、図3(b)の文字パターンの部分パターンではないので、パターン一致度があまり高くなることは好ましくない。そこで、ペナルティ値減算部16が、上記第1の条件が満たされた場合に、最大類似度を与えるストロークの重複にペナルティを課すことで、文字全体としての検索の正確性を向上させることができる。 For example, the three input strokes S in1 to S in3 constituting the input pattern shown in FIG. 3A are compared with the dictionary strokes S dic1 to S dic3 of the character pattern shown in FIG. In this case, each of the input strokes S in1 and S in2 has the maximum similarity with respect to the dictionary stroke S dic1 , and the input stroke S in3 has the maximum similarity with respect to the dictionary stroke S dic3 . If there is no penalty value subtraction by the penalty value subtraction unit 16, there are dictionary strokes having similar positions and shapes for all of the input strokes S in1 to S in3 , and therefore, the input pattern of FIG. The degree of pattern matching with the character pattern of (b) becomes very high. However, since the input pattern in FIG. 3A is not a partial pattern of the character pattern in FIG. 3B, it is not preferable that the pattern matching degree is too high. Therefore, the penalty value subtraction unit 16 can improve the accuracy of the search for the entire character by imposing a penalty on the overlapping strokes that give the maximum similarity when the first condition is satisfied. .

第2の条件は、ある入力ストロークaに対して一定値以上の類似度で対応する辞書ストロークAがあるとき、この辞書ストロークAの後に、入力ストロークaの次の入力ストロークbに対して一定値以上の類似度で対応する辞書ストロークがないことである。この場合、ペナルティ値減算部16は、所定のペナルティ値p2を最大類似度和stから減算する。これにより、筆順違いにもある程度のペナルティを与えることができる。 The second condition is that when there is a dictionary stroke A corresponding to a certain input stroke a with a similarity equal to or greater than a certain value, the dictionary stroke A is followed by a constant value for the input stroke b next to the input stroke a. There is no corresponding dictionary stroke with the above similarity. In this case, the penalty value subtraction unit 16 subtracts a predetermined penalty value p 2 from the maximum similarity sum st. Thereby, a certain amount of penalty can be given to the stroke order difference.

例えば、図4(a)の入力パターン「白」は、図4(b)の辞書パターン「鮮」と図4(c)の辞書パターン「的」との両方の部分パターンである。なお、図4(a)の入力パターンは、文字「白」の正しい筆順で手書き入力されたものとする。ここで、図4(a)の入力パターンの各ストロークに対し、図4(b)の辞書パターン「鮮」も、図4(c)の辞書パターン「的」と同様に、非常に類似した位置と形状を持った辞書ストロークを有している。したがって、入力ストロークと辞書ストローク列との類似度だけを考慮すれば、図4(a)の入力パターン「白」に対して、図4(b)の辞書パターン「鮮」は、図4(c)の辞書パターン「的」と同列に並ぶほど、高い類似度を取り得る。しかし、図4(a)の入力パターンに対しては、左側に「魚」を持つ文字より、左側に「白」を持った文字が、検索結果の上位に来ることが望ましい。   For example, the input pattern “white” in FIG. 4A is a partial pattern of both the dictionary pattern “clear” in FIG. 4B and the dictionary pattern “target” in FIG. It is assumed that the input pattern of FIG. 4A is input by handwriting in the correct stroke order of the character “white”. Here, for each stroke of the input pattern shown in FIG. 4A, the dictionary pattern “Fine” shown in FIG. 4B also has a very similar position as the dictionary pattern “Target” shown in FIG. 4C. And a dictionary stroke with a shape. Therefore, if only the similarity between the input stroke and the dictionary stroke sequence is taken into consideration, the dictionary pattern “Fine” in FIG. 4B is different from the input pattern “White” in FIG. ) In the same row as the dictionary pattern “target”, the higher the degree of similarity. However, for the input pattern of FIG. 4A, it is desirable that the character having “white” on the left side is higher in the search results than the character having “fish” on the left side.

図4(a)の入力パターンに対して、図4(c)の辞書パターン「的」の各ストロークは、順番に、高い類似度で対応付く。しかし、図4(a)の入力パターンに対して、図4(b)の辞書パターン「鮮」の各ストロークは、必ずしも高い類似度で対応付かない。例えば、図4(a)の入力パターン「白」の1番目のストロークSin1と、図4(b)の辞書パターン「鮮」の1番目のストロークSdic1とは、位置、形状ともに類似しており、高類似度を取り得る。しかし、図4(a)の入力パターン「白」の2番目のストロークSin2と、図4(b)の辞書パターン「鮮」の2番目のストロークSdic2とは、形状差が大きく、類似度は低い。 Each stroke of the dictionary pattern “target” in FIG. 4C corresponds to the input pattern in FIG. 4A in order with high similarity. However, each stroke of the dictionary pattern “Fine” in FIG. 4B does not necessarily correspond with high similarity to the input pattern in FIG. For example, the first stroke S in1 of the input pattern “white” in FIG. 4A and the first stroke S dic1 of the dictionary pattern “ Bright ” in FIG. 4B are similar in both position and shape. And high similarity can be taken. However, the second stroke S in2 of the input pattern “white” in FIG. 4A and the second stroke S dic2 of the dictionary pattern “fresh” in FIG. Is low.

そこで、上記第2の条件に従い、入力ストロークの筆記順に従って、高い類似度で辞書ストロークが対応付いているかどうかを判定し、対応付いていない場合は、所定のペナルティ値p2を最大類似度和stから減算する。これにより、図4(a)の入力パターン「白」に対して、図4(c)の辞書パターン「的」の方が、図4(b)の辞書パターン「鮮」よりも、検索結果中の順位が高くなるという効果が得られる。 Therefore, according to the second condition, it is determined whether the dictionary stroke is associated with a high degree of similarity according to the writing order of the input strokes. If not, the predetermined penalty value p 2 is set to the maximum similarity sum. Subtract from st. As a result, the dictionary pattern “Target” in FIG. 4C is more in the search result than the dictionary pattern “Fine” in FIG. 4B with respect to the input pattern “White” in FIG. The effect that the ranking of becomes higher is obtained.

第3の条件は、辞書ストロークと一定値以上の類似度での対応がない入力ストロークがあること、言い換えれば、ある入力ストロークに対して対応すると見なせる辞書ストロークがないことである。このとき、ペナルティ値減算部16は、所定のペナルティ値p3を最大類似度和stから減算する。 The third condition is that there is an input stroke that does not correspond to a dictionary stroke with a certain degree of similarity or more, in other words, there is no dictionary stroke that can be regarded as corresponding to a certain input stroke. At this time, the penalty value subtraction unit 16 subtracts a predetermined penalty value p 3 from the maximum similarity sum st.

例えば、図5(a)の入力パターンのストロークSin1〜Sin5は、図5(b)の辞書パターン「龍」のストロークSdic1〜Sdic5と、非常に高い類似度で対応付く。しかし、図5(a)の入力パターンのストロークSin6は、図5(b)の辞書パターン「龍」のどの部分とも類似しない。入力ストロークと辞書ストローク列との類似度だけを考慮すれば、図5(a)の入力パターンに対して、図5(b)の辞書パターン「龍」は、入力ストロークSin6と類似するストロークを含まないにも関わらず、入力ストロークSin6と類似するストロークを含む図5(c)の辞書パターン「部」と同様に、高いパターン一致度を有することとなってしまう。 For example, the strokes S in1 to S in5 of the input pattern in FIG. 5A correspond to the strokes S dic1 to S dic5 of the dictionary pattern “dragon” in FIG. 5B with very high similarity. However, the stroke S in6 of the input pattern in FIG. 5A is not similar to any part of the dictionary pattern “dragon” in FIG. Considering only the similarity between the input stroke and the dictionary stroke sequence, the dictionary pattern “dragon” in FIG. 5B has a stroke similar to the input stroke S in6 compared to the input pattern in FIG. Although it is not included, it has a high pattern matching degree like the dictionary pattern “part” in FIG. 5C including a stroke similar to the input stroke Sin6 .

そこで、上記第3の条件に従い、入力パターンの一部が辞書パターンのどの部分とも類似しない場合は、その辞書パターンの文字が検索結果の上位にならないよう、所定のペナルティ値p3を最大類似度和stから減算する。 Therefore, according to the third condition, when a part of the input pattern is not similar to any part of the dictionary pattern, the predetermined penalty value p 3 is set to the maximum similarity so that the characters of the dictionary pattern do not become higher in the search result. Subtract from the sum st.

なお、上記第1〜第3の条件のそれぞれに従って適用されるペナルティ値p1〜p3は、実験的に適切な値を求めれば良い。例えば、ペナルティ値減算部16の演算結果として得られるパターン一致度が0〜1000の値を取り得る場合、様々な手書き文字パターンを用いてシミュレーションを行いながら、ペナルティ値を所定値きざみ(例えば50ずつ)で変更させ、最も適切な検索結果が得られるペナルティ値を採用すれば良い。 Incidentally, the penalty value p 1 ~p 3 is applied according to each of the first to third conditions may be determined empirically appropriate value. For example, when the pattern matching degree obtained as a calculation result of the penalty value subtracting unit 16 can take a value of 0 to 1000, the penalty value is set in increments of a predetermined value (for example, 50 by increments) while performing simulation using various handwritten character patterns. ) And adopt a penalty value that gives the most appropriate search result.

以上のとおり、ペナルティ値減算部16によるペナルティ値の適用条件について、第1〜第3の3つの具体的条件を例示したが、ペナルティ値減算部16によるペナルティ値の算出に際して、上記第1〜第3の条件を複数組み合わせて適用することも有効である。   As described above, the first to third specific conditions are exemplified for the penalty value application condition by the penalty value subtracting unit 16. However, when the penalty value is calculated by the penalty value subtracting unit 16, It is also effective to apply a combination of the three conditions.

次に、図6を参照し、本発明にかかる文字検索方法の手順を説明する。   Next, the procedure of the character search method according to the present invention will be described with reference to FIG.

ユーザがポインティングデバイス11を用いて手書きパターンを入力すると、ポインティングデバイス11が、入力パターンの1ストローク毎に、入力ストロークデータを取得し、入力ストローク記憶部18に記憶する(ステップOp1)。   When the user inputs a handwritten pattern using the pointing device 11, the pointing device 11 acquires input stroke data for each stroke of the input pattern and stores it in the input stroke storage unit 18 (step Op1).

次に、類似度表作成部14が、入力パターンの最初のストロークと、ストローク辞書記憶部17に登録されている最初の文字パターンとを選択し、入力ストロークと当該文字パターンの辞書ストローク列との類似度表を作成する(ステップOp2)。このステップOp2において、入力ストロークと辞書ストローク列との類似度を求める際に、ストローク類似度算出部13が、例えば伸縮マッチングの手法を用いる。   Next, the similarity table creation unit 14 selects the first stroke of the input pattern and the first character pattern registered in the stroke dictionary storage unit 17, and sets the input stroke and the dictionary stroke sequence of the character pattern. A similarity table is created (Step Op2). In this step Op2, when the similarity between the input stroke and the dictionary stroke string is obtained, the stroke similarity calculation unit 13 uses, for example, an expansion / contraction matching technique.

類似度表作成部14は、類似度表が完成するまで、すなわち、入力ストローク数をnin、前記文字パターンの辞書ストローク数をndicとすれば、入力ストロークと辞書ストローク列との全ての組合せについて、nin×ndicの大きさの類似度表が完成するまで(ステップOp3にてYes)、ステップOp2を繰り返し実行する。 The similarity table creation unit 14 makes all combinations of input strokes and dictionary stroke sequences until the similarity table is completed, that is, if the number of input strokes is n in and the number of dictionary strokes of the character pattern is n dic. Step 2 is repeatedly executed until a similarity table having a size of n in × n dic is completed (Yes in Step Op3).

次に、類似度和算出部15が、ステップOp2で作成された類似度表から、各入力ストロークに対して最も大きな類似度を与える辞書ストローク列を選び出し、入力ストロークの全てについて、選び出した最大類似度の和stを求める(ステップOp4)。   Next, the similarity sum calculation unit 15 selects a dictionary stroke sequence that gives the largest similarity to each input stroke from the similarity table created in Step Op2, and selects the maximum similarity selected for all the input strokes. The sum of degrees st is obtained (step Op4).

次に、ペナルティ値減算部16が、ステップOp2で作成された類似度表に基づいてペナルティ値を算出し、算出されたペナルティ値をステップOp4で算出された最大類似度和stから減算することにより、入力パターンと文字パターンとのパターン一致度を求める(ステップOp5)。   Next, the penalty value subtracting unit 16 calculates a penalty value based on the similarity table created in Step Op2, and subtracts the calculated penalty value from the maximum similarity sum st calculated in Step Op4. Then, the pattern matching degree between the input pattern and the character pattern is obtained (Step Op5).

上記のステップOp2〜Op5を、入力パターンと、ストローク辞書記憶部17に登録されている全ての文字パターンとの組合せについてパターン一致度が求められるまで(ステップOp6にてYes)、繰り返す。   The above Steps Op2 to Op5 are repeated until the pattern matching degree is obtained for the combination of the input pattern and all the character patterns registered in the stroke dictionary storage unit 17 (Yes in Step Op6).

そして、最後に、検索結果提示部19が、入力パターンに対してパターン一致度が高い順に、検索結果としての文字パターンをディスプレイ12に表示する(Op7)。   Finally, the search result presentation unit 19 displays character patterns as search results on the display 12 in descending order of pattern matching with respect to the input pattern (Op 7).

以上の手順により、複数画が1ストロークで入力された場合でも、入力パターンと部分的に一致するパターンを含む文字を、効率的にかつ高精度に検索することができる。   With the above procedure, even when a plurality of images are input with one stroke, it is possible to efficiently and accurately search for a character including a pattern that partially matches the input pattern.

本発明は、複数画が1ストロークで入力された場合でも、部分パターンによる文字検索が可能な文字検索装置およびこれを具現化するコンピュータプログラムとして利用可能である。   INDUSTRIAL APPLICABILITY The present invention can be used as a character search device capable of searching for characters using partial patterns even when a plurality of images are input with one stroke, and a computer program that embodies this.

本発明の一実施形態にかかる文字検索装置のブロック図である。It is a block diagram of the character search device concerning one Embodiment of this invention. 本発明の一実施形態にかかる文字検索装置における入力パターン(a)と辞書パターン(b)との対応付けを説明するための図である。It is a figure for demonstrating matching with the input pattern (a) and dictionary pattern (b) in the character search device concerning one Embodiment of this invention. 本発明の一実施形態にかかる文字検索装置におけるペナルティ条件が課される場合の入力パターン(a)と辞書パターン(b)との組合せの一例を示した図である。It is the figure which showed an example of the combination of the input pattern (a) and dictionary pattern (b) in case the penalty condition is imposed in the character search device concerning one Embodiment of this invention. 本発明の一実施形態にかかる文字検索装置におけるペナルティ条件が課される場合の入力パターン(a)と辞書パターン(b)との組合せの一例と、前記入力パターンとの組合せでペナルティ条件が課されない辞書パターン(c)の例を示した図である。No penalty condition is imposed on an example of a combination of an input pattern (a) and a dictionary pattern (b) when a penalty condition is imposed in the character search device according to an embodiment of the present invention, and a combination of the input pattern. It is the figure which showed the example of the dictionary pattern (c). 本発明の一実施形態にかかる文字検索装置におけるペナルティ条件が課される場合の入力パターン(a)と辞書パターン(b)との組合せの一例と、前記入力パターンとの組合せでペナルティ条件が課されない辞書パターン(c)の例を示した図である。No penalty condition is imposed on an example of a combination of an input pattern (a) and a dictionary pattern (b) when a penalty condition is imposed in the character search device according to an embodiment of the present invention, and a combination of the input pattern. It is the figure which showed the example of the dictionary pattern (c). 本発明にかかる文字検索方法の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of the character search method concerning this invention. 従来の部分パターン文字検索装置の画面例である。It is an example of the screen of the conventional partial pattern character search device.

符号の説明Explanation of symbols

1 コンピュータ(文字検索装置)
11 ポインティングデバイス
12 ディスプレイ
13 ストローク類似度算出部
14 類似度表作成部
15 類似度和算出部
16 ペナルティ値減算部
17 ストローク辞書記憶部
18 入力ストローク記憶部
19 検索結果提示部
1 Computer (character search device)
DESCRIPTION OF SYMBOLS 11 Pointing device 12 Display 13 Stroke similarity calculation part 14 Similarity table preparation part 15 Similarity sum calculation part 16 Penalty value subtraction part 17 Stroke dictionary memory | storage part 18 Input stroke memory | storage part 19 Search result presentation part

Claims (6)

筆跡入力可能なポインティングデバイスによる入力パターンと、辞書記憶部に登録されている文字または記号のパターンとを対比し、前記入力パターンと全体または部分が一致または類似する文字または記号を提示する文字検索装置であって、
前記辞書記憶部には、文字または記号のパターンを表すデータとして、当該文字または記号を構成するストロークである辞書ストロークを表すデータと、各辞書ストロークの筆順を表す筆順データとが少なくとも登録され、
前記辞書記憶部を参照し、入力パターンに含まれる入力ストロークと、一つの辞書ストロークまたは連続して筆記される複数の辞書ストロークである辞書ストローク列との類似度を求めるストローク類似度算出部と、
前記ストローク類似度算出部によって求められた類似度に基づき、一つの入力パターンに含まれる入力ストロークと、前記辞書記憶部に登録されている一つの文字または記号の辞書ストローク列との組合せについて類似度表を作成する類似度表作成部と、
前記類似度表から、各入力ストロークに対して最大類似度を与える辞書ストローク列を決定し、全ての入力ストロークに対する最大類似度の総和を最大類似度和として求める類似度和算出部と、
前記類似度表を参照し、入力パターンと、前記辞書記憶部に登録されている文字または記号のパターンとの間に、類似度を下げるべき所定のペナルティ条件が成立していれば、前記条件に応じた所定のペナルティ値を前記最大類似度和から減算してパターン一致度とし、所定のペナルティ条件が成立していない時には前記最大類似度和をパターン一致度とする、ペナルティ値減算部と、
前記ペナルティ値減算部で求められたパターン一致度が高い順に、文字または記号を検索結果として提示する検索結果提示部とを備えたことを特徴とする文字検索装置。
A character search device that compares an input pattern by a pointing device capable of handwriting input with a character or symbol pattern registered in a dictionary storage unit and presents a character or symbol that matches or resembles the whole or part of the input pattern. Because
In the dictionary storage unit, as data representing a character or symbol pattern, at least data representing a dictionary stroke which is a stroke constituting the character or symbol and stroke order data representing the stroke order of each dictionary stroke are registered,
A stroke similarity calculation unit that refers to the dictionary storage unit and obtains a similarity between an input stroke included in the input pattern and a dictionary stroke sequence that is one dictionary stroke or a plurality of dictionary strokes written continuously,
Based on the similarity obtained by the stroke similarity calculation unit, the similarity for a combination of an input stroke included in one input pattern and a dictionary stroke sequence of one character or symbol registered in the dictionary storage unit A similarity table creation section for creating a table;
A similarity sum calculation unit that determines a dictionary stroke sequence that gives the maximum similarity for each input stroke from the similarity table, and calculates the sum of the maximum similarities for all input strokes as the maximum similarity sum;
Referring to the similarity table, if a predetermined penalty condition for lowering the similarity is satisfied between the input pattern and the character or symbol pattern registered in the dictionary storage unit, the condition is A penalty value subtracting unit that subtracts a corresponding predetermined penalty value from the maximum similarity sum to obtain a pattern matching degree, and when the predetermined penalty condition is not established, the maximum similarity sum to be a pattern matching degree;
A character search apparatus comprising: a search result presenting unit that presents characters or symbols as a search result in descending order of the degree of pattern matching obtained by the penalty value subtracting unit.
前記ペナルティ条件が、ある入力パターンに含まれる一つの入力ストロークに対して最大の類似度を与える辞書ストローク列が、同じ入力パターンに含まれる別の入力ストロークに対しても最大の類似度を与えることである、請求項1に記載の文字検索装置。   The dictionary stroke sequence in which the penalty condition gives the maximum similarity to one input stroke included in a certain input pattern gives the maximum similarity to another input stroke included in the same input pattern The character search device according to claim 1, wherein 前記ペナルティ条件が、ある入力ストロークに対して一定値以上の類似度で対応する辞書ストロークがあり、かつ、当該辞書ストロークの後に、前記入力ストロークの次の入力ストロークに対して前記一定値以上の類似度で対応する辞書ストロークがないことである、請求項1に記載の文字検索装置。   The penalty condition has a dictionary stroke corresponding to a certain input stroke with a certain degree of similarity, and is similar to the input stroke following the input stroke after the dictionary stroke with the certain value or more. The character search device according to claim 1, wherein there is no corresponding dictionary stroke in degrees. 前記ペナルティ条件が、入力ストロークに対して一定値以上の類似度で対応する辞書ストロークがないことである、請求項1に記載の文字検索装置。   The character search device according to claim 1, wherein the penalty condition is that there is no dictionary stroke corresponding to the input stroke with a similarity greater than or equal to a certain value. 前記ストローク類似度算出部が、伸縮マッチング法に従って、入力ストロークと辞書ストローク列との類似度を求める、請求項1〜4のいずれか一項に記載の文字検索装置。   The character search device according to any one of claims 1 to 4, wherein the stroke similarity calculation unit obtains a similarity between an input stroke and a dictionary stroke sequence according to an expansion / contraction matching method. 筆跡入力可能なポインティングデバイスによる入力パターンと、辞書記憶部に登録されている文字または記号のパターンとを対比し、前記入力パターンと全体または部分が一致または類似する文字または記号を提示する文字検索処理をコンピュータに実行させるプログラムであって、
前記辞書記憶部には、文字または記号のパターンを表すデータとして、当該文字または記号を構成するストロークである辞書ストロークを表すデータと、各辞書ストロークの筆順を表す筆順データとが少なくとも登録され、
前記辞書記憶部を参照し、入力パターンに含まれる入力ストロークと、一つの辞書ストロークまたは連続して筆記される複数の辞書ストロークである辞書ストローク列との類似度を求めるストローク類似度算出処理と、
前記ストローク類似度算出処理によって求められた類似度に基づき、一つの入力パターンに含まれる入力ストロークと、前記辞書記憶部に登録されている一つの文字または記号の辞書ストローク列との組合せについて類似度表を作成する類似度表作成処理と、
前記類似度表から、各入力ストロークに対して最大類似度を与える辞書ストローク列を決定し、全ての入力ストロークに対する最大類似度の総和を最大類似度和として求める類似度和算出処理と、
前記類似度表を参照し、入力パターンと、前記辞書記憶部に登録されている文字または記号のパターンとの間に、類似度を下げるべき所定のペナルティ条件が成立していれば、前記条件に応じた所定のペナルティ値を前記最大類似度和から減算してパターン一致度とし、所定のペナルティ条件が成立していない時には前記最大類似度和をパターン一致度とする、ペナルティ値減算処理と、
前記ペナルティ値減算処理で求められたパターン一致度が高い順に、文字または記号を検索結果として提示する検索結果提示処理とをコンピュータに実行させることを特徴とするプログラム。
Character search processing that compares an input pattern by a pointing device capable of handwriting input with a character or symbol pattern registered in the dictionary storage unit and presents a character or symbol that matches or resembles the whole or part of the input pattern A program for causing a computer to execute
In the dictionary storage unit, as data representing a character or symbol pattern, at least data representing a dictionary stroke which is a stroke constituting the character or symbol and stroke order data representing the stroke order of each dictionary stroke are registered,
A stroke similarity calculation process for obtaining a similarity between an input stroke included in the input pattern and a dictionary stroke sequence that is a plurality of dictionary strokes written continuously, with reference to the dictionary storage unit;
Based on the similarity obtained by the stroke similarity calculation process, the similarity for a combination of an input stroke included in one input pattern and a dictionary stroke sequence of one character or symbol registered in the dictionary storage unit Similarity table creation processing to create a table,
A similarity sum calculation process for determining a dictionary stroke sequence that gives the maximum similarity for each input stroke from the similarity table, and calculating a sum of the maximum similarities for all input strokes as a maximum similarity sum;
Referring to the similarity table, if a predetermined penalty condition for lowering the similarity is satisfied between the input pattern and the character or symbol pattern registered in the dictionary storage unit, the condition is A penalty value subtraction process in which a predetermined penalty value is subtracted from the maximum similarity sum to obtain a pattern matching degree, and when the predetermined penalty condition is not satisfied, the maximum similarity sum is used as a pattern matching degree;
A program that causes a computer to execute search result presentation processing that presents characters or symbols as search results in descending order of the degree of pattern matching obtained in the penalty value subtraction processing.
JP2006034277A 2006-02-10 2006-02-10 Character search device Expired - Fee Related JP4817297B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006034277A JP4817297B2 (en) 2006-02-10 2006-02-10 Character search device
CNB2006100850834A CN100481115C (en) 2006-02-10 2006-05-31 Character searching device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006034277A JP4817297B2 (en) 2006-02-10 2006-02-10 Character search device

Publications (2)

Publication Number Publication Date
JP2007213433A true JP2007213433A (en) 2007-08-23
JP4817297B2 JP4817297B2 (en) 2011-11-16

Family

ID=38491791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006034277A Expired - Fee Related JP4817297B2 (en) 2006-02-10 2006-02-10 Character search device

Country Status (2)

Country Link
JP (1) JP4817297B2 (en)
CN (1) CN100481115C (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8669957B2 (en) 2011-05-10 2014-03-11 Fujitsu Limited Information processing apparatus, input control method, and non-transitory computer-readable storage medium
CN110069753A (en) * 2018-01-24 2019-07-30 北京京东尚科信息技术有限公司 A kind of method and apparatus generating similarity information
CN113191257A (en) * 2021-04-28 2021-07-30 北京有竹居网络技术有限公司 Order of strokes detection method and device and electronic equipment

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235697A (en) * 2013-04-12 2013-08-07 广东欧珀移动通信有限公司 Handwriting inputting method and device
CN104182732B (en) * 2014-08-12 2017-09-26 南京师范大学 Feature based matrix carries out the hand-written Chinese character strokes confirmation method of similarity mode
JP6451316B2 (en) * 2014-12-26 2019-01-16 富士通株式会社 Character recognition program, character recognition method, and character recognition device
CN109190615B (en) * 2018-07-26 2021-12-03 徐庆 Shape-near word recognition determination method, device, computer device and storage medium
CN112486337B (en) * 2020-11-17 2023-11-24 深圳市鹰硕技术有限公司 Handwriting graph analysis method and device and electronic equipment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0962788A (en) * 1995-08-28 1997-03-07 Ricoh Co Ltd On-line handwritten character recognition method
JPH09198466A (en) * 1996-01-16 1997-07-31 Mitsubishi Electric Corp Method and device for on-line character recognition
JPH1049631A (en) * 1996-05-22 1998-02-20 Seiko Epson Corp Method and device for on-line handwritted character recognition
JPH10247221A (en) * 1997-03-04 1998-09-14 Mitsubishi Electric Corp On-line character recognizing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0962788A (en) * 1995-08-28 1997-03-07 Ricoh Co Ltd On-line handwritten character recognition method
JPH09198466A (en) * 1996-01-16 1997-07-31 Mitsubishi Electric Corp Method and device for on-line character recognition
JPH1049631A (en) * 1996-05-22 1998-02-20 Seiko Epson Corp Method and device for on-line handwritted character recognition
JPH10247221A (en) * 1997-03-04 1998-09-14 Mitsubishi Electric Corp On-line character recognizing device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8669957B2 (en) 2011-05-10 2014-03-11 Fujitsu Limited Information processing apparatus, input control method, and non-transitory computer-readable storage medium
CN110069753A (en) * 2018-01-24 2019-07-30 北京京东尚科信息技术有限公司 A kind of method and apparatus generating similarity information
CN113191257A (en) * 2021-04-28 2021-07-30 北京有竹居网络技术有限公司 Order of strokes detection method and device and electronic equipment
CN113191257B (en) * 2021-04-28 2023-04-07 北京有竹居网络技术有限公司 Order of strokes detection method and device and electronic equipment

Also Published As

Publication number Publication date
CN101017531A (en) 2007-08-15
JP4817297B2 (en) 2011-11-16
CN100481115C (en) 2009-04-22

Similar Documents

Publication Publication Date Title
TWI321294B (en) Method and device for determining at least one recognition candidate for a handwritten pattern
JP4817297B2 (en) Character search device
JP3131287B2 (en) Pattern recognition device
JP4308785B2 (en) Digital ink question retrieval apparatus and method
US7369702B2 (en) Template-based cursive handwriting recognition
CN111931710B (en) Online handwritten character recognition method and device, electronic equipment and storage medium
WO1995008158A1 (en) Universal symbolic handwriting recognition system
JP2002203208A (en) Device, method and program for recognizing on-line character and computer readable storage medium
CN114365075B (en) Method for selecting a graphical object and corresponding device
CN108701215B (en) System and method for identifying multi-object structures
JPWO2014147712A1 (en) Information processing apparatus, information processing method, and program
JP2005025566A (en) Handwriting input device, method and program, and program recording medium
JP2015099566A (en) Feature calculation device, method and program
JP2005251222A (en) Handwritten input device, handwritten input program, and program recording medium
US11393231B2 (en) System and method for text line extraction
CN115311674A (en) Handwriting processing method and device, electronic equipment and readable storage medium
KR20220132536A (en) Math detection in handwriting
Nguyen et al. Semi-incremental recognition of on-line handwritten Japanese text
JP2007072718A (en) Handwritten mathematical expression recognizing device and recognizing method
JP5713707B2 (en) Stroke generation device, stroke generation method, stroke generation program, character generation device, character generation method, and character generation program
Abuzaraida et al. Online recognition of Arabic handwritten words system based on Alignments matching Algorithm
JP7095450B2 (en) Information processing device, character recognition method, and character recognition program
WO2006090404A1 (en) System, method, and apparatus for accomodating variability in chunking the sub-word units of online handwriting
JP3128357B2 (en) Character recognition processor
KR100204618B1 (en) Method and system for recognition of character or graphic

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110825

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110825

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4817297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees