JP2018067132A - Handwritten character recognizing device, detection device, and processing device - Google Patents
Handwritten character recognizing device, detection device, and processing device Download PDFInfo
- Publication number
- JP2018067132A JP2018067132A JP2016205061A JP2016205061A JP2018067132A JP 2018067132 A JP2018067132 A JP 2018067132A JP 2016205061 A JP2016205061 A JP 2016205061A JP 2016205061 A JP2016205061 A JP 2016205061A JP 2018067132 A JP2018067132 A JP 2018067132A
- Authority
- JP
- Japan
- Prior art keywords
- writing instrument
- unit
- character
- sensors
- medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims description 89
- 238000012545 processing Methods 0.000 title claims description 43
- 239000000284 extract Substances 0.000 claims abstract description 9
- 230000001133 acceleration Effects 0.000 claims description 60
- 238000000034 method Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 19
- 238000000926 separation method Methods 0.000 claims description 18
- 238000000611 regression analysis Methods 0.000 claims description 16
- 238000005315 distribution function Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 description 15
- 210000003811 finger Anatomy 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Abstract
Description
本発明は、筆記具を用いて媒体に筆記された文字を認識する手書き文字認識装置、検出装置および処理装置に関する。 The present invention relates to a handwritten character recognition device, a detection device, and a processing device that recognize characters written on a medium using a writing instrument.
従来から、筆記具に内蔵された検出装置によって筆記具の動きを検出することにより、その筆記具を用いて媒体（例えば、ディスプレイ面）に筆記された文字を認識する手書き文字認識装置が知られている（例えば、特許文献１を参照）。 2. Description of the Related Art Conventionally, a handwritten character recognition device that recognizes characters written on a medium (for example, a display surface) using the writing instrument by detecting the movement of the writing instrument by a detection device built in the writing instrument is known ( For example, see Patent Document 1).
しかしながら、このような従来の技術では、筆記具の動きを検出する検出装置を内蔵した筆記具を用いた場合にのみ、手書き文字を認識することが可能であり、そのような検出装置を内蔵しない一般の筆記具（例えば、一般に市販されているボールペンや鉛筆）を用いた場合には、手書き文字を認識することが可能でないのが発明者の認識であった。また、そのような検出手段を内蔵する筆記具の場合には、筆記具の先端には空きスペースが少なく、そのような検出手段を筆記具の先端に収納することができないため、筆記具の動きの検出精度が低く、その結果、手書き文字の認識精度も低いというのが発明者の認識であった。さらに、従来の手書き文字認識装置では、筆記具が移動した軌跡から文字を分離する処理の精度が低いため、その結果、手書き文字の認識精度が低いというのが発明者の認識であった。 However, in such a conventional technique, it is possible to recognize a handwritten character only when a writing instrument having a detection device that detects the movement of the writing instrument is used, and a general device that does not include such a detection device. When a writing instrument (for example, a commercially available ballpoint pen or pencil) is used, the inventor has recognized that handwritten characters cannot be recognized. Further, in the case of a writing instrument incorporating such a detection means, there is little empty space at the tip of the writing instrument, and such detection means cannot be stored at the tip of the writing instrument. The inventor recognized that the recognition accuracy of handwritten characters was low as a result. Furthermore, in the conventional handwritten character recognition device, since the accuracy of the process of separating the character from the locus of movement of the writing instrument is low, the inventors have recognized that the recognition accuracy of the handwritten character is low as a result.
本発明は、手書き文字の認識精度が高い手書き文字認識装置、検出装置および処理装置を提供することを目的とする。 An object of the present invention is to provide a handwritten character recognition device, a detection device, and a processing device with high handwriting recognition accuracy.
本発明の手書き文字認識装置は、筆記具を用いて媒体に筆記された文字を認識する手書き文字認識装置であって、前記手書き文字認識装置は、前記筆記具が前記媒体に接触しているか否かを検出する複数のセンサを含む検出部と、前記筆記具が移動した軌跡を復元する復元部と、前記複数のセンサのうちの少なくとも２つのセンサから出力されるデータに基づいて、前記軌跡から文字を分離する分離部と、前記分離部によって分離された前記文字の特徴を抽出する抽出部と、前記抽出部によって抽出された前記文字の特徴に基づいて、前記文字を認識する認識部とを備えている。 The handwritten character recognition device of the present invention is a handwritten character recognition device that recognizes a character written on a medium using a writing instrument, and the handwritten character recognition device determines whether or not the writing tool is in contact with the medium. Based on data output from at least two of the plurality of sensors, a detection unit including a plurality of sensors to detect, a restoration unit that restores a trajectory that the writing instrument has moved, and separates characters from the trajectory A separation unit that extracts the feature of the character separated by the separation unit, and a recognition unit that recognizes the character based on the feature of the character extracted by the extraction unit. .
本発明の１つの実施形態では、前記複数のセンサは、前記筆記具の動きを検出する少なくとも１つの第１のタイプのセンサと、前記筆記具が前記媒体に接触することによって発生する音および／または振動を検出する少なくとも１つの第２のタイプのセンサとを含み、
前記分離部は、前記少なくとも１つの第１のタイプのセンサから出力されるデータと前記少なくとも１つの第２のタイプのセンサから出力されるデータとに基づいて、前記軌跡から前記文字を分離するように構成されていてもよい。
In one embodiment of the present invention, the plurality of sensors includes at least one first type sensor that detects movement of the writing instrument, and sound and / or vibration generated when the writing instrument contacts the medium. And at least one second type sensor for detecting
The separation unit separates the character from the trajectory based on data output from the at least one first type sensor and data output from the at least one second type sensor. It may be configured.
本発明の１つの実施形態では、前記少なくとも１つの第１のタイプのセンサは、加速度センサ、ジャイロセンサ、磁気センサのうちの少なくとも１つを含んでいてもよい。 In one embodiment of the present invention, the at least one first type sensor may include at least one of an acceleration sensor, a gyro sensor, and a magnetic sensor.
本発明の１つの実施形態では、前記少なくとも１つの第２のタイプのセンサは、マイクロホン、加速度センサ、ジャイロセンサ、ひずみゲージのうちの少なくとも１つを含んでいてもよい。 In one embodiment of the present invention, the at least one second type sensor may include at least one of a microphone, an acceleration sensor, a gyro sensor, and a strain gauge.
本発明の１つの実施形態では、前記検出部は、前記筆記具を持つ手の指先に装着されることが可能なように構成された装置に含んでいてもよい。 In one embodiment of the present invention, the detection unit may be included in an apparatus configured to be attached to a fingertip of a hand having the writing instrument.
本発明の１つの実施形態では、前記分離部は、前記複数のセンサから出力されるデータを回帰分析手法により導出された関数に入力した結果に基づいて、前記軌跡から前記文字を分離するように構成されていてもよい。 In one embodiment of the present invention, the separation unit separates the character from the trajectory based on a result of inputting data output from the plurality of sensors to a function derived by a regression analysis method. It may be configured.
本発明の１つの実施形態では、前記回帰分析手法は、カーネル関数を用い、前記回帰分析手法により導出された前記関数は、結合分布関数であってもよい。 In one embodiment of the present invention, the regression analysis method may use a kernel function, and the function derived by the regression analysis method may be a combined distribution function.
本発明の１つの実施形態では、前記抽出部は、前記文字の特徴がチェーンコードで表現されるように前記文字の特徴を抽出し、前記認識部は、前記チェーンコードを用いて前記文字を認識するようにしてもよい。 In one embodiment of the present invention, the extraction unit extracts the character feature so that the character feature is expressed by a chain code, and the recognition unit recognizes the character using the chain code. You may make it do.
本発明の検出装置は、媒体に文字を筆記する際に用いられる筆記具が前記媒体に接触しているか否かを検出する検出部と、前記検出部によって検出された検出結果を示すデータを出力する出力部とを備えた検出装置であって、前記検出装置は、前記筆記具を持つ手の指先に装着されることが可能であるように構成されている。 The detection device of the present invention outputs a detection unit for detecting whether or not a writing instrument used for writing a character on the medium is in contact with the medium, and data indicating a detection result detected by the detection unit. A detection device including an output unit, wherein the detection device is configured to be attached to a fingertip of a hand having the writing instrument.
本発明の処理装置は、筆記具を用いて媒体に文字を筆記する際に前記筆記具が前記媒体に接触しているか否かを検出する複数のセンサのうちの少なくとも２つのセンサから出力されるデータに基づいて、手書き文字を認識する処理を実行する処理装置であって、前記処理装置は、前記２つのセンサから出力されるデータを受信する受信部と、前記筆記具が移動した軌跡を復元する復元部と、前記少なくとも２つのセンサから出力されるデータに基づいて、前記軌跡から文字を分離する分離部と、前記分離部によって分離された前記文字の特徴を抽出する抽出部と、前記抽出部によって抽出された前記文字の特徴に基づいて、前記文字を認識する認識部とを備えている。 The processing apparatus according to the present invention provides data output from at least two sensors out of a plurality of sensors that detect whether or not the writing tool is in contact with the medium when writing characters on the medium using the writing tool. A processing unit that executes processing for recognizing handwritten characters, the processing unit receiving a data output from the two sensors, and a restoration unit restoring the trajectory moved by the writing instrument And a separation unit that separates characters from the trajectory based on data output from the at least two sensors, an extraction unit that extracts features of the characters separated by the separation unit, and extraction by the extraction unit And a recognition unit that recognizes the character based on the characteristic of the character.
本発明によれば、手書き文字の認識精度が高い手書き文字認識装置、検出装置および処理装置を提供することが可能である。 According to the present invention, it is possible to provide a handwritten character recognition device, a detection device, and a processing device with high handwriting recognition accuracy.
以下、図面を参照しながら、本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
１．検出装置の概要
出願人は、筆記具（例えば、一般に市販されているボールペンや鉛筆など）を用いて媒体（例えば、紙など）に文字を筆記する場合において、その筆記具が媒体に接触しているか否かを高精度に検出することが可能な検出装置を提供する。
1. Outline of the detection apparatus When the applicant writes a character on a medium (for example, paper) using a writing instrument (for example, a commercially available ballpoint pen or pencil), whether or not the writing instrument is in contact with the medium Provided is a detection device capable of detecting the above with high accuracy.
図１（ａ）は、本発明の１つの実施形態である検出装置１０を指先に装着した状態で筆記具１を用いて紙に文字を筆記している様子を示す。ここで、本明細書では、「文字」とは、アルファベット、数字、ひらがな、カタカナ、漢字などの文字の他、図形や記号を含むものとして定義する。 Fig.1 (a) shows a mode that the character is written on the paper using the writing instrument 1 in the state which mounted | wore the fingertip with the detection apparatus 10 which is one Embodiment of this invention. Here, in this specification, “character” is defined as including characters such as alphabets, numbers, hiragana, katakana, and kanji, as well as graphics and symbols.
図１（ａ）に示される例では、検出装置１０は、筆記具１を持つ手の人差し指の指先（すなわち、指の先端と指の第１関節との間）に装着されているが、本発明はこれに限定されない。検出装置１０は、筆記具１を持つ手の任意の指の指先に装着されることが可能である。例えば、検出装置１０は、筆記具１を持つ手の親指の指先や中指の指先に装着されることも可能である。 In the example shown in FIG. 1A, the detection device 10 is attached to the fingertip of the index finger of the hand holding the writing instrument 1 (that is, between the tip of the finger and the first joint of the finger). Is not limited to this. The detection device 10 can be attached to the fingertip of any finger of the hand holding the writing instrument 1. For example, the detection device 10 can be attached to the fingertip of the thumb or middle finger of the hand holding the writing instrument 1.
筆記具１の動きを検出するのに、筆記具１のペン先の動きを直接検出するのが最善であるが、筆記具１のペン先の動きを直接検出することはできない。したがって、本発明の検出装置１０は、図１に示されるように、第１のタイプのセンサを、筆記具１を持つ手の指先に装着することにより、筆記具１のペン先の動きを直接検出したのと同等の動きを検出することを達成する。 In order to detect the movement of the writing instrument 1, it is best to directly detect the movement of the pen tip of the writing instrument 1, but the movement of the pen tip of the writing instrument 1 cannot be detected directly. Therefore, as shown in FIG. 1, the detection device 10 of the present invention directly detects the movement of the pen tip of the writing instrument 1 by attaching the first type sensor to the fingertip of the hand holding the writing instrument 1. Detecting movement equivalent to that of.
筆記中の筆記具１のペン先の動きは、親指と人差し指との間の筆記具１を支持する部分を支点として、その支点を中心とした回転運動および平行運動である。このことから、筆記具１のペン先の動きを正確に検出するためには、支点から遠く、できるだけ筆記具１のペン先に近い位置で筆記具のペン先の動きを検出することが求められるが、指先は指のその他の部分に比べて筆記具１のペン先に近い位置に存在し、また筆記具１のペン先の動きに対して忠実に追従して動く。 The movement of the pen tip of the writing instrument 1 during writing is a rotational movement and a parallel movement around the fulcrum with a portion supporting the writing instrument 1 between the thumb and the index finger as a fulcrum. From this, in order to accurately detect the movement of the pen tip of the writing instrument 1, it is required to detect the movement of the pen tip of the writing instrument at a position as far as possible from the fulcrum and as close to the pen tip of the writing instrument 1 as possible. Exists closer to the pen tip of the writing instrument 1 than the rest of the finger, and moves following the movement of the pen tip of the writing instrument 1 faithfully.
したがって、筆記具１を持つ手の指先の動きを検出することにより、筆記具１のペン先の動きを直接検出したのとほぼ同等の結果を得ることが可能となる。 Therefore, by detecting the movement of the fingertip of the hand holding the writing instrument 1, it is possible to obtain a result that is almost equivalent to the direct detection of the movement of the penpoint of the writing instrument 1.
それに対して、指先以外の指の位置で筆記具１のペン先の動きを検出しようとする場合、検出する位置が筆記具１のペン先から遠くなるため、筆記具１のペン先の動きが減衰して伝わることになる。そのため、筆記具１のペン先の動きを検出する成分が筆記具１のペン先の動き以外の動きの成分との間に埋もれてしまう場合があり、筆記具１のペン先の動きを検出する精度が劣る場合がある。 On the other hand, when the movement of the pen tip of the writing instrument 1 is to be detected at the position of the finger other than the fingertip, the detected position is far from the pen tip of the writing instrument 1, and therefore the movement of the pen tip of the writing instrument 1 is attenuated. It will be transmitted. Therefore, the component for detecting the movement of the pen tip of the writing instrument 1 may be buried between the movement component other than the movement of the pen tip of the writing instrument 1, and the accuracy of detecting the movement of the pen tip of the writing instrument 1 is poor. There is a case.
検出装置１０を筆記具１を持つ手の指先に装着することにより、検出装置１０を筆記具１のペン先に近づけることができる。これにより、筆記具１を用いて文字を筆記している際の筆記具１のペン先の動きを精度よく検出することが可能である。 By attaching the detection apparatus 10 to the fingertip of the hand holding the writing instrument 1, the detection apparatus 10 can be brought closer to the pen tip of the writing instrument 1. Thereby, it is possible to accurately detect the movement of the pen tip of the writing instrument 1 when writing characters using the writing instrument 1.
図１（ａ）に示される例では、検出装置１０はバンド２によって筆記具１を持つ手の指先に装着されているが、本発明はこれに限定されない。検出装置１０を筆記具１を持つ手の指先に装着することが可能である限り、任意の手段で装着することが可能である。例えば、検出装置１０を粘着テープによって筆記具１を持つ手の指先に装着するようにしてもよい。 In the example shown in FIG. 1A, the detection device 10 is attached to the fingertip of the hand holding the writing instrument 1 by the band 2, but the present invention is not limited to this. As long as the detection device 10 can be attached to the fingertip of the hand holding the writing instrument 1, it can be attached by any means. For example, the detection device 10 may be attached to the fingertip of the hand holding the writing instrument 1 with an adhesive tape.
筆記具１としては、一般に市販されている任意のタイプの筆記具（例えば、一般に市販されているボールペン、シャープペンシル、鉛筆などの筆記具）やタッチパネルに文字を筆記するためのスタイラスを用いることが可能である。 As the writing instrument 1, it is possible to use any type of writing instrument that is generally commercially available (for example, a commercially available writing instrument such as a ballpoint pen, mechanical pencil, or pencil) or a stylus for writing characters on a touch panel. .
図１（ｂ）は、検出装置１０の拡大図である。図１（ｂ）に示されるように、検出装置１０が筆記具１を持つ手の指先に装着されると、互いに直交するＸ’軸、Ｙ’軸、Ｚ’軸が定義される。 FIG. 1B is an enlarged view of the detection device 10. As shown in FIG. 1B, when the detection device 10 is attached to the fingertip of the hand holding the writing instrument 1, the X ′ axis, the Y ′ axis, and the Z ′ axis that are orthogonal to each other are defined.
２．検出装置の構成
図２は、本発明の１つの実施形態の検出装置１０の構成の一例を示す。検出装置１０は、筆記具１が媒体３に接触しているか否かを検出する複数のセンサを含む検出部７を含む。検出部７は、筆記具１の動きを検出する少なくとも１つの第１のタイプのセンサを含むセンサ部４と、筆記具１が媒体３に接触することによって発生する音および／または振動を検出する少なくとも１つの第２のタイプのセンサを含むセンサ部５とを含む。
2. Configuration of Detection Device FIG. 2 shows an example of the configuration of the detection device 10 according to one embodiment of the present invention. The detection device 10 includes a detection unit 7 including a plurality of sensors that detect whether or not the writing instrument 1 is in contact with the medium 3. The detection unit 7 includes a sensor unit 4 including at least one first type sensor that detects the movement of the writing instrument 1, and at least one that detects sound and / or vibration generated when the writing instrument 1 contacts the medium 3. Sensor unit 5 including two second type sensors.
図２に示される例では、センサ部４は、第１のタイプのセンサとして、加速度センサ４ａとジャイロセンサ４ｂとを含む。加速度センサ４ａとしては、静電容量型、ピエゾ抵抗型などの任意の型の加速度センサを用いることが可能である。また、ジャイロセンサ４ｂとしては、回転ジャイロ型、振動ジャイロ型、光学式ジャイロ型などの任意の型のジャイロセンサを用いることが可能である。 In the example shown in FIG. 2, the sensor unit 4 includes an acceleration sensor 4a and a gyro sensor 4b as the first type of sensor. As the acceleration sensor 4a, any type of acceleration sensor such as a capacitance type or a piezoresistive type can be used. As the gyro sensor 4b, any type of gyro sensor such as a rotary gyro type, a vibration gyro type, or an optical gyro type can be used.
加速度センサ４ａは、図１（ｂ）に示される指先の軸をＹ’軸とした場合のＸ’軸方向の加速度、Ｙ’軸方向の加速度、Ｚ’軸方向の加速度を検出することが可能であるように構成されている。 The acceleration sensor 4a can detect acceleration in the X′-axis direction, acceleration in the Y′-axis direction, and acceleration in the Z′-axis direction when the fingertip axis shown in FIG. 1B is the Y′-axis. It is comprised so that.
同様に、ジャイロセンサ４ｂは、図１（ｂ）に示される指先の軸をＹ’軸とした場合のＸ’軸方向の角速度、Ｙ’軸方向の角速度、Ｚ’軸方向の角速度を検出することが可能であるように構成されている。 Similarly, the gyro sensor 4b detects the angular velocity in the X′-axis direction, the angular velocity in the Y′-axis direction, and the angular velocity in the Z′-axis direction when the fingertip axis shown in FIG. 1B is the Y′-axis. Is configured to be possible.
図２に示される例では、センサ部５は、第２のタイプのセンサとして、筆記具１が媒体３に接触することによって発生する音を検出するマイクロホン５ａと、筆記具１が媒体３に接触することによって発生する振動を検出する加速度センサ５ｂとを含む。マイクロホン５ａとしては、動電型、圧電型などの任意の型のマイクロホンを用いることが可能である。また、加速度センサ５ｂとしては、静電容量型、ピエゾ抵抗型などの任意の型の加速度センサを用いることが可能である。センサ部５は、ＦＦＴ（高速フーリエ変換）６をさらに含む。ＦＦＴ６は、マイクロホン５ａから出力されるデータおよび加速度センサ５ｂから出力されるデータを受け取り、それらのデータにおけるノイズを除去する。 In the example shown in FIG. 2, the sensor unit 5 is, as a second type sensor, a microphone 5 a that detects sound generated when the writing instrument 1 contacts the medium 3, and the writing instrument 1 contacts the medium 3. And an acceleration sensor 5b for detecting vibration generated by. As the microphone 5a, any type of microphone such as an electrodynamic type or a piezoelectric type can be used. As the acceleration sensor 5b, any type of acceleration sensor such as a capacitance type or a piezoresistive type can be used. The sensor unit 5 further includes an FFT (Fast Fourier Transform) 6. The FFT 6 receives data output from the microphone 5a and data output from the acceleration sensor 5b, and removes noise in those data.
加速度センサ５ｂは、図１（ｂ）に示される指先の軸をＹ’軸とした場合のＸ’軸方向の角速度、Ｙ’軸方向の角速度、Ｚ’軸方向の角速度を検出することが可能であるように構成されている。 The acceleration sensor 5b can detect the angular velocity in the X′-axis direction, the angular velocity in the Y′-axis direction, and the angular velocity in the Z′-axis direction when the fingertip axis shown in FIG. It is comprised so that.
検出装置１０は、加速度センサ４ａから出力されるデータ、ジャイロセンサ４ｂから出力されるデータ、マイクロホン５ａから出力されＦＦＴ６を通過したデータ、加速度センサ５ｂから出力されＦＦＴ６を通過したデータを検出装置１０の外部に出力する出力部８をさらに含む。例えば、出力部８は、これらのデータを文字認識処理を実行する処理装置（例えば、図４を参照して後述される処理装置２０）に出力する。出力部８は、これらのデータを無線通信手段（例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）など）を介して処理装置に出力するようにしてもよいし、これらのデータを有線通信手段を介して処理装置に出力するようにしてもよい。 The detection device 10 uses the data output from the acceleration sensor 4a, the data output from the gyro sensor 4b, the data output from the microphone 5a and passed through the FFT 6, and the data output from the acceleration sensor 5b and passed through the FFT 6 of the detection device 10. An output unit 8 for outputting to the outside is further included. For example, the output unit 8 outputs these data to a processing device that executes character recognition processing (for example, a processing device 20 described later with reference to FIG. 4). The output unit 8 may output these data to the processing device via wireless communication means (for example, Wi-Fi, Bluetooth (registered trademark), Zigbee (registered trademark), etc.), or these data May be output to the processing device via wired communication means.
なお、図２に示される例では、文字認識処理を実行する処理装置（例えば、図４を参照して後述される処理装置２０）は、検出装置１０の外部に設けられているが、このような処理装置１０を検出装置１０の内部に設けるようにしてもよい。この場合には、検出装置１０内の出力部８、処理装置２０内の入力部２１を省略することが可能である。 In the example shown in FIG. 2, the processing device that executes the character recognition processing (for example, the processing device 20 described later with reference to FIG. 4) is provided outside the detection device 10. Such a processing device 10 may be provided inside the detection device 10. In this case, the output unit 8 in the detection device 10 and the input unit 21 in the processing device 20 can be omitted.
図１に示されるように、検出装置１０を指先に装着した状態で筆記具１を持ち、紙などの媒体３に文字を書くと、筆記具１の動きに合わせて指先の位置および角度が変化することにより、指先に加速度および角速度が発生する。また、筆記具１が媒体３に文字を書く際に、筆記具１が媒体３に接触することによって音および／または振動が発生する。検出装置１０によれば、このようにして発生する加速度を加速度センサ４ａによって検出することが可能であり、このようにして発生する角速度をジャイロセンサ４ｂによって検出することが可能であり、このようにして発生する音をマイクロホン５ａによって検出することが可能であり、このようにして発生する振動を加速度センサ５ｂによって検出することが可能である。 As shown in FIG. 1, when the writing instrument 1 is held with the detection device 10 attached to the fingertip and a character is written on a medium 3 such as paper, the position and angle of the fingertip changes according to the movement of the writing instrument 1. As a result, acceleration and angular velocity are generated at the fingertip. Further, when the writing instrument 1 writes a character on the medium 3, sound and / or vibration is generated when the writing instrument 1 comes into contact with the medium 3. According to the detection device 10, the acceleration generated in this way can be detected by the acceleration sensor 4a, and the angular velocity generated in this way can be detected by the gyro sensor 4b. The generated sound can be detected by the microphone 5a, and the vibration generated in this way can be detected by the acceleration sensor 5b.
なお、図２に示される例では、センサ部４に含まれる第１のタイプのセンサの例として、加速度センサ４ａとジャイロセンサ４ｂとを説明したが、センサ部４の構成はこれに限定されない。センサ部４は、筆記具１の動きを検出するという機能を有するセンサである限り、１つ以上の任意の数のセンサを含むことが可能である。例えば、センサ部４は、加速度センサ、ジャイロセンサ、磁気センサのうちの少なくとも１つを含む。 In the example illustrated in FIG. 2, the acceleration sensor 4 a and the gyro sensor 4 b are described as examples of the first type sensor included in the sensor unit 4, but the configuration of the sensor unit 4 is not limited to this. The sensor unit 4 can include one or more arbitrary numbers of sensors as long as the sensor unit 4 has a function of detecting the movement of the writing instrument 1. For example, the sensor unit 4 includes at least one of an acceleration sensor, a gyro sensor, and a magnetic sensor.
同様に、図２に示される例では、センサ部に含まれる第２のタイプのセンサの例として、マイクロホン５ａと加速度センサ５ｂを説明したが、センサ部５の構成はこれに限定されない。センサ部５は、筆記具１が媒体３に接触することによって発生する音および／または振動を検出するという機能を有するセンサである限り、１つ以上の任意の数のセンサを含むことが可能である。例えば、センサ部５は、マイクロホン、加速度センサ、ジャイロセンサ、ひずみゲージのうちの少なくとも１つを含む。 Similarly, in the example illustrated in FIG. 2, the microphone 5 a and the acceleration sensor 5 b are described as examples of the second type sensor included in the sensor unit, but the configuration of the sensor unit 5 is not limited thereto. The sensor unit 5 may include one or more arbitrary numbers of sensors as long as the sensor unit 5 has a function of detecting sound and / or vibration generated when the writing instrument 1 contacts the medium 3. . For example, the sensor unit 5 includes at least one of a microphone, an acceleration sensor, a gyro sensor, and a strain gauge.
さらに、図２に示される例では、加速度センサ４ａと加速度センサ５ｂとを別個のセンサとして構成する例を説明したが、本発明はこれに限定されない。加速度センサ４ｂが加速度センサ５ｂを兼ねることも可能である。これにより、加速度センサの数を減らすことが可能であり、その結果、検出装置１０を小型化することが可能である。あるいは、加速度センサ５ｂの代わりに、ジャイロセンサ４ｂを用いる場合には、ジャイロセンサ４ｂが、筆記具１の動きを検出するとともに、加速度センサ５ｂの代わりに、筆記具１が媒体３に接触することよって発生する振動を検出することも可能である。これにより、ジャイロセンサ４ｂの数を最小限にすることが可能であり、その結果、検出装置１０を小型化することが可能である。 Further, in the example shown in FIG. 2, the example in which the acceleration sensor 4a and the acceleration sensor 5b are configured as separate sensors has been described, but the present invention is not limited to this. The acceleration sensor 4b can also serve as the acceleration sensor 5b. Thereby, the number of acceleration sensors can be reduced, and as a result, the detection apparatus 10 can be reduced in size. Alternatively, when the gyro sensor 4b is used instead of the acceleration sensor 5b, the gyro sensor 4b detects the movement of the writing instrument 1 and the writing instrument 1 contacts the medium 3 instead of the acceleration sensor 5b. It is also possible to detect vibrations that occur. As a result, the number of gyro sensors 4b can be minimized, and as a result, the detection device 10 can be downsized.
３．検出装置によって達成される効果
検出装置１０によれば、検出装置１０を筆記具１を持つ手の指先に装着することが可能であるため、検出装置１０を筆記具１のペン先に近い位置で検出装置１０を保持することが可能である。これにより、筆記具１の動きを精度よく検出することが可能となる。さらに、検出装置１０が筆記具１と別体になっているため、携帯性に優れ、筆記具１を選ばず市販の筆記具１などを用いて媒体３に文字を筆記する場合でも、筆記具１の動きを検出することが可能となる。これにより、特殊な筆記具を用いることなく、一般に市販されている筆記具１を用いた場合でも手書き文字認識を容易に行うことが可能である。その結果、例えば、ホワイトボードにマジックで手書きした文字（アナログの手書き文字）を容易にデジタル化することが可能であり、個人のレクチャーノートに鉛筆で手書きした文字（アナログの手書き文字）を容易にデジタル化することが可能である。
3. According to the effect detection device 10 achieved by the detection device, since the detection device 10 can be attached to the fingertip of the hand holding the writing instrument 1, the detection device 10 is located at a position close to the pen tip of the writing instrument 1. 10 can be held. Thereby, it becomes possible to detect the movement of the writing instrument 1 with high accuracy. Furthermore, since the detection device 10 is separate from the writing instrument 1, it is excellent in portability, and even when writing characters on the medium 3 using the commercially available writing instrument 1 or the like without selecting the writing instrument 1, the movement of the writing instrument 1 is detected. It becomes possible to detect. Thereby, it is possible to easily perform handwritten character recognition even when the commercially available writing instrument 1 is used without using a special writing instrument. As a result, for example, it is possible to easily digitize characters (analog handwritten characters) handwritten with magic on a whiteboard, and characters (analog handwritten characters) handwritten with a pencil to personal lecture notes can be easily It can be digitized.
４．手書き文字認識装置の概要
図３は、本発明の１つの実施形態の手書文字認識装置において実行される手書き文字認識処理の流れの一例を示す。このような処理は、例えば、図４を参照して後述される手書文字認識装置１００において実行される。
4). Overview of Handwritten Character Recognition Device FIG. 3 shows an example of the flow of handwritten character recognition processing executed in the handwritten character recognition device of one embodiment of the present invention. Such processing is executed, for example, in the handwritten character recognition apparatus 100 described later with reference to FIG.
ＳＴＥＰ１：筆記具１の動きが検出される。このような検出は、例えば、検出装置１０によって行われる。 STEP 1: The movement of the writing instrument 1 is detected. Such detection is performed by the detection apparatus 10, for example.
ＳＴＥＰ２：筆記具１が移動した軌跡が復元される。その結果、図３に示されるように、「ｈｅｌｌｏ」という軌跡が復元される。 STEP 2: The locus of movement of the writing instrument 1 is restored. As a result, as shown in FIG. 3, the trajectory “hello” is restored.
ＳＴＥＰ３：筆記具１が移動した軌跡から文字が分離される。その結果、図３に示されるように、「ｈｅｌｌｏ」という軌跡から最初の一文字「ｈ」が分離される。 STEP 3: Characters are separated from the trajectory that the writing instrument 1 has moved. As a result, as shown in FIG. 3, the first character “h” is separated from the trajectory “hello”.
ＳＴＥＰ４：分離された文字の特徴が抽出される。その結果、図３に示されるように、例えば、抽出された文字の特徴が「４４４４４４０００６４４６」という数値化されたパターンで表現される。図３に示される例では、抽出された文字の特徴はチェーンコードで表現されているがこれには限定されない。 STEP 4: Extracted character features are extracted. As a result, as shown in FIG. 3, for example, the extracted character features are represented by a digitized pattern “444444440006446”. In the example shown in FIG. 3, the extracted character features are represented by chain codes, but the present invention is not limited to this.
ＳＴＥＰ５：抽出された文字の特徴に基づいて、文字が認識される。例えば、抽出された文字の特徴を表現するチェーンコードと同等のチェーンコードを有する基準文字が特定される。その結果、図３に示されるように、文字「ｈ」が認識されることになる。 STEP 5: Characters are recognized based on the extracted character features. For example, a reference character having a chain code equivalent to the chain code expressing the extracted character feature is specified. As a result, as shown in FIG. 3, the character “h” is recognized.
５．手書き文字認識装置の構成
図４は、本発明の１つの実施形態の手書き文字認識装置１００の構成の一例を示す。
5. Configuration of Handwritten Character Recognition Device FIG. 4 shows an example of the configuration of the handwritten character recognition device 100 according to one embodiment of the present invention.
手書き文字認識装置１００は、筆記具１の動きを検出する検出装置１０’と、検出装置１０’から出力される出力データに基づいて文字認識処理を実行する処理装置２０とを含む。 The handwritten character recognition device 100 includes a detection device 10 ′ that detects the movement of the writing instrument 1, and a processing device 20 that executes character recognition processing based on output data output from the detection device 10 ′.
手書き文字認識装置１００に含まれる検出装置１０’は、装着される場所が筆記具１を持つ手の指先に限定されない点で、図１、図２で説明した検出装置１０と相違している。手書き文字認識装置１００に含まれる検出装置１０’が装着される場所は、筆記具１を持つ手の任意の場所であってもよいし、筆記具１の内部の任意の場所であってもよいし、筆記具１の表面上の任意の場所であってもよい。例えば、検出装置１０’をタッチパネルに文字を筆記するためのスタイラスの内部に装着するようにしてもよい。そうすることにより、従来では、タッチパネル上の二次元の軌跡しか検知できなかったのに対して、本発明の手書き文字認識装置１００では、検出装置１０’に備えられた加速度センサ４ａおよび／または角速度センサ４ｂなどにより空中移動の軌跡も検知できるようになるため、より高精度な手書き文字認識を達成することができる。例えば、手書き文字認識装置１００では「い」を「心」と誤検出することなく、ただしく「い」と認識することが可能である。 The detection device 10 ′ included in the handwritten character recognition device 100 is different from the detection device 10 described with reference to FIGS. 1 and 2 in that the mounting position is not limited to the fingertip of the hand holding the writing instrument 1. The place where the detection device 10 ′ included in the handwritten character recognition device 100 is mounted may be an arbitrary place of the hand holding the writing instrument 1, or an arbitrary place inside the writing instrument 1, It may be an arbitrary place on the surface of the writing instrument 1. For example, the detection device 10 ′ may be mounted inside a stylus for writing characters on the touch panel. By doing so, conventionally, only a two-dimensional trajectory on the touch panel could be detected, whereas in the handwritten character recognition device 100 of the present invention, the acceleration sensor 4a and / or the angular velocity provided in the detection device 10 ′. Since the trajectory of air movement can be detected by the sensor 4b or the like, more accurate handwritten character recognition can be achieved. For example, the handwritten character recognition apparatus 100 can recognize “I” without erroneously detecting “I” as “heart”.
それ以外の構成については、検出装置１０’の構成は、図１、図２を参照して説明した検出装置１０の構成と同様であるので、ここではその詳細な説明を省略する。 Regarding other configurations, the configuration of the detection device 10 ′ is the same as the configuration of the detection device 10 described with reference to FIGS. 1 and 2, and thus detailed description thereof is omitted here.
処理装置２０は、検出装置１０’から出力されるデータを受信する受信部（入力部）２１と、検出装置１０’から出力されるデータに基づいて筆記具１が移動した軌跡の復元する復元部２２と、復元された軌跡から一文字に分離する分離部２３と、分離された文字の特徴を抽出する抽出部２４と、抽出された文字の特徴に基づいて文字を認識する認識部２５とを含む。 The processing device 20 includes a receiving unit (input unit) 21 that receives data output from the detection device 10 ′, and a restoration unit 22 that restores a trajectory of the movement of the writing instrument 1 based on the data output from the detection device 10 ′. And a separation unit 23 that separates the restored trajectory into one character, an extraction unit 24 that extracts features of the separated character, and a recognition unit 25 that recognizes the character based on the extracted character feature.
復元部２２は、例えば、検出装置１０に含まれる少なくとも１つのセンサ（加速度センサ４ａおよび／またはジャイロセンサ４ｂ）から出力されるデータに基づいて筆記具１が移動した軌跡を復元するように構成されている。 For example, the restoration unit 22 is configured to restore a trajectory in which the writing instrument 1 has moved based on data output from at least one sensor (the acceleration sensor 4a and / or the gyro sensor 4b) included in the detection device 10. Yes.
例えば、復元部２２は、筆記具１の移動を検出することが可能な加速度センサ４ａから出力されるデータ（加速度を示すデータ）を、積分器を用いて２回積分することにより、筆記具１の移動方向および移動距離を算出することによって、筆記具１が媒体３に描く軌跡を復元することが可能なように構成されている。あるいは、復元部２２は、ジャイロセンサ４ｂから出力されるデータ（角速度を示すデータ）を、積分器を用いて１回積分することにより、筆記具１の移動に伴って変化する角度を算出し、算出した角度と筆記具１を支える手の支持点から筆記具１の先端までの距離とに基づいて、筆記具１を用いて筆記中の各時間毎における筆記具１の位置を算出し、筆記具１が媒体３に描く軌跡を復元することが可能なように構成されていてもよい。 For example, the restoration unit 22 integrates the data (data indicating acceleration) output from the acceleration sensor 4a that can detect the movement of the writing instrument 1 twice using an integrator, thereby moving the writing instrument 1. By calculating the direction and the moving distance, the writing instrument 1 is configured to be able to restore the locus drawn on the medium 3. Alternatively, the restoration unit 22 calculates the angle that changes with the movement of the writing instrument 1 by integrating the data (data indicating the angular velocity) output from the gyro sensor 4b once using an integrator, and calculates Based on the angle and the distance from the support point of the hand supporting the writing instrument 1 to the tip of the writing instrument 1, the writing instrument 1 is used to calculate the position of the writing instrument 1 at each time during writing. You may be comprised so that the locus | trajectory to draw can be decompress | restored.
加速度センサおよびジャイロセンサから出力されるデータを積分器で積分することにより筆記具が移動した軌跡を復元する方法としては、様々な方法が既に知られている。これらの公知の方法を用いて筆記具１が移動した軌跡を復元することが可能である。 Various methods are already known as methods for restoring the locus of movement of the writing instrument by integrating the data output from the acceleration sensor and the gyro sensor with an integrator. It is possible to restore the locus of movement of the writing instrument 1 using these known methods.
復元部２２は、例えば、加速度センサ４ａから出力されるデータ、または、ジャイロセンサ４ｂから出力されるデータのいずれかに基づいて、筆記具１が移動した軌跡を復元するようにしてもよいし、加速度センサ４ａから出力されるデータおよびジャイロセンサ４ｂから出力されるデータの両方から出力されるデータに基づいて、筆記具１が移動した軌跡を復元するようにしてもよい。 For example, the restoration unit 22 may restore the locus of movement of the writing instrument 1 based on either the data output from the acceleration sensor 4a or the data output from the gyro sensor 4b. Based on data output from both the data output from the sensor 4a and the data output from the gyro sensor 4b, the locus of movement of the writing instrument 1 may be restored.
分離部２３は、筆記具１の動きを検出する少なくとも１つのセンサ（例えば、加速度センサ４ａ、角速度センサ４ｂ）から出力されるデータと、筆記具１が媒体３に接触することによって発生する音および／または振動を検出する少なくとも１つのセンサ（例えば、マイクロホン５ａ、加速度センサ５ｂ）とに基づいて、復元部２２によって復元された軌跡から一文字を分離することが可能なように構成されている。 The separation unit 23 includes data output from at least one sensor (for example, the acceleration sensor 4 a and the angular velocity sensor 4 b) that detects the movement of the writing instrument 1, sounds generated when the writing instrument 1 contacts the medium 3, and / or Based on at least one sensor (for example, microphone 5a, acceleration sensor 5b) that detects vibration, one character can be separated from the trajectory restored by the restoration unit 22.
分離部２３によれば、筆記具１が媒体３に接触しているか否かを検出する複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）からそれぞれ出力されるデータに基づいて、筆記具１が媒体３に接触しているか否かを総合的に判定することによって、筆記具１が移動した軌跡から文字が分離される。これにより、１つのセンサから出力されるデータに基づいて筆記具１が移動した軌跡から文字を分離する場合に比べて、センサの誤検出による誤った判定を防止または低減することが可能である。その結果、筆記具１が移動した軌跡から文字を分離する際の精度を向上させることが可能である。 According to the separation unit 23, the writing instrument 1 is applied to the medium 3 based on data respectively output from a plurality of sensors (4 a, 4 b, 5 a, 5 b) that detect whether or not the writing instrument 1 is in contact with the medium 3. By comprehensively determining whether or not they are in contact, the character is separated from the trajectory along which the writing instrument 1 has moved. Thereby, it is possible to prevent or reduce erroneous determination due to erroneous detection of the sensor as compared with the case where the character is separated from the locus of movement of the writing instrument 1 based on the data output from one sensor. As a result, it is possible to improve the accuracy when separating the characters from the trajectory along which the writing instrument 1 has moved.
なお、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されるデータに基づいて、筆記具１が媒体３に接触しているか否かを判定する場合において、例えば、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）のうち半分のセンサから出力されるデータに基づくと、筆記具１が媒体３に接触しているという判定になり、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）のうち残りの半分のセンサから出力されるデータに基づくと、筆記具１が媒体３に接触していないという判定になることにより（すなわち、判定結果が割れることにより）、筆記具１が媒体３に接触しているか否かの判定が困難になるおそれがあることが想定される。このような事態を回避する手段として、本発明では、複数のセンサから出力されるデータを回帰分析手法により導出された関数に入力した結果に基づいて、筆記具１が移動した軌跡から文字を分離する手法が採用されている。この手法は、複数のセンサから出力されるデータの確からしさを統計的に処理することにより、複数のセンサから出力されるデータを総合的に判定するための手法である。この回帰分析手法は、例えば、カーネル関数を用いる。この場合、回帰分析手法により導出された関数は、結合分布関数である。 When determining whether or not the writing instrument 1 is in contact with the medium 3 based on data output from the plurality of sensors (4a, 4b, 5a, 5b), for example, the plurality of sensors (4a, 4b) 5a, 5b), it is determined that the writing instrument 1 is in contact with the medium 3 based on data output from half of the sensors, and the remaining sensors among the plurality of sensors (4a, 4b, 5a, 5b) Based on the data output from the half of the sensors, it is determined that the writing instrument 1 is not in contact with the medium 3 (that is, the determination result is broken), so that the writing instrument 1 is in contact with the medium 3. It is assumed that such a determination may be difficult. As a means for avoiding such a situation, in the present invention, characters are separated from the locus of movement of the writing instrument 1 based on the result of inputting data output from a plurality of sensors into a function derived by a regression analysis method. The method is adopted. This method is a method for comprehensively determining data output from a plurality of sensors by statistically processing the likelihood of the data output from the plurality of sensors. This regression analysis method uses, for example, a kernel function. In this case, the function derived by the regression analysis method is a combined distribution function.
以下、カーネル関数を用いた回帰分析手法により複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されるデータの確からしさを統計的に処理する方法を説明する。 Hereinafter, a method of statistically processing the probability of data output from a plurality of sensors (4a, 4b, 5a, 5b) by a regression analysis method using a kernel function will be described.
手書き文字認識のトレーニング用のデータとして複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されたデータを予め取得し、その予め取得されたデータをデータベース３０に保存する。データベース３０は、処理装置２０に接続されている。データベース３０は、処理装置２０の外部に設けられていてもよいし、処理装置２０の内部に設けられていてもよい。次に、データベース３０に保存された手書き文字認識のトレーニング用のデータをいったん読み出し、そのデータに筆記具１が媒体３に接触していたか否かの評価を示す値をタグ付けした状態でそのデータを再度データベース３０に保存する。筆記具１が媒体３に接触しているか否かは、例えば、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されるデータを人間が見ながら、人間が評価することが可能である。あるいは、人間が評価する代わりに、測定ツールが評価するようにしてもよい。 Data output from a plurality of sensors (4a, 4b, 5a, 5b) is acquired in advance as training data for handwritten character recognition, and the previously acquired data is stored in the database 30. The database 30 is connected to the processing device 20. The database 30 may be provided outside the processing apparatus 20 or may be provided inside the processing apparatus 20. Next, training data for handwritten character recognition stored in the database 30 is read once, and the data is tagged with a value indicating whether or not the writing instrument 1 is in contact with the medium 3. Save it in the database 30 again. Whether or not the writing instrument 1 is in contact with the medium 3 can be evaluated by a person while watching the data output from the plurality of sensors (4a, 4b, 5a, 5b), for example. Alternatively, instead of human evaluation, a measurement tool may perform evaluation.
以下、図５を参照して、トレーニング用のデータを評価する方法の一例を説明する。 Hereinafter, an example of a method for evaluating training data will be described with reference to FIG.
図５は、加速度センサ４ａから出力されたＸ’軸の加速度の値をプロットしたグラフの一例を示す。図５において、縦軸は、加速度センサ４ａから出力されたＸ軸の加速度の値を示し、横軸は、測定時間を示す。測定時間の軸方向に延びる一点鎖線は、加速度センサ４ａのＸ’軸の出力結果を示している。縦軸の一点鎖線は、測定時間中の筆記具１が媒体３に接触している時間と、筆記具１が媒体３に接触していない時間とを区切る境界線である。この境界線の位置は、例えば、筆記中に筆記具１が媒体３に接触している状態であるか非接触の状態であるかを観察したビデオを人間が見て、その人間が決定することが可能である。 FIG. 5 shows an example of a graph plotting the X′-axis acceleration values output from the acceleration sensor 4a. In FIG. 5, the vertical axis indicates the X-axis acceleration value output from the acceleration sensor 4a, and the horizontal axis indicates the measurement time. The alternate long and short dash line extending in the axial direction of the measurement time indicates the output result of the X ′ axis of the acceleration sensor 4a. The alternate long and short dash line on the vertical axis is a boundary line that divides the time during which the writing tool 1 is in contact with the medium 3 and the time during which the writing tool 1 is not in contact with the medium 3. The position of the boundary line can be determined by a person watching, for example, a video observing whether the writing instrument 1 is in contact with the medium 3 or not in contact with writing. Is possible.
図５を参照して、Ｘ’軸の加速度の値がｍである場合に、筆記具１が媒体３に接触していると判定される際の確からしさをどのように評価するかを説明する。Ｘ’軸の加速度の値がｍであることを示す太線が横軸に沿って引かれている。この太線と加速度センサ４ａのＸ’軸の加速度の値の出力結果を示す一点鎖線とが交わる点は、図５に示されるように、Ａ〜Ｉの９点である。Ａ〜Ｉの９点のうち筆記具１が媒体３に接触している期間中に交わる点は、Ｂ、Ｃ、Ｆの３点である。従って、Ｘ’軸の加速度の値がｍである場合に、筆記具１が媒体３に接触していると判定される際の確からしさは３/９（約３３％）であると評価される。このような評価が、Ｘ’軸の加速度の値がｍ以外のすべての値についても同様に行われる。このようにして得られた評価結果は、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されたデータにタグ付けした状態でデータベース３０に保存される。 With reference to FIG. 5, how to evaluate the probability when the writing instrument 1 is determined to be in contact with the medium 3 when the acceleration value on the X ′ axis is m will be described. A thick line indicating that the acceleration value on the X ′ axis is m is drawn along the horizontal axis. The points where the bold line and the alternate long and short dash line indicating the output result of the acceleration value of the X ′ axis of the acceleration sensor 4a intersect are nine points A to I as shown in FIG. Of the nine points A to I, three points B, C, and F intersect while the writing instrument 1 is in contact with the medium 3. Therefore, when the acceleration value on the X ′ axis is m, the probability that the writing instrument 1 is determined to be in contact with the medium 3 is evaluated to be 3/9 (about 33%). Such an evaluation is performed in the same manner for all values other than the value of the acceleration on the X ′ axis. The evaluation results obtained in this manner are stored in the database 30 in a state in which data output from the plurality of sensors (4a, 4b, 5a, 5b) is tagged.
図５に示される例では、加速度センサ４ａのＸ’軸の出力結果を例にとり説明したが、加速度センサ４ａのＹ’軸の出力結果や加速度センサ４ａのＺ’軸の出力結果についても同様である。また、加速度センサ以外のセンサ（例えば、ジャイロセンサ、マイクロホンなど）の出力結果についても同様である。 In the example shown in FIG. 5, the X′-axis output result of the acceleration sensor 4a has been described as an example, but the same applies to the Y′-axis output result of the acceleration sensor 4a and the Z′-axis output result of the acceleration sensor 4a. is there. The same applies to the output results of sensors other than the acceleration sensor (eg, gyro sensor, microphone, etc.).
筆記具１が媒体３に接触していたか否かを示す評価がタグ付けされた複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されたデータを、データベース３０に格納されているカーネル回帰分析計算プログラムに入力することにより、以下の式に従ってｆ（ｘ）が計算される。 Kernel regression analysis calculation stored in the database 30 with data output from a plurality of sensors (4a, 4b, 5a, 5b) tagged with an evaluation indicating whether or not the writing instrument 1 is in contact with the medium 3 By inputting into the program, f (x) is calculated according to the following equation.
ｆ（ｘ）＝（α1＋・・・＋αｎ）＋α１ｋ（ｘ１,ｘ）＋・・・αｎｋ（ｘｎ,ｘ）
ここで、ｋはカーネル関数を示し、ｘ1〜ｘｎはｎ個のデータを示し、α１〜αｎはモデルパラメータを示す。
f (x) = (α 1 +... + α n ) + α 1 k (x 1 , x) +... α n k (x n , x)
Here, k represents a kernel function, x 1 to x n represent n pieces of data, and α 1 to α n represent model parameters.
さらに、カーネル関数ｋが、以下に示す等式を満たすような結合分布関数が計算される。 Furthermore, a joint distribution function is calculated such that the kernel function k satisfies the following equation:
ｋ（ｘｉ,ｘｊ）＝〈φ（ｘｉ）,φ（ｘｊ）〉
ここで、φ（ｘｉ）はデータｘｉのｄ次元の特徴空間中でのベクトル表現を示す。
k (x i , x j ) = <φ (x i ), φ (x j )>
Here, φ (x i ) represents a vector representation of the data x i in the d-dimensional feature space.
上述した計算を行うことにより、結合分布関数およびモデルパラメータα１〜αｎの値が算出される。算出された結合分布関数およびパラメータの値はデータベース３０に保存される。 By performing the above-described calculation, the values of the joint distribution function and the model parameters α 1 to α n are calculated. The calculated bond distribution function and parameter values are stored in the database 30.
分離部２３は、カーネル回帰分析計算プログラムにより計算された結合分布関数に、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されたデータを入力することにより、筆記具１が媒体３に接触していたか否かを評価する。このような評価は、結合分布関数により得られた結果の値が所定の閾値よりも高いか低いかによって行われる。このような評価に基づいて、筆記具１が移動した軌跡から一文字が分離される。図３に示される例では、「ｈｅｌｌｏ」の軌跡から「ｈ」の一文字が分離され場合を例にとり説明したが、「ｈ」に続く文字についても同様である。例えば、「ｈ」に続いて、「ｅ」、「ｌ」、「ｌ」、「ｏ」のそれぞれの文字が順次分離されることになる。 The separation unit 23 inputs the data output from the plurality of sensors (4a, 4b, 5a, 5b) to the bond distribution function calculated by the kernel regression analysis calculation program, so that the writing instrument 1 comes into contact with the medium 3. Evaluate whether or not it was. Such evaluation is performed depending on whether the value of the result obtained by the combined distribution function is higher or lower than a predetermined threshold value. Based on such an evaluation, one character is separated from the locus of movement of the writing instrument 1. In the example shown in FIG. 3, the case where one character of “h” is separated from the locus of “hello” has been described as an example, but the same applies to the character following “h”. For example, after “h”, the characters “e”, “l”, “l”, and “o” are sequentially separated.
このように、トレーニング用のデータを回帰分析した結果に基づいて、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されたデータを統計的に判定することにより、筆記具１が媒体３に接触しているか否かの判定ミスを防止または低減することが可能である。その結果、文字認識を精度よく行うことが可能である。 Thus, the writing instrument 1 contacts the medium 3 by statistically determining the data output from the plurality of sensors (4a, 4b, 5a, 5b) based on the result of regression analysis of the training data. It is possible to prevent or reduce a determination error as to whether or not it is. As a result, character recognition can be performed with high accuracy.
図５に示される例では、カーネル関数を用いた回帰分析手法を例として説明したが、本発明はこれに限定されない。例えば、カーネル関数を用いた回帰分析手法に代えて、４線形回帰分析手法などの公知の手法を用いることも可能である。 In the example shown in FIG. 5, the regression analysis method using the kernel function has been described as an example, but the present invention is not limited to this. For example, a known method such as a four-linear regression analysis method can be used instead of the regression analysis method using a kernel function.
図４を再び参照して、抽出部２４は、分離部２３によって分離された文字の特徴を抽出するように構成されている。抽出部２４は、例えば、文字の特徴がチェーンコードで表現されるように文字の特徴を抽出するようにしてもよい。 Referring back to FIG. 4, the extraction unit 24 is configured to extract the character features separated by the separation unit 23. For example, the extracting unit 24 may extract the character features so that the character features are expressed by a chain code.
図６は、文字「２」の特徴を抽出する処理の流れの一例を示す。図６（ａ）は、文字「２」の軌跡をｎ個の点でプロットした状態を示す。図６（ｂ）は、文字「２」の軌跡をｎ個の点にプロットした位置座標間を結ぶ移動方向ベクトルの向きを示す。図６（ｃ）は、方向ベクトルのパターンを示す。図６（ｄ）は、文字「２」の軌跡を方向ベクトルのパターンを用いて数値化した状態を示す。 FIG. 6 shows an example of the processing flow for extracting the feature of the character “2”. FIG. 6A shows a state where the locus of the character “2” is plotted with n points. FIG. 6B shows the direction of the moving direction vector connecting the position coordinates obtained by plotting the locus of the character “2” at n points. FIG. 6C shows a direction vector pattern. FIG. 6D shows a state in which the trajectory of the character “2” is digitized using a direction vector pattern.
図６（ａ）に示されるように、抽出部２４は、分離された文字「２」の軌跡を、一定時間間隔でｎ個（ｎ＝１３個）の点でプロットし、各プロットの位置座標ｐｎ（Ｘｎ、Ｚｎ）を算出する。 As shown in FIG. 6A, the extraction unit 24 plots the trajectory of the separated character “2” at n points (n = 13) at regular time intervals, and the position coordinates of each plot. p n (X n , Z n ) is calculated.
次に、図６（ｂ）に示されるように、抽出部２４は、プロットされた点の位置座標ｐｎ（Ｘｎ、Ｚｎ）をもとに各プロットの２点間の相対座標における方向角θを特徴量として以下の式により求める。 Next, as illustrated in FIG. 6B, the extraction unit 24 determines the direction in the relative coordinates between the two points of each plot based on the position coordinates pn (X n , Z n ) of the plotted points. The angle θ is used as a feature amount and is obtained by the following equation.
θ＝ｔａｎ-1（Ｚｎ−Ｚｎ−１／Ｘｎ−Ｘｎ−１）
次に、図６（ｃ）に示されるように、抽出部２４は、３６０°の角度をｍ（ｍ＝８）等分した方向ベクトルのパターンに基づいてｎ個のプロット間隔についてそれぞれ移動方向ベクトルｑｎを算出する。この移動方向ベクトルは、１つのプロット間隔がどの方向に当てはめることができるかを判定し、その方向を０からｍ−１（７）までの数字で表したものである。
θ = tan −1 (Z n −Z n−1 / X n −X n−1 )
Next, as illustrated in FIG. 6C, the extraction unit 24 moves each of the moving direction vectors for n plot intervals based on the direction vector pattern obtained by equally dividing the 360 ° angle by m (m = 8). q n is calculated. This moving direction vector is determined in which direction one plot interval can be applied, and the direction is represented by a number from 0 to m−1 (7).
次に、図６（ｄ）に示されるように、抽出部２４は、８パターンの方向ベクトルに基づいて、文字「２」の軌跡を０から７までの数字を用いて表現することが可能である（すなわち、いわゆるチェーンコード化することが可能である）。図６（ｄ）に示される数値の列は、チェーンコードの一例である。 Next, as illustrated in FIG. 6D, the extraction unit 24 can express the locus of the character “2” using numbers from 0 to 7 based on the eight pattern direction vectors. There is (that is, it is possible to make a so-called chain code). The numerical column shown in FIG. 6D is an example of a chain code.
図６に示される例では、プロット数ｎ＝１３の場合を説明したが、本発明はこれに限定されない。プロット数ｎの数は任意であってよい。プロット数ｎの数を増やすことにより、文字の特徴を精度よく抽出することが可能である。 In the example shown in FIG. 6, the case where the number of plots n = 13 has been described, but the present invention is not limited to this. The number of plot numbers n may be arbitrary. By increasing the number of plots n, it is possible to accurately extract character features.
また、図６に示される例では、方向ベクトルのパターンの数ｍ＝８の場合を説明したが、本発明はこれに限定されない。方向ベクトルのパターン数ｍの数は任意であってよく、例えば、４、８、１６、３２であってよい。パターンの数ｍを増やすことにより、文字の特徴を精度よく抽出することが可能である。 In the example shown in FIG. 6, the case where the number of direction vector patterns m = 8 has been described, but the present invention is not limited to this. The number m of direction vector patterns may be arbitrary, and may be 4, 8, 16, 32, for example. By increasing the number m of patterns, it is possible to accurately extract character features.
さらに、図５に示される例では、分離された文字の特徴を抽出する方法として、方向ベクトルのパターンを用いて文字の軌跡の特徴を抽出する方法（チェーンコード化）を説明したが、本発明はこれに限定されない。例えば、分離された文字の画像（形状）の特徴を抽出する方法を採用するようにしてもよい。 Further, in the example shown in FIG. 5, as a method for extracting features of separated characters, a method (chain coding) for extracting character trajectory features using a direction vector pattern has been described. Is not limited to this. For example, a method of extracting features of an image (shape) of separated characters may be adopted.
図４を再び参照して、認識部２５は、抽出部２４によって抽出された文字の特徴に基づいて、文字を認識するように構成されている。 Referring again to FIG. 4, the recognition unit 25 is configured to recognize a character based on the character feature extracted by the extraction unit 24.
例えば、認識部２５は、データベース３０に保存されている基準文字と抽出部２４によって抽出された文字とを照合することによって、文字の認識を行うように構成されている。分離された文字を認識するための基準文字は、方向ベクトルのパターンに基づいて数値化（チェーンコード化）された状態でデータベース３０に保存されている。この場合、認識部２５は、抽出された文字の特徴を表現するチェーンコードと同等のチェーンコードを有する基準文字を特定することにより、該当する文字を認識する。あるいは、分離された文字の画像と基準文字の画像とを比較することにより、画像認識技術を利用して該当する文字を認識するようにしてもよい。 For example, the recognition unit 25 is configured to recognize a character by collating a reference character stored in the database 30 with a character extracted by the extraction unit 24. The reference characters for recognizing the separated characters are stored in the database 30 in a state of being digitized (chain coded) based on the direction vector pattern. In this case, the recognition unit 25 recognizes the corresponding character by specifying a reference character having a chain code equivalent to the chain code expressing the extracted character feature. Alternatively, by comparing the separated character image with the reference character image, the corresponding character may be recognized using image recognition technology.
筆記具１で筆記された文字の認識は、筆記具１で文字を連続して筆記しているときに、検出装置から出力されるデータを逐次文字認識処理を行うようにしてもよいし、検出装置から出力されるデータを一旦データベース３０に保存し、のちにデータベース３０から保存したデータを呼び出し、一括して文字認識処理を行うようにしてもよい。 The recognition of the character written with the writing instrument 1 may be such that when the character is continuously written with the writing instrument 1, the data output from the detecting device is sequentially subjected to character recognition processing, or from the detecting device. The output data may be temporarily stored in the database 30 and then the data stored from the database 30 may be called to perform the character recognition process collectively.
なお、図４に示される例では、検出装置１０’と処理装置２０とが別個の装置として構成されている例を説明した。この場合、検出装置１０’の出力部８によって検出装置１０’の複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されるデータが検出装置１０’の外部に出力され、これらのデータが処理装置２０の入力部２１によって受信される。検出装置１０’の出力部８は、これらのデータを無線通信手段（例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）など）を介して処理装置２０の入力部２１に提供するようにしてもよいし、これらのデータを有線通信手段を介して処理装置２０の入力部２１に提供するようにしてもよい。 In the example illustrated in FIG. 4, the example in which the detection device 10 ′ and the processing device 20 are configured as separate devices has been described. In this case, the data output from the plurality of sensors (4a, 4b, 5a, 5b) of the detection device 10 ′ is output to the outside of the detection device 10 ′ by the output unit 8 of the detection device 10 ′, and these data are processed. Received by the input unit 21 of the device 20. The output unit 8 of the detection device 10 ′ provides these data to the input unit 21 of the processing device 20 via wireless communication means (for example, Wi-Fi, Bluetooth (registered trademark), Zigbee (registered trademark), etc.). Alternatively, these data may be provided to the input unit 21 of the processing device 20 via wired communication means.
このように、図４に示される例では、検出装置１０’と処理装置２０とが別個の装置として構成されている例を説明したが、本発明はこれに限定されない。例えば、検出装置１０’および処理装置２０は、手書き文字認識装置１００内の別個の構成要素として（例えば、検出部および処理部として）単一の手書き文字認識装置１００内に含まれるように構成されてもよい。この場合、検出装置１０’の出力部８および処理装置２０の入力部２１は省略されることが可能である。 As described above, in the example illustrated in FIG. 4, the example in which the detection device 10 ′ and the processing device 20 are configured as separate devices has been described, but the present invention is not limited thereto. For example, the detection device 10 ′ and the processing device 20 are configured to be included in a single handwritten character recognition device 100 as separate components in the handwritten character recognition device 100 (eg, as a detection unit and a processing unit). May be. In this case, the output unit 8 of the detection device 10 ′ and the input unit 21 of the processing device 20 can be omitted.
６．手書き文字認識装置により達成される効果
本発明の手書き文字認識装置１００によれば、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されるデータに基づいて、筆記具１が媒体３に接触しているか否かを総合的に判定しているため、誤検出を防止または低減することが可能であり、その結果、文字認識の精度を向上させることが可能である。また、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力される出力データを、トレーニング用のデータの回帰分析された結果に基づいて統計的に評価することにより、筆記具１が媒体３に接触しているか否かを判定しているため、誤検出による判断ミスをさらに防止または低減することが可能であり、その結果、文字認識の精度を向上させることが可能である。
6). Effects achieved by the handwritten character recognition device According to the handwritten character recognition device 100 of the present invention, the writing instrument 1 contacts the medium 3 based on the data output from the plurality of sensors (4a, 4b, 5a, 5b). Therefore, it is possible to prevent or reduce erroneous detection, and as a result, it is possible to improve character recognition accuracy. Further, the writing instrument 1 contacts the medium 3 by statistically evaluating the output data output from the plurality of sensors (4a, 4b, 5a, 5b) based on the result of regression analysis of the training data. Therefore, it is possible to further prevent or reduce determination errors due to erroneous detection, and as a result, it is possible to improve the accuracy of character recognition.
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。 As mentioned above, although this invention has been illustrated using preferable embodiment of this invention, this invention should not be limited and limited to this embodiment. It is understood that the scope of the present invention should be construed only by the claims. It is understood that those skilled in the art can implement an equivalent range based on the description of the present invention and the common general technical knowledge from the description of specific preferred embodiments of the present invention.
本発明は、手書き文字の認識精度が高い手書き文字認識装置、検出装置および処理装置等を提供するものとして有用である。 INDUSTRIAL APPLICABILITY The present invention is useful for providing a handwritten character recognition device, a detection device, a processing device, and the like with high handwriting recognition accuracy.
１ 筆記具
２ バンド
４ａ 加速度センサ
４ｂ ジャイロセンサ
５ａ マイクロホン
５ｂ 加速度センサ
７ 検出部
８ 出力部
１０ 検出装置
２０ 処理装置
２１ 入力部
２２ 復元部
２３ 分離部
２４ 抽出部
２５ 認識部
１００ 手書き文字認識装置
DESCRIPTION OF SYMBOLS 1 Writing implement 2 Band 4a Acceleration sensor 4b Gyro sensor 5a Microphone 5b Acceleration sensor 7 Detection part 8 Output part 10 Detection apparatus 20 Processing apparatus 21 Input part 22 Restoration part 23 Separation part 24 Extraction part 25 Recognition part 100 Handwritten character recognition apparatus
Claims (10)
前記筆記具が前記媒体に接触しているか否かを検出する複数のセンサを含む検出部と、
前記筆記具が移動した軌跡を復元する復元部と、
前記複数のセンサのうちの少なくとも２つのセンサから出力されるデータに基づいて、前記軌跡から文字を分離する分離部と、
前記分離部によって分離された前記文字の特徴を抽出する抽出部と、
前記抽出部によって抽出された前記文字の特徴に基づいて、前記文字を認識する認識部と
を備えた、手書き文字認識装置。 A handwritten character recognition device for recognizing characters written on a medium using a writing instrument, wherein the handwritten character recognition device comprises:
A detection unit including a plurality of sensors for detecting whether or not the writing instrument is in contact with the medium;
A restoration unit that restores a trajectory of movement of the writing instrument;
A separation unit that separates characters from the trajectory based on data output from at least two of the plurality of sensors;
An extraction unit for extracting features of the characters separated by the separation unit;
A handwritten character recognition device, comprising: a recognition unit that recognizes the character based on the feature of the character extracted by the extraction unit.
前記筆記具の動きを検出する少なくとも１つの第１のタイプのセンサと、
前記筆記具が前記媒体に接触することによって発生する音および／または振動を検出する少なくとも１つの第２のタイプのセンサと
を含み、
前記分離部は、前記少なくとも１つの第１のタイプのセンサから出力されるデータと前記少なくとも１つの第２のタイプのセンサから出力されるデータとに基づいて、前記軌跡から前記文字を分離する、請求項１に記載の手書き文字認識装置。 The plurality of sensors are:
At least one first type sensor for detecting movement of the writing instrument;
And at least one second type sensor for detecting sound and / or vibration generated by the writing instrument coming into contact with the medium;
The separation unit separates the character from the trajectory based on data output from the at least one first type sensor and data output from the at least one second type sensor; The handwritten character recognition device according to claim 1.
前記検出部によって検出された検出結果を示すデータを出力する出力部と
を備えた検出装置であって、
前記検出装置は、前記筆記具を持つ手の指先に装着されることが可能であるように構成されている、検出装置。 A detection unit for detecting whether or not a writing instrument used for writing characters on the medium is in contact with the medium;
An output unit that outputs data indicating a detection result detected by the detection unit;
The detection device is configured to be attached to a fingertip of a hand holding the writing instrument.
前記２つのセンサから出力されるデータを受信する受信部と、
前記筆記具が移動した軌跡を復元する復元部と、
前記少なくとも２つのセンサから出力されるデータに基づいて、前記軌跡から文字を分離する分離部と、
前記分離部によって分離された前記文字の特徴を抽出する抽出部と、
前記抽出部によって抽出された前記文字の特徴に基づいて、前記文字を認識する認識部と
を備えた、処理装置。 Recognize handwritten characters based on data output from at least two sensors out of a plurality of sensors that detect whether the writing instrument is in contact with the medium when writing on the medium using a writing instrument A processing device for executing the processing, wherein the processing device comprises:
A receiving unit for receiving data output from the two sensors;
A restoration unit that restores a trajectory of movement of the writing instrument;
A separation unit that separates characters from the trajectory based on data output from the at least two sensors;
An extraction unit for extracting features of the characters separated by the separation unit;
A processing apparatus comprising: a recognition unit that recognizes the character based on the feature of the character extracted by the extraction unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016205061A JP6821174B2 (en) | 2016-10-19 | 2016-10-19 | Handwritten character recognition device, detection device and processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016205061A JP6821174B2 (en) | 2016-10-19 | 2016-10-19 | Handwritten character recognition device, detection device and processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018067132A true JP2018067132A (en) | 2018-04-26 |
| JP6821174B2 JP6821174B2 (en) | 2021-01-27 |
Family
ID=62086234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016205061A Active JP6821174B2 (en) | 2016-10-19 | 2016-10-19 | Handwritten character recognition device, detection device and processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6821174B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111312014A (en) * | 2020-04-14 | 2020-06-19 | 青岛真水堂教育咨询有限公司 | A high accuracy intelligence interconnection pen for calligraphy exercise |
-
2016
- 2016-10-19 JP JP2016205061A patent/JP6821174B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111312014A (en) * | 2020-04-14 | 2020-06-19 | 青岛真水堂教育咨询有限公司 | A high accuracy intelligence interconnection pen for calligraphy exercise |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6821174B2 (en) | 2021-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106716317B (en) | Method and apparatus for resolving touch discontinuities | |
| US10642404B2 (en) | Touch sensitive device with multi-sensor stream synchronized data | |
| KR100630806B1 (en) | Command input method using motion recognition device | |
| Deselaers et al. | Gyropen: Gyroscopes for pen-input with mobile phones | |
| TWI569176B (en) | Method and system for identifying handwriting track | |
| KR101157073B1 (en) | Method for finger language recognition using emg and gyro sensor and apparatus thereof | |
| CN104071097B (en) | Input apparatus, input method, and input program | |
| JPH0836462A (en) | Hand-writing input device using two or more sensing technologies | |
| US8194926B1 (en) | Motion estimation for mobile device user interaction | |
| JP2009223839A (en) | Pen type input device and handwriting input method | |
| JP6821174B2 (en) | Handwritten character recognition device, detection device and processing device | |
| WO2000057349A1 (en) | Handwriting recognition system | |
| KR101639351B1 (en) | Wearable input system and method for recognizing motion | |
| US11262850B2 (en) | No-handed smartwatch interaction techniques | |
| JP2009099041A (en) | Pen type input device | |
| Teja et al. | A ballistic stroke representation of online handwriting for recognition | |
| JP3841952B2 (en) | Pen-type input device | |
| CN110235096A (en) | User interface is redrawn based on a proximity | |
| Kotak et al. | An accelerometer based handwriting recognition of English alphabets using basic strokes | |
| JP2007226703A (en) | Autograph signature authentication apparatus | |
| JP2007206907A (en) | Handwriting input system | |
| Toyozumi et al. | Trajectory reconstruction algorithm based on sensor fusion between IMU and strain gauge for stand-alone digital pen | |
| JP3712835B2 (en) | Pen-type input device | |
| US20130006572A1 (en) | Methods for detection of unique physical motions | |
| JP2018005868A (en) | Method for identifying individual by machine learning of feature at flick input time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190826 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201224 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6821174 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |