FR2650904A1

FR2650904A1 - Instantaneous, automatic reader

Info

Publication number: FR2650904A1
Application number: FR8910842A
Authority: FR
Original assignee: Individual
Current assignee: Individual
Priority date: 1989-08-11
Filing date: 1989-08-11
Publication date: 1991-02-15

Abstract

Instantaneous, automatic reader for reading handwriting in real time, associating a pen equipped with a light source with two optical sensors measuring the position of the light source. The optical sensors are angle sensors of the CCD linear array type. The instantaneous measurement of the position of the pen on the paper allows measurement of the writing trajectories.

Description

L'invention concerne la réalisation d'un capteur optique susceptible de mesurer avec une grande fréquence et avec précision la position d'une ou plusieurs sources lumineuses ponctuelles situées dans le champ optique du capteur et donc de mesurer la position et le déplacement à chaque instant d'un mobile support de cette ou de ces sour ces lumineuses. The invention relates to the production of an optical sensor capable of measuring with great frequency and with precision the position of one or more point light sources located in the optical field of the sensor and therefore of measuring the position and the displacement at each instant. a mobile support for this or these bright sources.

Un tel capteur permet notamment de mesurer la position et les déplacements d'une extrémité de stylomunie d'une source lumineuse À proximité de lapointe d'écriture Dans ce cadre l'application est la lecture de l'écriture manuscrite en temps réel , I' enregistrement a l'interprétation sont effectues an moyen d'unlogiciel traitant les trajectoires et les vitesses du stylo mesuré par le système. Such a sensor makes it possible in particular to measure the position and the displacements of a stylomune end of a light source Near the writing point In this context the application is the reading of handwriting in real time, I ' recording and interpretation are carried out using software processing the trajectories and speeds of the pen measured by the system.

Une autre application d'un tel système concerne une interface utilisateur - système informatique permettant à l'utilisateur en maniant le stylo ou toute autre source ponctuelle de lumière de commander des processus graphiquement et en temps réel. Ce système est utile aux programmes de jeux, aux logiciels de C.A.O. et à certains logiciels de simulation. Another application of such a system relates to a user interface - computer system allowing the user, by handling the pen or any other point source of light, to control processes graphically and in real time. This system is useful for game programs, C.A.O. and some simulation software.

Des systèmes de reconnaisance d'écriture en temps réels ont été développés, utilisant des combinaisons de moyens optiques , mécaniques et électroniques. Citons pour memoire le brevet US 3182291 du 4 mai 65 "Utensil for writing and simultaneously recognising the ivritten symbols" qui detecte les mouvement du stylo devant deux sources de lumières à par des variations relatives des intensitées lumineuses emises par les deux sources, recues sur le stylo.Le brevet US 4241409 du 23 décembre 1980 " Hand held pen-size calculator " mesure les efforts appliqués sur la mine en cours d'écriture et les interprète. Le brevet FR 8208634 de M.Sérina décrit un stylo détectant optiquement la direction du dernier segment écrit. Un manque de performances apparait, seule une mesure instantanée et précise de la position de la pointe d'écriture permet une mesure suffisante et exploitable. Real-time handwriting recognition systems have been developed, using combinations of optical, mechanical and electronic means. Let us quote for memory the patent US 3182291 of May 4, 65 "Utensil for writing and simultaneously recognizing the ivritten symbols" which detects the movement of the pen in front of two light sources by relative variations of the light intensities emitted by the two sources, received on the US patent 4241409 of December 23, 1980 "Hand held pen-size calculator" measures the forces applied to the mine being written and interprets them. Patent FR 8208634 by M.Sérina describes a pen optically detecting the direction of the last segment written. A lack of performance appears, only an instantaneous and precise measurement of the position of the writing tip allows a sufficient and usable measurement.

Description des planches. Description of the boards.

-En figure 1, schéma de principe de la géométrie du capteur
- Enfigure 2, géométrie avec miroir et superposition des images
-En figure 3, description d'un recepteur optique
- Enfigure 4, courbe de luminosité sur lerécepteur enprésence d'une source lumineuseponctuelle. -In Figure 1, block diagram of the geometry of the sensor
- Figure 2, geometry with mirror and overlay of images
-In Figure 3, description of an optical receiver
- Figure 4, brightness curve on the receiver in the presence of a point light source.

-En figure 5, traitement du signal du recepteur optique pour extraire la coordonnée
de l'image de la sour ce lumineuse.-In Figure 5, processing of the signal from the optical receiver to extract the coordinate
from the image of the bright sour.

-Enfigure 6, Description d'un exemple de l'organigramme del'electronique de
traitement
-En figure 7, Exemple de réalisation d'un stylo, de sa sour ce de lumiè de lumière ponctuelle a du contacteur par pression Suivant l'invention le capteur optique mesure la position instantanee d'une source lumineuseponctuelle 10 danssoncha:npoptiqueobjet: voir figure 1.-Figure 6, Description of an example of the electronic organization chart of
treatment
-In Figure 7, Example of embodiment of a pen, its source of point light lumi of the pressure switch According to the invention the optical sensor measures the instantaneous position of a point light source 10 danssoncha: npoptiqueobjet: see figure 1.

Le champ optique objet C du capteur est dans un plan P, c'est l'intersection des champs optiques des recepteurs optiques 11 et 12:des secteurs angulaires plans de sommets 11 et 12 et d'angles non spécifiques. The optical field object C of the sensor is in a plane P, it is the intersection of the optical fields of the optical receivers 11 and 12: angular planar sectors of vertices 11 and 12 and non-specific angles.

C est la zone d'écriture où la position d'une source lumineuse peut Are mesurée1 elle est hachurée. . Le plan P est parallèle au support de l'écriture : le contour d'une feuille est représenté en pointillés. Dans le secteur plan les coordonnées sont mesurées par rapport à un système de deux axes x, y liés au capteur. Les récepteurs optiques 11 et 12 ont des axes de symétries O1 et O2, appelés axes optiques. C est par rapport à ces axes optiques que que les angles a 1 et a 2 des directions relatives de la source 10 sont définis .La relation mathématique entre les angles a 1 et a 2 et les coordonnées cartésiennes x, y de la lumière est univoque et son expression n'apporte rien a la clarté de la description. La mesure des angles a 1 et a 2 permet donc celles des coordonnées x,y de lasource 10. Chacun des récepteurs optiques est muni d'une lentille permettant de conjuguer leur secteurs angulaires plans respectifs à leurs images respectives sur des supports plans 13 et 14 proches des foyers desdites lentilles. Les images sont des segments dans le plan P contenant les foyers des lentilles. L'image de la lumière est 'ne tache lumineuse sur le segment.Les angles ai a et a2 se calculent à partir des abcisses X1 et X2 des taches lumineuses sur le segment, par
x1=F tang a 1 et x2=F tang a 2.It is the writing area where the position of a light source can be measured1 it is hatched. . The plane P is parallel to the writing support: the outline of a sheet is shown in dotted lines. In the plane sector the coordinates are measured with respect to a system of two x, y axes linked to the sensor. The optical receivers 11 and 12 have axes of symmetry O1 and O2, called optical axes. It is with respect to these optical axes that the angles a 1 and a 2 of the relative directions of the source 10 are defined. The mathematical relationship between the angles a 1 and a 2 and the Cartesian coordinates x, y of light is unequivocal and its expression does not add anything to the clarity of the description. The measurement of the angles a 1 and a 2 therefore allows those of the x, y coordinates of the source 10. Each of the optical receivers is provided with a lens making it possible to combine their respective planar angular sectors with their respective images on planar supports 13 and 14 close to the focal points of said lenses. The images are segments in the plane P containing the focal points of the lenses. The image of light is a light spot on the segment. The angles ai a and a2 are calculated from the abscissae X1 and X2 of the light spots on the segment, by
x1 = F tang a 1 and x2 = F tang a 2.

En figure 2 suivant une projection horizontale en A et verticale en B est représentée une autre géométrie permettant par quatre miroirs 20 , 21, 22 a 23 de devier les angles d'ouveltures et par deux lentilles 26 et 27 de superposer les segments images sur un même support plan 28. Le système ne nécéssite alors qu'un recepteur optique en 28.Ainsi, une lumière 10 dans le secteur C est associée à deux angles al et a2 commeprécédemment et à deux images sur le segment d'abcisses x1=F tang (a1-a0) et x2=F tang (a2-a0)
Il est possible de dissocier les deux taches lumineuses images en interposant sur les trajets optiques deux cellules planes à cristaux liquides 24 a 25 qui interompent alternativementles ttajets droit a gauche. Ainsi les images dela sourte lumineuse 10 sont alternativement mesurées en x1 et x2. Toute autre géométrie de système optique comportant une multiplicité de lentilles et de miroir susceptible de superposer lesimages sur un segment unique peut également étre mise en ceuvre, nous ne les décrirons pas toutes.In FIG. 2 following a horizontal projection at A and vertical at B is represented another geometry allowing by four mirrors 20, 21, 22 to 23 to deviate the angles of openings and by two lenses 26 and 27 to superimpose the image segments on a same plane support 28. The system only requires an optical receptor at 28. Thus, a light 10 in sector C is associated with two angles al and a2 as before and with two images on the abscissa segment x1 = F tang (a1-a0) and x2 = F tang (a2-a0)
It is possible to dissociate the two light spots images by interposing on the optical paths two flat liquid crystal cells 24 to 25 which alternately interrupt the projects right to left. Thus the images of the light source 10 are alternately measured at x1 and x2. Any other geometry of the optical system comprising a multiplicity of lenses and of mirror capable of superimposing the images on a single segment can also be implemented, we will not describe them all.

Lerecepteur optique est décrit plus précisérment en figure 3. Il comporte une lentille 30. The optical receiver is described more precisely in FIG. 3. It includes a lens 30.

un capteur opto-électronique 31 dans le plan contenant l'image du point de Cle plus eloigné et perpendicularie è l'axe O de la lentille. an opto-electronic sensor 31 in the plane containing the image of the most distant point of Cle and perpendicular to the axis O of the lens.

Le capteur opto-électronique est un capteur linéaire, une barrette CCD par exemple permettant une mesure échantillonée de l'intensité lumineuse sur le segment image ; ou un recepteur linéaire , permettant une mesure continue de l'intensité lumineuse sur le segment image. Nous allons décrire le fonctionement échantilloné d'une barrette CCD le mèmetype de traitement s'appliquera continuement à un recepteur linéaire. La baryte CCD est constitoée d'une multiplicité den dio des receptrices accoléesémettant à fréquencefixe un train den signaux électriques respectivement proportionnels à la quantité de lumièrereçue pendant une période par chacune des diodes. The opto-electronic sensor is a linear sensor, for example a CCD strip allowing a sampled measurement of the light intensity on the image segment; or a linear receiver, allowing a continuous measurement of the light intensity on the image segment. We will describe the sampled operation of a CCD strip the same type of processing will apply continuously to a linear receiver. The barite CCD is made up of a multiplicity den dio of the adjacent receivers emitting at fixed frequency a train of electrical signals respectively proportional to the quantity of light received during a period by each of the diodes.

On ne représente pas le système optique avec superposition des segments images. Il comporte deux lentilles, deux miroirs et une barrette CCD ou un recepteur linéaire suivant la géométrie de la figure 2
En figure 4 le -il de la luminosité sur le segment image met en évIdence unpic à l'abcisse x correspondant à l'angle a tel que F tg a=x de la source lumineuse. Le sommet de ce pic correspond à l'abcisse exacte de lalumière ,il est détecté par la diode Nde la CCD. Le signal n dans le train de signaux atteint un maximum correspondant à l'abcisse x du pic lumineux.Une simple detection de maximum de la luminosité permet donc d'enregistrer l'adresse de la diode illuminée ,d'en déduire l'abcssse de l'image de la source lumineuse, et de calculer l'angle a de la source lumineuse. Deux recepteurs optiques perznetnt donc de mesurer pour une source unique 10 deux angles a1 et a2 et de calculer la position de la source lumineuse danslazone C.The optical system is not represented with the image segments superimposed. It has two lenses, two mirrors and a CCD strip or a linear receiver according to the geometry of Figure 2
In FIG. 4, the luminosity on the image segment highlights a peak at the abscissa x corresponding to the angle a such that F tg a = x of the light source. The apex of this peak corresponds to the exact abscissa of the light, it is detected by the diode N of the CCD. The signal n in the signal train reaches a maximum corresponding to the abscissa x of the light peak. A simple detection of the maximum of the brightness therefore makes it possible to record the address of the illuminated diode, to deduce therefrom the the image of the light source, and calculate the angle a of the light source. Two optical receivers therefore make it possible to measure for a single source 10 two angles a1 and a2 and to calculate the position of the light source in area C.

Le traitement auquel est soumis le signal continu d'un recepteur linéaire est similaire, il consiste à calculer la phase de l'impulsion correspondant à l'image de la source lumineuse par rapport à la commande de synchronisation de début de signal . Cette phase est alors proportionnelle àl'abcissexmesnrée. The processing to which the continuous signal from a linear receiver is subjected is similar, it consists in calculating the phase of the pulse corresponding to the image of the light source with respect to the signal start synchronization command. This phase is then proportional to the abscissexmesnrée.

L'inconvénient d'une simple détection de maximum dans la courbe d'échantllonage de la luminosité est qu'une telle détection est facilement bruitée, ce qui déplace aléatoirement la position apparente de l'image que d'autre part l'image de lasonrce lumineuse s'étale sur un grand nombre de diodes contigües car le systèmen' est pasfocalise, ce qui réduit la sensibilité de la détection, et enfin qu'il est difficile par une telle méthode de mesurer plusieurs maxima sur un même echantillonage . Pour ces raisons nous proposons un exemple de traitement de signal de CCD et un exemple d'électronique pour effectuer ledittraitement. The disadvantage of a simple maximum detection in the brightness sampling curve is that such detection is easily noisy, which randomly displaces the apparent position of the image than, on the other hand, the laser image. light spreads over a large number of contiguous diodes because the system is not focused, which reduces the sensitivity of the detection, and finally that it is difficult by such a method to measure several maxima on the same sampling. For these reasons we offer an example of CCD signal processing and an example of electronics to carry out the processing.

Cetraitement consiste à convoluer simultanément le signal échantillonéreprésenté en a figure 5 par toris signaux b, c, d, en temps réel. Les trois signaux sont à des fréquences de base multiples . Les trois signaux convolués admettent des maxima qui. sont moins sensibles aux bruits ,l'effet de l'étalement de la tâche lumineuse est compensé : b filtre une tâche lumineuse étroite ,c une tache moyenne ,d une large; et enfin ,il est possible de détecter plusieurs maxima d'un meme échantillonage convole ce qui permet la mesure de plusieurs abscisses. Les courbes B et C représentent les résultats de convolution par les fonction b etc de courbes d'intensités lumineuses bruitées correspondant à des taches lumineuses respectivement étroites ,moyennes alarges. This processing consists in simultaneously convolving the signal sampled represented in a figure 5 by three signals b, c, d, in real time. The three signals are at multiple base frequencies. The three convoluted signals admit maxima which. are less sensitive to noise, the effect of the spread of the light spot is compensated for: b filters a narrow light spot, c a medium spot, d a wide spot; and finally, it is possible to detect several maxima of the same convoluted sampling which allows the measurement of several abscissas. The curves B and C represent the results of convolution by the functions b etc of curves of noisy light intensities corresponding to respectively narrow, medium wide light spots.

Ces courbes de convolution apparaissent moins bruitées, le maximum correspondant pourle filtre de largeur adéquatearabcisserecherchee. These convolution curves appear less noisy, the maximum corresponding for the appropriate width filter to narrow.

En figure 6, on donne un exemple d'o@ganigramme de l'électronique de traitement en temps réel du signal émis par la CCD ,dontla sortie S est un ensemble d'adresses de maxima des échantillonages convolués par les courbes b , c, et d respectivements. Ces adresses sont interpetees par un calculateur qui en déduit la position de la ou des sources lumineuses. In FIG. 6, an example of an o @ ganigram of the electronic processing in real time of the signal emitted by the CCD is given, the output S of which is a set of addresses of maxima of the samples convoluted by the curves b, c, and respectivities. These addresses are interpreted by a computer which deduces therefrom the position of the light source or sources.

L'organigramme comporte une barrette CCD , synchronisée par une horloge H et un compteur C qui commande le début d'échantillanage. Le signal de sortie de CCD est converti par un convertisseur analogique numérique CANsynchronisé avec la CCD; il génère des mots de k bits à la fréquence de l'horloge, c'est le signal lumineux échantilloné. Chaque mot parcourt une série de 1 mémoires volatiles L respectivement qu constituent un registre à décalage, I étant la largeur du filtre d en nombre de signaux .Pour le schéma présenté on a par par exemple 1=81. A chaque période une série d'additions et de soustractions de mots est effectuée, ces mots sont acquis en sortie de quelques mémoires L du registre et le résultat de cette sommation est la convolution du signal échaniilloné å la période donnée , par la fonction définie par les opérations effectuées surIes différents mots. Ala période suivante le registre est décalé et le résultat des opérations est la valeur suivante de la convolution.The flowchart includes a CCD bar, synchronized by a clock H and a counter C which controls the start of sampling. The CCD output signal is converted by an analog digital converter CAN which is synchronized with the CCD; it generates words of k bits at the clock frequency, it is the light signal sampled. Each word traverses a series of 1 volatile memories L respectively which constitute a shift register, I being the width of the filter d in number of signals. For the diagram presented we have for example 1 = 81. At each period a series of additions and subtractions of words is carried out, these words are acquired at the output of a few memories L of the register and the result of this summation is the convolution of the signal sampled at the given period, by the function defined by operations performed on different words. In the following period the register is shifted and the result of the operations is the next value of the convolution.

Une fonction de convolution étant la sommede groupes de mots qui se suivent, cette somme est renouvelée 9 chaque décalage des mots en ajoutant à sa dernière valeur connue le dernier mot du groupe et en soustrayant le premier. En procédant ainsi, on obeient en B, C, D les résultats de convolutions pour les trois filtres . Le maximum des trois convolutions est calculé et comparé au précédant maximum. L'adresse de chaque nouveau maximum supérieur au précédant est stocké dans le registre S. L'adresse finale stockée quand tons les mots ont été convolués donne l'abcisse et l'angle réels dela source lumineuse. A convolution function being the sum of groups of words which follow each other, this sum is renewed at each shift of the words by adding to its last known value the last word of the group and by subtracting the first. By proceeding thus, one obtains in B, C, D the results of convolutions for the three filters. The maximum of the three convolutions is calculated and compared to the preceding maximum. The address of each new maximum greater than the previous one is stored in the register S. The final address stored when all the words have been convoluted gives the actual abscissa and angle of the light source.

En figure 7 est décrit un exemple de stylo muni de la source lumineuse détectée. Ce stylo permet une écriture normale sur papier. La source lumineuse n' est allumée que pendant le contact de la mine avec le papier. Ainsi la trajectoire mesurée par le capteur reproduit exactement l'écriture sur le papier et l'interruption ou tracé s'accompagne de l'extinction de la source lumineuse. Le stylo comporte une source lumineuse 71, une mini diode luminescente infrarouge par exemple une mine de type stylo bille n munie de sa réserve d'encre, dont l'extrémité métallique est connectée à une pile 73.L'autre broche de la pile est connectée à lentrée de la diode émettrice. Lasottie de diode est connectée à un contacteur 74 que touche la mine quand celle ci appuie sur le papier et se déforme de manière élastique. Le contacteur 74 et la mine métalliques tiennent donc lieu de contacteur par pression. Une linge lame ressort75maintientle circuit ou vert et la lumière éteinte quand le papier n'appuie pas sur la mine . Suivant l'invention la pile pont etre rechargeable, le circuitmuni d'un dispositif de régulation du courant traversant la diode et le dispositif contacteur peuvent être de toute autre nature. La source lumineuse peut ne pas être une diode. In FIG. 7 is described an example of a pen provided with the detected light source. This pen allows normal writing on paper. The light source is only switched on during the contact of the mine with the paper. Thus the trajectory measured by the sensor exactly reproduces the writing on paper and the interruption or trace is accompanied by the extinction of the light source. The pen comprises a light source 71, a mini infrared light-emitting diode, for example a ballpoint pen type mine n provided with its ink reserve, the metal end of which is connected to a battery 73. The other pin of the battery is connected to the input of the emitting diode. The diode laser is connected to a contactor 74 which touches the lead when the latter presses on the paper and deforms elastically. The metal contactor 74 and the mine therefore act as a pressure contactor. A cloth spring blade 75 maintains the circuit or green and the light off when the paper does not press on the lead. According to the invention, the bridge battery can be rechargeable, the circuit provided with a device for regulating the current passing through the diode and the contactor device can be of any other nature. The light source may not be a diode.

Suivant un mode de realisation non exclusif, le capteur comporte un calculateur programmé pour la reconnaissance des caractères manuscrits mesurés et la transmission de
L'écriture en caracteres informatiques notamment ascii. According to a non-exclusive embodiment, the sensor includes a computer programmed for the recognition of the handwritten characters measured and the transmission of
Writing in computer characters including ascii.

Claims

1) Handwriting sensor made up

- a mobile point light source associated with

- a measurement sensor fitted

- two optical sensors each measuring an angular coordinate in a plane common to said optical sensors of a point light source, allowing instantaneous measurement of the two coordinates of said mobile light source in said plane linked to said measurement sensor and

-Equipped with processing electronics.

2) Measuring sensor according to claim 1 characterized in that the two said optical sensors measure the abscissa of the conjugated image light spot of said mobile light source through a conjugation optic on an image segment of said plane.

4) Device according to claims 1 and 2 characterized in that the said segment is physically contttitue of a linear bar with continuous load transfer.

3e) Device according to claims 1 and 2 characterized in that the said segment is physically constituted by a CCD strip that is to say dlunreseau unemultiplicites of electro-optical diodes attached delisuant electrical charges respectively proportional to the intensity intenseusineusereuependantune cured defined

5Q) Optical sensor according to claims 1 and 5, 3 or 4 characterized in that it comprises a combination of mirrors and lenses making it possible to superimpose the two images of the light source on a single strip and to carry out the measurements of the two angles on a single strip: the said images which can be dissociated by the interposition on the optical paths of light attenuators with liquid crystals.

6 ") Electronic device for filtering the signal from the CCD or from the charge transfer bar associated with the sensor according to claims 1 and 2, characterized in that it produces a convolution of the signal emitted by the CCD bar by one or more test functions to obtain a more precise measurement of the reduction of the image of the light source and detection at the signal to noise ratio improves.

7 ") Sensor according to all the preceding claims characterized in that it comprises a porgrammed calculator for the recognition of the handwritten characters measured and the transmission of the writing encaracteresinformatiquesnotalementascii.

8 ') Pen comprising a point light source according to claim 1 characterized in that it is provided with a rechargeable battery and a pressure switch which makes it possible to supply the light source while the pen is writing.

9e) Handwriting sensor characterized in that it combines a sensor according to claims 1, 2 and 3 or 4 and a pen according to claim 8