FR2826149A1 - Device recording the position of human lips and application of this information, uses a light source and an image sensor attached to a frame and facing the lips, with the frame attached to the user's head - Google Patents
Device recording the position of human lips and application of this information, uses a light source and an image sensor attached to a frame and facing the lips, with the frame attached to the user's head Download PDFInfo
- Publication number
- FR2826149A1 FR2826149A1 FR0107984A FR0107984A FR2826149A1 FR 2826149 A1 FR2826149 A1 FR 2826149A1 FR 0107984 A FR0107984 A FR 0107984A FR 0107984 A FR0107984 A FR 0107984A FR 2826149 A1 FR2826149 A1 FR 2826149A1
- Authority
- FR
- France
- Prior art keywords
- human
- lips
- image
- immobilization
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Abstract
Description
<Desc/Clms Page number 1> <Desc / Clms Page number 1>
La présente invention concerne un dispositif d'acquisition de la position dans l'espace des lèvres d'un être humain ainsi que des utilisations de celuici. The present invention relates to a device for acquiring the position in the space of the lips of a human being as well as uses thereof.
On connaît de tels dispositifs comportant une caméra permettant de reconnaître visuellement des mouvements des lèvres, pour effectuer une traduction simultanée des sons émis par celles-ci. Such devices are known comprising a camera making it possible to visually recognize movements of the lips, in order to carry out a simultaneous translation of the sounds emitted by these.
Ces dispositifs se révèlent peu fiables, peu précis et compliqués à mettre en oeuvre. These devices prove to be unreliable, imprecise and complicated to implement.
L'invention vise à obtenir un dispositif palliant les inconvénients de l'état de la technique. The invention aims to obtain a device which overcomes the drawbacks of the state of the art.
Un premier objet de l'invention est un dispositif d'acquisition de la position de l'espace des lèvres d'un être humain, comportant un moyen de production d'au moins une image des lèvres de l'être humain, caractérisé en ce qu'il comporte en outre un moyen de support, sur lequel le moyen de production d'image est monté et qui est solidaire d'un moyen d'immobilisation sur le corps de l'être humain. A first object of the invention is a device for acquiring the position of the space of the lips of a human being, comprising a means for producing at least one image of the lips of the human being, characterized in that that it further comprises a support means, on which the image production means is mounted and which is secured to a means of immobilization on the body of the human being.
Grâce à l'invention, le moyen de production d'image des lèvres est positionné de manière sensiblement fixe par rapport aux lèvres et indépendamment des mouvements des autres parties du corps de l'être humain, ce qui permet de générer une image pratiquement fixe des lèvres, plus aisée à exploiter. Thanks to the invention, the means for producing the image of the lips is positioned in a substantially fixed manner with respect to the lips and independently of the movements of the other parts of the body of the human being, which makes it possible to generate a practically fixed image of the lips, easier to use.
Afin d'obtenir une référence stable par rapport à l'être humain, le moyen d'immobilisation comprend au moins trois points d'appui sur la tête de l'être humain. In order to obtain a stable reference with respect to the human being, the immobilization means comprises at least three support points on the head of the human being.
Dans un mode de réalisation de l'invention, simple à mettre en oeuvre, le moyen d'immobilisation comprend une monture ayant deux branches d'appui sur les oreilles et un reposoir sur le nez (ou ensellure nasale) de l'être humain. In one embodiment of the invention, simple to implement, the immobilization means comprises a frame having two bearing branches on the ears and a rest on the nose (or nasal saddle) of the human being.
Dans un mode de réalisation de l'invention, permettant d'obtenir un échantillon de la position dans l'espace des lèvres de l'être humain, quelles que soient les conditions d'éclairement, le dispositif comporte, monté sur le moyen de support, un moyen de projection par rayonnement, suivant un axe de projection, sur les lèvres de l'être humain, d'un profil de longueur d'onde déterminée, apte à être détecté par le moyen de production d'image et de forme déterminée, le moyen de projection et le moyen de production formant un système de triangulation par imagerie des lèvres de l'être humain. In one embodiment of the invention, making it possible to obtain a sample of the position in space of the lips of the human being, whatever the lighting conditions, the device comprises, mounted on the support means , a means of projection by radiation, along an axis of projection, on the lips of the human being, of a profile of determined wavelength, capable of being detected by the means of image production and of determined shape , the projection means and the production means forming a triangulation system by imagery of the lips of the human being.
<Desc/Clms Page number 2> <Desc / Clms Page number 2>
Suivant une caractéristique, facilitant l'interprétation de l'image, le profil de projection est compris dans un plan. According to one characteristic, facilitating the interpretation of the image, the projection profile is included in a plane.
Suivant une caractéristique de l'invention, le profil de projection est centré sur le plan vertical médian des lèvres, en position d'immobilisation sur le corps, ce qui permet de simplifier l'acquisition, en considérant que les mouvements des lèvres sont symétriques et que la capture la plus pertinente est celle du mouvement selon l'axe facial vertical. According to a characteristic of the invention, the projection profile is centered on the vertical median plane of the lips, in the immobilization position on the body, which makes it possible to simplify the acquisition, by considering that the movements of the lips are symmetrical and that the most relevant capture is that of the movement along the vertical facial axis.
Afin de diminuer les risques de confusion d'interprétation de la position des lèvres, le moyen de production d'image et le moyen de projection sont disposés, suivant une caractéristique de l'invention, en position d'immobilisation sur le corps, de manière à produire une image du profil comprenant les lèvres et le phitrium. In order to reduce the risks of confusion in interpreting the position of the lips, the image production means and the projection means are arranged, according to a characteristic of the invention, in a position of immobilization on the body, so producing an image of the profile comprising the lips and the phitrium.
Suivant une caractéristique de l'invention assurant une sécurité de l'utilisateur contre le rayonnement et permettant d'étendre la gamme de rayonnement pouvant être utilisée dans le dispositif, celui-ci comprend en outre un moyen d'occultation du profil projeté vers les yeux en position d'immobilisation sur le corps. According to a characteristic of the invention ensuring user safety against radiation and making it possible to extend the range of radiation that can be used in the device, the latter also comprises a means for obscuring the profile projected towards the eyes. in the immobilized position on the body.
Afin de renforcer la sécurité de l'utilisateur contre le rayonnement et d'éviter des accidents dus à une mauvaise manipulation, le dispositif comprend un moyen de commande de mise en marche/arrêt du moyen de projection, monté de telle sorte qu'il ne provoque la mise en marche du moyen de projection que lorsque le moyen d'immobilisation se trouve dans une position d'immobilisation sur le corps. In order to reinforce the safety of the user against radiation and to avoid accidents due to improper handling, the device comprises a control means for switching on / off the projection means, mounted so that it does not causes the projection means to start only when the immobilization means is in an immobilization position on the body.
Dans un mode de réalisation peu encombrant, le moyen de commande de mise en marche/arrêt comprend un barrage photoélectrique monté sur le moyen d'immobilisation et apte à intercepter le corps de l'être humain lorsque le moyen d'immobilisation est en position d'immobilisation sur ledit corps. In a space-saving embodiment, the on / off control means comprises a light barrier mounted on the immobilization means and capable of intercepting the body of the human being when the immobilization means is in position d immobilization on said body.
Suivant une caractéristique de l'invention, augmentant l'autonomie dans l'espace du dispositif, le dispositif comporte des moyens de traitement de l'image produite par le moyen de production d'image, reliés à celui-ci par une liaison de télécommunication sans fil. According to a characteristic of the invention, increasing the autonomy in the space of the device, the device comprises means for processing the image produced by the image production means, connected to the latter by a telecommunication link. wireless.
Afin d'exploiter automatiquement les images, il est prévu, suivant une caractéristique de l'invention, que les moyens de traitement comprennent des moyens d'analyse de l'image produite, aptes à générer au moins une grandeur In order to automatically exploit the images, it is provided, according to a characteristic of the invention, that the processing means comprise means for analyzing the image produced, capable of generating at least one quantity
<Desc/Clms Page number 3><Desc / Clms Page number 3>
caractéristique à partir de l'image produite, une base de données contenant des grandeurs de référence et un moyen de comparaison de la grandeur caractéristique générée par les moyens d'analyse aux grandeurs de référence présentes dans la base de données. characteristic from the image produced, a database containing reference quantities and a means for comparing the characteristic quantity generated by the analysis means with the reference quantities present in the database.
Dans un mode de réalisation, nécessitant de traiter une quantité relativement petite d'informations pour acquérir un nombre relativement grand de positions des lèvres, les moyens d'analyse comprennent des moyens de mesure d'au moins une coordonnée sur l'image de points du profil projeté, délimitant des parties de la bouche de l'être humain, telles que la lèvre supérieure et la lèvre inférieure, pour la génération d'au moins une grandeur caractéristique. In one embodiment, necessitating processing a relatively small amount of information to acquire a relatively large number of positions of the lips, the analysis means comprise means for measuring at least one coordinate on the image of points of the projected profile, delimiting parts of the mouth of the human being, such as the upper lip and the lower lip, for the generation of at least one characteristic quantity.
Afin de pouvoir corréler les images à d'autres informations pouvant varier en fonction du mouvement des lèvres, il est prévu suivant une caractéristique de l'invention, que le moyen de production en image est associé à au moins un capteur de pression différentielle monté sur le moyen de support, par exemple à un microphone devant la bouche ou un capteur sous les narines, en position d'immobilisation, et/ou à un deuxième moyen de triangulation par imagerie de la position de la glotte de l'être humain, monté sur le moyen de support, des moyens de corrélation entre l'image produite par le moyen de production d'image et la pression détectée par le capteur et/ou la deuxième image produite par le deuxième moyen de triangulation par imagerie de la position de la glotte de l'être humain étant prévus. In order to be able to correlate the images with other information which may vary as a function of the movement of the lips, it is provided according to a characteristic of the invention, that the image production means is associated with at least one differential pressure sensor mounted on the support means, for example a microphone in front of the mouth or a sensor under the nostrils, in the immobilized position, and / or a second means of triangulation by imaging of the position of the glottis of the human being, mounted on the support means, means for correlation between the image produced by the image production means and the pressure detected by the sensor and / or the second image produced by the second means of triangulation by imaging of the position of the glottis of the human being being expected.
L'invention prévoit également une utilisation du dispositif d'acquisition de la position dans l'espace des lèvres d'un être humain, comme interface de commande homme/machine, pour générer des signaux de commande à partir de l'image produite par les moyens de production, par exemple pour la commande d'un robot, d'un ordinateur ou d'un fauteuil pour handicapé. The invention also provides for the use of the device for acquiring the position in the space of the lips of a human being, as a man / machine control interface, for generating control signals from the image produced by the means of production, for example for controlling a robot, a computer or a wheelchair for the disabled.
Une autre utilisation du dispositif d'acquisition de la position dans l'espace des lèvres d'un être humain, consiste, suivant l'invention, à lire les lèvres d'un être humain à partir de l'image produite, par exemple pour produire un son en fonction de l'image produite, pour corriger la prononciation de l'être humain à partir de l'image produite ou pour la reconnaissance de la parole de l'être humain. Another use of the device for acquiring the position in space of the lips of a human being consists, according to the invention, in reading the lips of a human being from the image produced, for example for produce a sound according to the image produced, to correct the pronunciation of the human being from the image produced or for the recognition of the speech of the human being.
<Desc/Clms Page number 4> <Desc / Clms Page number 4>
L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple et faite en se référant aux dessins annexés, sur lesquels : - la figure 1 représente le dispositif d'acquisition porté par un être humain suivant un mode de réalisation de l'invention ; - la figure 2 est une vue de dessous du dispositif d'acquisition selon l'invention ; - la figure 3 est une vue en perspective de la monture du dispositif d'acquisition suivant l'invention ; - la figure 4 est un synoptique modulaire montrant le dispositif d'acquisition suivant l'invention ; - les figures 5 à 8 représentent différentes images des lèvres d'un être humain, dont les positions peuvent être acquises par le dispositif suivant l'invention ; et - la figure 9 représente le dispositif d'acquisition porté par un être humain suivant un autre mode de réalisation de l'invention. The invention will be better understood on reading the description which follows, given solely by way of example and made with reference to the appended drawings, in which: - Figure 1 shows the acquisition device carried by a human being according to one embodiment of the invention; - Figure 2 is a bottom view of the acquisition device according to the invention; - Figure 3 is a perspective view of the frame of the acquisition device according to the invention; - Figure 4 is a modular block diagram showing the acquisition device according to the invention; - Figures 5 to 8 show different images of the lips of a human, whose positions can be acquired by the device according to the invention; and - Figure 9 shows the acquisition device worn by a human being according to another embodiment of the invention.
A la figure 1, le dispositif 1 d'acquisition suivant l'invention, comporte une monture 2 adaptée pour être positionnée sur la tête d'un être humain et comportant à cet effet deux branches 3,4 latérales, destinées à être disposées de part et d'autre de la tête au niveau des tempes et solidaires à leurs extrémités frontales d'une branche transversale 5 destinée à être disposée devant le nez de l'être humain et comportant à cet effet, dans sa partie médiane, un reposoir 6 sur le nez, comportant deux branches 7,8 en oblique vers le bas, situées de part et d'autre du nez, terminées chacune par un coussinet 9 d'appui sur le nez et assurant un centrage par rapport à celui-ci. In FIG. 1, the acquisition device 1 according to the invention comprises a frame 2 adapted to be positioned on the head of a human being and comprising for this purpose two lateral branches 3, 4 intended to be arranged on the side and on the other side of the head at the temples and integral with their front ends with a transverse branch 5 intended to be placed in front of the nose of the human being and comprising for this purpose, in its median part, a rest 6 on the nose, comprising two branches 7,8 obliquely downward, situated on either side of the nose, each terminated by a bearing pad 9 bearing on the nose and ensuring centering with respect thereto.
Les extrémités arrière des branches transversales 3,4, sont solidaires d'organes 10,11 d'appui sur les oreilles, par exemple formés par un prolongement recourbé sur celles-ci jusqu'en dessous du lobe inférieur des oreilles et muni d'un revêtement de confort. The rear ends of the transverse branches 3, 4 are secured to support members 10, 11 on the ears, for example formed by a curved extension on the latter up to below the lower lobe of the ears and provided with a comfort covering.
La barre transversale 5 est solidaire, à distance du reposoir 6, par exemple par un côté solidaire de la branche latérale 3, d'une branche 12 de liaison dirigée vers l'avant et vers le bas par rapport au nez. The crossbar 5 is secured, at a distance from the rest 6, for example by a side secured to the lateral branch 3, of a connecting branch 12 directed forward and downward relative to the nose.
La branche 12 de liaison est solidaire d'une branche 13 de support située à distance de la branche 5 transversale et par exemple parallèle à celle-ci. The connecting branch 12 is integral with a support branch 13 located at a distance from the transverse branch 5 and for example parallel to the latter.
<Desc/Clms Page number 5><Desc / Clms Page number 5>
Une caméra 14 ainsi qu'une source 15 d'émission d'un profil laser sont fixées sur la branche 13 de support à distance l'une de l'autre, suivant la direction transversale 16 allant entre les côtés gauche et droit de la tête de l'être humain. A camera 14 and a source 15 of emission of a laser profile are fixed on the support branch 13 at a distance from each other, in the transverse direction 16 going between the left and right sides of the head of the human being.
Lorsque la monture 2 est posée par ses organes d'appui 10,11 et son reposoir 6, respectivement sur les oreilles et le nez de l'être humain, celle-ci ainsi que la branche de support 13, la caméra 14 et la source 15 sont immobilisées en position par rapport au visage et aux lèvres de l'être humain. When the frame 2 is placed by its support members 10,11 and its rest 6, respectively on the ears and the nose of the human being, the latter as well as the support branch 13, the camera 14 and the source 15 are immobilized in position relative to the face and lips of the human being.
La source 15 est orientée de manière à projeter le profil laser 17 sur les lèvres suivant un axe 17a de projection et forme un émetteur de lumière structurée plane. Le profil laser 17 est un plan laser vertical contenant l'axe 17a de projection et ayant une étendue telle qu'il intercepte le phitrium, les lèvres, l'intérieur de la bouche et le menton. L'axe 17a de projection de la source 15 et l'axe optique 14a de la caméra forment un angle 17b non nul et par exemple compris entre 20 et 35 . The source 15 is oriented so as to project the laser profile 17 onto the lips along a projection axis 17a and forms a plane structured light emitter. The laser profile 17 is a vertical laser plane containing the axis of projection 17a and having an extent such that it intercepts the phitrium, the lips, the inside of the mouth and the chin. The axis 17a of projection of the source 15 and the optical axis 14a of the camera form a non-zero angle 17b and for example between 20 and 35.
La source 15 comporte un émetteur laser 18 émettant un rayon laser au travers d'un élément 19 de focalisation optique, puis d'un élément 20 de divergence optique, par exemple constitué d'un barreau cylindrique, apte à transformer le rayon laser en un faisceau plan, puis d'un élément 21 comportant une ouverture de passage du faisceau plan et apte à occulter celui-ci au-dessous du niveau des yeux, en position d'immobilisation de la monture 2, par exemple de 3 cm au-dessous de la ligne des yeux ou à partir de la base du nez ainsi que représenté. The source 15 comprises a laser emitter 18 emitting a laser beam through an element 19 for optical focusing, then an element 20 for optical divergence, for example consisting of a cylindrical bar, capable of transforming the laser beam into a planar beam, then an element 21 comprising an opening for passage of the planar beam and capable of obscuring it below the eye level, in the immobilization position of the frame 2, for example 3 cm below from the line of the eyes or from the base of the nose as shown.
Le profil laser 17 est monochromatique, par exemple rouge ou dans le proche infra-rouge invisible à l'oil humain. The laser profile 17 is monochromatic, for example red or in the near infrared invisible to the human eye.
La caméra 14 est dirigée vers les lèvres de l'être humain, de manière à pouvoir former une image de celles-ci, et est apte à recevoir le profil 17. The camera 14 is directed towards the lips of the human being, so as to be able to form an image of these, and is capable of receiving the profile 17.
La caméra 14 est de type matriciel et comporte un filtre interférentiel 22 accordé sur la longueur d'onde du profil 17, un objectif 23 à courte focale et un module 24 à rétine matricielle, l'un derrière l'autre dans le sens de réception. The camera 14 is of the matrix type and comprises an interference filter 22 tuned to the wavelength of the profile 17, a lens 23 with short focal length and a module 24 with matrix retina, one behind the other in the direction of reception. .
A titre d'exemple, la longueur d'onde du profil 17 est de 800 nanomètres, la caméra est de technologie CMOS, la rétine est d'1/3 de pouce et l'objectif est en méthacrylate de focale 2,8 mm. For example, the wavelength of profile 17 is 800 nanometers, the camera is of CMOS technology, the retina is 1/3 of an inch and the lens is made of methacrylate with a focal length of 2.8 mm.
<Desc/Clms Page number 6> <Desc / Clms Page number 6>
Le champ de réception de la caméra 14 et son positionnement sur la branche 13 de support sont adaptés pour que la caméra 14 puisse former une image couvrant en hauteur, les lèvres, le phitrium et le menton. The reception field of the camera 14 and its positioning on the support branch 13 are adapted so that the camera 14 can form an image covering in height, the lips, the phitrium and the chin.
La caméra 14 et la source 15 sont reliées à une alimentation en énergie 25. La caméra 14 est en outre reliée à un émetteur 26 apte à transmettre l'image formée par la caméra 14 à un récepteur 27 distant par une liaison hertzienne 28, ainsi que représenté à la figure 4. Les informations reçues par le récepteur 27 sont traitées par une unité de traitement 29 reliée au récepteur 27 et par exemple mise en oeuvre sur un calculateur. The camera 14 and the source 15 are connected to a power supply 25. The camera 14 is also connected to a transmitter 26 capable of transmitting the image formed by the camera 14 to a remote receiver 27 by a radio link 28, thus as shown in FIG. 4. The information received by the receiver 27 is processed by a processing unit 29 connected to the receiver 27 and for example implemented on a computer.
A la figure 3, la monture 2 comporte un barrage photo-électrique 30 pour commander la mise en marche de la source 15 lorsque la monture 2 se trouve en position d'immobilisation et son arrêt dans une autre position. A cet effet, le barrage photo-électrique 30 est positionné entre les branches 7,8 en oblique du reposoir 6, de manière à être interrompu par le nez en position d'immobilisation et à ne pas l'être en l'absence d'obstacle entre celles-ci, et comporte une diode 30a d'émission électroluminescente sur l'une 7 des branches, dirigée vers un phototransistor 30b sur l'autre branche 8. In FIG. 3, the frame 2 comprises a light barrier 30 for controlling the starting of the source 15 when the frame 2 is in the immobilized position and its stop in another position. To this end, the light barrier 30 is positioned between the branches 7,8 obliquely of the rest 6, so as to be interrupted by the nose in the immobilized position and not to be so in the absence of obstacle between them, and comprises a light emitting diode 30a on one of the branches 7, directed towards a phototransistor 30b on the other branch 8.
La caméra 14 est commandée de manière à prendre des images à in- tervalles réguliers, par exemple 50 images par seconde. Afin de réduire la quantité d'informations à transmettre par la liaison 28, il peut être choisi que seules les trames paires ou impaires des images soient transmises par l'émetteur 26. The camera 14 is controlled so as to take images at regular intervals, for example 50 images per second. In order to reduce the amount of information to be transmitted by the link 28, it can be chosen that only the even or odd frames of the images are transmitted by the transmitter 26.
L'unité de traitement 29 comporte un module 31 d'extraction de grandeurs caractéristiques de l'image produite par la caméra 14, à partir des informations reçues par le récepteur 27, le module 31 d'extraction comportant par exem- ple un module de numérisation de l'image. The processing unit 29 comprises a module 31 for extracting quantities characteristic of the image produced by the camera 14, from information received by the receiver 27, the extraction module 31 comprising for example a module for image scanning.
Les figures 5 à 8 représentent des images des lèvres lorsqu'elles sont en position de prononcer respectivement les lettres 0, t, F de fa et M de mi, provenant de la caméra 14. FIGS. 5 to 8 represent images of the lips when they are in position to pronounce respectively the letters 0, t, F of fa and M of mi, coming from camera 14.
La projection du profil 17 sur le visage de l'être humain, comporte un segment AB sur le phitrium, un segment BC sur la lèvre supérieure, un segment CD entre les lèvres, un segment DE sur la lèvre inférieure et un segment EF sur le menton. Les points B, C, D et E d'extrémité de ces segments sont délimités respectivement par les changements de courbure du profil 17 présent dans les The projection of the profile 17 on the face of the human being, comprises a segment AB on the phitrium, a segment BC on the upper lip, a segment CD between the lips, a segment DE on the lower lip and a segment EF on the chin. The end points B, C, D and E of these segments are defined respectively by the changes in curvature of the profile 17 present in the
<Desc/Clms Page number 7> <Desc / Clms Page number 7>
images, qui sont provoqués par le haut de la lèvre supérieure, le bas de la lèvre supérieure, le haut de la lèvre inférieure et le bas de la lèvre inférieure.
images, which are caused by the top of the upper lip, the bottom of the upper lip, the top of the lower lip and the bottom of the lower lip.
A titre d'exemple, le module 31 d'extraction comporte des moyens de mesure de l'abscisse des points B, C, D et E suivant un axe Z de projection, par exemple vertical. Il est prévu dans le module 31 d'extraction, des moyens de calcul de l'abscisse du point B, rapporté à celle du point E, en tant que première grandeur caractéristique d1 et de l'abscisse du point C, rapportée à l'abscisse du point D, en tant que deuxième grandeur caractéristique d2. By way of example, the extraction module 31 includes means for measuring the abscissa of the points B, C, D and E along a projection axis Z, for example vertical. Means are provided in the extraction module 31 for calculating the abscissa of point B, related to that of point E, as the first characteristic quantity d1 and of the abscissa of point C, related to abscissa of point D, as the second characteristic quantity d2.
En variante, ces deux grandeurs caractéristiques d1, d2, sont mesurées directement par les moyens de mesure. As a variant, these two characteristic quantities d1, d2, are measured directly by the measuring means.
Bien entendu, d'autres grandeurs caractéristiques de la position des lèvres peuvent être également déterminées à partir de l'image produite par la caméra 14. Of course, other quantities characteristic of the position of the lips can also be determined from the image produced by the camera 14.
Ainsi, à la figure 5, d1 = 33 et d2 = 4, à la figure 6, d1 = 38, d2 = 10, à la figure 7, d1 =21, d2=1, à la figure 8, d1 = 19etd2=0. Thus, in Figure 5, d1 = 33 and d2 = 4, in Figure 6, d1 = 38, d2 = 10, in Figure 7, d1 = 21, d2 = 1, in Figure 8, d1 = 19 and d2 = 0.
Les grandeurs caractéristiques d1, d2, sont envoyées à un comparateur 32 effectuant une comparaison de celles-ci à des grandeurs de référence préenregistrées dans une base 33 de données d'images. Le résultat de la comparaison fourni par le comparateur 32 est envoyé à un organe de commande 34 apte à générer au moins un signal S en fonction du résultat de la comparaison. The characteristic quantities d1, d2 are sent to a comparator 32 carrying out a comparison of these with reference quantities prerecorded in an image database 33. The result of the comparison provided by the comparator 32 is sent to a control member 34 capable of generating at least one signal S as a function of the result of the comparison.
Le cas échéant, une phase d'apprentissage permet d'enregistrer les grandeurs des références dans la base de données 33 à partir de grandeurs caractéristiques produites par le module 31 d'extraction et provenant d'images formées par la caméra 14. If necessary, a learning phase makes it possible to record the quantities of the references in the database 33 from characteristic quantities produced by the extraction module 31 and coming from images formed by the camera 14.
Dans le mode de réalisation représenté à la figure 9, le dispositif 1 d'acquisition comporte, en plus des éléments décrits en référence aux figures précédentes, une deuxième caméra 35 et une deuxième source 36 de projection d'un deuxième profil 37 plan laser structuré, montés à distance l'un de l'autre suivant la direction transversale 16 sur une deuxième branche 38 de support, laquelle est fixée par une deuxième branche 39 de liaison à la branche 12 de liaison et/ou également à la branche 13 de support, par exemple à proximité de la caméra 14. La deuxième caméra 35 et la deuxième source 36 sont montés de In the embodiment shown in FIG. 9, the acquisition device 1 comprises, in addition to the elements described with reference to the preceding figures, a second camera 35 and a second source 36 for projecting a second profile 37 structured laser plane , mounted at a distance from each other in the transverse direction 16 on a second support branch 38, which is fixed by a second connecting branch 39 to the connecting branch 12 and / or also to the supporting branch 13 , for example near the camera 14. The second camera 35 and the second source 36 are mounted
<Desc/Clms Page number 8><Desc / Clms Page number 8>
façon à obtenir un capteur de triangulation. En position d'immobilisation, la deuxième source 36 est orientée de manière à projeter le deuxième profil laser 37 sur la glotte, suivant un plan vertical médian, et la deuxième caméra 35 est dirigée vers la glotte de l'être humain, de manière à pouvoir former une image de celle-ci, et est apte à recevoir le deuxième profil 37. La deuxième caméra 35 est synchronisée pour former des images simultanées avec la caméra 14. De manière similaire à ce qui a été décrit en ce qui concerne la caméra 14, l'image formée par la deuxième caméra 35 est transmise par un émetteur hertzien au récepteur 27 puis traitées par l'unité 29 de traitement, où en plus il est extrait de l'image formée par la deuxième caméra 35 une ou plusieurs grandeurs caractéristiques de la position de la glotte, qui sont ensuite comparées à des grandeurs de référence de la position de la glotte. L'unité 29 de traitement est apte à effectuer une corrélation entre le résultat de la comparaison de grandeurs caractéristiques de lèvres avec le résultat de la comparaison de grandeurs caractéristiques de glotte, des moyens étant prévus à cet effet. L'unité 29 de traitement produit un signal S de sortie, fonction du résultat de la comparaison de grandeurs caractéristiques de lèvres et de la corrélation établie. Il est ainsi permis de discriminer plus finement entre plusieurs sons associés à des positions identiques ou ressemblantes des lèvres ou à des positions apparaissant comme telles sur l'image des lèvres produite par la caméra 14, par exemple pour discriminer entre les sons é nasal et i glottique. Bien entendu, l'unité 29 de traitement peut être telle que la corrélation n'est effectuée que pour des résultats prédéterminés de la comparaison de grandeurs caractéristiques des lèvres, par exemple pour des résultats pour lesquels il a été prédéterminé qu'ils correspondent à des positions de lèvres associées à plusieurs sons. so as to obtain a triangulation sensor. In the immobilized position, the second source 36 is oriented so as to project the second laser profile 37 onto the glottis, along a vertical median plane, and the second camera 35 is directed towards the glottis of the human being, so as to being able to form an image thereof, and is capable of receiving the second profile 37. The second camera 35 is synchronized to form simultaneous images with the camera 14. In a similar manner to what has been described with regard to the camera 14, the image formed by the second camera 35 is transmitted by a radio transmitter to the receiver 27 and then processed by the processing unit 29, where in addition it is extracted from the image formed by the second camera 35 one or more quantities characteristics of the position of the glottis, which are then compared to reference quantities of the position of the glottis. The processing unit 29 is capable of correlating the result of the comparison of characteristic quantities of the lips with the result of the comparison of characteristic quantities of the glottis, means being provided for this purpose. The processing unit 29 produces an output signal S, which is a function of the result of the comparison of characteristic quantities of lips and of the correlation established. It is thus possible to discriminate more finely between several sounds associated with identical or similar positions of the lips or with positions appearing as such on the image of the lips produced by the camera 14, for example to discriminate between the nasal sounds and i glottis. Of course, the processing unit 29 can be such that the correlation is only carried out for predetermined results of the comparison of characteristic quantities of the lips, for example for results for which it has been predetermined that they correspond to lip positions associated with multiple sounds.
Le signal S peut également être produit après corrélation avec une analyse de sons reçus par un microphone positionné sur la branche de support 13 de la monture 2 ou avec une analyse de signaux provenant d'un capteur de pression différentielle positionné sur la branche de support 13 de la monture 2 devant la bouche ou sous le nez de l'être humain, des moyens étant prévus à cet effet. The signal S can also be produced after correlation with an analysis of sounds received by a microphone positioned on the support branch 13 of the mount 2 or with an analysis of signals coming from a differential pressure sensor positioned on the support branch 13 of the frame 2 in front of the mouth or under the nose of the human being, means being provided for this purpose.
Suivant l'invention, le signal S peut être utilisé pour commander un robot, un ordinateur ou un fauteuil d'handicapé, ou pour générer des sons pouvant correspondre aux positions des lèvres, par exemple de personnes muettes. According to the invention, the signal S can be used to control a robot, a computer or a wheelchair, or to generate sounds which may correspond to the positions of the lips, for example of mute people.
Claims (16)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0107984A FR2826149B1 (en) | 2001-06-18 | 2001-06-18 | DEVICE FOR ACQUIRING THE POSITION OF THE LIPS OF A HUMAN BEING AND USES THEREOF |
| PCT/FR2002/001934 WO2002103614A1 (en) | 2001-06-18 | 2002-06-06 | Device for recording the position of the lips of a human being and uses thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0107984A FR2826149B1 (en) | 2001-06-18 | 2001-06-18 | DEVICE FOR ACQUIRING THE POSITION OF THE LIPS OF A HUMAN BEING AND USES THEREOF |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2826149A1 true FR2826149A1 (en) | 2002-12-20 |
| FR2826149B1 FR2826149B1 (en) | 2005-02-04 |
Family
ID=8864457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0107984A Expired - Fee Related FR2826149B1 (en) | 2001-06-18 | 2001-06-18 | DEVICE FOR ACQUIRING THE POSITION OF THE LIPS OF A HUMAN BEING AND USES THEREOF |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR2826149B1 (en) |
| WO (1) | WO2002103614A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109315913B (en) * | 2018-10-16 | 2022-03-18 | 陕西科技大学 | Wearable eyebrow drawing auxiliary device |
-
2001
- 2001-06-18 FR FR0107984A patent/FR2826149B1/en not_active Expired - Fee Related
-
2002
- 2002-06-06 WO PCT/FR2002/001934 patent/WO2002103614A1/en not_active Application Discontinuation
Non-Patent Citations (2)
| Title |
|---|
| GOLDSCHEN A J ET AL: "CONTINUOUS OPTICAL AUTOMATIC SPEECH RECOGNITION BY LIPREADING", RECORD OF THE ASILOMAR CONFERENCE ON SIGNALS, SYSTEMS AND COMPUTERS. PACIFIC GROVE, OCT. 30 - NOV. 2, 1994, LOS ALAMITOS, IEEE COMP. SOC. PRESS, US, vol. 1 CONF. 28, 30 October 1994 (1994-10-30), pages 572 - 577, XP000533616, ISBN: 0-8186-6406-1 * |
| PETAJAN E D: "AUTOMATIC LIPREADING TO ENHANCE SPEECH RECOGNITION", PROCEEDINGS OF THE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. SAN FRANCISCO, JUNE 19 - 23 1985, SILVER SPRING, IEEE COMP. SOC. PRESS, US, 1985, pages 40 - 47, XP000564588 * |
Also Published As
| Publication number | Publication date |
|---|---|
| FR2826149B1 (en) | 2005-02-04 |
| WO2002103614A1 (en) | 2002-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2498671B1 (en) | Method and device for automatically measuring at least one refractive characteristic of both eyes of person | |
| EP3391810A1 (en) | Dental photography device | |
| FR2987908A1 (en) | AUTOMATIC SCANNER AND METHOD FOR 3D SCANNING OF A HUMAN CEPHALIC PERIPHERAL PORTION | |
| FR2558971A1 (en) | APPARATUS FOR FORMING DIGITAL IMPRESSION IMAGES | |
| WO1990005484A1 (en) | Device for measuring and analyzing movements of the human body or parts thereof | |
| EP3218765A1 (en) | Devices and methods for determining the position of a characterizing point of an eye and for tracking the direction of the gaze of a wearer of spectacles | |
| FR3065363A1 (en) | DENTAL SHOOTING DEVICE | |
| EP2582283A1 (en) | Method for estimating a reference posture | |
| EP2901209A1 (en) | Method for helping determine the vision parameters of a subject | |
| EP3627210A1 (en) | System for viewing in virtual or augmented reality with eye image sensor, and associated method | |
| FR3065364A1 (en) | DENTAL SHOOTING DEVICE | |
| WO2007096520A1 (en) | Biodetector functioning without contact | |
| JP2005351871A5 (en) | ||
| FR2826149A1 (en) | Device recording the position of human lips and application of this information, uses a light source and an image sensor attached to a frame and facing the lips, with the frame attached to the user's head | |
| EP2555667B1 (en) | Optical system for following ocular movements and associated support device | |
| EP3281097A1 (en) | Interactive electronic projection device | |
| WO2015025103A2 (en) | Decision device provided to decide whether an eye is real or false | |
| FR2930826A1 (en) | Image acquiring device for evaluating appearance characteristic e.g. makeup result, of facing zone e.g. nose, has capturing unit capturing image of facing zone illuminated by lighting unit, where lighting unit has light source | |
| FR2921732A1 (en) | Contactless scanning device for constructing synthesis image of apple in e.g. industrial field, has camera including sensor placed in optical axle, where distance between sensor and mirror is less than distance between pattern and mirror | |
| EP2998787B1 (en) | Contactless device and method for standard photo-taking | |
| FR2684285A1 (en) | METHOD AND DEVICE FOR MEASURING OCULAR MOVEMENTS. | |
| FR2678394A1 (en) | FOCUSING DETECTION DEVICE. | |
| FR3099957A1 (en) | Portable device for projecting an image onto at least part of a user's body | |
| FR3137783A1 (en) | Contactless biometric fingerprint capture device | |
| FR3094530A1 (en) | FACE ACQUISITION DEVICE OF AN INDIVIDUAL |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ST | Notification of lapse |
Effective date: 20130228 |