FR3099957A1 - Portable device for projecting an image onto at least part of a user's body - Google Patents
Portable device for projecting an image onto at least part of a user's body Download PDFInfo
- Publication number
- FR3099957A1 FR3099957A1 FR1909161A FR1909161A FR3099957A1 FR 3099957 A1 FR3099957 A1 FR 3099957A1 FR 1909161 A FR1909161 A FR 1909161A FR 1909161 A FR1909161 A FR 1909161A FR 3099957 A1 FR3099957 A1 FR 3099957A1
- Authority
- FR
- France
- Prior art keywords
- projection
- user
- image
- projection device
- support element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/002—Mounting on the human body
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
- G02B27/022—Viewing apparatus
- G02B27/024—Viewing apparatus comprising a light source, e.g. for viewing photographic slides, X-ray transparancies
- G02B27/026—Viewing apparatus comprising a light source, e.g. for viewing photographic slides, X-ray transparancies and a display device, e.g. CRT, LCD, for adding markings or signs or to enhance the contrast of the viewed object
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/10—Projectors with built-in or built-on screen
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/28—Reflectors in projection beam
Abstract
Dispositif de projection (1) destiné à projeter une image sur au moins une partie du corps (2) d’un utilisateur, comprenant au moins un capteur de prise d’image (3), au moins un élément de projection d’image (41, 42), et au moins une unité de traitement (5), caractérisé en ce qu’au moins une partie du dispositif de projection (1) est équipée d’au moins un moyen de fixation (71, 72) prévu pour fixer ladite au moins une partie du dispositif de projection (1) sur un élément support (20) prévu pour être mobile par rapport à un référentiel absolu. Figure 1Projection device (1) intended to project an image onto at least a part of the body (2) of a user, comprising at least one image capture sensor (3), at least one image projection element ( 41, 42), and at least one processing unit (5), characterized in that at least part of the projection device (1) is equipped with at least one fixing means (71, 72) provided for fixing said at least part of the projection device (1) on a support element (20) intended to be movable with respect to an absolute frame of reference. Figure 1
Description
L’invention concerne le domaine des dispositifs de projection destinés à projeter une image sur au moins une partie du corps d’un utilisateur.The invention relates to the field of projection devices intended to project an image onto at least one part of a user's body.
Une évolution des technologies multimédia autorise actuellement de projeter des images, ou des vidéos, sur un objet en relief de manière très précise. Il s’agit par exemple d’une technologie appelée cartographie par projection, « mapping projection » en anglais, ou bien encore cartographie vidéo ou réalité augmentée spatiale.An evolution of multimedia technologies currently allows to project images, or videos, on an object in relief in a very precise way. This is, for example, a technology called projection mapping, “mapping projection” in English, or even video mapping or spatial augmented reality.
La cartographie par projection est utilisée pour transformer l’objet, qui a souvent une forme irrégulière, en une surface d’affichage pour la projection vidéo. Les objets peuvent être des bâtiments, des objets du quotidien ou des scènes théâtrales. La cartographie par projection permet ainsi de faire varier la couleur de l’objet, ou de créer un écran interactif à faible coût.Projection mapping is used to transform the object, which often has an irregular shape, into a display surface for video projection. Objects can be buildings, everyday objects or theatrical scenes. Mapping by projection thus makes it possible to vary the color of the object, or to create an interactive screen at low cost.
Des artistes utilisent un dispositif de projection utilisant cette technologie afin de projeter des images sur une partie du corps de l’utilisateur, comme par exemple le visage d’un utilisateur, à la manière d’un masque. Il est ainsi possible de modifier facilement un aspect du visage de l’utilisateur sans utilisation de maquillage. Le maquillage présente l’inconvénient de contenir des substances animales, ou allergènes. En outre, le maquillage traditionnel peut se dégrader en fonction des activités réalisées comme par exemple un effacement d’un rouge à lèvres lorsque l’utilisateur boit.Artists use a projection device using this technology to project images onto a part of the user's body, such as a user's face, like a mask. It is thus possible to easily modify an aspect of the user's face without using makeup. Makeup has the disadvantage of containing animal substances, or allergens. In addition, traditional make-up can degrade depending on the activities carried out, such as erasing lipstick when the user is drinking.
Dans la suite de la description, un référentiel absolu est un repère de référence permettant de qualifier un mouvement. Le référentiel absolu est positionné à proximité, mais indépendamment, de l’utilisateur et du dispositif de projection. Par exemple, le référentiel absolu sera une salle dans laquelle sont positionnés l’utilisateur et le dispositif de projection. Un mouvement absolu est déterminé vis-à-vis du référentiel absolu.In the rest of the description, an absolute frame of reference is a frame of reference making it possible to qualify a movement. The absolute reference is positioned close to, but independently of, the user and the projection device. For example, the absolute reference will be a room in which the user and the projection device are positioned. An absolute movement is determined with respect to the absolute reference frame.
Le dispositif de projection comprend des capteurs de prises d’image, des éléments de projection d’image, et une unité de traitement, qui sont positionnés à distance, quelques mètres, de l’utilisateur. Le dispositif de projection est fixe par rapport au référentiel absolu. Autrement dit, il n’y a pas de mouvement absolu du dispositif.The projection device comprises image capture sensors, image projection elements, and a processing unit, which are positioned at a distance, a few meters, from the user. The projection device is fixed with respect to the absolute reference. In other words, there is no absolute movement of the device.
Plus précisément, le dispositif de projection met en œuvre les étapes suivantes :More specifically, the projection device implements the following steps:
- détermination d’une image souhaitée par l’utilisateur,determination of an image desired by the user,
- enregistrement d’une image instantanée du visage de l’utilisateur au moyen d’un capteur de prise d’image, par exemple une caméra ou un appareil photographique,recording of an instantaneous image of the user's face by means of an image capture sensor, for example a camera or a photographic device,
- modélisation du visage à partir de l’image instantanée de manière à créer une reproduction virtuelle du visage,modeling of the face from the instantaneous image so as to create a virtual reproduction of the face,
- adaptation de l’image souhaitée sur la reproduction virtuelle du visage de manière à déterminer une image de projection,adaptation of the desired image on the virtual reproduction of the face so as to determine a projection image,
- projection sur le visage de l’utilisateur de l’image de projection.projection on the face of the user of the projection image.
La partie du corps de l’utilisateur comprend un contour qui est fermé et une zone de projection qui est délimitée par ledit contour.The part of the user's body comprises a contour which is closed and a projection zone which is delimited by said contour.
Par la suite, on appellera un mouvement d’expression, un mouvement de la zone de projection par rapport au contour de ladite partie du corps. Par exemple, en déterminant que la partie du corps est le visage de l’utilisateur, un mouvement d’expression du visage peut être un sourire, un froncement de sourcil, une fermeture ou une ouverture des paupières.Subsequently, we will call a movement of expression, a movement of the projection zone in relation to the contour of the said part of the body. For example, determining that the body part is the user's face, a facial expression movement can be a smile, frown, closing or opening of the eyelids.
Le mouvement absolu de la partie du corps correspondant au visage est, par exemple, un basculement ou une rotation de la tête de l’utilisateur.The absolute movement of the body part corresponding to the face is, for example, a tilting or a rotation of the user's head.
Le dispositif de projection selon l’état de l’art n’adapte pas l’image de projection à un mouvement absolu de la partie du corps. Autrement dit, le dispositif de projection ne fonctionne correctement que lorsque l’utilisateur est sensiblement immobile dans le référentiel absolu, c’est-à-dire lorsqu’un mouvement relatif de l’utilisateur par rapport au dispositif de projection est nul. En effet, l’adaptation de l’image souhaitée de manière à déterminer l’image de projection est ainsi facilitée. Cependant, cela contraint l’utilisateur à rester immobile et donc les cas d’utilisation du dispositif de projection sont limités.The projection device according to the state of the art does not adapt the projection image to an absolute movement of the body part. In other words, the projection device functions correctly only when the user is substantially immobile in the absolute frame of reference, that is to say when a relative movement of the user with respect to the projection device is zero. Indeed, the adaptation of the desired image so as to determine the projection image is thus facilitated. However, this constrains the user to remain still and therefore the use cases of the projection device are limited.
En outre, le dispositif de projection est volumineux, donc difficilement transportable, et coûteux. Ces caractéristiques limitent d’autant plus son utilisation à des salles d’exposition.In addition, the projection device is bulky, therefore difficult to transport, and expensive. These characteristics further limit its use to showrooms.
L’invention a pour but de remédier à tout ou partie des inconvénients précités en proposant un dispositif de projection pouvant être utilisé dans de nombreuses situations et notamment en cas d’un mouvement absolu ou d’un mouvement d’expression de l’utilisateur.The object of the invention is to remedy all or part of the aforementioned drawbacks by proposing a projection device that can be used in many situations and in particular in the event of an absolute movement or a movement of expression of the user.
Plus précisément, l’invention porte sur un dispositif de projection, destiné à projeter une image sur au moins une partie du corps d’un utilisateur, comprenant au moins un capteur de prise d’image, au moins un élément de projection d’image, et au moins une unité de traitement, caractérisé en ce qu’au moins une partie du dispositif de projection est équipée d’au moins un moyen de fixation prévu pour fixer ladite au moins une partie du dispositif de projection sur un élément de support prévu pour être mobile par rapport à un référentiel absolu.More specifically, the invention relates to a projection device, intended to project an image onto at least one part of the body of a user, comprising at least one image pickup sensor, at least one image projection element , and at least one processing unit, characterized in that at least a part of the projection device is equipped with at least one fixing means provided for fixing the said at least part of the projection device on a support element provided to be mobile with respect to an absolute reference.
L’élément de support est un élément sur lequel au moins une partie du dispositif de projection est conçu pour être fixée grâce à l’au moins un moyen de fixation. On entend par un élément support prévu pour être mobile que l’élément support comprend des éléments de mobilité, tel qu’un moteur ou une hélice permettant un déplacement autonome de l’élément support, ou que l’élément support est un élément mobile tel qu’une partie du corps de l’utilisateur par exemple. A titre d’exemple, l’élément support peut être un drone ou une main de l’utilisateur.The support element is an element on which at least a part of the projection device is designed to be fixed thanks to the at least one fixing means. By a support element intended to be mobile, it is meant that the support element comprises mobility elements, such as a motor or a propeller allowing autonomous movement of the support element, or that the support element is a mobile element such part of the user's body, for example. By way of example, the support element can be a drone or a hand of the user.
Le capteur de prise d’image permet de réaliser une image de l’au moins une partie du corps de l’utilisateur. Cette image sera par la suite appelée l’image instantanée. Le capteur de prise d’image peut être un appareil photographique ou une caméra, comme par exemple une micro-caméra.The image capture sensor makes it possible to produce an image of at least one part of the user's body. This image will hereafter be called the instantaneous image. The image pickup sensor can be a photographic device or a camera, such as a micro-camera for example.
L’élément de projection d’image permet de projeter une image, c’est-à-dire représenter une image sur l’au moins une partie du corps d’un utilisateur. L’image projetée sera par la suite appelée l’image de projection. L’image de projection est une image fixe ou mobile de manière à projeter un film.The image projection element makes it possible to project an image, that is to say to represent an image on the at least part of the body of a user. The projected image will hereafter be called the projection image. The projection image is a fixed or moving image so as to project a film.
L’unité de traitement reçoit en entrée l’image instantanée prise par le capteur de prise d’image et une image souhaitée.The processing unit receives as input the instantaneous image taken by the image pickup sensor and a desired image.
L’image souhaitée est l’image que l’utilisateur souhaite voir projeter par le dispositif de projection. L’image souhaitée correspond à n’importe quel type d’image. Par exemple, l’image souhaitée peut être une image choisie par l’utilisateur, une image choisie au hasard dans une base de donnée ou une image créée à partir de divers paramètres.The desired image is the image that the user wishes to see projected by the projection device. The desired image is any type of image. For example, the desired image can be an image chosen by the user, an image randomly chosen from a database or an image created from various parameters.
L’unité de traitement est en lien, physique ou à distance, avec l’élément de projection et le capteur de prise d’image.The processing unit is linked, physically or remotely, with the projection element and the image capture sensor.
L’unité de traitement utilise un algorithme d’intelligence artificielle pour adapter l’image souhaitée à l’image instantanée de manière à déterminer l’image de projection.The processing unit uses an artificial intelligence algorithm to adapt the desired image to the instant image so as to determine the projection image.
Le dispositif de projection selon l’invention permet un mouvement absolu d’au moins une partie du dispositif de projection. De cette manière, l’au moins une partie du dispositif de projection peut être positionné par rapport à la partie du corps de l’utilisateur de façon à simplifier l’adaptation de l’image souhaitée à l’image instantanée, notamment lors d’un mouvement absolu de l’utilisateur.The projection device according to the invention allows absolute movement of at least part of the projection device. In this way, the at least part of the projection device can be positioned relative to the part of the user's body so as to simplify the adaptation of the desired image to the instantaneous image, in particular when absolute movement of the user.
Selon une caractéristique de l'invention, l’au moins un capteur de prise d’image et l’au moins un élément de projection sont équipés d’au moins un moyen de fixation.According to one characteristic of the invention, the at least one image pickup sensor and the at least one projection element are equipped with at least one fixing means.
Ainsi, le capteur de prise d’image et l’élément de projection ont un mouvement absolu permettant de suivre l’utilisateur.Thus, the image capture sensor and the projection element have an absolute movement making it possible to follow the user.
Selon une caractéristique de l'invention, l’élément support est confondu avec une zone du corps de l’utilisateur.According to one characteristic of the invention, the support element coincides with a zone of the user's body.
Une zone du corps de l’utilisateur est positionnée sur le corps de l’utilisateur et est différent de la partie du corps de l’utilisateur.A user's body area is positioned on the user's body and is different from the user's body part.
Ainsi, au moins une partie du dispositif de projection, et plus particulièrement l’au moins un moyen de fixation, est prévu pour être fixé sur la zone du corps de l’utilisateur. De cette manière, l’utilisateur peut se déplacer, comme par exemple changer de pièce, ou parcourir une certaine distance, avec le dispositif de projection qui le suit.Thus, at least a part of the projection device, and more particularly the at least one attachment means, is provided to be attached to the zone of the user's body. In this way, the user can move, such as changing rooms, or travel a certain distance, with the projection device following him.
Le dispositif de projection selon l’invention est dédié à un seul utilisateur, se transporte facilement et s’adapte à un mouvement absolu de l’utilisateur.The projection device according to the invention is dedicated to a single user, is easily transported and adapts to an absolute movement of the user.
Selon une caractéristique de l’invention, le dispositif de projection est destiné à projeter une image sur le visage de l’utilisateur.According to one characteristic of the invention, the projection device is intended to project an image onto the face of the user.
De cette manière, le dispositif de projection crée un masque sur le visage de l’utilisateur.In this way, the projection device creates a mask on the face of the user.
Selon une caractéristique de l’invention, le dispositif de projection comprend une batterie.According to one characteristic of the invention, the projection device comprises a battery.
Ainsi le dispositif de projection est autonome en énergie.Thus the projection device is autonomous in energy.
Selon une caractéristique de l’invention, le dispositif de projection comprend une pluralité de capteurs de prise d’image, une pluralité d’élément de projection d’image, et une unité de traitement.According to one characteristic of the invention, the projection device comprises a plurality of image pickup sensors, a plurality of image projection element, and a processing unit.
De cette manière, le dispositif de projection peut être positionné de part et d’autre de la partie du corps de l’utilisateur.In this way, the projection device can be positioned on either side of the part of the user's body.
Selon une caractéristique de l’invention, l’au moins un capteur de prise d’image, l’au moins un élément de projection d’image, et l’au moins une unité de traitement sont reliés par des câbles.According to one characteristic of the invention, the at least one image pickup sensor, the at least one image projection element, and the at least one processing unit are connected by cables.
Ainsi, des échanges d’informations entre l’au moins un capteur de prise d’image, l’au moins un élément de projection d’image, et l’au moins une unité de traitement sont facilités.Thus, exchanges of information between the at least one image pickup sensor, the at least one image projection element, and the at least one processing unit are facilitated.
Selon une caractéristique de l’invention, l’au moins un moyen de fixation comprend au moins un support allongé.According to one characteristic of the invention, the at least one fastening means comprises at least one elongated support.
Ainsi, l’au moins un moyen de fixation permet de déporter au moins une partie du dispositif de projection par rapport à l’élément support. De cette manière, le dispositif de projection est facilement adaptable à différent élément de support.Thus, the at least one fixing means makes it possible to offset at least part of the projection device with respect to the support element. In this way, the projection device is easily adaptable to different support element.
Par exemple, le capteur de prise d’image fixé sur le support allongé peut être positionné à distance de l’élément support. Lorsque l’élément support est une zone du corps de l’utilisateur, le capteur de prise d’image peut être positionné en regard de la partie du corps de l’utilisateur.For example, the image pickup sensor attached to the elongated support can be positioned at a distance from the support element. When the support element is a zone of the user's body, the image pickup sensor can be positioned opposite the part of the user's body.
Selon une caractéristique de l'invention, le support allongé est une tige.According to one characteristic of the invention, the elongated support is a rod.
Selon une caractéristique de l'invention, le support allongé a une longueur comprise entre 2 centimètres et 50 centimètres, préférentiellement entre 5 centimètres et 30 centimètres.According to one characteristic of the invention, the elongated support has a length of between 2 centimeters and 50 centimeters, preferably between 5 centimeters and 30 centimeters.
Selon une caractéristique de l'invention, l’au moins un support allongé est télescopique.According to a characteristic of the invention, the at least one elongated support is telescopic.
Ainsi le dispositif de projection présente une position de rangement dans lequel le support allongé est rétracté et une position de fonctionnement dans lequel le support allongé est déployé. Dans la position de rangement, le dispositif de projection présente un volume faible.Thus the projection device has a storage position in which the elongate support is retracted and an operating position in which the elongate support is deployed. In the storage position, the projection device has a small volume.
Selon une caractéristique de l'invention, l’au moins un élément de projection comprend au moins un miroir et un projecteur.According to one characteristic of the invention, the at least one projection element comprises at least one mirror and one projector.
Ainsi, par un jeu de reflet, l’élément de projection n’est pas positionné en regard de la partie du corps de l’utilisateur. Le projecteur émet un faisceau lumineux sur le miroir puis le miroir reflète ce faisceau lumineux sur la partie du corps de l’utilisateur de manière à créer l’image de projection.Thus, by a game of reflection, the projection element is not positioned opposite the part of the user's body. The projector emits a light beam on the mirror and then the mirror reflects this light beam on the part of the user's body so as to create the projection image.
L’élément de projection est ainsi facilement adaptable à un grand nombre de moyens de fixation.The projection element is thus easily adaptable to a large number of fixing means.
Selon une caractéristique de l'invention, l’au moins un miroir est positionné sur l’au moins un support allongé.According to one characteristic of the invention, the at least one mirror is positioned on the at least one elongated support.
Ainsi le miroir peut être placé à distance de la partie du corps de l’utilisateur afin que le faisceau lumineux réfléchi par le miroir soit projeté sur la partie du corps de l’utilisateur.Thus the mirror can be placed at a distance from the part of the body of the user so that the light beam reflected by the mirror is projected on the part of the body of the user.
Selon une caractéristique de l'invention, le projecteur est conçu pour être positionné dans un axe d’élongation de l’au moins un support allongé.According to one characteristic of the invention, the projector is designed to be positioned in an elongation axis of the at least one elongated support.
Ainsi le projecteur peut être positionné à proximité du corps de l’utilisateur et émettre le faisceau lumineux sur le miroir.Thus the projector can be positioned close to the body of the user and emit the light beam on the mirror.
Selon une caractéristique de l'invention, le miroir a une forme incurvée.According to a characteristic of the invention, the mirror has a curved shape.
De cette manière, le faisceau lumineux est réfléchi et déformé pour être agrandi de manière à obtenir l’image de projection.In this way, the light beam is reflected and deformed to be enlarged so as to obtain the projection image.
Selon une caractéristique de l'invention, l’au moins un moyen de fixation comprend au moins une partie souple.According to one characteristic of the invention, the at least one fixing means comprises at least one flexible part.
Le moyen de fixation permet une fixation du dispositif de projection par exemple sur le corps de l’utilisateur.The attachment means allows the projection device to be attached, for example, to the body of the user.
Ainsi, le moyen de fixation s’adapte facilement à une morphologie de l’utilisateur. En outre, le dispositif de projection est agréable à porter.Thus, the fastening means easily adapts to the morphology of the user. Furthermore, the projection device is comfortable to wear.
Selon une caractéristique de l'invention, le moyen de fixation est conçu pour être positionné sur la tête de l’utilisateur.According to a feature of the invention, the attachment means is designed to be positioned on the user's head.
Ainsi, le dispositif de projection est positionné afin de créer un masque sur le visage de l’utilisateur.Thus, the projection device is positioned to create a mask on the face of the user.
Le dispositif de projection a un mouvement absolu identique au mouvement absolu de la partie du corps lorsque cette dernière est le visage de l’utilisateur.The projection device has an absolute movement identical to the absolute movement of the part of the body when the latter is the face of the user.
Selon une caractéristique de l'invention, le dispositif de projection comprend en outre une unité de commande.According to one characteristic of the invention, the projection device also comprises a control unit.
L’unité de commande est une interface utilisateur qui permet à l’utilisateur de facilement déterminer l’image souhaitée.The control unit is a user interface that allows the user to easily determine the desired image.
Selon une caractéristique de l'invention l’unité de commande est en liaison à distance avec l’unité de traitement.According to a characteristic of the invention, the control unit is in remote connection with the processing unit.
Selon une caractéristique de l'invention, l’unité de commande est intégrée dans un smartphone.According to a characteristic of the invention, the control unit is integrated into a smartphone.
Ainsi, l’utilisateur peut à tout moment modifier l’image souhaitée.Thus, the user can modify the desired image at any time.
L'invention porte également sur un procédé de projection d’une image sur au moins une partie du corps d’un utilisateur, mettant en œuvre un dispositif de projection selon l’invention, le procédé de projection comprenant :The invention also relates to a method for projecting an image onto at least one part of a user's body, implementing a projection device according to the invention, the projection method comprising:
- une étape de détermination d’une image souhaitée par l’utilisateur,- a step of determining an image desired by the user,
- une étape d’enregistrement au moyen du capteur de prise d’image d’une image instantanée représentant l’au moins une partie du corps de l’utilisateur,- a step of recording by means of the image capture sensor of an instantaneous image representing at least one part of the user's body,
- une étape de modélisation de l’au moins une partie du corps de l’utilisateur de manière à créer une reproduction virtuelle de l’au moins une partie du corps de l’utilisateur,- a step of modeling at least one part of the user's body so as to create a virtual reproduction of at least one part of the user's body,
- une étape d’adaptation de l’image souhaitée sur la reproduction virtuelle de l’au moins une partie du corps de l’utilisateur de manière à déterminer une image de projection,- a step of adapting the desired image to the virtual reproduction of at least one part of the user's body so as to determine a projection image,
- une étape de projection sur l’au moins une partie du corps de l’utilisateur de l’image de projection,- a projection step on at least one part of the body of the user of the projection image,
caractérisé en ce que le procédé de projection comprend également une étape de fixation d’au moins une partie du dispositif de projection sur l’élément support au moyen de l’au moins un moyen de fixation.characterized in that the projection method also comprises a step of fixing at least a part of the projection device on the support element by means of the at least one fixing means.
L’étape de détermination de l’image souhaitée est une étape pendant laquelle l’utilisateur détermine l’image qu’il souhaite voire projeter par le dispositif de projection sur une partie de son corps.The step of determining the desired image is a step during which the user determines the image that he wishes or even projects by the projection device on a part of his body.
Lors de l’étape d’enregistrement, l’image instantanée de l’au moins une partie du corps est réalisée. Cette image instantanée permet de détecter la zone de projection et le contour de la partie du corps de l’utilisateur ainsi qu’un mouvement d’expression de l’utilisateur.During the recording step, the instantaneous image of at least one part of the body is produced. This instantaneous image can detect the projection area and the outline of the user's body part as well as an expression movement of the user.
L’étape de modélisation permet de créer une reproduction virtuelle de l’au moins une partie du corps à partir de l’image instantanée. L’étape de modélisation détecte le contour de la partie du corps et cale la reproduction virtuelle en fonction de ce contour. De cette manière, la reproduction virtuelle prend en compte un mouvement d’expression de la partie du corps.The modeling step makes it possible to create a virtual reproduction of at least one part of the body from the instantaneous image. The modeling step detects the contour of the body part and sets the virtual reproduction according to this contour. In this way, the virtual reproduction takes into account an expressive movement of the body part.
L’étape d’adaptation permet de modifier l’image souhaitée de manière à correspondre à l’image instantanée. En particulier, l’étape d’adaptation permet de prendre en compte le mouvement d’expression de l’utilisateur, par exemple en évitant une projection de l’image souhaité sur les dents de l’utilisateur lors d’un sourire.The adaptation step makes it possible to modify the desired image so as to correspond to the instantaneous image. In particular, the adaptation step makes it possible to take into account the expression movement of the user, for example by avoiding a projection of the desired image on the teeth of the user during a smile.
L’étape d’adaptation transmet l’image de projection, qui est l’image souhaitée déformée en fonction de l’image instantanée, à l’étape de projection.The adaptation stage transmits the projection image, which is the desired image distorted according to the instantaneous image, to the projection stage.
L’étape de fixation est réalisée avant ou après l’étape de détermination. L’étape de fixation permet de positionner le dispositif de projection sur l’élément support de sorte qu’un mouvement absolu de la partie du corps soit suivi d’un mouvement absolu de l’élément support.The fixing step is carried out before or after the determination step. The fixing step makes it possible to position the projection device on the support element so that an absolute movement of the part of the body is followed by an absolute movement of the support element.
Ainsi, le dispositif de projection selon l’invention facilite la prise en compte par l’unité de traitement d’un mouvement absolu de l’utilisateur.Thus, the projection device according to the invention makes it easier for the processing unit to take into account an absolute movement of the user.
Selon une caractéristique de l'invention, le procédé de projection comprend en outre :According to one characteristic of the invention, the projection method further comprises:
-une étape de définition d’un plan de projection de référence ;-a step of defining a reference projection plane;
- une étape de déplacement de l’élément support par rapport au référentiel absolu de manière à ce qu’un plan de projection actuel soit similaire au plan de projection de référence.- a step of moving the support element relative to the absolute reference so that a current projection plane is similar to the reference projection plane.
Le plan de projection de référence est la zone de projection de l’au moins une partie du corps de l’utilisateur considérée suivant un angle de vue de référence. Le plan de projection comprend un bord de référence.The reference projection plane is the projection zone of at least one part of the user's body considered according to a reference viewing angle. The projection plane includes a reference edge.
L’étape de définition du plan de projection de référence permet de définir le bord de référence. L’étape de définition est réalisée après l’étape de fixation et avant l’étape d’enregistrement. L’étape de définition utilise le capteur de prise d’image pour définir le plan de référence. Ainsi le plan de référence est adapté à une position relative du dispositif de projection par rapport à la partie du corps à un instant de référence correspondant à un instant de mise de fonctionnement du dispositif de projection.The step of defining the reference projection plane makes it possible to define the reference edge. The definition step is performed after the fixation step and before the registration step. The definition stage uses the image capture sensor to define the reference plane. Thus the reference plane is adapted to a relative position of the projection device with respect to the part of the body at a reference time corresponding to a time when the projection device is put into operation.
Au moyen de l’image instantanée, le dispositif de projection détecte un plan de projection actuel correspondant à l’au moins une partie du corps considérée suivant un angle actuel du dispositif de projection. L’étape de déplacement a pour objet de déplacer le dispositif de projection de sorte que plan de projection actuel soit similaire au plan de projection de référence, c’est-à-dire que le bord de référence corresponde sensiblement à un bord actuel du plan de projection actuel. En d’autres termes, le mouvement absolu de l’élément support est donc sensiblement identique au mouvement absolu de l’au moins une partie du corps afin de conserver l’angle de vue de référence.By means of the instantaneous image, the projection device detects a current projection plane corresponding to the at least one part of the body considered according to a current angle of the projection device. The purpose of the moving step is to move the projection device so that the current projection plane is similar to the reference projection plane, i.e. the reference edge substantially corresponds to a current edge of the plane current projection. In other words, the absolute movement of the support element is therefore substantially identical to the absolute movement of the at least one part of the body in order to maintain the reference viewing angle.
L’invention sera mieux comprise, grâce à la description ci-après, qui se rapporte à un mode de réalisation selon la présente invention, donné à titre d’exemples non limitatifs et expliqués avec référence aux dessins schématiques annexés, dans lesquels :The invention will be better understood, thanks to the description below, which relates to an embodiment according to the present invention, given by way of non-limiting examples and explained with reference to the appended schematic drawings, in which:
Les figures 1 à 3 représente un dispositif de projection 1 positionné sur un utilisateur, et plus précisément sur une partie du corps de l’utilisateur qui est dans le cas représenté le visage 2 de l’utilisateur. La figure 4 est une vue en plus gros plan d’une partie du dispositif de projection 1.Figures 1 to 3 represent a projection device 1 positioned on a user, and more precisely on a part of the user's body which is in the case represented the face 2 of the user. Figure 4 is a closer view of part of the projection device 1.
Le dispositif de projection 1 comprend une structure sensiblement symétrique par rapport à un axe de symétrie. Le dispositif de projection 1 comprend deux capteurs de prise d’image 3, deux éléments de projection d’image, une unité de traitement 5, une unité de commande 6 et des moyens de fixation 71, 72.The projection device 1 comprises a substantially symmetrical structure with respect to an axis of symmetry. The projection device 1 comprises two image pickup sensors 3, two image projection elements, a processing unit 5, a control unit 6 and fixing means 71, 72.
L’unité de commande 6 est reliée à distance à l’unité de traitement 5, via une connexion bluetooth ou wifi. L’unité de commande 6 est intégrée dans un smartphone au moyen d’une application.The control unit 6 is remotely connected to the processing unit 5, via a bluetooth or wifi connection. The control unit 6 is integrated into a smartphone by means of an app.
Les moyens de fixation 71, 72 comprennent deux supports allongés 71 et des parties souples 72.The fixing means 71, 72 comprise two elongated supports 71 and flexible parts 72.
Chaque support allongé 71 a une forme d’une tige qui est télescopique. Chaque support allongé 71 a une longueur de 5 cm lorsqu’il est dans une position de rangement et a une longueur de 30cm lorsqu’il est dans une position de fonctionnement. Chaque support allongé 71 comprend au moins un câble.Each elongated support 71 has a shape of a rod which is telescopic. Each elongated bracket 71 is 5cm long when in a storage position and 30cm long when in an operating position. Each elongated support 71 includes at least one cable.
Les parties souples 72 relient chaque élément de projection, les supports allongés 71 ainsi que l’unité de traitement 5. Les parties souples 72 sont réalisées dans un tissus et comprennent au moins un câble.The flexible parts 72 connect each projection element, the elongated supports 71 as well as the processing unit 5. The flexible parts 72 are made of fabric and include at least one cable.
Chaque capteur de prise d’image 3 est une micro-caméra. Chaque capteur de prise d’image 3 est positionné à une première extrémité d’un support allongé 71.Each image capture sensor 3 is a micro-camera. Each image pickup sensor 3 is positioned at a first end of an elongated support 71.
Chaque élément de projection comprend un miroir 42 et un projecteur 41.Each projection element includes a mirror 42 and a projector 41.
Le miroir 42 est positionné au niveau de la première extrémité du support allongé 71. Le miroir 42 a une forme incurvée.Mirror 42 is positioned at the first end of elongated support 71. Mirror 42 has a curved shape.
Le projecteur 41 est positionné à une deuxième extrémité du support allongé 71, en regard du miroir 42. Le projecteur 41 est relié aux parties souples 72 et au support allongé 71.The projector 41 is positioned at a second end of the elongated support 71, opposite the mirror 42. The projector 41 is connected to the flexible parts 72 and to the elongated support 71.
L’unité de traitement 5 est en lien physique avec l’élément de projection et les capteurs de prise d’image 3. L’unité de traitement 5 est reliée aux parties souples 72. L’unité de traitement 5 comprend également une batterie.The processing unit 5 is in physical connection with the projection element and the image pickup sensors 3. The processing unit 5 is connected to the flexible parts 72. The processing unit 5 also includes a battery.
Les capteurs de prise d’image 3, les éléments de projection d’image, et l’unité de traitement 5 sont reliés par des câbles passant au niveau des supports allongés 71 et des parties souples 72.The image pickup sensors 3, the image projection elements, and the processing unit 5 are connected by cables passing at the level of the elongated supports 71 and the flexible parts 72.
Le dispositif de projection 1 est destiné à projeter une image sur le visage 2 de l’utilisateur. Pour ce faire, l’utilisateur met en œuvre un procédé de projection selon l’invention qui comporte une étape de détermination, une étape de fixation, une étape d’enregistrement, une étape de modélisation, une étape d’adaptation, une étape de projection, une étape de définition et une étape de déplacement.The projection device 1 is intended to project an image onto the face 2 of the user. To do this, the user implements a projection method according to the invention which comprises a step of determining, a step of fixing, a step of recording, a step of modeling, a step of adaptation, a step of projection, a definition step and a move step.
Pendant, l’étape de fixation, l’utilisateur prend le dispositif de projection qui est dans la position de rangement et le fixe sur un élément de support 20, qui est dans le cas illustré la tête de l’utilisateur, grâce au moyen de fixation 71, 72. Plus précisément, l’utilisateur positionne les projecteurs 41 au-dessus de chacune de ses oreilles 21, et l’unité de traitement 5 au niveau de sa nuque. Ensuite, l’utilisateur déplie les supports allongés 71 dans la position de fonctionnement de sorte que chaque support allongé 71 s’étend dans un plan sensiblement transversal à un plan dans lequel s’étend le visage 2 de l’utilisateur.During the fixing step, the user takes the projection device which is in the storage position and fixes it on a support element 20, which in the case illustrated is the head of the user, by means of fixing 71, 72. More precisely, the user positions the projectors 41 above each of his ears 21, and the processing unit 5 at the level of his neck. Then, the user unfolds the elongated supports 71 in the operating position so that each elongated support 71 extends in a plane substantially transverse to a plane in which the face 2 of the user extends.
Pendant l’étape de détermination, l’utilisateur indique au dispositif de projection 1 quelle image il souhaite voir projeter sur son visage 2. Cette image sera désignée comme l’image souhaitée par la suite. L’image souhaitée correspond à n’importe quel type d’image. Par exemple, l’image souhaitée peut être une image choisie par l’utilisateur, une image choisie au hasard dans une base de donnée ou une image crééeDuring the determination step, the user indicates to the projection device 1 which image he wishes to see projected on his face 2. This image will be designated as the desired image thereafter. The desired image is any type of image. For example, the desired image can be an image chosen by the user, an image randomly chosen from a database or an image created
Pendant l’étape de définition du plan de projection de référence, le dispositif de projection 1 définit au moyen du capteur de prise d’image 3, un bord de référence d’un plan de référence. Le plan de projection de référence est la zone de projection 52 du visage 2 considérée suivant un angle de vue de référence. Le plan de référence est adapté à une position relative du dispositif de projection 1 par rapport au visage 2 à un instant de référence correspondant à un instant de mise de fonctionnement du dispositif de projection 1.During the step of defining the reference projection plane, the projection device 1 defines, by means of the image pickup sensor 3, a reference edge of a reference plane. The reference projection plane is the projection zone 52 of the face 2 considered according to a reference viewing angle. The reference plane is adapted to a relative position of the projection device 1 with respect to the face 2 at a reference instant corresponding to an operating start instant of the projection device 1.
Pendant l’étape d’enregistrement au moyen des capteurs de prise d’image 3 d’une image instantanée représentant l’au moins une partie du corps de l’utilisateur, le dispositif de projection 1 réalise l’image instantanée du visage 2 de l’utilisateur comprenant un contour 51 et une zone de projection 52.During the step of recording by means of the image pickup sensors 3 of an instantaneous image representing the at least one part of the user's body, the projection device 1 produces the instantaneous image of the face 2 of the user comprising an outline 51 and a projection area 52.
Au moyen de l’image instantanée, le dispositif de projection 1 détecte un plan de projection actuel correspondant au visage 2 suivant un angle actuel du dispositif de projection 1. L’étape de déplacement a pour objet de déplacer le dispositif de projection 1 de sorte que le plan de projection actuel soit similaire au plan de projection de référence, c’est-à-dire que le bord de référence corresponde sensiblement à un bord actuel du plan de projection actuel. En d’autres termes, le mouvement absolu de l’élément support 20 est donc sensiblement identique au mouvement absolu du visage 2 afin de conserver l’angle de vue de référence. Dans le cas présent, lorsque l’utilisateur se déplace, ou déplace la tête, c’est-à-dire l’élément support 20, le dispositif de projection 1 positionné sur sa tête se déplace d’un mouvement identique. Ainsi, un mouvement absolu de la tête de l’utilisateur est identique au mouvement absolu du dispositif de projection 1. Le plan de projection actuel est sensiblement identique au plan de projection de référence.By means of the instantaneous image, the projection device 1 detects a current projection plane corresponding to the face 2 according to a current angle of the projection device 1. The purpose of the moving step is to move the projection device 1 so that the current projection plane is similar to the reference projection plane, that is to say that the reference edge corresponds substantially to a current edge of the current projection plane. In other words, the absolute movement of the support element 20 is therefore substantially identical to the absolute movement of the face 2 in order to maintain the reference viewing angle. In the present case, when the user moves, or moves his head, that is to say the support element 20, the projection device 1 positioned on his head moves with an identical movement. Thus, an absolute movement of the user's head is identical to the absolute movement of the projection device 1. The current projection plane is substantially identical to the reference projection plane.
Pendant l’étape de modélisation, le visage 2 de l’utilisateur est modélisé par l’unité de traitement 5 de manière à créer une reproduction virtuelle du visage prenant en compte un mouvement d’expression de l‘utilisateur.During the modeling step, the face 2 of the user is modeled by the processing unit 5 so as to create a virtual reproduction of the face taking into account an expression movement of the user.
Lors de l’étape d’adaptation de l’image souhaitée sur la reproduction virtuelle, l’image souhaitée est déformée de manière à déterminer une image de projection qui prend en compte les mouvement d’expression de l’utilisateur,During the step of adapting the desired image to the virtual reproduction, the desired image is deformed so as to determine a projection image which takes into account the user's expression movements,
L’étape de projection réalise alors une projection de l’image de projection sur le visage au moyen d’éléments de projection.The projection step then performs a projection of the projection image onto the face by means of projection elements.
Bien entendu, l’invention n’est pas limitée au mode de réalisation décrit et représenté aux figures annexées. Des modifications restent possibles, notamment du point de vue de la constitution des divers éléments ou par substitution d’équivalents techniques, sans sortir pour autant du domaine de protection de l’invention.
Of course, the invention is not limited to the embodiment described and shown in the appended figures. Modifications remain possible, in particular from the point of view of the constitution of the various elements or by substitution of technical equivalents, without thereby departing from the scope of protection of the invention.
Claims (10)
- une étape de détermination d’une image souhaitée par l’utilisateur,
- une étape d’enregistrement au moyen du capteur de prise d’image (3) d’une image instantanée représentant l’au moins une partie du corps (2) de l’utilisateur,
- une étape de modélisation de l’au moins une partie du corps (2) de l’utilisateur de manière à créer une reproduction virtuelle de l’au moins une partie du corps (2) de l’utilisateur,
- une étape d’adaptation de l’image souhaitée sur la reproduction virtuelle de l’au moins une partie du corps (2) de l’utilisateur de manière à déterminer une image de projection,
- une étape de projection sur l’au moins une partie du corps (2) de l’utilisateur de l’image de projection, caractérisé en ce que le procédé de projection comprend également une étape de fixation d’au moins une partie du dispositif de projection (1) sur l’élément support (20) au moyen de l’au moins un moyen de fixation (71, 72).Method for projecting an image onto at least part of the body (2) of a user implementing a projection device (1) according to one of the preceding claims, the method for projecting comprising:
- a step of determining an image desired by the user,
- a step of recording by means of the image pickup sensor (3) of an instantaneous image representing at least one part of the body (2) of the user,
- a step of modeling at least one part of the body (2) of the user so as to create a virtual reproduction of at least one part of the body (2) of the user,
- a step of adapting the desired image to the virtual reproduction of at least one part of the body (2) of the user so as to determine a projection image,
- a step of projecting onto at least a part of the user's body (2) the projection image, characterized in that the method of projection also comprises a step of fixing at least part of the device projection (1) on the support element (20) by means of the at least one fixing means (71, 72).
- une étape de définition d’un plan de projection de référence ;
- une étape de déplacement de l’élément support (20) par rapport au référentiel absolu de manière à ce qu’un plan de projection actuel soit similaire au plan de projection de référence.A projection method according to claim 9, further comprising:
- a step of defining a reference projection plane;
- a step of moving the support element (20) relative to the absolute reference frame so that a current projection plane is similar to the reference projection plane.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1909161A FR3099957B1 (en) | 2019-08-12 | 2019-08-12 | Portable device for projecting an image onto at least one part of a user's body |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1909161 | 2019-08-12 | ||
| FR1909161A FR3099957B1 (en) | 2019-08-12 | 2019-08-12 | Portable device for projecting an image onto at least one part of a user's body |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3099957A1 true FR3099957A1 (en) | 2021-02-19 |
| FR3099957B1 FR3099957B1 (en) | 2022-07-08 |
Family
ID=69190865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1909161A Expired - Fee Related FR3099957B1 (en) | 2019-08-12 | 2019-08-12 | Portable device for projecting an image onto at least one part of a user's body |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3099957B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5940167A (en) * | 1997-03-06 | 1999-08-17 | Gans; Richard | Process and apparatus for displaying an animated image |
| WO2013009482A2 (en) * | 2011-07-12 | 2013-01-17 | Google Inc. | Methods and systems for a virtual input device |
| WO2014036795A1 (en) * | 2012-09-07 | 2014-03-13 | 深圳市长江力伟股份有限公司 | Electronic device based on micro display technology |
| JP2014064248A (en) * | 2012-09-24 | 2014-04-10 | Ntt Docomo Inc | Image projection device and image projection method |
| US20180190035A1 (en) * | 2016-10-11 | 2018-07-05 | Disney Enterprises, Inc. | Projecting augmentation images onto moving objects |
-
2019
- 2019-08-12 FR FR1909161A patent/FR3099957B1/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5940167A (en) * | 1997-03-06 | 1999-08-17 | Gans; Richard | Process and apparatus for displaying an animated image |
| WO2013009482A2 (en) * | 2011-07-12 | 2013-01-17 | Google Inc. | Methods and systems for a virtual input device |
| WO2014036795A1 (en) * | 2012-09-07 | 2014-03-13 | 深圳市长江力伟股份有限公司 | Electronic device based on micro display technology |
| JP2014064248A (en) * | 2012-09-24 | 2014-04-10 | Ntt Docomo Inc | Image projection device and image projection method |
| US20180190035A1 (en) * | 2016-10-11 | 2018-07-05 | Disney Enterprises, Inc. | Projecting augmentation images onto moving objects |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3099957B1 (en) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2104925B1 (en) | Method and device for the real time imbedding of virtual objects in an image stream using data from a real scene represented by said images | |
| EP3391810A1 (en) | Dental photography device | |
| FR2880452A1 (en) | DIGITAL CAMERA, IN WHICH THE BEST SHOOTING TIME CAN BE SELECTED | |
| FR2813961A1 (en) | OBJECT SHOOTING HANGER (VR) | |
| EP3415082A1 (en) | Dental photography device | |
| FR2483668A1 (en) | APPARATUS FOR MOUNTING A PHOTOGRAPHIC EQUIPMENT | |
| FR2987908A1 (en) | AUTOMATIC SCANNER AND METHOD FOR 3D SCANNING OF A HUMAN CEPHALIC PERIPHERAL PORTION | |
| FR2925703A3 (en) | PORTABLE TELESCOPE | |
| WO2012123658A1 (en) | Method for determining the dominant eye | |
| EP3391811A1 (en) | Dental photography device | |
| FR3034889A1 (en) | ELECTRONIC BRACELET FOR DISPLAYING AN INTERACTIVE DIGITAL CONTENT TO BE PROJECTED ON A ZONE OF AN ARM | |
| CA2534409A1 (en) | Three-dimensional image display system | |
| FR3099957A1 (en) | Portable device for projecting an image onto at least part of a user's body | |
| CA2914360A1 (en) | System for tracking the position of the shooting camera for shooting video films | |
| FR2976089A1 (en) | Augmented reality device i.e. head mounted display device, for use as input/output system for laptop, has analyzing unit analyzing images captured by micro-camera, and control unit controlling pico projector according to analysis | |
| FR2667699A1 (en) | IMPACT RESISTANT PHOTOGRAPHIC APPARATUS. | |
| EP3281097A1 (en) | Interactive electronic projection device | |
| FR2847351A1 (en) | BINOCULARS EQUIPPED WITH A CAMERA | |
| TWM348251U (en) | Foldable projecting apparatus | |
| FR2479488A1 (en) | ADDITIONAL OPTICAL SYSTEM FOR UNDERWATER SHOOTING | |
| WO2021255395A1 (en) | Method, device and system for immersing a user in a virtual reality application | |
| FR2826149A1 (en) | Device recording the position of human lips and application of this information, uses a light source and an image sensor attached to a frame and facing the lips, with the frame attached to the user's head | |
| FR3066838A1 (en) | SPACE ENHANCED REALITY OFFICE LAMINATING VIRTUAL CONTENT FOR ILLUSION AND CONTROL OF VIRTUAL 3D OBJECTS DIRECTLY IN THE USER ENVIRONMENT | |
| FR3043295A1 (en) | SPACE ENHANCED REALITY DEVICE FOR OFFICE ENVIRONMENT | |
| WO2018007736A1 (en) | System for simultaneous graphic output of a plurality of views of a subject |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20210219 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| ST | Notification of lapse |
Effective date: 20230405 |