FR3058607A1 - VIDEO CAPTURE DEVICE WITH CAPTURE OF USER EYE MOVEMENT - Google Patents
VIDEO CAPTURE DEVICE WITH CAPTURE OF USER EYE MOVEMENT Download PDFInfo
- Publication number
- FR3058607A1 FR3058607A1 FR1660685A FR1660685A FR3058607A1 FR 3058607 A1 FR3058607 A1 FR 3058607A1 FR 1660685 A FR1660685 A FR 1660685A FR 1660685 A FR1660685 A FR 1660685A FR 3058607 A1 FR3058607 A1 FR 3058607A1
- Authority
- FR
- France
- Prior art keywords
- interest
- images
- user
- camera
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
La présente invention concerne un dispositif (1) de capture d'images vidéo comprenant : - une caméra avant (10) pour capturer des images d'une scène frontale comportant initialement un objet d'intérêt pour l'utilisateur du dispositif, - une caméra arrière (11) configurée pour capturer des images de la tête d'un utilisateur du dispositif, - un circuit de traitement (12) des images de la caméra arrière pour estimer le mouvement des yeux de l'utilisateur et estimer le déplacement de l'objet d'intérêt dans la scène frontale capturée à partir du mouvement estimé des yeux de l'utilisateur, et - un circuit de décision (13) pour déterminer, à partir du déplacement estimé de l'objet d'intérêt, si l'objet d'intérêt sort de la scène frontale capturée et, dans l'affirmative, déclencher une action.The present invention relates to a device (1) for capturing video images comprising: - a front camera (10) for capturing images of a front scene initially comprising an object of interest for the user of the device, - a camera rear view (11) configured to capture images of the head of a user of the device, - a processing circuit (12) of the images of the rear camera to estimate the movement of the user's eyes and estimate the movement of the object of interest in the frontal scene captured from the estimated movement of the eyes of the user, and - a decision circuit (13) for determining, from the estimated displacement of the object of interest, whether the object interest gets out of the captured frontal scene and, if so, trigger an action.
Description
058 607058 607
60685 ® RÉPUBLIQUE FRANÇAISE60685 ® FRENCH REPUBLIC
INSTITUT NATIONAL DE LA PROPRIÉTÉ INDUSTRIELLE © N° de publication :NATIONAL INSTITUTE OF INDUSTRIAL PROPERTY © Publication number:
(à n’utiliser que pour les commandes de reproduction)(to be used only for reproduction orders)
©) N° d’enregistrement national©) National registration number
COURBEVOIE © Int Cl8 : H 04 N 5/225 (2017.01)COURBEVOIE © Int Cl 8 : H 04 N 5/225 (2017.01)
DEMANDE DE BREVET D'INVENTIONPATENT INVENTION APPLICATION
A1A1
104/ DISPOSITIF DE CAPTURE VIDEO AVEC CAPTURE DU MOUVEMENT DES YEUX DE L'UTILISATEUR.104 / VIDEO CAPTURE DEVICE WITH CAPTURE OF THE USER'S EYE MOVEMENT.
FR 3 058 607 - A1 \b/) La présente invention concerne un dispositif (1) de capture d'images vidéo comprenant:FR 3,058,607 - A1 \ b /) The present invention relates to a device (1) for capturing video images comprising:
- une caméra avant (10) pour capturer des images d'une scène frontale comportant initialement un objet d'intérêt pour l'utilisateur du dispositif,- a front camera (10) for capturing images of a frontal scene initially comprising an object of interest for the user of the device,
- une caméra arrière (11) configurée pour capturer des images de la tête d'un utilisateur du dispositif,- a rear camera (11) configured to capture images of the head of a user of the device,
- un circuit de traitement (12) des images de la caméra arrière pour estimer le mouvement des yeux de l'utilisateur et estimer le déplacement de l'objet d'intérêt dans la scène frontale capturée à partir du mouvement estimé des yeux de l'utilisateur, eta processing circuit (12) for images from the rear camera to estimate the movement of the eyes of the user and to estimate the displacement of the object of interest in the frontal scene captured from the estimated movement of the eyes of the user, and
- un circuit de décision (13) pour déterminer, à partir du déplacement estimé de l'objet d'intérêt, si l'objet d'intérêt sort de la scène frontale capturée et, dans l'affirmative, déclencher une action.- a decision circuit (13) for determining, from the estimated displacement of the object of interest, whether the object of interest leaves the captured frontal scene and, if so, triggering an action.
PF160142 - FR-NPPF160142 - FR-NP
DISPOSITIF DE CAPTURE VIDEO AVEC CAPTURE DU MOUVEMENTVIDEO CAPTURE DEVICE WITH MOTION CAPTURE
arrière.back.
Etat de la techniqueState of the art
Les téléphones mobiles et les tablettes sont de nos jours très utilisés pour filmer tout type d'événement, tels que par exemple des repas de famille, des mariages, des spectacles, des conférences. Pendant la capture, l'utilisateur regarde généralement l'écran de son téléphone ou de sa tablette pour s'assurer que la scène capturée est bien cadrée et qu'elle montre bien les personnes et/ou les objets souhaités. L'utilisateur est donc contraint de regarder la scène au travers de l'écran du téléphone. Il peut en résulter un sentiment de frustration de ne pouvoir regarder directement la scène.Mobile phones and tablets are nowadays widely used for filming any type of event, such as family meals, weddings, shows, conferences. During the capture, the user generally looks at the screen of his phone or tablet to make sure that the captured scene is well framed and that it shows the desired people and / or objects. The user is therefore forced to watch the scene through the telephone screen. This can result in a feeling of frustration at not being able to look directly at the scene.
Il existe donc un besoin d'aider l'utilisateur à pouvoir filmer une scène sans avoir à surveiller constamment l'écran du dispositif de capture. Ce besoin est d'autant plus difficile à satisfaire lorsque la scène comporte des éléments qui se déplacent et que la capture doit suivre ces éléments.There is therefore a need to help the user to be able to film a scene without having to constantly monitor the screen of the capture device. This need is all the more difficult to satisfy when the scene includes moving elements and that the capture must follow these elements.
PF160142 - FR-NPPF160142 - FR-NP
La figure 1 illustre schématiquement le cas d'un père P filmant avec son téléphone mobile T le spectacle de danse de sa fille F. Ce père souhaite tout particulièrement filmer sa fille. Comme le montre la figure, le père est alors contraint de regarder le spectacle au travers de l'écran de son téléphone pour s'assurer qu'il filme bien sa fille. Il réoriente son téléphone au gré des déplacements de sa fille.FIG. 1 schematically illustrates the case of a father P filming with his mobile phone T the dance performance of his daughter F. This father particularly wishes to film his daughter. As the figure shows, the father is then forced to watch the show through the screen of his phone to make sure that he is filming his daughter. He redirects his phone as his daughter moves.
Résumé de 1'inventionSummary of the invention
L'invention propose une solution permettant d'éviter à l'utilisateur d'avoir à regarder en permanence la scène filmée au travers de l'écran de son dispositif de capture vidéo pour réorienter si nécessaire le dispositif de capture vidéo.The invention proposes a solution making it possible to avoid the user having to permanently watch the scene filmed through the screen of his video capture device in order to reorient the video capture device if necessary.
Selon l'invention, on considère que l'utilisateur souhaite filmer ce qu'il regarde. Par ailleurs, les dispositifs de capture vidéo, tels que les téléphones mobiles ou les tablettes, sont désormais, et de manière standard, équipés d'une caméra avant pour filmer une scène frontale et une caméra arrière pour capturer l'utilisateur, en particulier son visage, en particulier ses yeux.According to the invention, it is considered that the user wishes to film what he is watching. Furthermore, video capture devices, such as mobile phones or tablets, are now, and as a standard, equipped with a front camera for filming a front scene and a rear camera for capturing the user, in particular his face, especially his eyes.
Selon l'invention, il est donc proposé d'utiliser la caméra arrière du dispositif de capture vidéo pour suivre le regard de l'utilisateur, estimer le déplacement de l'objet, appelé objet d'intérêt, que suit du regard l'utilisateur et en déduire si l'objet d'intérêt est toujours dans la scène capturée par la caméra avant du dispositif.According to the invention, it is therefore proposed to use the rear camera of the video capture device to follow the gaze of the user, to estimate the displacement of the object, called object of interest, which the user follows with his gaze. and deduce therefrom if the object of interest is still in the scene captured by the front camera of the device.
PF160142 - FR-NPPF160142 - FR-NP
Plus particulièrement, l'invention concerne un dispositif de capture d'images vidéo comprenant :More particularly, the invention relates to a device for capturing video images comprising:
- une caméra, dite caméra avant, pour capturer des images, dites images avant, d'une scène frontale comportant initialement un objet d'intérêt pour l'utilisateur du dispositif, ledit objet d'intérêt étant potentiellement mobile et susceptible de sortir de la scène frontale capturée,a camera, known as a front camera, for capturing images, known as front images, of a frontal scene initially comprising an object of interest for the user of the device, said object of interest being potentially mobile and capable of leaving the captured front scene,
- une caméra, dite caméra arrière, pour capturer des images, dites images arrière, d'une scène arrière, ladite caméra arrière étant configurée pour capturer des images des yeux d'un utilisateur du dispositif, formant les images arrière,a camera, known as the rear camera, for capturing images, called rear images, of a rear scene, said rear camera being configured to capture images of the eyes of a user of the device, forming the rear images,
- un circuit de traitement des images arrière pour estimer le mouvement des yeux de l'utilisateur et estimer le déplacement de l'objet d'intérêt dans la scène frontale capturée à partir du mouvement estimé des yeux de l'utilisateur, eta rear image processing circuit for estimating the movement of the user's eyes and estimating the displacement of the object of interest in the frontal scene captured from the estimated movement of the user's eyes, and
- un circuit de décision pour déterminer, à partir du déplacement estimé de l'objet d'intérêt, si l'objet d'intérêt sort de la scène frontale capturée et, dans l'affirmative, déclencher une action.- a decision circuit for determining, from the estimated displacement of the object of interest, whether the object of interest leaves the captured frontal scene and, if so, triggering an action.
Selon un mode de réalisation particulier, l'action déclenchée est l'émission d'un signal sonore et/ou l'émission d'une vibration.According to a particular embodiment, the action triggered is the emission of a sound signal and / or the emission of a vibration.
Selon un autre mode de réalisation particulier, la caméra avant est montée mobile dans ledit dispositif et l'action consiste à déplacer la caméra avant pour modifier l'axe de prise de vue.According to another particular embodiment, the front camera is mounted mobile in said device and the action consists in moving the front camera to modify the axis of shooting.
PF160142 - FR-NPPF160142 - FR-NP
Selon un autre mode de réalisation particulier, le dispositif comporte un accéléromètre pour estimer le mouvement du dispositif et le mouvement estimé du dispositif est fourni au circuit de traitement. Le circuit de traitement estime alors le déplacement deAccording to another particular embodiment, the device comprises an accelerometer for estimating the movement of the device and the estimated movement of the device is supplied to the processing circuit. The processing circuit then estimates the displacement of
L'invention concerne également un procédé de capture d'images vidéo comprenant les étapes suivantes :The invention also relates to a method of capturing video images comprising the following steps:
- capturer avec une caméra dite caméra avant, des images, dites images avant, d'une scène frontale comportant initialement un objet d'intérêt pour l'utilisateur du dispositif, ledit objet d'intérêt étant potentiellement mobile et susceptible de sortir de la scène frontale capturée,- Capture with a so-called front camera, images, called front images, of a frontal scene initially comprising an object of interest for the user of the device, said object of interest being potentially mobile and capable of leaving the scene frontal captured,
- capturer, avec une caméra dite caméra arrière, des images, dites images arrière, d'une scène arrière, et caractérisé en ce que la caméra arrière est configurée pour capturer des images des yeux d'un utilisateur, formant les images arrière, et en ce que le procédé comprend en outre les étapes suivantes :- capture, with a camera called rear camera, images, called rear images, of a rear scene, and characterized in that the rear camera is configured to capture images of the eyes of a user, forming the rear images, and in that the method further comprises the following steps:
- traiter les images arrière pour estimer le mouvement des yeux de l'utilisateur et estimer le déplacement de l'objet d'intérêt dans la scène frontale capturée à partir du mouvement estimé des yeux de l'utilisateur, et ' objet déterminer, d'intérêt, à partir du déplacement estimé de si l'objet d'intérêt sort de la- process the rear images to estimate the movement of the user's eyes and estimate the displacement of the object of interest in the frontal scene captured from the estimated movement of the user's eyes, and 'object to be determined, interest, from the estimated displacement of if the object of interest leaves the
PF160142 - FR-NP scène frontale capturée et, dans l'affirmative, déclencher une action.PF160142 - FR-NP frontal scene captured and, if so, trigger an action.
Comme mentionné précédemment, l'action déclenchée est l'émission d'un signal sonore et/ou l'émission d'une vibration ou bien, si la caméra avant est mobile, l'action consiste à déplacer la caméra avant pour modifier son axe de prise de vue.As mentioned previously, the action triggered is the emission of a sound signal and / or the emission of a vibration or, if the front camera is mobile, the action consists in moving the front camera to modify its axis. of shooting.
Selon un autre mode de réalisation particulier, le procédé comporte en outre une étape d'estimation du mouvement de caméra avant et de la caméra arrière. On estime alors le mouvement de l'objet d'intérêt à partir de la différence entre le mouvement estimé des yeux et le mouvement estimé du dispositif.According to another particular embodiment, the method further comprises a step of estimating the movement of the front camera and the rear camera. The movement of the object of interest is then estimated from the difference between the estimated movement of the eyes and the estimated movement of the device.
D'autres avantages pourront du métier à la lecture illustrés par les figures illustratif .Other advantages may come from the profession of reading illustrated by the illustrative figures.
encore apparaître à l'homme des exemples ci-dessous, annexées, donnés à titrestill appear to humans from the examples below, appended, given as
Brève description des figures — La figure 1, déjà décrite, est une vue schématique illustrant la capture vidéo d'une scène avec un dispositif selon l'art antérieur ;Brief description of the figures - Figure 1, already described, is a schematic view illustrating the video capture of a scene with a device according to the prior art;
— La figure 2 est une vue schématique illustrant la capture vidéo de la même scène avec un dispositif conforme à l'invention ;- Figure 2 is a schematic view illustrating the video capture of the same scene with a device according to the invention;
— La figure 3 est un schéma fonctionnel d'un dispositif de capture vidéo réalisation de l'invention, et selon un mode de- Figure 3 is a block diagram of a video capture device embodiment of the invention, and according to a mode of
PF160142 - FR-NP — La figure 4 est un organigramme des étapes du procédé selon l'invention.PF160142 - FR-NP - Figure 4 is a flow diagram of the steps of the method according to the invention.
Description détaillée de l'inventionDetailed description of the invention
La figure 2 illustre une opération de capture vidéo avec un dispositif de capture vidéo selon l'invention. Selon l'invention, la caméra avant du dispositif est utilisée pour filmer la scène désirée pendant que la caméra arrière est utilisée pour capturer des images des yeux, au moins, de l'utilisateur. Un algorithme de détection du mouvement des yeux est alors appliqué sur les images capturées par la caméra arrière pour estimer le mouvement des yeux de l'utilisateur et en déduire le déplacement de l'objet d'intérêt dans la scène filmée par la caméra avant. L'utilisateur peut alors positionner le dispositif de capture vidéo en dehors de son champ de vision comme illustré sur la figure 2. La position de l'objet d'intérêt dans la scène filmée parFIG. 2 illustrates a video capture operation with a video capture device according to the invention. According to the invention, the front camera of the device is used to film the desired scene while the rear camera is used to capture images of the eyes, at least, of the user. An eye movement detection algorithm is then applied to the images captured by the rear camera to estimate the movement of the user's eyes and deduce the displacement of the object of interest in the scene filmed by the front camera. The user can then position the video capture device outside of his field of vision as illustrated in FIG. 2. The position of the object of interest in the scene filmed by
Le dispositif de capture vidéo 1 comprend une caméra avant 10 pour capturer des images d'une scène frontale, par exemple un spectacle comme sur les figures 1 et 2, comportant un objet d'intérêt et une caméra arrière 11 pour capturer des images d'une scène arrière. La caméra arrière 11 est plus particulièrement configurée pour capturer des images des yeux de l'utilisateur duThe video capture device 1 comprises a front camera 10 for capturing images of a front scene, for example a spectacle as in FIGS. 1 and 2, comprising an object of interest and a rear camera 11 for capturing images of a rear scene. The rear camera 11 is more particularly configured to capture images of the eyes of the user of the
PF160142 - FR-NP dispositif. Elle peut capturer une scène plus large que les yeux de l'utilisateur, par exemple sa tête.PF160142 - FR-NP device. It can capture a wider scene than the user's eyes, for example his head.
Le dispositif 1 comporte également un circuit de traitement d'image 12 pour traiter les images capturées par la caméra arrière 11 et un circuit de décision 13. Le circuit de traitement d'image 12 met en œuvre un algorithme d'estimation du mouvement des yeux de l'utilisateur et un algorithme d'estimation du déplacement de l'objet d'intérêt à partir du mouvement estimé des yeux. Le circuit de décision 13 détermine ensuite, à partir du déplacement estimé de l'objet d'intérêt, si l'objet d'intérêt sort de la scène frontale et, dans l'affirmative, déclenche une action.The device 1 also includes an image processing circuit 12 for processing the images captured by the rear camera 11 and a decision circuit 13. The image processing circuit 12 implements an algorithm for estimating the movement of the eyes of the user and an algorithm for estimating the displacement of the object of interest from the estimated movement of the eyes. The decision circuit 13 then determines, from the estimated displacement of the object of interest, whether the object of interest leaves the frontal scene and, if so, triggers an action.
Cette action peut être multiple. Elle peut consister à avertir l'utilisateur que l'objet d'intérêt est en train de sortir de la scène frontale filmée et qu'il doit donc modifier l'orientation ou la position du dispositif de capture vidéo pour conserver l'objet d'intérêt dans la scène filmée. Le circuit de décision 13 envoie par exemple une commande à un vibreur 14 du dispositif pour que celui-ci se mette à vibrer. Il peut également déclencher l'émission d'un signal sonore par un haut-parleur 15. Le vibreur 14 et le haut-parleur 15 font partie intégrante du dispositif de capture. En variante, le vibreur 14 et le haut-parleur 15 sont des éléments séparés du dispositif de capture pour ne pas gêner l'enregistrement de la vidéo ; par exemple le vibreur 14 peut être intégrer dans une montre ou un vêtement et le haut-parleur 15 peut être une oreillette. Ainsi la vibration et/ou le son ne serontThis action can be multiple. It can consist in warning the user that the object of interest is leaving the filmed frontal scene and that he must therefore modify the orientation or the position of the video capture device to keep the object of interest in the filmed scene. The decision circuit 13 sends for example a command to a vibrator 14 of the device so that the latter starts to vibrate. It can also trigger the emission of a sound signal by a loudspeaker 15. The vibrator 14 and the loudspeaker 15 are an integral part of the capture device. As a variant, the vibrator 14 and the loudspeaker 15 are elements separate from the capture device so as not to hinder the recording of the video; for example the vibrator 14 can be integrated into a watch or a garment and the loudspeaker 15 can be an earpiece. Thus vibration and / or sound will not be
PF160142 - FR-NP pas enregistrés par le dispositif de capture. L'action déclenchée par le circuit de décision 13 correspond à un signal représentatif d'une vibration à destination du vibreur 14 ou à un signal représentatif d'un son à destination du haut-parleur 15. En variante, l'action déclenchée par le circuit de décision 13 comporte plusieurs signaux à destination de plusieurs effecteurs, par exemple des vibreurs ou de hautparleurs .PF160142 - FR-NP not recorded by the capture device. The action triggered by the decision circuit 13 corresponds to a signal representative of a vibration intended for the vibrator 14 or to a signal representative of a sound intended for the loudspeaker 15. As a variant, the action triggered by the decision circuit 13 comprises several signals intended for several effectors, for example vibrators or loudspeakers.
Si la caméra avant 10 est une caméra montée mobile dans le dispositif de capture, l'action peut aussi consister à déplacer la caméra avant pour modifier son axe de prise de vue et ainsi conserver l'objet d'intérêt dans la scène filmée.If the front camera 10 is a camera mounted mobile in the capture device, the action can also consist in moving the front camera to modify its shooting axis and thus preserve the object of interest in the filmed scene.
L'estimation du déplacement de l'objet d'intérêt dans la scène filmée nécessite une calibration du circuit de traitement d'image 12 et/ou du circuit de décision 13,The estimation of the displacement of the object of interest in the filmed scene requires a calibration of the image processing circuit 12 and / or of the decision circuit 13,
..
Selon l'invention, on suppose que la façon dont l'utilisateur tient le dispositif de capture vidéo par rapport à sa tête est connue par les circuits 12 et 13.According to the invention, it is assumed that the way in which the user holds the video capture device relative to his head is known by circuits 12 and 13.
Le paramètre de correspondance peut alors être déterminé de la manière suivante. L'utilisateur fixe les quatre coins d'un cadre, réel ou virtuel, dans la scène réelle pour un réglage, dit de référence, du zoomThe match parameter can then be determined as follows. The user fixes the four corners of a frame, real or virtual, in the real scene for a so-called reference adjustment of the zoom
PF160142 - FR-NP de la caméra avant de sorte que la scène capturée par la caméra corresponde au cadre mentionné précédemment.PF160142 - FR-NP of the front camera so that the scene captured by the camera matches the frame mentioned above.
La caméra arrière capture le mouvement des yeux de l'utilisateur. Ce mouvement des yeux est estimé dans les images arrière par un algorithme approprié, tel que celui décrit dans la demande américaine US 20150092983 Al. On peut alors en déduire que, pour ce zoom dit de référence, le mouvement des yeux estimé dans les images arrière correspond à un déplacement de l'objet d'intérêt sur le pourtour de la scène. Plus particulièrement, le déplacement des yeux entre le coin supérieur gauche et le coin supérieur droit correspond à un déplacement de l'objet d'intérêt entre le bord gauche et le bord droit de la scène de la scène. De même, le déplacement des yeux entre le coin supérieur droit et le coin inférieur droit correspond à un déplacement de l'objet d'intérêt entre le bord supérieur et le bord inférieur de la scène de la scène.The rear camera captures the movement of the user's eyes. This eye movement is estimated in the rear images by an appropriate algorithm, such as that described in American application US 20150092983 A1. We can then deduce that, for this so-called reference zoom, the eye movement estimated in the rear images corresponds to a displacement of the object of interest on the periphery of the scene. More particularly, the displacement of the eyes between the upper left corner and the upper right corner corresponds to a displacement of the object of interest between the left edge and the right edge of the scene of the scene. Similarly, the movement of the eyes between the upper right corner and the lower right corner corresponds to a movement of the object of interest between the upper edge and the lower edge of the scene of the scene.
On peut alors en déduire une correspondance entre le mouvement des yeux et le déplacement de l'objet d'intérêt dans la scène pour le zoom de référence.We can then deduce a correspondence between the movement of the eyes and the movement of the object of interest in the scene for the reference zoom.
Si on considère initialement un objet d'intérêt au centre de la scène filmée et si on détecte un mouvement des yeux égal à la moitié du mouvement estimé pour un déplacement de l'objet d'intérêt entre le bord gauche et le bord droit, on peut en déduire que l'objet d'intérêt est sur le point de sortir de la scène filmée.If we initially consider an object of interest in the center of the filmed scene and if we detect a movement of the eyes equal to half the estimated movement for a displacement of the object of interest between the left edge and the right edge, we can deduce that the object of interest is about to leave the filmed scene.
En fonctionnement, le dispositif de capture de l'invention est utilisé de la manière suivante.In operation, the capture device of the invention is used in the following manner.
PF160142 - FR-NPPF160142 - FR-NP
L'utilisateur avant. Cela d'images des arrière.The user before. That of rear pictures.
lance la déclenche yeux de capture vidéo par la caméra automatiquement la capture l'utilisateur par la caméralaunches the video capture eyes trigger by the camera automatically captures the user by the camera
Selon un mode de réalisation de base, l'utilisateur place l'objet d'intérêt au centre de la scène filmée par la caméra avant. Cela permet de connaître la position initiale de celui-ci dans la scène filmée sans avoir à traiter les images avant.According to a basic embodiment, the user places the object of interest at the center of the scene filmed by the front camera. This allows to know the initial position of it in the filmed scene without having to process the images before.
En variante, l'utilisateur peut sélectionner la position initiale de l'objet d'intérêt en le pointant sur un écran tactile du dispositif de capture affichant les images capturées par la caméra avant.As a variant, the user can select the initial position of the object of interest by pointing it on a touch screen of the capture device displaying the images captured by the front camera.
En supposant que l'utilisateur suit l'objet d'intérêt, le mouvement de ses yeux donne une information sur le déplacement de l'objet d'intérêt. Le circuit de traitement d'image estime alors le déplacement de l'objet d'intérêt à partir du mouvement estimé des yeux de l'utilisateur et du facteur de zoom de la caméra avant. Si le facteur de zoom employé (Z) est différent du zoom de référence (Zref), il faut multiplier le déplacement de l'objet d'intérêt estimé à partir du mouvement estimé des yeux par le rapport Z/Zref.Assuming that the user follows the object of interest, the movement of his eyes gives information on the movement of the object of interest. The image processing circuit then estimates the displacement of the object of interest from the estimated movement of the user's eyes and the zoom factor of the front camera. If the zoom factor used (Z) is different from the reference zoom (Zref), the displacement of the object of interest estimated from the estimated movement of the eyes must be multiplied by the ratio Z / Zref.
Lorsque le circuit de décision détermine, à partir du déplacement estimé de l'objet d'intérêt, que ce dernier a atteint a atteint un bord de la scène filmée, il déclenche une alarme, par exemple l'émission d'un signal sonore et/ou d'une vibration. Avantageusement, on déclenche cette alarme avant que l'objet n'atteigneWhen the decision circuit determines, from the estimated displacement of the object of interest, that the latter has reached has reached an edge of the filmed scene, it triggers an alarm, for example the emission of a sound signal and / or a vibration. Advantageously, this alarm is triggered before the object reaches
PF160142- FR-NP un bord de la scène. On la déclenche par exemple à une distance seuil prédéterminée avant que l'objet d'intérêt n'atteigne le bord. Cette distance seuil peut varier au cours de la capture et dépendre notamment de la vitesse de déplacement de l'objet d'intérêt.PF160142- FR-NP one edge of the stage. It is triggered for example at a predetermined threshold distance before the object of interest reaches the edge. This threshold distance can vary during capture and depend in particular on the speed of movement of the object of interest.
l'utilisateur à capture et à se si nécessaire, par exemple en de manière à de capture parthe user to capture and to if necessary, for example in order to capture by
La réception de cette alarme invite vérifier la position du dispositif de repositionner par rapport à la scène L'utilisateur doit se repositionner, pivotant angulairement sur ses pieds conserver la position du dispositif rapport à sa tête.The reception of this alarm prompts to check the position of the repositioning device in relation to the scene. The user must reposition, angularly pivoting on his feet, to keep the position of the device in relation to his head.
En variante, on peut autoriser l'utilisateur à bouger le dispositif de capture pendant la capture vidéo. On mesure alors le déplacement du dispositif, par exemple avec une unité de mesure inertielle comprenant par exemple un ou plusieurs accéléromètre(s) (tel que 1'accéléromètre montré sur la figure 3) et/ou un ou plusieurs gyroscope(s) et/ou une boussole et/ou un niveau, embarquée dans le dispositif de capture. En variante, le déplacement du dispositif de capture peut être détecté par un système de positionnement externe au dispositif de capture, par exemple un réseau de caméras infra-rouge. Le circuit de traitement estime alors le déplacement de l'objet d'intérêt à partir de la différence entre le mouvement estimé des yeux et le mouvement estimé du dispositif et en fonction du facteur de zoom appliqué au dispositif de capture. Avantageusement, cette variante permet de corriger lesAs a variant, the user can be authorized to move the capture device during video capture. The displacement of the device is then measured, for example with an inertial measurement unit comprising for example one or more accelerometer (s) (such as the accelerometer shown in FIG. 3) and / or one or more gyroscope (s) and / or a compass and / or a level, embedded in the capture device. As a variant, the movement of the capture device can be detected by a positioning system external to the capture device, for example a network of infrared cameras. The processing circuit then estimates the displacement of the object of interest from the difference between the estimated movement of the eyes and the estimated movement of the device and as a function of the zoom factor applied to the capture device. Advantageously, this variant makes it possible to correct the
PF160142- FR-NP erreurs liées aux déplacements involontaires du dispositif de capture par l'utilisateur.PF160142- FR-NP errors linked to involuntary movements of the capture device by the user.
L'invention concerne également un procédé de capture vidéo avec un dispositif de capture comprenant une caméra avant et une caméra arrière. La figure 4 illustre les étapes de ce procédé.The invention also relates to a video capture method with a capture device comprising a front camera and a rear camera. Figure 4 illustrates the steps in this process.
Selon une première étape El, on capture une scène frontale à filmer avec la caméra avant du dispositif de capture. La scène frontale comporte un objet d'intérêt que l'utilisateur souhaite voir apparaître dans les images tout au long de la capture.According to a first step E1, a frontal scene to be filmed with the front camera of the capture device is captured. The front scene includes an object of interest that the user wishes to appear in the images throughout the capture.
Selon une étape E2, des images des yeux, on capture avec la caméra arrière au moins, de l'utilisateur.According to a step E2, images of the eyes, at least with the rear camera, of the user are captured.
Selon une étape E3, on traite les images de la caméra arrière pour estimer le mouvement des yeux de l'utilisateur et estimer le déplacement de l'objet d'intérêt dans la scène frontale à partir du mouvement estimé des yeux de l'utilisateur.According to a step E3, the images from the rear camera are processed to estimate the movement of the eyes of the user and to estimate the displacement of the object of interest in the frontal scene from the estimated movement of the eyes of the user.
Selon une étape E4, on détermine, à partir du déplacement estimé de l'objet d'intérêt, si l'objet d'intérêt sort de la scène frontale capturée et, dans l'affirmative, on déclenche une alarme pour prévenir 1'utilisateur.According to a step E4, it is determined, from the estimated displacement of the object of interest, whether the object of interest leaves the captured frontal scene and, if so, an alarm is triggered to warn the user .
L'invention est décrite dans ce qui précède à titre d'exemple. Il est entendu que la personne de l'art est à même de réaliser différentes variantes de réalisation de l'invention, en associant par exemple les différentes caractéristiques ci-dessus prises seules ouThe invention is described in the foregoing by way of example. It is understood that the person skilled in the art is able to carry out different variant embodiments of the invention, by combining for example the different characteristics above taken alone or
PF160142- FR-NP en combinaison, sans pour autant sortir du cadre de 1'invention.PF160142- FR-NP in combination, without departing from the scope of the invention.
PF160142- FR-NPPF160142- FR-NP
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1660685A FR3058607A1 (en) | 2016-11-04 | 2016-11-04 | VIDEO CAPTURE DEVICE WITH CAPTURE OF USER EYE MOVEMENT |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1660685A FR3058607A1 (en) | 2016-11-04 | 2016-11-04 | VIDEO CAPTURE DEVICE WITH CAPTURE OF USER EYE MOVEMENT |
FR1660685 | 2016-11-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
FR3058607A1 true FR3058607A1 (en) | 2018-05-11 |
Family
ID=57796599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR1660685A Pending FR3058607A1 (en) | 2016-11-04 | 2016-11-04 | VIDEO CAPTURE DEVICE WITH CAPTURE OF USER EYE MOVEMENT |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR3058607A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090225184A1 (en) * | 2008-03-03 | 2009-09-10 | Panasonic Corporation | Imaging apparatus, imaging apparatus body and reporting terminal |
WO2013066334A1 (en) * | 2011-11-03 | 2013-05-10 | Intel Corporation | Eye gaze based image capture |
US8531518B1 (en) * | 2012-08-28 | 2013-09-10 | Google Inc. | System and method for capturing videos with a mobile device |
-
2016
- 2016-11-04 FR FR1660685A patent/FR3058607A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090225184A1 (en) * | 2008-03-03 | 2009-09-10 | Panasonic Corporation | Imaging apparatus, imaging apparatus body and reporting terminal |
WO2013066334A1 (en) * | 2011-11-03 | 2013-05-10 | Intel Corporation | Eye gaze based image capture |
US8531518B1 (en) * | 2012-08-28 | 2013-09-10 | Google Inc. | System and method for capturing videos with a mobile device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9344673B1 (en) | Enhancing a camera oriented user interface via an eye focus guide | |
US7920179B2 (en) | Shadow and reflection identification in image capturing devices | |
US20100302393A1 (en) | Self-portrait assistance in image capturing devices | |
FR3045853A1 (en) | ||
TWI640199B (en) | Image capturing apparatus and photo composition method thereof | |
FR3021133A1 (en) | MOBILE TERMINAL AND METHOD FOR CONTROLLING THE MOBILE TERMINAL | |
US9516215B1 (en) | System and method for deterring the ability of a person to capture a screen presented on a handheld electronic device | |
JP2008276274A (en) | Information processor and information processing method | |
WO2017093439A1 (en) | Device for voice control of an image capture apparatus | |
TWI508001B (en) | Method, apparatus and computer program product for passerby detection | |
FR3101002A1 (en) | WELDING INFORMATION SUPPLY APPARATUS HAVING AN ENVIRONMENTAL DETECTION FUNCTION | |
EP3028441A1 (en) | Device for picture taking in low light able to be connected to a device of mobile telephone type | |
FR2910770A1 (en) | Videoconference device for e.g. TV, has light source illuminating eyes of local user viewing screen during communication with remote user, such that image sensor captures local user's image with reflection of light source on eyes | |
WO2009053863A1 (en) | Automatic timing of a photographic shot | |
JP2009105559A (en) | Method of detecting and processing object to be recognized from taken image, and portable electronic device with camera | |
FR3058607A1 (en) | VIDEO CAPTURE DEVICE WITH CAPTURE OF USER EYE MOVEMENT | |
EP3602253B1 (en) | Transparency system for commonplace camera | |
US20190158731A1 (en) | Method and device for capturing a video with a front camera according to an image of the user captured by a rear camera | |
FR3052565B1 (en) | INDIVIDUAL VISUAL IMMERSION DEVICE FOR MOVING PERSON | |
KR20110049405A (en) | Mobile phone having feature of black box for vehicle and image photographing method | |
CN107092853A (en) | Photographic method and device | |
JP2009141811A (en) | Image processor, method, program, recording medium, imaging apparatus and mobile terminal device | |
US20200053278A1 (en) | Techniques for improving photograph quality for common problem situations | |
US20230410458A1 (en) | Occlusion Classification and Feedback | |
FR2978841A1 (en) | Electronic assistance system for sale of accessory in shop, has support allowed to carry motion picture device to deliver digital images, where motion picture device is connected to separate restitution device to provide digital images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 2 |
|
PLSC | Publication of the preliminary search report |
Effective date: 20180511 |