FR3048108A1

FR3048108A1 - METHOD FOR RECOGNIZING THE DISPOSITION OF A HAND IN AN IMAGE STREAM

Info

Publication number: FR3048108A1
Application number: FR1651488A
Authority: FR
Inventors: Jean-Baptiste Guignard; Ophir Pal
Original assignee: Individual
Current assignee: Qualcomm Technologies Inc
Priority date: 2016-02-24
Filing date: 2016-02-24
Publication date: 2017-08-25
Anticipated expiration: 2036-02-24
Also published as: FR3048108B1

Abstract

L'invention se situe dans le domaine des interactions homme-machine et plus particulièrement dans le domaine du traitement d'images en vue de déterminer des gestes d'une main située dans un espace tridimensionnel. Elle concerne un procédé de traitement d'un flux d'images pour déterminer la disposition d'une main dans un espace tridimensionnel à partir d'un flux d'images bidimensionnelles. Le procédé de traitement comprend, pour chaque image du flux : ▪ une étape (13) de soustraction de fond par comparaison de l'image du flux avec une image de fond, ▪ une étape (14) d'identification d'un objet main, ▪ une étape (15) de détourage, ladite étape comprenant la détermination, dans l'image du flux, d'une ligne polygonale approximant le contour de l'ensemble de pixels associé à l'objet main, ▪ une étape (16) de détermination, dans l'image du flux, de la position d'un point central de l'objet main à partir de la ligne polygonale représentant son contour et ▪ une étape (17) d'identification des doigts de la main par détermination de distances maximales locales entre le point central de l'objet main et des points de la ligne polygonale.The invention lies in the field of human-machine interactions and more particularly in the field of image processing in order to determine gestures of a hand located in a three-dimensional space. It relates to a method of processing an image stream for determining the layout of a hand in a three-dimensional space from a two-dimensional image stream. The processing method comprises, for each image of the stream: a step (13) of background subtraction by comparison of the image of the flow with a background image, a step (14) of identification of a hand object ▪ a step (15) of trimming, said step comprising determining, in the flux image, a polygonal line approximating the contour of the set of pixels associated with the main object, ▪ a step (16) determining, in the flux image, the position of a central point of the hand object from the polygonal line representing its contour and a step (17) of identifying the fingers of the hand by determining maximum local distances between the central point of the main object and points of the polygonal line.

Description

PROCÉDÉ DE RECONNAISSANCE DE LA DISPOSITION D’UNE MAINMETHOD FOR RECOGNIZING THE PROVISION OF A HAND

DANS UN FLUX D’IMAGESIN A FLOW OF IMAGES

Domaine technique L’invention se situe dans le domaine des interactions homme-machine et plus particulièrement dans le domaine du traitement d’images en vue de déterminer des gestes d’une main située dans un espace tridimensionnel. Elle s’applique notamment à la détermination de la position et du geste d’une main dans un flux d’images, par exemple pour commander un dispositif à distance. Plus précisément, l’invention concerne un procédé de traitement d’un flux d’images pour déterminer la disposition d’une main dans un espace tridimensionnel à partir d’un flux d’images bidimensionnelles. État de la technique antérieureTECHNICAL FIELD The invention lies in the field of human-machine interactions and more particularly in the field of image processing in order to determine gestures of a hand located in a three-dimensional space. It applies in particular to the determination of the position and gesture of a hand in a stream of images, for example to control a remote device. More specifically, the invention relates to a method of processing an image stream for determining the disposition of a hand in a three-dimensional space from a two-dimensional image stream. State of the art

On connaît dans l’état de la technique antérieure au moins deux types de systèmes de reconnaissance gestuelle, en particulier d’un geste réalisé par une main. Typiquement, certains systèmes consistent à analyser une trace laissée par le geste, par exemple à l’aide d’une souris d’ordinateur. D’autres systèmes permettent d’interpréter le geste lui-même, par exemple en interprétant des données de position d’un gant numérique équipant la main ou via un enregistrement vidéo par caméras.In the state of the prior art, at least two types of gesture recognition systems are known, in particular a gesture made by a hand. Typically, some systems consist of analyzing a trace left by the gesture, for example using a computer mouse. Other systems make it possible to interpret the gesture itself, for example by interpreting position data of a digital glove equipping the hand or via a video recording by cameras.

Les systèmes de type caméra vidéo permettent de libérer la main. Toutefois, ces systèmes reposent habituellement sur l’utilisation parallèle de plusieurs capteurs pouvant éventuellement être de différents types. Ces systèmes sont généralement onéreux et/ou spécifiques, et/ou supposent de mettre en œuvre de multiple dispositifs, par exemple deux caméras en parallèle afin de détecter les gestes dans une troisième dimension.Video camera type systems can release the hand. However, these systems are usually based on the parallel use of several sensors that may be of different types. These systems are generally expensive and / or specific, and / or suppose to implement multiple devices, for example two cameras in parallel to detect the gestures in a third dimension.

Exposé de l'inventionPresentation of the invention

Un but de l’invention est notamment de remédier à tout ou partie des inconvénients précités en proposant un procédé de traitement d’un flux d’images permettant de déterminer la disposition d’une main dans un espace tridimensionnel en utilisant un simple capteur vidéo générant des images bidimensionnelles. Le capteur vidéo est par exemple celui intégré dans un téléphone intelligent (ou « smartphone » en anglais).An object of the invention is in particular to remedy all or some of the aforementioned drawbacks by proposing a method of processing an image stream for determining the disposition of a hand in a three-dimensional space using a simple video sensor generating two-dimensional images. The video sensor is for example that integrated in a smartphone (or "smartphone" in English).

Plus précisément, l’invention a pour objet un procédé de traitement d’un flux d’images pour déterminer la disposition d’une main dans un espace d’acquisition tridimensionnel, chaque image du flux représentant la main située dans ledit espace d’acquisition par projection dans un plan image. Le procédé selon l’invention comprend, pour chaque image du flux : une étape de soustraction de fond, ladite étape comprenant une comparaison de l’image du flux avec une image de fond et la génération d’une image différentielle formée d’un ensemble de pixels, chaque pixel de l’image différentielle prenant une première valeur ou une deuxième valeur en fonction du résultat de la comparaison, la première valeur étant significative d’un changement entre l’image du flux et l’image de fond et la deuxième valeur étant significative d’une absence de changement, une étape d’identification d’un objet main, ladite étape comprenant l’identification, dans l’image différentielle, d’un ensemble de pixels contigus ayant la première valeur, ledit ensemble étant associé à un objet main, une étape de détourage, ladite étape comprenant la détermination, dans l’image du flux, d’une courbe approximant le contour de l’ensemble de pixels associé à l’objet main, une étape de détermination, dans l’image du flux, de la position d’un point central de l’objet main à partir de la courbe représentant son contour, et une étape d’identification des doigts de la main, ladite étape comprenant la détermination, dans l’image du flux, de distances maximales locales entre le point central de l’objet main et des points de la courbe, chaque distance maximale locale identifiant une extrémité de l’un des doigts de la main.More specifically, the subject of the invention is a method for processing an image stream for determining the disposition of a hand in a three-dimensional acquisition space, each image of the flow representing the hand located in said acquisition space by projection in an image plane. The method according to the invention comprises, for each image of the stream: a bottom subtraction step, said step comprising a comparison of the image of the stream with a background image and the generation of a differential image formed of a set of pixels, each pixel of the differential image taking a first value or a second value according to the result of the comparison, the first value being significant of a change between the image of the flux and the background image and the second value being significant of a lack of change, a step of identifying a main object, said step comprising identifying, in the differential image, a set of contiguous pixels having the first value, said set being associated to a hand object, a clipping step, said step comprising determining, in the flow image, a curve approximating the contour of the set of pixels associated with the main object, a step of determining, in the flux image, the position of a central point of the hand object from the curve representing its contour, and a step of identifying the fingers of the hand said step comprising determining, in the flow image, local maximum distances between the central point of the hand object and points of the curve, each local maximum distance identifying an end of one of the fingers of the hand .

Il est à noter que les différentes images du flux ne comportent pas nécessairement toutes une représentation d’une main, la main pouvant sortir de l’espace d’acquisition au cours de l’acquisition du flux d’images. En outre, la main peut n’être que partiellement présente dans l’espace d’acquisition, conduisant à une représentation partielle dans une ou plusieurs images. Autrement dit, chaque image du flux ne représente une main que si, et dans la mesure où, cette main se trouve dans l’espace d’acquisition.It should be noted that the different images of the stream do not necessarily all include a representation of a hand, the hand can leave the acquisition space during the acquisition of the stream of images. In addition, the hand may be only partially present in the acquisition space, leading to a partial representation in one or more images. In other words, each image of the flow represents a hand only if and to the extent that this hand is in the acquisition space.

Par ailleurs, le procédé selon l’invention est également adapté à la présence simultanée de plusieurs mains dans l’espace d’acquisition, par exemple une main gauche et une main droite d’un utilisateur. Toutes les étapes du procédé sont alors appliquées individuellement à chaque main. Bien entendu, une exception peut s’appliquer pour l’étape de soustraction, laquelle est normalement effectuée sur l’ensemble d’une image du flux et donc pour l’ensemble des mains présentes.Furthermore, the method according to the invention is also adapted to the simultaneous presence of several hands in the acquisition space, for example a left hand and a right hand of a user. All process steps are then applied individually to each hand. Of course, an exception may apply for the subtraction step, which is normally performed on an entire image of the stream and therefore for all hands present.

Dans la présente description, le terme « image » signifie tout ensemble de pixels organisés dans un plan où chaque pixel est associé soit à une valeur représentant un niveau de gris dans le cas d’une image noir et blanc, soit à une combinaison de niveaux de gris dans le cas d’une image couleur. L’image différentielle peut comporter des pixels ne prenant que deux niveaux de gris, par exemple zéro et un. À titre d’exemple, un pixel peut prendre la valeur « un » lorsque le résultat de la comparaison est significatif d’un changement entre l’image de fond et l’image du flux et la valeur « zéro » lorsque le résultat de la comparaison est significatif d’une identité entre l’image de fond et l’image du flux. Chaque image comprend typiquement une matrice de pixels organisés en ligne et en colonne. Il s’agit donc d’images bidimensionnelles et non tridimensionnelles.In the present description, the term "image" means any set of pixels organized in a plane where each pixel is associated with either a value representing a gray level in the case of a black and white image, or a combination of levels. of gray in the case of a color image. The differential image may comprise pixels taking only two gray levels, for example zero and one. For example, a pixel may take the value "one" when the result of the comparison is significant of a change between the background image and the flow image and the value "zero" when the result of the comparison is significant of an identity between the background image and the flow image. Each image typically comprises an array of pixels organized in row and column. It is therefore two-dimensional and not three-dimensional images.

Le terme « disposition » désigne à la fois la position et l’orientation de la main dans une image donnée, ainsi que les positions relatives de différentes parties de la main. À titre d’exemple, la disposition de la main peut renseigner sur le fait que des doigts sont repliés ou non.The term "disposition" refers to both the position and orientation of the hand in a given image, as well as the relative positions of different parts of the hand. For example, the disposition of the hand can provide information on the fact that fingers are folded or not.

Le terme « courbe » désigne toute figure géométrique formée dans un plan. La courbe peut être ouverte ou fermée.The term "curve" refers to any geometrical figure formed in a plane. The curve can be open or closed.

Selon une forme particulière de réalisation, la courbe est constituée d’une spline. Il s’agit par exemple d’une ligne polygonale, c’est-à-dire d’une suite continue de segments.According to a particular embodiment, the curve consists of a spline. This is for example a polygonal line, that is to say a continuous sequence of segments.

Avantageusement, l’image de fond et les différentes images du flux constituent une représentation projetée d’un même espace d’acquisition. Ainsi, dans le cas d’une acquisition par un capteur vidéo, le capteur vidéo est immobile par rapport à l’environnement dans lequel la main peut évoluer. L’étape d’identification d’un objet main peut comporter l’identification, dans l’image différentielle, de plusieurs ensembles de pixels contigus ayant la première valeur. En particulier, elle peut consister à identifier deux ensembles de pixels susceptibles de correspondre aux deux mains d’un utilisateur.Advantageously, the background image and the different images of the stream constitute a projected representation of the same acquisition space. Thus, in the case of an acquisition by a video sensor, the video sensor is immobile with respect to the environment in which the hand can evolve. The step of identifying a main object may comprise the identification, in the differential image, of several sets of contiguous pixels having the first value. In particular, it may consist of identifying two sets of pixels that may correspond to both hands of a user.

Dans une forme particulière de réalisation, l’étape d’identification d’un objet main comprend une première sous-étape d’identification d’objets dans l’image différentielle. Cette sous-étape consiste à identifier un ou plusieurs ensembles de pixels dans l’image différentielle, chaque ensemble regroupant l’ensemble des pixels contigus dont la valeur est significative d’un changement entre l’image du flux et l’image de fond. Chaque ensemble est alors représentatif d’un objet présent dans l’image du flux. L’étape d’identification d’un objet main peut comporter, en outre, une sous-étape de vérification de l’identité des objets dans laquelle il est vérifié que chaque objet identifié correspond bien à une main ou à une partie d’une main. Chaque objet identifié correspondant à une main ou à une partie d’une main est alors conservé comme objet d’intérêt pour la suite du traitement d’images, les autres objets étant ignorés. Les objets d’intérêts sont appelés « objets main ». Cette sous-étape de vérification comprend par exemple une comparaison de la forme de chaque objet identifié avec une ou plusieurs formes de référence prédéterminées. L’étape d’identification d’un objet main peut aussi comporter, préalablement à la sous-étape de vérification de l’identité des objets, une sous-étape de détermination des plus grands objets identifiés. Cette sous-étape consiste à déterminer l’objet formé par l’ensemble comprenant le plus grand nombre de pixels ou les objets formés par les ensembles comprenant le plus grand nombre de pixels. Avantageusement, cette sous-étape détermine les deux objets les plus grands, ces objets étant susceptibles de représenter les deux mains d’un utilisateur. La sous-étape de vérification est par exemple réalisée en comparant le nombre de pixels de chaque ensemble associé à un objet.In a particular embodiment, the step of identifying a hand object comprises a first substep of identifying objects in the differential image. This substep consists of identifying one or more sets of pixels in the differential image, each set grouping together all the contiguous pixels whose value is significant of a change between the image of the stream and the background image. Each set is then representative of an object present in the image of the stream. The step of identifying a main object may further comprise a sub-step of verifying the identity of the objects in which it is verified that each identified object corresponds to a hand or a part of an object. hand. Each identified object corresponding to a hand or a part of a hand is then kept as an object of interest for the further processing of images, the other objects being ignored. The objects of interest are called "hand objects". This verification sub-step comprises, for example, a comparison of the shape of each identified object with one or more predetermined reference forms. The step of identifying a main object may also comprise, prior to the sub-step of verifying the identity of the objects, a substep of determining the largest identified objects. This sub-step consists in determining the object formed by the set comprising the largest number of pixels or the objects formed by the sets comprising the largest number of pixels. Advantageously, this sub-step determines the two largest objects, these objects being able to represent the two hands of a user. The verification sub-step is for example performed by comparing the number of pixels of each set associated with an object.

La sous-étape de détermination des plus grands objets identifiés et la sous-étape de vérification de l’identité des objets sont des étapes optionnelles, chacune pouvant être réalisée ou non en plus de la sous-étape d’identification d’objets dans l’image différentielle.The sub-step of determining the largest objects identified and the sub-step of verifying the identity of the objects are optional steps, each of which may or may not be carried out in addition to the substep of identifying objects in the object. differential image.

Selon une forme particulière de réalisation, l’étape de détourage comprend la détermination d’une enveloppe convexe autour de l’ensemble de pixels associé à l’objet main, c’est-à-dire autour des pixels ayant la première valeur. Dans le cas où plusieurs objets main sont identifiés, l’étape de détourage détermine une enveloppe convexe individuelle pour chaque objet main. Différents algorithmes connus de traitement d’images peuvent être utilisés. À titre d’exemple, l’étape de détourage peut impliquer l’utilisation de la transformée de Hough, d’un algorithme de Kalman, d’un algorithme de Sobel, d’un classifieur linéaire, d’un réseau de neurones, de machines à vecteurs de support, de polytopes de contraintes ou de la méthode des hypercubes. L’étape de détourage peut comprendre, de manière optionnelle, la détermination de deux extrémités pour la courbe, de manière à ce que les extrémités correspondent aux points de jonction entre la main et un poignet. L’objet main représente alors uniquement la main d’un utilisateur, sans son poignet.According to a particular embodiment, the clipping step comprises determining a convex envelope around the set of pixels associated with the main object, that is to say around the pixels having the first value. In the case where several hand objects are identified, the clipping step determines an individual convex hull for each hand object. Various known image processing algorithms can be used. For example, the clipping step may involve the use of the Hough transform, a Kalman algorithm, a Sobel algorithm, a linear classifier, a neural network, support vector machines, constraint polytopes or the hypercubes method. The clipping step may optionally include determining two ends for the curve, so that the ends correspond to the junction points between the hand and a wrist. The hand object then represents only the hand of a user, without his wrist.

Lorsque la courbe est constituée d’une ligne polygonale, la détermination des extrémités de la courbe peut être réalisée à partir d’une analyse des angles formés entre les différents segments de la ligne polygonale détourant a priori à la fois une main, un poignet et éventuellement un avant-bras.When the curve consists of a polygonal line, the determination of the ends of the curve can be carried out from an analysis of the angles formed between the different segments of the polygonal line at the beginning of a hand, a wrist and possibly a forearm.

Selon une variante de réalisation, l’étape de détourage peut comprendre la détermination de deux extrémités pour la courbe à partir d’un modèle prédéterminé de courbe, chaque extrémité correspondant à un point de jonction entre l’objet main et un poignet associé. Le modèle prédéterminé correspond typiquement à une représentation d’une main sans poignet.According to an alternative embodiment, the clipping step may comprise the determination of two ends for the curve from a predetermined pattern of curve, each end corresponding to a junction point between the hand object and an associated wrist. The predetermined pattern typically corresponds to a representation of a hand without a wrist.

La courbe peut être fermée par un segment joignant les deux extrémités. Le milieu de ce segment peut être utilisé dans le procédé de traitement d’images. Il est par exemple suivi dans les différentes images du flux afin de représenter un déplacement de la main au cours du temps. L’étape de détermination de la position d’un point central de l’objet main comprend par exemple une sous-étape de détermination d’un barycentre de l’objet main, dans laquelle le barycentre de l’objet main correspond au barycentre des pixels situés à l’intérieur d’une surface délimitée par la courbe approximant le contour de l’objet main, une sous-étape de détermination de l’extrémité des doigts de l’objet main, une sous-étape de détermination d’un barycentre des doigts, dans laquelle le barycentre des doigts correspond au barycentre des extrémités des doigts de l’objet main, et une sous-étape de détermination d’un point milieu entre le barycentre de l’objet main et le barycentre des doigts, ce point milieu étant considéré comme étant le point central de l’objet main. Le barycentre de l’objet main est de préférence l’isobarycentre des pixels situés à l’intérieur de l’objet main. De même, le barycentre des doigts est de préférence l’isobarycentre de l’extrémité des doigts. Pour la détermination du barycentre de l’objet main, si la courbe n’est pas refermée, les pixels considérés sont ceux situés à l’intérieur de la courbe fermée à ses extrémités par un segment. De préférence, ce barycentre est déterminé en ne considérant que les pixels représentatifs de la présence de la main, et non d’un poignet ou d’un avant-bras. La sous-étape de détermination de l’extrémité des doigts de l’objet main consiste par exemple à déterminer les cinq points de la courbe les plus éloignés du barycentre de l’objet main.The curve can be closed by a segment joining the two ends. The middle of this segment can be used in the image processing method. It is for example followed in the different images of the stream to represent a movement of the hand over time. The step of determining the position of a central point of the main object comprises, for example, a substep of determining a centroid of the main object, in which the center of gravity of the main object corresponds to the center of gravity of the main object. pixels located inside a surface delimited by the curve approximating the contour of the main object, a substep of determining the fingertips of the main object, a substep of determining a barycenter of the fingers, in which the barycenter of the fingers corresponds to the barycentre of the ends of the fingers of the hand object, and a substep of determination of a midpoint between the barycentre of the hand object and the centroid of the fingers, this midpoint being considered as the central point of the hand object. The centroid of the hand object is preferably the isobarycenter of the pixels located inside the hand object. Similarly, the centroid of the fingers is preferably the isobarycenter of the fingertips. For the determination of the barycentre of the main object, if the curve is not closed, the pixels considered are those located inside the curve closed at its ends by a segment. Preferably, this barycentre is determined by considering only the pixels representative of the presence of the hand, not a wrist or forearm. The sub-step of determining the end of the fingers of the main object consists for example in determining the five points of the curve farthest from the centroid of the hand object.

Il peut être remarqué que l’extrémité des doigts de l’objet main peut être déterminée deux fois pour une même image. En effet, la position des extrémités des doigts peut être déterminée une première fois au cours de l’étape de détermination de la position d’un point central de l’objet main et une deuxième fois au cours de l’étape d’identification des doigts de la main, après la détermination de ce point central. Les positions déterminées la première fois sont appelées « premières positions » et les positions déterminées la deuxième fois sont appelées « deuxièmes positions ». Les premières positions sont déterminées à partir d’un autre point que le point central. En l’occurrence, elles peuvent être déterminées à partir du barycentre de l’objet main, comme indiqué ci-dessus. Les deuxièmes positions sont déterminées à partir du point central de l’objet main. Les premières positions présentent généralement une précision moindre que les deuxièmes positions. Elles peuvent ainsi n’être utilisées que pour la détermination de la position du point central de l’objet main. Néanmoins, elles peuvent être utilisées à d’autres fins, notamment comme positions identifiant les doigts de la main, le procédé de traitement ne comportant alors pas de nouvelle détermination de la position des doigts. L’étape de soustraction de fond comprend par exemple, pour chaque pixel de l’image du flux : la détermination d’une valeur absolue de la différence entre une valeur dudit pixel et une valeur du pixel correspondant de l’image de fond, la comparaison de cette valeur absolue avec une valeur seuil prédéterminée, et la génération de l’image différentielle en fonction du résultat de cette comparaison.It can be noticed that the fingertips of the hand object can be determined twice for the same image. Indeed, the position of the ends of the fingers can be determined a first time during the step of determining the position of a central point of the hand object and a second time during the step of identifying the fingers of the hand, after the determination of this central point. The positions determined the first time are called "first positions" and the positions determined the second time are called "second positions". The first positions are determined from another point than the central point. In this case, they can be determined from the centroid of the hand object, as indicated above. The second positions are determined from the central point of the hand object. The first positions generally have less accuracy than the second positions. They can thus be used only for determining the position of the central point of the hand object. Nevertheless, they may be used for other purposes, especially as positions identifying the fingers of the hand, the treatment process then not involving a new determination of the position of the fingers. The subtraction step comprises, for example, for each pixel of the image of the flow: the determination of an absolute value of the difference between a value of said pixel and a value of the corresponding pixel of the background image, the comparing this absolute value with a predetermined threshold value, and generating the differential image according to the result of this comparison.

Ainsi, la comparaison de chaque image du flux avec l’image de fond comprend dans un premier temps une détermination d’une image de travail et dans un deuxième temps une comparaison des valeurs des pixels de cette image avec une valeur seuil prédéterminée. Dans l’image de travail, chaque pixel prend une valeur égale à la différence absolue entre la valeur du pixel dans l’image du flux et la valeur du pixel correspondant dans l’image de fond. La génération de l’image différentielle consiste alors à générer une image pour laquelle chaque pixel prend une première valeur, par exemple zéro, lorsque la valeur du pixel correspondant dans l’image de travail est supérieure à la valeur seuil, et une deuxième valeur, par exemple un, lorsque la valeur du pixel correspondant dans l’image de travail est inférieure à la valeur seuil. L’image différentielle représente donc de manière binaire tout changement intervenu dans l’espace d’acquisition. L’étape de soustraction de fond est par exemple réalisée à l’aide de la fonction appelée MoG2 dans le logiciel OpenCV. L’étape d’identification des doigts de la main comporte par exemple une sous-étape de détermination, dans l’image du flux, de distances maximales locales entre le point central de l’objet main et des points de la courbe et une sous-étape d’association d’un doigt à chaque distance maximale locale. Chaque distance maximale locale permet d’identifier un point de la courbe comme correspondant à une extrémité d’un doigt de l’objet main. Elle permet donc également d’identifier le doigt correspondant. Le nombre de maximums locaux recherchés peut être un nombre prédéterminé, de préférence égal à cinq. Il peut aussi être un nombre choisi comme étant inférieur ou égal à cinq. La détermination de distances maximales locales peut utiliser d’autres points particuliers à la place du point central. En l’occurrence, le barycentre de l’objet main pourrait aussi être utilisé. L’étape d’identification des doigts de la main peut comprendre une sous-étape d’identification du pouce de la main. Autrement dit, en plus d’un repérage indifférencié des doigts de la main, le procédé peut comporter une identification particulière du pouce. Selon une première forme de réalisation, cette identification comprend : la détermination, pour chaque doigt situé à une extrémité latérale de l’objet main, d’un angle formé entre d’une part une première droite passant par l’extrémité de ce doigt et le point central de la main, et d’autre part une deuxième droite passant par l’extrémité du doigt adjacent et le point central de la main, la comparaison desdits angles, le doigt associé au plus grand angle étant identifié comme étant le pouce.Thus, the comparison of each image of the stream with the background image comprises, in a first step, a determination of a working image and, in a second step, a comparison of the values of the pixels of this image with a predetermined threshold value. In the working image, each pixel takes a value equal to the absolute difference between the value of the pixel in the image of the stream and the value of the corresponding pixel in the background image. The generation of the differential image then consists in generating an image for which each pixel takes a first value, for example zero, when the value of the corresponding pixel in the working image is greater than the threshold value, and a second value, for example, when the value of the corresponding pixel in the working image is less than the threshold value. The differential image therefore represents in a binary manner any change in the acquisition space. The background subtraction step is for example performed using the function called MoG2 in the OpenCV software. The step of identifying the fingers of the hand comprises, for example, a substep of determining, in the flux image, local maximum distances between the central point of the hand object and points of the curve and a sub-step of step of associating a finger with each local maximum distance. Each local maximum distance makes it possible to identify a point of the curve as corresponding to one end of a finger of the main object. It also allows to identify the corresponding finger. The number of local maxima sought can be a predetermined number, preferably equal to five. It can also be a number chosen to be less than or equal to five. The determination of local maximum distances may use other particular points instead of the central point. In this case, the centroid of the hand object could also be used. The step of identifying the fingers of the hand may include a sub-step of identifying the thumb of the hand. In other words, in addition to an undifferentiated identification of the fingers of the hand, the method may include a particular identification of the thumb. According to a first embodiment, this identification comprises: the determination, for each finger located at one lateral end of the hand object, of an angle formed between on the one hand a first straight line passing through the end of this finger and the central point of the hand, and secondly a second line passing through the end of the adjacent finger and the central point of the hand, the comparison of said angles, the finger associated with the largest angle being identified as the thumb.

Selon une deuxième forme de réalisation, la sous étape d’identification du pouce comprend : la détermination, pour chaque doigt situé à une extrémité latérale de l’objet main, d’une distance entre l’extrémité de ce doigt et l’extrémité du doigt adjacent, la comparaison desdites distances, le doigt associé à la plus grande distance étant identifié comme étant le pouce.According to a second embodiment, the thumb identification substep comprises: determining, for each finger located at a lateral end of the hand object, a distance between the end of this finger and the end of the thumb; adjacent finger, the comparison of said distances, the finger associated with the greater distance being identified as the thumb.

Selon une troisième forme de réalisation, la sous-étape d’identification du pouce repose sur une combinaison des première et deuxième formes de réalisation, un facteur de pondération étant appliqué à chaque critère (angle et distance). L’étape d’identification comprend alors : la détermination, pour chaque doigt situé à une extrémité latérale de l’objet main, d’un angle formé entre d’une part une première droite passant par l’extrémité de ce doigt et le point central de la main, et d’autre part une deuxième droite passant par l’extrémité du doigt adjacent et le point central de la main, la détermination, pour chaque doigt situé à une extrémité latérale de l’objet main, d’une distance entre l’extrémité de ce doigt et l’extrémité du doigt adjacent, la détermination, pour chaque doigt situé à une extrémité latérale de l’objet main, d’un paramètre d’éloignement déterminé en fonction de l’angle et de la distance associés audit doigt, la comparaison des paramètres d’éloignement, le doigt associé au paramètre d’éloignement de plus grande valeur étant identifié comme étant le pouce.According to a third embodiment, the thumb identification sub-step is based on a combination of the first and second embodiments, a weighting factor being applied to each criterion (angle and distance). The identification step then comprises: determining, for each finger located at a lateral end of the hand object, an angle formed between on the one hand a first line passing through the end of this finger and the point center of the hand, and secondly a second line passing through the end of the adjacent finger and the central point of the hand, the determination, for each finger located at a lateral end of the hand object, a distance between the end of this finger and the end of the adjacent finger, the determination, for each finger located at a lateral end of the hand object, of a distance parameter determined according to the angle and the distance associated with said finger, the comparison of the distance parameters, the finger associated with the parameter of distance of greater value being identified as being the thumb.

Le procédé de traitement selon l’invention peut également comporter, pour au moins une image du flux, une étape de discrimination entre la main droite et la main gauche.The treatment method according to the invention may also include, for at least one image of the flow, a discriminating step between the right hand and the left hand.

Selon une première technique, l’étape de discrimination comprend une détermination de la position du pouce par rapport à la position des autres doigts de la main dans ladite au moins une image du flux. À titre d’exemple, lorsque la position du pouce est déterminée comme étant située plus à gauche qu’un ou plusieurs autres doigts, il est possible d’identifier l’objet main comme étant une main droite, et inversement. Une telle association repose sur l’hypothèse que la paume de la main est orientée vers le capteur d’images ayant acquis les images du flux.According to a first technique, the discrimination step comprises a determination of the position of the thumb relative to the position of the other fingers of the hand in said at least one image of the flow. For example, when the position of the thumb is determined to be more left than one or more other fingers, it is possible to identify the hand object as a right hand, and vice versa. Such an association is based on the assumption that the palm of the hand is directed towards the image sensor having acquired the images of the stream.

Selon une deuxième technique, l’étape de discrimination entre la main droite et la main gauche est effectuée à partir de la définition d’une zone droite et d’une zone gauche dans les images du flux. Elle comprend la détermination d’une zone d’entrée de l’objet main dans les images du flux, ladite zone d’entrée correspondant à une zone des images dans laquelle l’objet main est dernièrement apparu, une zone d’entrée située dans la zone droite conduisant à une identification d’une main droite et une zone d’entrée située dans la zone gauche conduisant à une identification d’une main gauche. L’étape de discrimination entre la main droite et la main gauche peut être réalisée selon l’une ou l’autre technique ou selon les deux techniques utilisées conjointement. Dans ce dernier cas, des règles de gestion de conflit peuvent être appliquées. Par exemple, la première technique peut primer sur la deuxième.According to a second technique, the discrimination step between the right hand and the left hand is performed from the definition of a right zone and a left zone in the images of the stream. It includes determining an input area of the hand object in the images of the stream, said input area corresponding to an area of the images in which the hand object has recently appeared, an input area located in the right zone leading to identification of a right hand and an entry zone located in the left zone leading to identification of a left hand. The discrimination step between the right hand and the left hand can be carried out according to one or the other technique or according to the two techniques used jointly. In the latter case, conflict management rules can be applied. For example, the first technique may take precedence over the second.

Par ailleurs, l’étape de discrimination peut être réalisée pour une ou plusieurs images du flux, par exemple des images situées dans une première partie du flux (cinq ou dix premières images par exemple), l’identification du pouce étant suivie (tracée) pour les images suivantes du flux. La discrimination peut également être réalisée pour chaque image du flux.Moreover, the discrimination step can be carried out for one or more images of the stream, for example images located in a first part of the stream (for example, the first five or ten images), the identification of the thumb being followed (plotted). for subsequent images of the stream. Discrimination can also be performed for each image of the stream.

Le procédé de traitement selon l’invention peut comporter, en outre, une étape d’acquisition du flux d’images à partir d’un capteur optique. Typiquement, le capteur optique génère des images bidimensionnelles. Il s’agit par exemple d’un capteur optique intégré dans un téléphone intelligent ou une tablette tactile. Les images sont par exemples acquises à une fréquence de 25 ou de 30 images par secondes. Selon une forme particulière de réalisation, le traitement n’est pas appliqué sur chaque image du flux généré par le capteur optique, mais sur certaines d’entre elles uniquement. Le traitement est par exemple appliqué sur une image sur quatre du flux d’image généré par le capteur optique.The processing method according to the invention may comprise, in addition, a step of acquiring the image flow from an optical sensor. Typically, the optical sensor generates two-dimensional images. This is for example an optical sensor integrated in a smartphone or tablet. The images are for example acquired at a frequency of 25 or 30 images per second. According to a particular embodiment, the processing is not applied to each image of the flux generated by the optical sensor, but only some of them. The treatment is for example applied to one of four images of the image flow generated by the optical sensor.

Le procédé de traitement peut aussi comporter une étape d’acquisition de l’image de fond à partir d’un capteur optique. Ce capteur optique génère typiquement des images bidimensionnelles. Il s’agit de préférence du même capteur optique que celui utilisé pour l’acquisition des images du flux. Ainsi, le champ de vision du capteur optique peut être identique pour l’acquisition de l’image de fond et l’ensemble des images du flux.The processing method may also include a step of acquiring the background image from an optical sensor. This optical sensor typically generates two-dimensional images. It is preferably the same optical sensor as used for the acquisition of images of the stream. Thus, the field of view of the optical sensor can be identical for the acquisition of the background image and all the images of the stream.

Le procédé de traitement selon l’invention peut aussi comporter, pour au moins une image du flux, une étape de détermination, dans chacune de ces images, d’un rayon de la main, ladite étape comprenant une sous-étape de détermination de points de jonction entre les doigts de l’objet main et une sous-étape de détermination d’une moyenne des distances entre le point central de l’objet main et les points de jonction, ladite moyenne formant le rayon de l’objet main.The processing method according to the invention may also comprise, for at least one image of the flow, a step of determining, in each of these images, a radius of the hand, said step comprising a substep of determining points junction between the fingers of the hand object and a substep of determining an average of the distances between the central point of the hand object and the junction points, said average forming the radius of the hand object.

Le procédé de traitement selon l’invention peut comporter, dans une forme particulière de réalisation, une étape de détection d’une position fermée de la main. Cette étape comprend par exemple : une détermination, dans une image du flux, d’un rapport du rayon de l’objet main sur une distance entre le point central de l’objet main et une extrémité de l’un des doigts de la main, une comparaison dudit rapport avec un rapport seuil prédéterminé, la main étant considérée comme étant dans la position fermée lorsque le rapport est supérieur au rapport seuil.The method of treatment according to the invention may comprise, in a particular embodiment, a step of detecting a closed position of the hand. This step comprises for example: a determination, in an image of the flow, of a ratio of the radius of the hand object over a distance between the central point of the hand object and an end of one of the fingers of the hand a comparison of said ratio with a predetermined threshold ratio, the hand being considered to be in the closed position when the ratio is greater than the threshold ratio.

Le procédé de traitement selon l’invention peut comporter, par ailleurs, une étape de détermination d’une position de la main le long d’un axe orthogonal au plan image de l’image du flux. Cette étape est par exemple réalisée à partir du rayon de l’objet main. L’invention a également pour objet un procédé de commande d’un dispositif, ledit procédé comprenant : les étapes du procédé de traitement d’un flux d’images selon l’une des variantes de réalisation décrites ci-dessus et une étape de génération d’une commande à destination du dispositif en fonction de la disposition déterminée de l’objet main dans l’une des images du flux et/ou en fonction d’un mouvement de l’objet main déterminé à travers une suite d’images du flux. L’invention a aussi pour objet un programme d’ordinateur agencé pour exécuter les étapes de l’un des procédés décrits ci-dessus lorsqu’il est exécuté dans au moins un ordinateur. L’invention a enfin pour objet un support informatique pouvant être lu par un ordinateur et comportant un programme d’ordinateur tel que décrit ci-dessus. Le support informatique est par exemple un disque optique numérique (CD) sur lequel sont gravées des instructions correspondant au procédé de traitement selon l'invention, ou une clef USB dans laquelle sont stockées ces instructions.The treatment method according to the invention may further comprise a step of determining a position of the hand along an axis orthogonal to the image plane of the flow image. This step is for example made from the radius of the object hand. The subject of the invention is also a method of controlling a device, said method comprising: the steps of the method of processing an image stream according to one of the embodiments described above and a generation step a command to the device according to the determined disposition of the main object in one of the images of the stream and / or according to a movement of the determined hand object through a sequence of images of the flux. The invention also relates to a computer program arranged to perform the steps of one of the methods described above when it is executed in at least one computer. Finally, the invention relates to a computer-readable computer medium and comprising a computer program as described above. The computer support is for example a digital optical disk (CD) on which are engraved instructions corresponding to the processing method according to the invention, or a USB key in which these instructions are stored.

Description des figures D'autres avantages et particularités de l'invention apparaîtront à la lecture de la description détaillée de mises en oeuvre et de modes de réalisation nullement limitatifs, au regard de dessins annexés sur lesquels : - la figure 1 représente schématiquement un exemple d’étapes du procédé de traitement d’un flux d’images selon l’invention ; - la figure 2 illustre un exemple de points caractéristiques de la disposition de l’objet main dans une image ; - la figure 3 représente un exemple d’étapes d’un procédé de commande selon l’invention.DESCRIPTION OF THE FIGURES Other advantages and particularities of the invention will appear on reading the detailed description of implementations and non-limiting embodiments, with reference to the attached drawings, in which: FIG. 1 schematically represents an example of steps of the method of processing an image stream according to the invention; FIG. 2 illustrates an example of characteristic points of the disposition of the object hand in an image; FIG. 3 represents an example of steps of a control method according to the invention.

Description de modes de réalisationDescription of embodiments

Les modes de réalisation décrits ci-après n'étant nullement limitatifs, on pourra notamment considérer des variantes de l'invention ne comprenant qu'une sélection de caractéristiques décrites, par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieure. Cette sélection comprend au moins une caractéristique, de préférence fonctionnelle sans détails structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieure.The embodiments described hereinafter being in no way limiting, it will be possible in particular to consider variants of the invention comprising only a selection of characteristics described, subsequently isolated from the other characteristics described, if this selection of characteristics is sufficient. to confer a technical advantage or to differentiate the invention from the state of the prior art. This selection comprises at least one characteristic, preferably functional without structural details, or with only a part of the structural details if this part alone is sufficient to confer a technical advantage or to differentiate the invention from the state of the prior art .

La figure 1 représente schématiquement un exemple d’étapes du procédé de traitement d’un flux d’images selon l’invention et la figure 2 illustre un exemple de points caractéristiques et d’objets géométriques pouvant être obtenus pour les différentes étapes de ce procédé. Il est à noter que la figure 2 ne représente pas le résultat d’une étape en particulier, mais vise à illustrer certaines opérations effectuées par le procédé.FIG. 1 schematically represents an example of steps of the method of processing an image stream according to the invention and FIG. 2 illustrates an example of characteristic points and geometric objects that can be obtained for the different steps of this method. . It should be noted that Figure 2 does not represent the result of a particular step, but is intended to illustrate certain operations performed by the method.

Le procédé de traitement 10 comprend une première étape 11 d’initialisation. Cette étape 11 comporte notamment une acquisition d’une image dite de fond. Cette image de fond est typiquement acquise par un capteur optique intégré dans un téléphone intelligent ou une tablette. Il s’agit alors d’une image bidimensionnelle dont les pixels sont organisés en lignes et en colonnes pour former globalement un rectangle. Chaque pixel de l’image de fond est associé à au moins une valeur représentative d’une intensité lumineuse (échelle de gris) dans une plage donnée de longueurs d’onde. Pour une image noir et blanc, chaque pixel est associé à une seule valeur. Pour une image couleur, typiquement trois valeurs sont associées à chaque pixel. L’image de fond est normalement acquise une seule fois pour le traitement de l’ensemble des images d’un flux. Elle constitue une image de référence représentant l’environnement dans lequel vont évoluer une ou plusieurs mains. L’étape 11 doit normalement être réalisée alors que l’utilisateur ne se trouve pas dans le champ de vision du capteur optique et alors que le capteur optique se trouve dans la position et l’orientation dans lesquelles les images du flux seront acquises.The processing method 10 comprises a first initialization step 11. This step 11 comprises in particular an acquisition of a so-called background image. This background image is typically acquired by an optical sensor integrated in a smartphone or tablet. It is then a two-dimensional image whose pixels are organized in rows and columns to form a rectangle overall. Each pixel of the background image is associated with at least one value representative of a light intensity (gray scale) in a given range of wavelengths. For a black and white image, each pixel is associated with a single value. For a color image, typically three values are associated with each pixel. The background image is normally acquired only once for the processing of all images in a stream. It constitutes a reference image representing the environment in which one or more hands will evolve. Step 11 should normally be performed while the user is not in the field of view of the optical sensor and while the optical sensor is in the position and orientation in which the images of the stream will be acquired.

Dans une deuxième étape 12, une image est acquise par le capteur optique. Cette image est appelée image à traiter ou image du flux. Elle est comparable à l’image de fond, sauf en ce qu’elle est susceptible de comporter une représentation d’une main d’un utilisateur.In a second step 12, an image is acquired by the optical sensor. This image is called image to process or image of the flow. It is comparable to the background image, except that it is likely to include a representation of a user's hand.

Le procédé de traitement comprend ensuite une troisième étape 13 de soustraction de fond. Cette étape consiste à comparer l’image à traiter avec l’image de fond de manière à déceler la présence d’un nouvel objet, en l’occurrence une main. Plus précisément, l’étape 13 comporte une comparaison pixel par pixel de l’image à traiter avec l’image de fond et la génération d’une nouvelle image, appelée image différentielle, dont chaque pixel prend une première ou une deuxième valeur en fonction du résultat de la comparaison. À titre d’exemple, l’étape 13 est réalisée par une technique dite de différence absolue. Elle comprend alors, pour chaque pixel de l’image du flux : la détermination d’une valeur absolue de la différence entre une valeur de ce pixel et une valeur du pixel correspondant de l’image de fond, la comparaison de cette valeur absolue avec une valeur seuil prédéterminée et la génération de l’image différentielle en fonction du résultat de cette comparaison. L’étape 13 peut aussi être réalisée par la fonction appelée MoG2 dans le logiciel OpenCV.The treatment method then comprises a third step 13 of background subtraction. This step consists of comparing the image to be treated with the background image so as to detect the presence of a new object, in this case a hand. More specifically, step 13 comprises a pixel-by-pixel comparison of the image to be processed with the background image and the generation of a new image, called a differential image, each pixel of which takes a first or a second value depending on the image. of the result of the comparison. For example, step 13 is performed by a so-called absolute difference technique. It then comprises, for each pixel of the image of the stream: the determination of an absolute value of the difference between a value of this pixel and a value of the corresponding pixel of the background image, the comparison of this absolute value with a predetermined threshold value and the generation of the differential image according to the result of this comparison. Step 13 can also be performed by the function called MoG2 in the OpenCV software.

Les pixels de l’image différentielle prennent par exemple la valeur zéro ou un. La valeur seuil dépend de la résolution de l’échelle de gris. Par exemple, pour une plage d’échelles de gris variant de 0 à 255, la valeur seuil peut être fixée à la valeur 128.The pixels of the differential image take for example the value zero or one. The threshold value depends on the resolution of the gray scale. For example, for a range of gray scales ranging from 0 to 255, the threshold value can be set to 128.

Le procédé comprend ensuite une étape 14 d’identification d’un objet main. Cette étape 14 comprend par exemple une première sous-étape d’identification d’objets dans l’image différentielle, une deuxième sous-étape de détermination des plus grands objets identifiés et une sous-étape de vérification de l’identité des objets. La sous-étape d’identification des objets consiste à identifier un ou plusieurs ensembles de pixels contigus ayant la première valeur. Dans le cas où plusieurs ensembles sont identifiés, ces ensembles sont de préférence disjoints, c’est-à-dire qu’ils ne comportent aucun pixel en commun. La sous-étape de détermination des plus grands objets consiste à déterminer le ou les objets formés par les ensembles comprenant le plus grand nombre de pixels. La sous-étape de vérification de l’identité des objets consiste par exemple à comparer chaque objet identifié avec une ou plusieurs formes de référence. Les objets correspondant à une main sont alors appelés « objets main ».The method then comprises a step 14 of identifying a hand object. This step 14 comprises for example a first substep of identifying objects in the differential image, a second substep of determining the largest identified objects and a substep of verifying the identity of the objects. The substep of identifying objects is to identify one or more sets of contiguous pixels having the first value. In the case where several sets are identified, these sets are preferably disjoint, that is to say that they do not comprise any pixel in common. The sub-step of determining the largest objects consists in determining the object or objects formed by the sets comprising the largest number of pixels. The sub-step of verifying the identity of the objects consists, for example, in comparing each identified object with one or more reference forms. Objects corresponding to a hand are then called "hand objects".

Le procédé comprend ensuite une étape 15 de détourage. Cette étape consiste à modéliser géométriquement tout objet, le cas échéant tout objet main, détecté dans l’image à traiter. Elle est par exemple réalisée par la détermination d’une frontière entre les pixels de première valeur et les pixels de deuxième valeur. Cette frontière peut être tracée en considérant l’ensemble des pixels de l’image différentielle.The method then comprises a step of clipping. This step consists of modeling geometrically any object, if any hand object, detected in the image to be processed. For example, it is achieved by determining a boundary between the pixels of first value and the pixels of second value. This border can be traced by considering all the pixels of the differential image.

Alternativement, la frontière peut être tracée en ne considérant qu’un sous-ensemble de pixels de l’image différentielle. L’étape 15 peut alors être réalisée par détermination d’une ligne polygonale passant par des pixels du sous-ensemble situés au voisinage de la frontière réelle. Plus précisément, une technique dite d’enveloppe convexe peut être utilisée. Selon cette technique, la ligne polygonale est déterminée de manière à former la plus petite figure géométrique regroupant les pixels du sous-ensemble dont la valeur est représentative de la présence d’un objet. Un exemple de ligne polygonale 21 est représenté sur la figure 2. Sur cette figure, seuls les pixels 22 par lesquels passe la ligne polygonale 21 sont représentés. L’étape 15 est par exemple réalisée par la fonction MoG2 du logicielAlternatively, the border can be drawn by considering only a subset of pixels of the differential image. Step 15 can then be performed by determining a polygonal line passing through pixels of the subset located in the vicinity of the real boundary. More specifically, a so-called convex hull technique can be used. According to this technique, the polygonal line is determined so as to form the smallest geometric figure grouping the pixels of the subset whose value is representative of the presence of an object. An example of a polygonal line 21 is shown in FIG. 2. In this figure, only the pixels 22 through which the polygonal line 21 passes are represented. Step 15 is for example performed by the MoG2 function of the software

OpenCV. L’étape de détourage peut comporter, de manière optionnelle, une suppression de l’ensemble des pixels représentatifs non pas de la présence d’une main mais de tout autre objet ou partie du corps, telle qu’un poignet ou un avant-bras. À titre d’exemple, l’étape de détourage peut comporter une sous-étape de reconnaissance de forme à partir d’un modèle de main. Tout objet identifié ne correspondant pas au modèle de main peut être exclu. De même, toute partie d’un objet identifié ne correspondant pas à une partie d’une main peut être exclue de la main identifiée. Sur la figure 2, la suppression des pixels non représentatifs d’une main est représentée par une ligne de démarcation 23.OpenCV. The clipping step may optionally include a removal of all the representative pixels not the presence of a hand but any other object or part of the body, such as a wrist or forearm . For example, the clipping step may include a substep of pattern recognition from a hand model. Any identified object that does not match the hand pattern can be excluded. Likewise, any part of an identified object that does not correspond to a part of a hand may be excluded from the identified hand. In FIG. 2, the deletion of pixels that are not representative of a hand is represented by a demarcation line 23.

Dans une sixième étape 16, la position d’un point central 24 de l’objet main est déterminée. Cette étape 16 comprend par exemple une sous-étape de détermination d’un barycentre pour les pixels situés à l’intérieur d’une surface délimitée par la ligne polygonale 21, appelé barycentre 241 de l’objet main, une sous-étape de détermination de l’extrémité 251-255 des doigts de l’objet main, une sous-étape de détermination d’un barycentre des extrémités des doigts de l’objet main, appelé barycentre 242 des doigts, et une sous-étape de détermination d’un point milieu 24 entre le barycentre 241 de l’objet main et le barycentre 242 des doigts, ce point milieu étant considéré comme étant le point central 24 de l’objet main. Le barycentre 241 de l’objet main est de préférence l’isobarycentre des pixels situés à l’intérieur de l’objet main. De même, le barycentre 242 des doigts est de préférence l’isobarycentre des extrémités 251-255 des doigts. Pour la détermination du barycentre 241 de l’objet main, si la ligne polygonale 21 n’est pas refermée, les pixels considérés sont ceux situés à l’intérieur de la ligne polygonale fermée à ses extrémités par le segment 23. De préférence, ce barycentre 241 est déterminé en ne considérant que les pixels représentatifs de la présence de la main, et non d’un poignet ou d’un avant-bras. La sous-étape de détermination de l’extrémité des doigts de l’objet main consiste par exemple à déterminer les cinq points 251-255 de la ligne polygonale les plus éloignés du barycentre 241 de l’objet main.In a sixth step 16, the position of a central point 24 of the hand object is determined. This step 16 comprises for example a substep of determining a barycentre for the pixels located inside a surface delimited by the polygonal line 21, called barycentre 241 of the main object, a substep of determination from the end 251-255 of the fingers of the hand object, a substep of determining a barycentre of the ends of the fingers of the hand object, called barycenter 242 of the fingers, and a sub-step of determining a midpoint 24 between the center of gravity 241 of the hand object and the centroid 242 of the fingers, this midpoint being considered as the central point 24 of the hand object. The center of gravity 241 of the hand object is preferably the isobarycenter of the pixels located inside the hand object. Likewise, the centroid 242 of the fingers is preferably the isobarycenter of the ends 251-255 of the fingers. For the determination of the center of gravity 241 of the main object, if the polygonal line 21 is not closed, the pixels considered are those located inside the polygonal line closed at its ends by the segment 23. Preferably, barycentre 241 is determined by considering only the pixels representative of the presence of the hand, not a wrist or forearm. The sub-step of determining the end of the fingers of the main object consists, for example, in determining the five points 251-255 of the polygonal line farthest away from the center of gravity 241 of the main object.

Dans une septième étape 17, les doigts de la main repérée dans l’image différentielle sont identifiés. Cette étape 16 consiste par exemple à déterminer des maximums locaux pour la distance entre le point central 24 de l’objet main et les points 22 de la ligne polygonale. Typiquement, les cinq maximums locaux peuvent être utilisés pour identifier les extrémités des doigts. Sur la figure 2, ces extrémités correspondent aux points 251-255 identifiés comme étant les points les plus éloignés du barycentre 241 de l’objet main. Les doigts sont repérés par les références 261 à 265. La distance entre le point central 24 et chaque extrémité 251-255 est représentée sous forme de droites référencée 271 à 275. L’étape 17 peut comporter une sous-étape d’identification du pouce. Cette sous-étape comprend par exemple : la détermination, pour chaque doigt situé à une extrémité latérale de la main, d’un angle formé entre d’une part une première droite passant par l’extrémité de ce doigt et le point central de la main, et d’autre part une deuxième droite passant par l’extrémité 251-255 du doigt adjacent et le point central 24 de la main et la comparaison desdits angles, le doigt associé au plus grand angle étant identifié comme étant le pouce.In a seventh step 17, the fingers of the hand identified in the differential image are identified. This step 16 consists, for example, in determining local maximums for the distance between the central point 24 of the main object and the points 22 of the polygonal line. Typically, the five local maxima can be used to identify the ends of the fingers. In FIG. 2, these ends correspond to the points 251-255 identified as being the furthest points from the center of gravity 241 of the main object. The fingers are identified by the references 261 to 265. The distance between the central point 24 and each end 251-255 is represented as straight lines referenced 271 to 275. The step 17 may comprise a thumb identification substep . This substep comprises for example: the determination, for each finger located at a lateral end of the hand, of an angle formed between on the one hand a first line passing through the end of this finger and the central point of the hand, and secondly a second straight line passing through the end 251-255 of the adjacent finger and the central point 24 of the hand and the comparison of said angles, the finger associated with the largest angle being identified as the thumb.

Sur la figure 2, les différents angles sont repérés par les références θ1, 02, 03 et 04. L’angle Θ1 apparaît comme étant l’angle maximal. Le doigt 261 est alors identifié comme étant le pouce.In FIG. 2, the different angles are identified by the references θ1, 02, 03 and 04. The angle Θ1 appears as the maximum angle. The finger 261 is then identified as the thumb.

Dans une huitième étape 18 du procédé décrit en référence à la figure 1, une discrimination est opérée afin de déterminer si la main repérée est une main gauche ou une main droite. Cette étape 18 est par exemple réalisée en déterminant une zone d’entrée de l’objet main dans les images du flux. En particulier, lorsque l’objet main apparaît dans une zone droite des images (par exemple dans la moitié droite des images), l’objet main peut être identifié comme étant une main droite, et inversement. L’apparition d’un objet main désigne par exemple l’identification de l’ensemble des doigts d’une main ou d’un doigt unique. À l’issue de l’étape 18, une nouvelle image à traiter est acquise dans une nouvelle itération de l’étape 12, et les étapes suivantes 13 à 18 sont également réitérées sur la base de cette nouvelle image.In an eighth step 18 of the method described with reference to FIG. 1, discrimination is made to determine whether the identified hand is a left hand or a right hand. This step 18 is for example performed by determining an input area of the main object in the images of the stream. In particular, when the hand object appears in a right area of the images (for example in the right half of the images), the object hand can be identified as a right hand, and vice versa. The appearance of a hand object means for example the identification of all the fingers of a hand or a single finger. At the end of step 18, a new image to be processed is acquired in a new iteration of step 12, and the following steps 13 to 18 are also reiterated on the basis of this new image.

Chaque itération des étapes 12 à 18 permet ainsi de déterminer la disposition d’un objet main dans l’image à traiter considérée. L’espace image étant lié à l’espace d’acquisition tridimensionnel, ces étapes 12 à 18 permettent de déterminer la disposition de la main dans cet espace d’acquisition. En outre, lorsque le procédé de traitement comprend une étape de détermination d’un rayon de la main, la position de la main peut être déterminée dans les trois dimensions de l’espace d’acquisition.Each iteration of steps 12 to 18 thus makes it possible to determine the disposition of a hand object in the image to be processed. Since the image space is linked to the three-dimensional acquisition space, these steps 12 to 18 make it possible to determine the disposition of the hand in this acquisition space. In addition, when the processing method includes a step of determining a hand radius, the position of the hand can be determined in the three dimensions of the acquisition space.

La figure 3 représente un exemple d’étapes d’un procédé de commande d’un dispositif selon l’invention. Le dispositif est par exemple un lecteur audio ou audiovidéo. Ce lecteur est par exemple apte à modifier une vitesse de lecture d’un fichier audio ou audiovidéo. Le procédé de commande 30 comporte des étapes du procédé de traitement d’un flux d’images tel que décrit précédemment. Ces étapes sont représentées par une macroétape 31.FIG. 3 represents an example of steps of a control method of a device according to the invention. The device is for example an audio or audio-video player. This player is for example able to change a playback speed of an audio file or audio video. The control method 30 includes steps of the method of processing an image flow as described above. These steps are represented by a macro step 31.

Dans une étape 32, une commande est générée en fonction d’une disposition de la main déterminée dans la macroétape 31 et/ou d’un mouvement de la main déterminé à partir de plusieurs images du flux. Cette étape comprend par exemple une association entre une disposition de l’objet main déterminée dans la macroétape 31 et une disposition de référence correspondant à une commande spécifique du dispositif, et/ou une association entre un mouvement de la main déterminé à partir de plusieurs images du flux et un mouvement de référence. À titre d’exemple, le procédé de traitement peut déterminer une fréquence d’un mouvement de la main entre deux positions données dans l’image ou dans l’espace d’acquisition, et l’associer à une vitesse de lecture du fichier audio ou audiovidéo.In a step 32, a command is generated according to a determined disposition of the hand in macro step 31 and / or a movement of the determined hand from several images of the stream. This step comprises, for example, an association between a disposition of the main object determined in macro step 31 and a reference disposition corresponding to a specific command of the device, and / or an association between a movement of the hand determined from several images. flow and a reference movement. By way of example, the processing method can determine a frequency of a movement of the hand between two given positions in the image or in the acquisition space, and associate it with a reading speed of the audio file. or audiovideo.

Dans une étape 33, le dispositif est commandé selon la commande spécifique. En l’espèce, la vitesse de lecture du fichier audio ou audiovidéo peut être commandée en fonction de la commande générée.In a step 33, the device is controlled according to the specific command. In this case, the playback speed of the audio or audio file can be controlled according to the command generated.

Typiquement au moins une des étapes du procédé selon l’invention précédemment décrite, de préférence chacune des étapes du procédé selon l’invention précédemment décrite n’est pas réalisée de manière purement abstraite ou purement intellectuelle mais implique l’utilisation d’un moyen technique. Il s’agit par exemple d’un ordinateur, d’une unité centrale ou de calcul, d’un circuit électronique analogique (de préférence dédié), d’un circuit électronique numérique (de préférence dédié), et/ou d’un microprocesseur (de préférence dédié).Typically at least one of the steps of the method according to the invention described above, preferably each of the steps of the method according to the invention described above is not carried out purely abstract or purely intellectual but involves the use of a technical means . This is for example a computer, a central or calculation unit, an analog electronic circuit (preferably dedicated), a digital electronic circuit (preferably dedicated), and / or a microprocessor (preferably dedicated).

Bien sûr, l’invention n’est pas limitée aux exemples qui viennent d’être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l’invention. De plus, les différentes caractéristiques, formes, variantes et modes de réalisation de l’invention peuvent être associés les uns avec les autres selon diverses combinaisons dans la mesure où ils ne sont pas incompatibles ou exclusifs les uns des autres.Of course, the invention is not limited to the examples that have just been described and many adjustments can be made to these examples without departing from the scope of the invention. In addition, the various features, shapes, variants and embodiments of the invention may be associated with each other in various combinations to the extent that they are not incompatible or exclusive of each other.

Claims

A method of processing a stream of images for determining the disposition of a hand in a three-dimensional acquisition space, each image of the stream representing the hand located in said acquisition space by projection in an image plane, the method comprising, for each image of the stream: a step (13) of background subtraction, said step comprising a comparison of the image of the stream with a background image and the generation of a differential image formed of a set of pixels each pixel of the differential image taking a first value or a second value depending on the result of the comparison, the first value being significant of a change between the image of the flux and the background image and the second value being significant of an absence of change, a step (14) for identifying a main object, said step comprising identifying, in the differential image, a set of pixels contiguous having the first value, said set being associated with a hand object, a step (15) of clipping, said step comprising determining, in the flow picture, a curve (21) approximating the outline of the set of pixels associated with the main object, a step (16) of determining, in the flux image, the position of a central point of the main object from the curve representing its contour and a step (17). ) of identifying the fingers of the hand, said step comprising determining, in the flux image, local maximum distances between the central point (24) of the hand object and points (22) of the curve, each local maximum distance identifying one end (251-255) of one of the fingers of the hand.

The method of claim 1, wherein the step (15) of trimming includes determining a convex hull around the set of pixels associated with the main object.

3. Method according to one of claims 1 and 2, wherein the step (15) of trimming comprises the determination of two ends for the curve (21) from a predetermined pattern of curve, each end corresponding to a junction point between the hand object and an associated wrist.

4. Method according to one of the preceding claims, wherein the curve approximating the contour of the hand object is a polygonal line (21).

5. Method according to one of the preceding claims, wherein the step (16) for determining the position of a central point (24) of the main object comprises: a substep of determining a centroid ( 241) of the hand object, in which the barycenter of the hand object corresponds to the barycenter of the pixels situated inside a surface delimited by the curve (21) approximating the contour of the hand object, a subset step of determining the end (251-255) of the fingers of the hand object, a substep of determining a barycenter (242) of the fingers, wherein the barycenter of the fingers corresponds to the centroid of the ends (251- 255) of the fingers of the hand object and a substep of determining a midpoint between the centroid (241) of the hand object and the center of gravity (242) of the fingers, said midpoint being considered as the central point. (24) of the hand object.

6. Method according to one of the preceding claims, wherein the step (13) of background subtraction comprises, for each pixel of the stream image: the determination of an absolute value of the difference between a value of said pixel and a value of the corresponding pixel of the background image, comparing this absolute value with a predetermined threshold value and generating the differential image according to the result of this comparison.

7. Method according to one of the preceding claims, wherein the step (17) for identifying the fingers of the hand comprises a sub-step of identifying the thumb of the hand, said sub-step comprising: the determination, for each finger (261, 265) located at a lateral end of the hand object, an angle {θ1, 04) formed between on the one hand a first straight line (271, 275) passing through the end (251, 255) of this finger and the central point (24) of the hand object, and secondly a second straight line (272, 274) passing through the end (252, 254) of the adjacent finger and the central point (24). ) of the hand object and the comparison of said angles {θ1, θ4), the finger (261) associated with the largest angle being identified as the thumb.

The method of claim 7 further comprising, for at least one image of the flow, a discriminating step (18) between the right hand and the left hand, said step comprising determining the position of the thumb relative to the position other fingers of the hand in said at least one image of the flow.

9. Method according to one of claims 7 and 8 further comprising, for at least one image of the stream, a step (18) discriminating between the right hand and the left hand from the definition of a right zone and a left area in the images of the stream, said step comprising determining an input area of the main object in the images of the stream, said input area corresponding to an area of the images in which the hand object has recently appeared, an entry zone located in the right zone leading to identification of a right hand and an entry zone located in the left zone leading to identification of a left hand.

10. Method according to one of the preceding claims further comprising a step (12) for acquiring the image flow from an optical sensor generating two-dimensional images.

11. Method according to one of the preceding claims further comprising a step (11) for acquiring the background image from a sensor generating two-dimensional images.

12. Method according to one of the preceding claims further comprising, for at least one image of the stream, a step of determining, in each of these images, a radius of the main object, said step comprising a subset step of determining junction points between the fingers of the hand object and a substep of determining an average of the distances between the central point (24) of the hand object and the junction points, said average forming the radius of the object hand.

The method of claim 12 further comprising a step of detecting a closed position of the hand, said step comprising: determining, in an image of the flow, a ratio of the radius of the hand object to a distance between the central point (24) of the hand object and an end of one of the fingers of the hand, a comparison of said ratio with a predetermined threshold ratio, the hand being considered to be in the closed position when the ratio is greater than the threshold ratio.

14. Method according to one of claims 12 and 13 further comprising a step of determining a position of the hand along an axis orthogonal to the image plane of the flow image, said step being performed at from the radius of the hand object.

15. A method of controlling a device, said method comprising: the steps of the method of processing an image stream according to one of claims 1 to 14 and a step of generating a command to the device in function of the determined disposition of the hand object in one of the images of the stream and / or according to a movement of the determined hand object through a sequence of images of the stream.

Computer program arranged to perform the steps of the method according to one of claims 1 to 14 or the method according to claim 15 when it is executed in at least one computer.

Computer readable computer medium comprising a computer program according to claim 16.