FR2945883A1 - Procede et systeme de detection de l'etat ouvert ou ferme des yeux d'un visage. - Google Patents

Procede et systeme de detection de l'etat ouvert ou ferme des yeux d'un visage. Download PDF

Info

Publication number
FR2945883A1
FR2945883A1 FR0953422A FR0953422A FR2945883A1 FR 2945883 A1 FR2945883 A1 FR 2945883A1 FR 0953422 A FR0953422 A FR 0953422A FR 0953422 A FR0953422 A FR 0953422A FR 2945883 A1 FR2945883 A1 FR 2945883A1
Authority
FR
France
Prior art keywords
eye
contours
open
pixels
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR0953422A
Other languages
English (en)
Other versions
FR2945883B1 (fr
Inventor
Santini Gwladys Hermant
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OCT Circuit Technologies International Ltd
Original Assignee
ST Ericsson SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ST Ericsson SA filed Critical ST Ericsson SA
Priority to FR0953422A priority Critical patent/FR2945883B1/fr
Priority to EP10723058.3A priority patent/EP2435953B1/fr
Priority to PCT/EP2010/056948 priority patent/WO2010136376A1/fr
Priority to US13/321,596 priority patent/US8761516B2/en
Publication of FR2945883A1 publication Critical patent/FR2945883A1/fr
Application granted granted Critical
Publication of FR2945883B1 publication Critical patent/FR2945883B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Procédé de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage, comprenant une détection d'un oeil d'un visage et système associé. Le procédé comprend une détection de contours verticaux de l'oeil, et une détermination de l'état ouvert ou fermé de l'oeil à partir des contours verticaux détectés.

Description

-MGEX-132 B08-5215FR - EHE/EVH
Société anonyme : ST-Ericsson SA (ST-Ericsson Ltd) Procédé et système de détection de l'état ouvert ou fermé des yeux d'un visage. Invention de : Gwladys HERMANT-SANTINI
Procédé et système de détection de l'état ouvert ou fermé des yeux d'un visage. L'invention concerne le domaine de la capture d'image photographique, et plus particulièrement la détection d'un état ouvert ou fermé des yeux d'un visage apparaissant sur une image photographique lors de la prise d'une image photographique. Lors d'une capture d'une image photographique, il arrive qu'un sujet photographié ferme les yeux au moment où l'image est capturée.
Ceci arrive de manière inopinée lorsque l'image photographique est capturée au moment où le sujet cligne naturellement des yeux, ou bien parce qu'il ferme les yeux par réflexe à la suite de la génération du flash par l'appareil photographique L'image photographique ainsi capturée est généralement considérée par le photographe comme ratée, et doit souvent être reprise. Différents appareils photo numériques intègrent des systèmes de détection du clignement des yeux. Grâce à ces systèmes, le photographe est informé que sa photo comprend des yeux fermés, grâce à une information affichée sur l'écran LCD par exemple. Cette information l'encourage à reprendre une photo de manière à ce que personne n'ait les yeux fermés sur la photo. De façon transparente pour l'utilisateur mais avec l'option détection du clignement des yeux activée par celui-ci, le système pourrait également retarder la prise de l'image photographique capturée de sorte que les yeux soient ouverts Les solutions de détection de clignement d'yeux connues demandent en général de grande capacité de calcul pour un processeur. Ces solutions ne sont pas applicables dans le cas d'un appareil photo numérique d'un appareil de téléphonie mobile dont la capacité de calcul du processeur est réduite. En effet, pour un appareil photographique numérique d'un appareil de téléphonie mobile, la solution se doit d'être des plus simples possibles, étant donné la limitation de la mémoire accessible et la puissance de processeur accessible. I1 est ainsi proposé dans un mode de mise en oeuvre de pallier aux inconvénients mentionnés ci-dessus en détectant le contour des yeux et plus particulièrement, en utilisant le nombre de contours verticaux détectés. Selon un aspect, il est proposé un procédé de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage, comprenant une détection d'un oeil d'un visage.
Selon une caractéristique générale de cet aspect, le procédé comprend alors une détection de contours verticaux de l'oeil, et une détermination de l'état ouvert ou fermé à partir des contours verticaux détectés. L'inventeur a en effet observé qu'un oeil ouvert comprend plus de contours verticaux qu'un oeil fermé. En effet, si on se place dans une visualisation des contours d'un oeil, un oeil fermé pourra être représenté par quasiment que des contours horizontaux, alors qu'un oeil ouvert sera représenté par des contours horizontaux et verticaux, avec par exemple les contours verticaux du centre de l'oeil, comme ceux de la pupille, qui peuvent être détectés. La direction verticale selon laquelle sont définis les contours verticaux est définie par les yeux détectés, et par le visage. Par exemple, la direction verticale peut se rapporter à l'axe de symétrie du visage auquel appartient l'oeil détecté. Ainsi, si une tête apparaît penchée sur une image photographique, les yeux et/ou le visage seront détectés et définiront de ce fait une direction verticale et une direction horizontale. On peut également définir la direction verticale à partir de la détection d'un visage et au moins d'un oeil. Ainsi, si une image photographique d'un visage de profil est capturée, ne laissant alors qu'un seul oeil apparaître, il est possible d'appliquer la détection de l'état ouvert ou fermé d'un oeil, à l'oeil ainsi détecté. Avantageusement, la détection d'un oeil d'un visage peut comprendre une définition d'une fenêtre de travail comprenant l'oeil détecté, une détermination d'un premier nombre de pixels appartenant aux contours verticaux dans la fenêtre de travail, et la détermination de l'état ouvert ou fermé de l'oeil peut comprendre une comparaison du premier nombre de pixels à une valeur seuil. La définition d'une fenêtre de travail permet, d'une part, de limiter la zone d'analyse et ainsi de diminuer le temps de traitement. Elle permet également, d'autre part, de définir une zone où les contours verticaux susceptibles d'être détectés appartiennent au contour de l'oeil et non à un contour d'un autre élément du visage. La détection d'un oeil d'un visage peut également comprendre une définition d'une fenêtre comprenant l'oeil détecté, une détermination d'un premier nombre de pixels appartenant aux contours verticaux dans la fenêtre de travail, une détermination de la hauteur de la fenêtre de travail avec un deuxième nombre de pixels, et la détermination de l'état ouvert ou fermé de l'oeil peut comprendre une comparaison du rapport entre le premier nombre de pixels et le second nombre de pixels à un premier taux seuil. La détermination de l'état ouvert ou fermé de l'oeil, ainsi réalisée à partir du rapport entre le premier nombre de pixels et le second nombre de pixels, permet de définir un taux seuil s'affranchissant de la hauteur de la fenêtre de travail utilisée. Avantageusement, le procédé peut comprendre une détection de contours horizontaux de l'oeil, et une détermination de l'état ouvert ou fermé de l'oeil à partir des contours horizontaux et verticaux détectés. Le procédé peut avantageusement comprendre une définition d'une fenêtre comprenant l'oeil détecté, une détermination d'un premier nombre de pixels appartenant aux contours verticaux dans la fenêtre de travail, une détermination d'un troisième nombre de pixels appartenant aux contours horizontaux, et la détermination de l'état ouvert ou fermé peut comprendre une comparaison du rapport entre le premier nombre de pixels et le troisième nombre de pixels à un second taux seuil. La détermination de l'état ouvert ou fermé de l'oeil, ainsi réalisée à partir du rapport entre le premier nombre de pixels et le troisième nombre de pixels, permet, d'une part, de définir un taux seuil s'affranchissant de la taille de la fenêtre de travail utilisée, et d'autre part, de s'affranchir de toute détection parasite de contours verticaux ou horizontaux. En effet, le rapport ainsi calculé est très différent suivant l'état ouvert ou fermé des yeux. L'écart entre les rapports des deux états ainsi connu permet de fixer une valeur pour le deuxième taux seuil permettant de s'affranchir de toute détection parasite pouvant entraîner une erreur, tout en conservant une détection précise de l'état ouvert ou fermé de l'oeil.
De préférence, la détection de contours horizontaux de l'oeil peut comprendre une détermination d'un gradient d'intensité lumineuse de pixels selon la direction verticale. Un pixel est détecté comme appartenant à un contour horizontal, lorsque, selon une direction verticale, le gradient d'intensité lumineuse d'un pixel est supérieur à un seuil de gradient d'intensité vertical. Une variation d'intensité lumineuse supérieure à un certain seuil peut en effet traduire la présence d'un contour. De même, la détection de contours verticaux de l'oeil peut comprendre une détermination d'un gradient d'intensité lumineuse de pixels selon une direction horizontale. Ladite direction horizontale est préférentiellement orthogonale à ladite direction verticale. Un pixel est détecté comme appartenant à un contour vertical, lorsque, selon une direction horizontale, le gradient d'intensité lumineuse d'un pixel est supérieur à un seuil de gradient d'intensité horizontal. Une variation d'intensité lumineuse supérieure à un certain seuil peut en effet traduire la présence d'un contour. D'une façon générale, les valeurs des différents seuils, taux seuil, seuils de gradients d'intensité lumineuse mentionnés ci-avant dépendent notamment des caractéristiques optiques et numériques de l'appareil photographique numérique utilisé. L'homme du métier saura ajuster la valeur de ces seuils en fonction de ces caractéristiques et de l'application envisagée.
Selon un autre aspect, il est proposé un dispositif de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage, comprenant des moyens de détection d'un oeil d'un visage apte à déterminer l'emplacement d'un oeil d'un visage.
Le dispositif comprend des moyens de détection de contours verticaux d'un oeil aptes à définir des contours verticaux de l'oeil, des moyens de détermination de l'état ouvert ou fermé aptes à déterminer si l'oeil détecté est ouvert ou fermé à partir des contours verticaux détectés.
Les moyens de détection d'un oeil d'un visage peuvent avantageusement comprendre un module de définition d'une fenêtre de travail apte à définir une fenêtre de travail comprenant l' oeil détecté, et les moyens de détermination de l'état ouvert ou fermé de l'oeil peuvent comprendre un module de comparaison apte à comparer un premier nombre de pixels appartenant aux contours verticaux détectés dans la fenêtre de travail à une valeur seuil. Avantageusement, les moyens de détection d'un oeil d'un visage peuvent également comprendre un module de définition d'une fenêtre de travail apte à définir une fenêtre de travail comprenant l'oeil détecté, et les moyens de détermination de l'état ouvert ou fermé de l'oeil peuvent comprendre un premier module de comparaison de taux apte à comparer un rapport entre un premier nombre de pixels appartenant aux contours verticaux détectés dans la fenêtre de travail et un second nombre de pixels définissant la hauteur de la fenêtre de travail à un premier taux seuil. De préférence, le dispositif peut également comprendre en outre des moyens de détection de contours horizontaux de l'oeil aptes à définir les contours horizontaux de l'oeil, et les moyens de détermination de l'état ouvert ou fermé de l'oeil peuvent être configurés pour déterminer l'état de l'oeil à partir des contours verticaux et horizontaux détectés. Les moyens de détection d'un oeil d'un visage peuvent avantageusement comprendre un module de définition d'une fenêtre de travail apte à définir une fenêtre de travail comprenant l' oeil détecté, et les moyens de détermination de l'état ouvert ou fermé de l'ceil peuvent comprendre un second module de comparaison de taux apte à comparer à un second taux seuil le rapport entre un premier nombre de pixels appartenant aux contours verticaux détectés dans la fenêtre de travail et un troisième nombre de pixels appartenant aux contours horizontaux détectés dans la fenêtre de travail. De préférence, les moyens de détection des contours horizontaux d'un oeil peuvent comprendre un module de détermination d'un gradient d'intensité lumineuse vertical apte à déterminer un gradient d'intensité lumineuse d'un pixel sur une direction verticale. De même, les moyens de détection des contours verticaux d'un oeil peuvent comprendre un module de détermination d'un gradient d'intensité lumineuse horizontal apte à déterminer un gradient d'intensité lumineuse d'un pixel sur une direction horizontale du plan.
Selon un autre aspect, il est proposé un appareil photographique numérique comprenant un dispositif de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage. Selon un autre aspect, il est proposé un appareil de téléphonie mobile comprenant un appareil photographique numérique comprenant un dispositif de l'état ouvert ou fermé d'au moins un oeil d'un visage. D'autres avantages et caractéristiques de l'invention apparaîtront à l'examen de la description détaillée des modes de réalisation et de mise en oeuvre nullement limitative, et des dessins annexés, sur lesquels : la figure 1 représente, de manière schématique, un mode de réalisation d'un appareil de téléphonie mobile comprenant un appareil photographique numérique comprenant un dispositif de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage ; la figure 2 illustre, de manière schématique, un dispositif de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage selon un premier mode de réalisation ; 30 - la figure 3 illustre, de manière schématique, un dispositif de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage selon un second mode de réalisation ; - la figure 4 illustre, de manière schématique, un dispositif de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage selon un troisième mode de réalisation ; et - la figure 5 représente un synopsis d'un mode de mise oeuvre d'un procédé de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage. Sur la figure 1, est représenté un appareil de téléphonie mobile T comprenant un appareil photographique numérique P. L'appareil photographique numérique P comprend un dispositif 1 de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage. Le dispositif de détection 1 comprend des moyens 2 de détection d'un oeil d'un visage aptes à déterminer l'emplacement de l'oeil, des moyens 3 de détection des pixels représentatifs de contours verticaux d'un oeil aptes à repérer les contours verticaux de l'oeil, et des moyens 4 de détermination de l'état ouvert ou fermé de l'oeil aptes à déterminer si l'oeil détecté est ouvert ou fermé. Sur la figure 2, un dispositif 1 de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage est représenté plus en détails. Dans ce mode de réalisation, les moyens 2 de détection de l'oeil comprennent un module 5 de détection de l'aeil et un module 6 de définition d'une fenêtre de travail. Le module 5 de détection d'un oeil permet de détecter chaque oeil présent sur chaque visage présent sur l'image photographique enregistrée au moment de la visualisation par l'appareil photographique numérique P. Le module 5 de détection d'un oeil détecte les zones correspondant aux yeux à l'aide, par exemple, de la variation de luminance à la fois sur le plan vertical et sur le plan horizontal de l'image photographique, une fois les visages détectés.
I1 est bien connu en soi de l'homme du métier des moyens de détection d'un oeil comme le module 5. Plus précisément, et à titre indicatif, le module 5 de détection met en oeuvre des méthodes logicielles connues en soi et par exemple décrites dans les articles Driver Fatigue Detection Based on eye Tracking and Dynamic Template Matching et Real-time pupil detection based on threestep hierarchy publiés dans la revue IEEE. A partir des coordonnées de chaque oeil détecté sur la photo, le module 6 définit pour chaque oeil détecté une fenêtre de travail FT comprenant l'oeil détecté. Le module 6 délivre alors en sortie la fenêtre de travail FT pour chacun des yeux détectés sur l'image de visualisation aux moyens de détection 3. Les moyens 3 de détection des pixels représentatifs de contours verticaux d'un oeil comprennent un module 7 de mesure du gradient d'intensité horizontal apte à mesurer le gradient d'intensité lumineuse d'un pixel selon la direction horizontale du plan, un premier module de comparaison 8 et une mémoire 9. Le module 7 permet de mesurer le gradient d'intensité d'un pixel donné p dans la fenêtre de travail FT définie par le module 6 en observant la variation d'intensité lumineuse dans une direction horizontale DH pour ledit pixel. Une fois le gradient d'intensité horizontal mesuré pour un pixel, il est délivré en sortie au module de comparaison 8 qui compare alors le gradient d'intensité horizontal reçu pour ce pixel donné à un seuil de gradient d'intensité horizontal IH. Ce seuil IH de gradient d'intensité horizontal permet de définir si le pixel correspond à un pixel représentatif d'un contour vertical. Si le gradient d'intensité horizontal est supérieur au seuil IH, alors le pixel est considéré comme appartenant à un contour vertical. Sinon, il n'est pas considéré comme appartenant à un contour vertical. La valeur du seuil IH dépend des caractéristiques optiques et numériques de l'appareil photographique numérique utilisé, mais elle peut-être comprise entre 15 et 25, si le gradient d'intensité est calculé comme la différence de luminance en valeur absolue entre les deux pixels adjacents au pixel considéré et que la luminance d'un pixel est codée entre 0 et 255. Les informations issues du premier module de comparaison 8 sont alors mémorisées dans la mémoire 9. Les informations obtenues sur le gradient de chaque pixel sont délivrées aux moyens 4 de détermination de l'état ouvert ou fermé d'un oeil détecté. Les moyens 4 de détermination de l'état ouvert ou fermé de l'oeil comprennent un module 10 de comparaison apte à comparer le nombre de pixels représentatifs de contours verticaux détectés dans la fenêtre de travail à une valeur seuil (seuill). Ainsi, si le nombre N1 de pixels représentatifs de contours verticaux détectés dans une fenêtre de travail est supérieur à la valeur seuil (seuill), l'oeil détecté est considéré comme ouvert.
Le module de comparaison 10 peut être réalisé à l'aide d'un module logiciel ou par des circuits logiques de comparaison. Par ailleurs, la valeur du seuil dépend des caractéristiques de l'appareil photographique numérique. Cette valeur seuil peut être non nulle de manière à éviter les détections parasites de pixels détectés comme appartenant à des contours verticaux de l'oeil alors qu'ils ne le sont pas. Le seuil de détection fixé par cette valeur peut être relativement bas selon les caractéristiques, mais, à titre indicatif, cette valeur pourrait, par exemple, être de l'ordre de 5% du nombre de pixels compris dans la fenêtre de travail.
Sur la figure 3, est représenté un dispositif 1 de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage selon un second mode de réalisation. Sur cette figure, les éléments identiques ou ayant des fonctions identiques à ceux illustrés sur la figure 2 ont des références multipliées par dix par rapport à celles qu'ils avaient sur la figure 2. Seules les différences entre les deux figures seront décrites. Dans ce mode de réalisation les moyens 60 de définition d'une fenêtre de travail délivrent en sortie la hauteur H de la fenêtre de travail FT en nombre de pixels aux moyens 40 de détermination de l'état ouvert ou fermé de l'oeil détecté. Ces moyens 40 comportent un module 11 de calcul du rapport entre le nombre N1 de pixels représentatifs de contours verticaux détectés dans la fenêtre de travail FT et le nombre N2 de pixels définissant la hauteur H de la fenêtre de travail FT.
Le rapport Nl/N2 ainsi calculé est délivré en sortie du module 11 à un module 12 de comparaison de taux. Ce module 12 compare alors le rapport Nl/N2 à un premier taux seuil (seuil2). Ainsi, si le rapport Nl/N2 est supérieur à un premier taux seuil (seuil2), l'oeil détecté est considéré comme ouvert.
Le module 12 peut être réalisé l'aide d'un module logiciel ou par des circuits logiques de comparaison. Par ailleurs, la valeur du premier taux seuil peut être relativement bas selon les caractéristiques, mais, cette valeur pourrait, à titre indicatif, être comprise, par exemple, entre 1 et 2.
Sur la figure 4, est représenté un dispositif 1 de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage selon un troisième mode de réalisation. Sur cette figure, les éléments identiques ou ayant des fonctions identiques à ceux illustrés sur la figure 2 ont des références multipliées par cent par rapport à celles qu'ils avaient sur la figure 2. Seules les différences entre les deux figures seront décrites. Dans ce mode de réalisation les moyens 600 délivrent également en sortie la fenêtre de travail FT pour chacun des yeux détectés sur l'image de visualisation à des moyens 33 de détection des pixels représentatifs de contours horizontaux de l'oeil. Les moyens 33 comprennent un module 13 de mesure du gradient d'intensité vertical apte à mesurer le gradient d'intensité lumineuse d'un pixel p selon la direction verticale DV, un module de comparaison 14 et une mémoire 15.
Le module 13 permet de mesurer le gradient d'intensité d'un pixel donné dans la fenêtre de travail FT en observant la variation d'intensité lumineuse sur la direction verticale pour ledit pixel. Une fois le gradient d'intensité vertical mesuré pour un pixel, il est délivré en sortie au module de comparaison 14 qui compare alors le gradient d'intensité vertical reçu à un seuil de gradient d'intensité vertical Iv. Ce seuil Iv de gradient d'intensité vertical permet de définir si le pixel correspond à un pixel représentatif de contours horizontaux. Si le gradient d'intensité vertical est supérieur au seuil Iv, alors le pixel est considéré comme appartenant à un contour horizontal. Sinon, il n'est pas considéré comme appartenant à un contour horizontal. La valeur du seuil Iv dépend des caractéristiques optiques et numériques de l'appareil photographique numérique utilisé, mais elle peut être, par exemple, comprise entre 15 et 25, si le gradient d'intensité est calculé comme la différence de luminance en valeur absolue entre les deux pixels adjacents au pixel considéré et que la luminance d'un pixel est codée entre 0 et 255. Les informations issues du module de comparaison 14 sont alors mémorisées dans la mémoire 15 et sont délivrés aux moyens 400 de détermination de l'état ouvert ou fermé d'un oeil détecté. Les moyens 400 reçoivent donc en entrée le nombre N1 de pixels représentatifs de contours verticaux détectés dans la fenêtre de travail FT, ainsi que le nombre N3 de pixels représentatifs de contours horizontaux détectés dans la fenêtre de travail FT. Les moyens 400 comprennent, dans ce mode de réalisation, un module 111 de calcul du rapport entre le nombre N1 et le nombre N3, et un second module 16 de comparaison de taux. Le rapport Nl/N3 calculé par le module 111 est délivré en sortie au second module 16 de comparaison de taux. Ce module 16 de comparaison de taux compare alors le rapport calculé Nl/N3 à un second taux seuil (seuil3). Ainsi, si le rapport Nl/N3 est supérieur au second taux seuil (seuil3), l'oeil détecté est considéré comme ouvert. Le module 16 peut être réalisé l'aide d'un module logiciel ou par des circuits logiques de comparaison. Par ailleurs, la valeur du second taux seuil dépend des caractéristiques de l'appareil photographique numérique. La valeur du deuxième taux seuil peut être, par exemple, de l'ordre de 1/2.
Sur la figure 5, est représenté un exemple de synopsis d'un procédé de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage selon un mode de mise en oeuvre. Dans ce mode de mise en oeuvre, une détection des yeux est tout d'abord réalisée dans une première étape 501. Dans une étape suivante 502, une fenêtre de travail est définie pour chaque oeil détecté dans l'étape précédente. Chaque fenêtre de travail englobe un oeil détecté. Dans une étape suivante 503, une détection des pixels représentatifs des contours verticaux est réalisée pour chaque oeil détecté. Ainsi, dans chaque fenêtre de travail FT, tous les pixels contenus dans la fenêtre de travail FT sont analysés afin de déterminer les pixels représentatifs de contours verticaux. Pour cela, on détermine le gradient de luminosité de chaque pixel dans une direction horizontale du plan de l'image. Si le gradient du pixel est supérieur à un seuil de gradient horizontal, le pixel est considéré comme représentatif d'un contour vertical. Dans une étape suivante 504, une détection des pixels représentatifs des contours horizontaux est réalisée pour chaque oeil détecté. Ainsi, dans chaque fenêtre de travail FT, tous les pixels contenus dans la fenêtre de travail FT sont analysés afin de déterminer les pixels représentatifs de contours horizontaux. Pour cela, on détermine le gradient de luminosité de chaque pixel dans une direction verticale du plan de l'image. Si le gradient du pixel est supérieur à un seuil de gradient vertical, le pixel est considéré comme représentatif d'un contour horizontal. Enfin, dans une étape finale 505, on détermine l'état ouvert ou fermé de chaque oeil détecté à partir du rapport entre le nombre de pixels représentatifs de contours verticaux détectés dans une fenêtre de travail FT et le nombre de pixels représentatifs de contours horizontaux détectés dans la même fenêtre de travail FT. Si le rapport ainsi calculé est supérieur à un second taux seuil, l'oeil est considéré comme ouvert.

Claims (16)

  1. REVENDICATIONS1. Procédé de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage, comprenant une détection d'un oeil d'un visage, caractérisé en ce qu'il comprend une détection de contours verticaux de l'oeil, et une détermination de l'état ouvert ou fermé de l'oeil au moins à partir des contours verticaux détectés.
  2. 2. Procédé selon la revendication 1, dans lequel la détection d'un oeil d'un visage comprend une définition d'une fenêtre de travail comprenant l'oeil détecté et une détermination d'un premier nombre de pixels appartenant aux contours verticaux dans la fenêtre de travail, et la détermination de l'état ouvert ou fermé de l'oeil comprend une comparaison du premier nombre de pixels à une valeur seuil.
  3. 3. Procédé selon la revendication 1, dans lequel la détection d'un oeil d'un visage comprend une définition d'une fenêtre de travail comprenant l'oeil détecté, une détermination d'un premier nombre de pixels appartenant aux contours verticaux dans la fenêtre de travail et une détermination de la hauteur de la fenêtre de travail avec un deuxième nombre de pixels, et la détermination de l'état ouvert ou fermé de l'oeil comprend une comparaison du rapport entre le premier nombre de pixels et le deuxième nombre de pixels à un premier taux seuil.
  4. 4. Procédé selon la revendication 1, comprenant en outre une détection de contours horizontaux de l'oeil et une détermination de l'état ouvert ou fermé de l'oeil à partir des contours horizontaux et verticaux détectés.
  5. 5. Procédé selon la revendication 4, dans lequel, la détection d'un oeil d'un visage comprend une définition d'une fenêtre de travail comprenant l'oeil détecté, une détermination d'un premier nombre de pixels appartenant aux contours verticaux dans la fenêtre de travail et une détermination d'un troisième nombre de pixels appartenant aux contours horizontaux dans la fenêtre de travail, et la détermination de l'état ouvert ou fermé de l'oeil comprend une comparaison du rapportentre le premier nombre de pixels et le troisième nombre de pixels à un second taux seuil.
  6. 6. Procédé selon l'une des revendications 4 ou 5, dans lequel la détection des contours horizontaux de l'oeil comprend une détermination du gradient d'intensité lumineuse de pixels selon une direction verticale.
  7. 7. Procédé selon l'une des revendications 1 à 6, dans lequel la détection des contours verticaux de l'oeil comprend une détermination du gradient d'intensité lumineuse de pixels selon une direction horizontale.
  8. 8. Dispositif (1) de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage, comprenant des moyens (2) de détection d'un oeil d'un visage aptes à déterminer l'emplacement d'un oeil d'un visage, caractérisé en ce qu'il comprend des moyens (3) de détection de contours verticaux d'un oeil aptes à repérer les contours verticaux de l'oeil, et des moyens (4) de détermination de l'état ouvert ou fermé de l'oeil aptes à déterminer si l'oeil détecté est ouvert ou fermé au moins à partir des contours verticaux détectés.
  9. 9. Dispositif selon la revendication 8, caractérisé en ce que les moyens de détection (2) d'un oeil d'un visage comprennent un module (6) de définition d'une fenêtre de travail apte à définir une fenêtre de travail comprenant l'oeil détecté, et les moyens (4) de détermination de l'état ouvert ou fermé de l'oeil comprennent un module (10) de comparaison apte à comparer un premier nombre de pixels appartenant aux contours verticaux dans la fenêtre de travail à une valeur seuil.
  10. 10. Dispositif selon la revendication 8, caractérisé en ce que les moyens de détection (2) d'un oeil d'un visage comprennent un module (6) de définition d'une fenêtre de travail apte à définir une fenêtre de travail comprenant l'oeil détecté, et les moyens (4) de détermination de l'état ouvert ou fermé de l'oeil comprennent un premier module (12) de comparaison de taux apte à comparer un rapport entre un premier nombre de pixels représentatifs de contours verticaux détectés dans la fenêtre de travail et un nombre de pixels définissant la hauteur de la fenêtre de travail à un premier taux seuil.
  11. 11. Dispositif selon la revendication 8, caractérisé en ce qu'il comprend en outre des moyens (33) de détection de contours horizontaux d'un oeil aptes à repérer les contours horizontaux de l'oeil, et les moyens (4) de détermination de l'état ouvert ou fermé de l'oeil sont configurés pour déterminer l'état de l'oeil à partir des contours verticaux et horizontaux détectés.
  12. 12. Dispositif selon la revendication 1l, caractérisé en ce que les moyens (2) de détection d'un oeil d'un visage comprennent un module (6) de définition d'une fenêtre de travail apte à définir une fenêtre de travail comprenant l'oeil détecté, et les moyens (4) de détermination de l'état ouvert ou fermé de l'oeil comprennent un second module (16) de comparaison de taux apte à comparer à un second taux seuil un rapport entre un nombre de pixels représentatifs de contours verticaux détectés dans la fenêtre de travail et un nombre de pixels représentatifs de contours horizontaux détectés dans la fenêtre de travail.
  13. 13. Dispositif selon l'une des revendications 11 ou 12, caractérisé en ce que les moyens (33) de détection des contours horizontaux d'un oeil comprennent un module (13) de détermination du gradient d'intensité lumineuse vertical apte à déterminer le gradient d'intensité lumineuse d'un pixel selon une direction verticale.
  14. 14. Dispositif selon l'une des revendications 8 à 13, caractérisé en ce que les moyens (3) de détection des contours verticaux d'un oeil comprennent un module (7) de détermination du gradient d'intensité lumineuse horizontal apte à déterminer le gradient d'intensité lumineuse d'un pixel selon une direction horizontale.
  15. 15. Appareil photographique numérique, caractérisé en ce qu'il comprend un dispositif de détection de l'état ouvert ou fermé d'au moins un oeil d'un visage selon l'une des revendications 8 à 14.
  16. 16. Appareil de téléphonie mobile, caractérisé en ce qu'il comprend un appareil photographique numérique selon la revendication 15.
FR0953422A 2009-05-25 2009-05-25 Procede et systeme de detection de l'etat ouvert ou ferme des yeux d'un visage. Active FR2945883B1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FR0953422A FR2945883B1 (fr) 2009-05-25 2009-05-25 Procede et systeme de detection de l'etat ouvert ou ferme des yeux d'un visage.
EP10723058.3A EP2435953B1 (fr) 2009-05-25 2010-05-20 Procede et systeme de detection de l'etat ouvert ou ferme des yeux d'un visage.
PCT/EP2010/056948 WO2010136376A1 (fr) 2009-05-25 2010-05-20 Procédé et système de détection de l'état ouvert ou fermé des yeux d'un visage
US13/321,596 US8761516B2 (en) 2009-05-25 2010-05-20 Method and system for detecting the open or closed state of the eyes of a face

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0953422A FR2945883B1 (fr) 2009-05-25 2009-05-25 Procede et systeme de detection de l'etat ouvert ou ferme des yeux d'un visage.

Publications (2)

Publication Number Publication Date
FR2945883A1 true FR2945883A1 (fr) 2010-11-26
FR2945883B1 FR2945883B1 (fr) 2012-03-09

Family

ID=41466876

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0953422A Active FR2945883B1 (fr) 2009-05-25 2009-05-25 Procede et systeme de detection de l'etat ouvert ou ferme des yeux d'un visage.

Country Status (4)

Country Link
US (1) US8761516B2 (fr)
EP (1) EP2435953B1 (fr)
FR (1) FR2945883B1 (fr)
WO (1) WO2010136376A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI536279B (zh) * 2015-04-22 2016-06-01 緯創資通股份有限公司 人眼偵測方法及系統
US10007845B2 (en) * 2015-07-06 2018-06-26 Pixart Imaging Inc. Eye state detecting method and eye state detecting system
CN111557007B (zh) * 2018-07-16 2022-08-19 荣耀终端有限公司 一种检测眼睛睁闭状态的方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1700567A1 (fr) * 2005-03-10 2006-09-13 Delphi Technologies, Inc. Système et procédé de détection de l'état de fermeture de l'oeil
EP1701289A1 (fr) * 2005-03-10 2006-09-13 Delphi Technologies, Inc. Système et procédé de détection de fermeture des yeux basés sur les angles de ligne
US20080101659A1 (en) * 2006-10-25 2008-05-01 Hammoud Riad I Eye closure recognition system and method
US20090060383A1 (en) * 2007-08-27 2009-03-05 Arcsoft, Inc. Method of restoring closed-eye portrait photo

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7650034B2 (en) * 2005-12-14 2010-01-19 Delphi Technologies, Inc. Method of locating a human eye in a video image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1700567A1 (fr) * 2005-03-10 2006-09-13 Delphi Technologies, Inc. Système et procédé de détection de l'état de fermeture de l'oeil
EP1701289A1 (fr) * 2005-03-10 2006-09-13 Delphi Technologies, Inc. Système et procédé de détection de fermeture des yeux basés sur les angles de ligne
US20080101659A1 (en) * 2006-10-25 2008-05-01 Hammoud Riad I Eye closure recognition system and method
US20090060383A1 (en) * 2007-08-27 2009-03-05 Arcsoft, Inc. Method of restoring closed-eye portrait photo

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FEI WANG ET AL: "A FPGA based driver drowsiness detecting system", VEHICULAR ELECTRONICS AND SAFETY, 2005. IEEE INTERNATIONAL CONFERENCE ON XI'AN, CHINA OCT. 14-16, 2005, PISCATAWAY, NJ, USA,IEEE, 14 October 2005 (2005-10-14), pages 358 - 363, XP010867303, ISBN: 978-0-7803-9435-3 *

Also Published As

Publication number Publication date
WO2010136376A1 (fr) 2010-12-02
FR2945883B1 (fr) 2012-03-09
US20120269442A1 (en) 2012-10-25
EP2435953A1 (fr) 2012-04-04
US8761516B2 (en) 2014-06-24
EP2435953B1 (fr) 2015-07-08

Similar Documents

Publication Publication Date Title
CN101542233B (zh) 图像处理装置以及图像处理方法
FR3081248A1 (fr) Systeme et procede de determination d’un emplacement pour le placement d'un paquet
EP4189635B1 (fr) Procede et dispositif d'imagerie sous-marine
EP3221841B1 (fr) Procede et dispositif de filtrage adaptatif temps reel d'images de disparite ou de profondeur bruitees
FR3071344B1 (fr) Procede de determination d'une fonction d'etalement de point d'un systeme d'imagerie
FR2945883A1 (fr) Procede et systeme de detection de l'etat ouvert ou ferme des yeux d'un visage.
EP1656650B1 (fr) Procede et systeme pour detecter un corps dans une zone situee a proximite d une interface
EP3216213B1 (fr) Procédé de détection de pixels défectueux
EP3388976A1 (fr) Procede de detection de fraude
FR2990038A1 (fr) Procede et dispositif de detection d'un objet dans une image
WO2019166720A1 (fr) Détection dynamique de lumière parasite dans une image numérique
EP3073441A1 (fr) Procédé de correction d'une image d'au moins un objet présenté à distance devant un imageur et éclairé par un système d'éclairage et système de prise de vues pour la mise en oeuvre dudit procédé
EP3170205B1 (fr) Dispositif de détection de mouvement
EP2980529A1 (fr) Procede d'estimation de la distance d'un objet a un systeme d'imagerie
EP2943935B1 (fr) Estimation de mouvement d'une image
WO2020133412A1 (fr) Procédé et dispositif de génération d'image panoramique et véhicule aérien sans pilote
FR3054347B1 (fr) Procede et dispositif d'aide a la navigation d'un vehicule
EP3072110B1 (fr) Procédé d'estimation du mouvement d'un objet
EP2877979B1 (fr) Methode monocamera de determination d'une direction d'un solide
EP4254250A1 (fr) Méthode et appareil pour détecter un spectateur d'appareil mobile basée sur des données de profondeur
EP4439478A1 (fr) Procédé de suivi d'objets multiples
TW202111601A (zh) 水上影像雜訊濾波方法及其影像處理裝置
FR3143809A1 (fr) Système et procédé d’acquisition d’une pluralité d’images et système et procédé d’identification associé
WO2023105961A1 (fr) Dispositif de traitement d'image, procédé de traitement d'image et programme
WO2023222970A1 (fr) Dispositif et procédé d'aide à la navigation basé sur l'imagerie monoculaire

Legal Events

Date Code Title Description
RM Correction of a material error
PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

TP Transmission of property

Owner name: OCT CIRCUIT TECHNOLOGIES INTERNATIONAL LIMITED, IE

Effective date: 20180116