FR2906914A1 - Procede de detection de la position des marquages sur route et systeme correspondant - Google Patents

Procede de detection de la position des marquages sur route et systeme correspondant Download PDF

Info

Publication number
FR2906914A1
FR2906914A1 FR0654166A FR0654166A FR2906914A1 FR 2906914 A1 FR2906914 A1 FR 2906914A1 FR 0654166 A FR0654166 A FR 0654166A FR 0654166 A FR0654166 A FR 0654166A FR 2906914 A1 FR2906914 A1 FR 2906914A1
Authority
FR
France
Prior art keywords
phase
parameters
values
group
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR0654166A
Other languages
English (en)
Other versions
FR2906914B1 (fr
Inventor
Jerome Marquet
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Priority to FR0654166A priority Critical patent/FR2906914B1/fr
Priority to EP07848342A priority patent/EP2082356A1/fr
Priority to PCT/FR2007/051970 priority patent/WO2008043927A1/fr
Publication of FR2906914A1 publication Critical patent/FR2906914A1/fr
Application granted granted Critical
Publication of FR2906914B1 publication Critical patent/FR2906914B1/fr
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

L'invention porte sur un procédé de détection de la position des marquages sur route à l'aide d'une succession d'images numériques comportant des pixels, prises au cours du déplacement d'un véhicule automobile. Ledit procédé comprend pour chaque image une alternance entre une première phase dite phase d'apprentissage comportant une détermination (étape 3) sur un premier ensemble d'images numériques successives, d'une position moyenne desdits marquages, et une deuxième phase dite phase de suivi, comportant une détermination (étape 23) sur un deuxième ensemble d'images numériques successives, de la position desdits marquages à partir de ladite position moyenne déterminée au cours de la phase d'apprentissage, chaque phase étant effectuée tant que la valeur prise par un critère de fin de phase ne dépasse pas un seuil associé à la phase considérée. Ledit critère de fin de phase est calculé en fonction du nombre total de pixels appartenant auxdits marquages, comptabilisés sur un nombre choisi d'images numériques successives.

Description

1 Procédé de détection de la position des marquages sur route et système
correspondant La présente invention concerne d'une manière générale, la détection des marquages sur route à l'aide d'un système de prise d'images par exemple une caméra, en particulier via un système embarqué au sein d'un véhicule automobile. L'invention s'applique avantageusement aux systèmes AFIL (Alerte de Franchissement Involontaire de Lignes) avertissant le conducteur en cas de franchissement de ligne. Classiquement, les systèmes de détection de marquages sur route mettent en oeuvre une méthode comprenant une première étape où les voies sont recherchées dans une zone de recherche définie comme un intervalle autour d'une position géométrique.
En fonction de la largeur de cette zone de recherche, une région d'intérêt ( ROI , Region of Interest en langue anglaise) de l'image est calculée. Les marquages sur route sont alors recherchés dans cette région d'intérêt ROI uniquement. Dans cette première étape, la largeur de la zone de recherche est relativement importante et située autour d'une position moyenne. Cette première étape est appelée phase d'apprentissage . Lorsque la détection des marquages au sol au cours de la phase d'apprentissage est jugée satisfaisante, selon un critère choisi, la détection des marquages au sol se poursuit dans une deuxième phase dite phase de suivi . L'intervalle de recherche est alors beaucoup plus étroit et situé autour de la position calculée sur l'image précédente lors de la phase d'apprentissage. Généralement, deux types de résultats sont élaborés pour chaque image traitée lors des phases d'apprentissage ou de suivi. 2906914 2 Tout d'abord, on élabore les variables Pg et Pd correspondant respectivement au nombre de points (en pourcentage de la zone d'analyse) détectés comme appartenant à la ligne délimitant la voie de gauche ou de droite de la route. La variable Pt, est une valeur moyenne 5 calculée selon l'équation suivante : Pt = 0,5.(Pg + Pd) . En outre, on détermine au cours des phases d'apprentissage et de suivi des résultats décrivant la géométrie des marquages au sol détectés. 10 Par exemple, le mémoire de thèse Reconnaissance et suivi de route par vision artificielle, applications à l'aide à la conduite de R. Aufrère, soutenue le 20 juin 2001, illustre une méthode de détection de marquages au sol. Dans ce mémoire, on considère que la route présente une 15 courbure constante, régie par l'équation : z X=C~Y + 2 ~Z=O où = 0 pour le bord droit de la route, et = -1 pour le bord gauche de la route On considère que la détection au cours de la phase 20 d'apprentissage est valable, et que l'on peut passer à la phase de suivi, si les variables Pg, Pd et Pt sont chacune supérieure à un seuil choisi. Cependant, cette condition (ou critère de fin de phase) de transition entre la phase d'apprentissage et la phase de suivi (et inversement pour une transition de la phase de suivi vers la phase 25 d'apprentissage) est très instable, notamment lorsqu'au moins l'une des voies de gauche ou de droite est délimitée par un marquage au sol discontinu. 2906914 3 Ainsi, le critère de fin de phase peut autoriser cette transition alors que la détection des marquages au sol n'est absolument pas valable. L'invention vise à apporter une solution à ce problème. 5 Un but de l'invention est de proposer un procédé de détection des marquages au sol avec une gestion stable de la transition entre les deux étapes de détection que sont la phase d'apprentissage et la phase de suivi. Un autre but de l'invention est de proposer un système de 10 détection de marquages au sol correspondant. A cet effet, selon un premier aspect de l'invention, il est proposé un procédé de détection de la position des marquages sur route à l'aide d'une succession d'images numériques comportant des pixels, prises au cours du déplacement d'un véhicule automobile (par exemple 15 à l'aide d'une caméra embarquée à bord du véhicule). Ledit procédé comprend pour chaque image une alternance entre une première phase dit phase d'apprentissage comportant une détermination sur un premier ensemble d'images numériques successives, d'une position moyenne desdits marquages, et une deuxième phase dite phase de suivi, 20 comportant une détermination sur un deuxième ensemble d'images numériques successives, de la position desdits marquages à partir de la position moyenne déterminée au cours de la phase d'apprentissage. Chaque phase est effectuée tant que la valeur prise par un critère de fin de phase ne dépasse pas un seuil associé à la phase considérée. 25 Selon une caractéristique générale de ce premier aspect de l'invention, ledit critère de fin de phase est calculé en fonction du nombre total de pixels appartenant auxdits marquages, comptabilisés sur un nombre choisi d'images numériques successives. 2906914 4 En d'autres termes, au lieu de regarder pour chaque image si les critères Pg, Pd, et Pt sont supérieurs à un seuil donné, le critère de fin de phase est calculé sur plusieurs images successives. Ainsi, les résultats issus des phases d'apprentissage et/ou de suivi sont 5 représentatifs d'un ensemble d'images successives, et non pas d'une image prise isolément. Par conséquent, le procédé mis en oeuvre est fiable et donne un résultat cohérent, malgré la présence d'une image défectueuse. I1 permet également d'obtenir un résultat satisfaisant pour les marquages au sol discontinus, étant donné que l'on ne considère 10 plus une seule image mais un ensemble d'images. Cela implique une augmentation du nombre de données prises en compte, et donc une amélioration de la stabilité des résultats. Selon un mode de mise en oeuvre, ledit procédé peut comprendre en outre, avant la phase de détermination de la première et 15 de la deuxième phase, pour chaque image prise, un calcul d'un premier groupe de paramètres représentatifs du nombre de pixels appartenant aux marquages sur route, et d'un deuxième groupe de paramètres représentatifs de la position géométrique desdits marquages sur route. Ledit procédé peut également comprendre une mémorisation au sein 20 d'une structure commune auxdites première et deuxième phases, pour n images considérées, n étant un entier choisi, de la valeur de la vitesse du véhicule automobile, de l'instant de prise représentatif du moment de prise de l'image correspondante, des paramètres du premier et du deuxième groupe et dudit critère de fin de phase. 25 En d'autres termes, l'ensemble des résultats pour chaque image est regroupé au sein d'une structure par exemple une FIFO ( First In First Out en langue anglaise). De préférence, la structure regroupe les résultats pour les n dernières images prises. 2906914 5 Selon un mode de mise en oeuvre, le procédé peut comprendre également une évaluation d'une distance associée à ladite structure, en fonction de chacun des n instants et de chacune des valeurs de vitesse des n images, mémorisés au sein de ladite structure. Pour chaque 5 image prise, ledit procédé peut alors comprendre en outre, une mise à jour de ladite structure en supprimant les valeurs des paramètres correspondant à l'image ayant l'instant de prise le plus ancien, si ladite structure mémorise les valeurs des paramètres de plus de n images ou si ladite distance associée à la structure est supérieure à une 10 valeur limite donnée. En d'autres termes, pour chaque nouvelle image prise, si le nombre d'images mémorisées dans la structure est supérieur à un entier choisi, ici n, on supprime les données correspondant à l'image la plus ancienne. 15 La phase d'apprentissage peut comprendre également pour chaque image prise, la réalisation d'un test sur la qualité des valeurs des paramètres dudit premier groupe, ledit test comprenant une comparaison de la valeur de chaque paramètre avec un seuil de qualité correspondant. 20 Ce test, permet de vérifier la qualité des valeurs calculées. Ainsi, de préférence, au cours de la phase d'apprentissage, si pour l'image prise considérée, la qualité des valeurs de chaque paramètre dudit groupe est supérieure audit seuil de qualité correspondant, on réalise alors un test sur la validité des valeurs des 25 paramètres du deuxième groupe par rapport à des plages de validité fixées, liées à la configuration de ladite route et à la trajectoire dudit véhicule automobile. En d'autres termes, si les valeurs des paramètres du premier groupe ont une qualité suffisante, on pratique un test de validité sur 2906914 6 les valeurs des paramètres du deuxième groupe par rapport à des plages de validité pré-établies. De préférence, si pour l'image prise considérée, la valeur d'au moins un paramètre du premier groupe, est inférieure au seuil de 5 qualité correspondant, et/ou si au moins l'une des valeurs des paramètres du deuxième groupe n'appartient pas à ladite plage de validité, on met à jour ladite structure et on affecte pour ladite image considérée, une valeur nulle à chaque valeur mémorisée de ses propres paramètres du premier groupe, puis on compare ledit critère de fin de 10 phase au seuil correspondant. De cette manière, on ne mémorise au sein de la structure que les paramètres qui ont une qualité suffisante et qui sont valides par rapport à des plages de validité pré-établies. Cela a pour avantage de ne pas fausser le procédé de détection de marquages au sol avec des 15 valeurs de paramètres apparemment erronées. Par contre, si pour l'image prise considérée, les valeurs des paramètres du deuxième groupe appartiennent à ladite plage de validité, on effectue avantageusement en outre un test de cohérence sur ces valeurs en les comparant aux dernières valeurs mémorisées des 20 paramètres dudit deuxième groupe qui ont une qualité supérieure au seuil de qualité. A l'issue du test de cohérence, si les valeurs des paramètres de l'image considérée sont supérieures auxdites dernières valeurs mémorisées, on met à jour ladite structure, et on augmente la valeur de critère de fin de phase, 25 sinon, on annule l'ensemble des valeurs des paramètres mémorisés dans la structure, on mémorise dans la structure l'instant de prise, la vitesse et les valeurs des paramètres associés à l'image prise considérée et on remet à zéro la valeur du critère de fin de phase. 2906914 7 Au cours de la phase de suivi, on peut effectuer avantageusement également ledit test de validité des valeurs des paramètres dudit deuxième groupe de l'image prise considérée, par rapport à ladite plage de validité. 5 Dans ce cas, à l'issue du test de validité réalisé au cours de la phase de suivi, si les valeurs des paramètres du premier groupe pour l'image prise considérée appartiennent à ladite plage de validité, on réalise également ledit test de cohérence sur les valeurs des paramètres du deuxième groupe de l'image considérée, et si lesdites valeurs des 10 paramètres du deuxième groupe de l'image considérée sont supérieurs auxdites dernières valeurs mémorisées, on met à jour ladite structure, on augmente la valeur du critère de fin de phase et on compare cette valeur au seuil associé à la phase de suivi. De préférence, si au moins une valeur des paramètres du 15 deuxième groupe de l'image prise considérée est inférieure à ladite dernière valeur mémorisée correspondante, et/ou si la valeur du paramètre choisi du deuxième groupe est inférieure audit seuil de validité, on met à jour ladite structure en mémorisant les valeurs desdits paramètres du deuxième groupe correspondant à ladite position 20 moyenne déterminée lors de la phase d'apprentissage à la place des valeurs correspondantes pour l'image considérée et en diminuant la valeur du critère de fin de phase. Selon un autre aspect de l'invention, il est proposé un système de détection de la position des marquages sur route à l'aide d'une 25 succession d'images numériques comportant des pixels, prises au cours du déplacement d'un véhicule automobile. Ledit système est embarqué au sein d'un véhicule automobile et comprend : 2906914 8 - des moyens d'apprentissage aptes à déterminer sur un premier ensemble d'images numériques successives, une position moyenne desdits marquages, - des moyens de suivi, aptes à déterminer sur un 5 deuxième ensemble d'images numériques successives, la position desdits marquages à partir de ladite position moyenne déterminée par lesdits moyens d'apprentissage, et - des moyens de calcul principaux aptes à calculer un 10 critère de fin de phase, lesdits moyens d'apprentissage et de suivi étant aptes à effectuer leur propre détermination tant que la valeur prise par ledit critère de fin de phase ne dépasse pas un seuil associé auxdits moyens considérés. 15 Selon une caractéristique générale de cet autre aspect de l'invention, les moyens de calcul principaux sont aptes à calculer ledit critère de fin de phase en fonction du nombre total de pixels appartenant auxdits marquages, comptabilisés sur un nombre choisi d'images numériques successives. 20 Selon un mode de réalisation, le système peut comprendre en outre des premiers moyens de calcul auxiliaires aptes à calculer un premier groupe de paramètres représentatifs du nombre de pixels appartenant auxdits marquages sur route, des deuxièmes moyens de calcul auxiliaires aptes à calculer un deuxième groupe de paramètres 25 représentatifs de la position géométrique desdits marquages sur route, et des moyens de mémorisation aptes à mémoriser au sein d'une structure commune auxdits premiers et deuxièmes moyens de calcul auxiliaires, pour n images considérées, n étant un entier choisi, la valeur de la vitesse du véhicule automobile, l'instant de la prise, les 2906914 9 paramètres du premier et du deuxième groupe et ledit critère de fin de phase. D'autres avantages et caractéristiques de l'invention apparaîtront à l'examen de la description détaillée d'un mode de 5 réalisation de l'invention, un mode de mise en oeuvre, nullement limitatifs, et des dessins annexés, sur lesquels : - la figure 1 représente une image prise et traitée lors de la phase d'apprentissage ; - la figure 2 représente une image prise et traitée lors de la phase de suivi ; - les figures 3 et 4 représentent les repères utilisés par le procédé, ainsi que les différents paramètres utilisés dans un mode de mise en oeuvre selon l'invention ; - la figure 5 illustre un mode de mise en oeuvre selon l'invention, - la figure 6 représente un mode de mise en oeuvre de la phase d'apprentissage selon l'invention ; - la figure 7 représente un mode de mise en oeuvre de la phase de suivi selon l'invention ; et 20 - la figure 8 représente un mode de réalisation d'un système selon l'invention. La figure 1 représente d'une manière générale, un exemple d'image utilisée pour la détection de marquages au sol ( ici sur route), pendant une phase d'apprentissage tel que décrite ci-avant. 25 L'image comprend la route RTE ainsi d'un véhicule VEH. Sur la route RTE, on note deux marquages au sol, le marquage gauche Lg et le marquage droit Ld. Pour chaque marquage au sol, respectivement à gauche et à droite, une région d'intérêt correspondante est déterminée. Ces régions 10 15 2906914 10 d'intérêt, respectivement gauche ROIg et droite ROId sont délimitées par deux courbes latérales, autour d'une position moyenne représentée par une droite correspondant grossièrement aux marquages gauche Lg ou droit Ld. 5 De manière générale, pour une phase de suivi (figure 2), une région d'intérêt plus étroite est déterminée à partir de la position moyenne calculée lors de la phase d'apprentissage. La détermination des marquages gauche Lg et droit Ld est alors respectivement effectuée dans les régions ROIg et ROId. 10 Pour calculer les marquages gauche et droit, différents repères sont utilisés. Plus précisément, comme illustré sur la figure 3, un repère Rrte (X, Y, Z) est lié à la route RTE. Un autre repère Rc (U, V, W) est lié à la caméra utilisée pour 15 prendre les images nécessaires à la détection des marquages sur route. Plus précisément, le centre du repère Rc a pour ordonnée (Xo, 0, Zo) dans le repère lié à la Rrte. En outre, l'axe des ordonnées V du repère Rc, représente l'axe de visée Av de la caméra. Cet axe de visée Av forme un angle yr avec 20 l'axe des ordonnées Y du repère Rrte. En outre, l'axe des cotes W forme un angle a avec l'axe des cotes du repère Rrte. La figure 4 représente les bords Cr réels de la route représentés dans le repère Rrte. La largeur de la route est égale à L, et le rayon de 25 courbure R est égal à : R=1/Ci où C1 représente la courbure de la route à un point donné. Le figure 5 illustre de manière très simplifiée un mode de mise en oeuvre du procédé selon l'invention. 2906914 11 Ce mode de mise en oeuvre comprend une première étape (étape 100) dite phase d'apprentissage où la détection des marquages au sol est effectuée dans une région d'intérêt relativement large comme représenté sur la figure 1. 5 Dès que la position moyenne des marquages au sol est satisfaisante (convergence de l'algorithme de détection des marquages), débute une détection plus fine lors d'une phase de suivi (étape 200). Plus précisément, lorsque qu'un critère de fin de phase Mark 10 est supérieur à un seuil Markapprentissage, la transition entre la phase d'apprentissage et de suivi est effectuée. L'élaboration du critère de fin de phase Mark sera détaillée ci-après. Au cours de la phase de suivi, la détection des marquages au 15 sol est effectuée dans une région d'intérêt plus étroite, comme illustré sur la figure 2. Dès que la position des marquages au sol n'est plus satisfaisante (divergence de l'algorithme de détection des marquages), recommence une détection plus grossière lors d'une nouvelle phase 20 d'apprentissage (étape 100). Plus précisément, lorsque que le critère de fin de phase Mark est inférieur à un seuil Marks,,,,,,, la transition entre la phase d'apprentissage et de suivi est effectuée. La figure 6 illustre plus en détail un mode de mise en oeuvre de 25 la phase d'apprentissage (étape 100). Tout d'abord l'invention utilise une structure (par exemple une FIFO) appelée HEAP mémorisant un certain nombre de résultats parmi lesquels les instants de prise des images tl, ...tn, tl étant représentatif du moment de prise de la première image et tn étant l'instant de prise 2906914 12 de la dernière image. Par exemple, les instants tl, ...tn peuvent être les instants d'échantillonnage liés à la numérisation des images filmées par la caméra embarquée à bord du véhicule automobile. De même, on mémorise au sein de la structure HEAP les 5 vitesses vl, ...vn, correspondant à la vitesse du véhicule aux différents moments de prise correspondant aux instants tl,
.tn. Par ailleurs, la structure HEAP mémorise un premier groupe de paramètres [Pgi, Pdi, [Pgn, Pdn, Ptn] correspondant pour chaque image au nombre de points de l'image détectés comme 10 appartenant respectivement à la ligne gauche, à la ligne droite, la valeur Pt; étant la moyenne des paramètres Pgi et Pd; tels que décrits ci-avant. Classiquement, le nombre de points appartenant à une ligne gauche ou droite peut être obtenu par exemple à l'aide d'un algorithme de détection de contours bien connu de l'homme du métier. On peut 15 pour cela se référer à la thèse de R. Aufrère citée ci-avant. La structure HEAP comprend également les paramètres [Xo(l), w(1), a(1), Ci(1), L(1)],..., [Xo(n), yr(n), a(n), Ci(n) et L(n)] correspondant à un deuxième groupe de paramètres représentatifs de la position géométrique des marquages à détecter en fonction de la route 20 aux instants t;. Enfin, la structure HEAP mémorise le critère de fin de phase Mark compris entre 0 et Markmax. Au cours d'une étape 1, une nouvelle image Im(t) prise par la caméra est échantillonnée par un dispositif synchronisé sur un signal 25 d'horloge Clk. Les données ti et vi liées à la nouvelle image sont mémorisées au sein de la structure HEAP. Puis au cours d'une deuxième étape (étape 2) on supprime les données obsolètes, c'est-à-dire dans ce cas la donnée la plus ancienne, 2906914 13 si la structure HEAP mémorise plus de n éléments (n étant choisi au préalable), ou si une distance dxEAP associée à la structure HEAP, dépasse un certain seuil, dHEApmax choisi. La distance dxEAP est calculée selon la formule 7 nù1 5 LGHE,4P = L vi (ti+1 ù ti) + vn (t ù i=1 Puis à partir de l'image prise, on détermine un premier groupe de paramètre [Pg, Pd, Pt] et un deuxième groupe de paramètre géométriques [X0, yr, a, C1, L]. Le deuxième groupe de paramètres a été déterminé à partir 10 d'une position moyenne [X0app, Wapp, aapp, Clapp, Lapp] préalablement mémorisé, tels que : IX OaPP S = ùLapp /2 `Y app =0 Cl app = 0 Lapp = 3,2m La valeur de Lapp est une largeur typique d'une voie sur une route.
15 Par ailleurs, la valeur de aapp dépend de la manière dont la caméra a été disposée sur le véhicule automobile. De préférence, cette valeur aapp se calcule à partir d'une image dans laquelle l'horizon est visible. La plage dans laquelle les paramètres [X0, yr, a, C1, L] sont 20 déterminée vérifie : ù XOapp -6XOapp~Ir< X~I0 < XOapp +6XOapp - app ù avapp < `Y < `Y app + app ù la' app ùa ccapp <î < app +a aapp ù C l app ù Clapp < C l < Clapp + Clapp ù Lapp ù a Lapp < L < Lapp + a Lapp 2906914 14 où [6xoapp,6Wapp, 6aapp, 0capp, O app] sont des grandeurs fixées préalablement. Une fois les premier et deuxième groupes de paramètres déterminés, on effectue au cours d'une étape 4 (TEST de Qualité), un 5 test sur la qualité des valeurs déterminées pour le premier groupe [Pg, Pd, Pt]. Par exemple, ce test peut consister à comparer chaque valeur avec un seuil prédéterminé correspondant [Pgapp, Pdapp et Ptapp]. Si les paramètres [Pg, Pd, Pt] pour l'image considérée sont supérieurs au seuil mentionné, on considère que la qualité de ces 10 derniers est satisfaisante. Dans ce cas (étape 5, TEST de Géométrie) on procède à un autre test, cette fois ci sur le deuxième groupe de paramètres (Xo, yr, a, C1, L). Ce test est vérification du fait que les valeurs estimées (Xo, yr, a, C1, L) appartiennent bien à une zone autour du véhicule automobile.
15 On compare alors les valeurs du deuxième groupe de paramètres à un ensemble de valeurs prédéterminées telles que : iXornin( lnlrX0 (XOmax \ `Y max Aminl `ai `amax Cl (1 /Rmin Oë XOmin, XOmax, yrmax, Amin, amax, Lmin, Lmax et Rmin sont des grandeurs prédéterminées et fixées.
20 Si le test de qualité ou le test de géométrie n'est pas satisfaisant pour au moins l'un des paramètres, on met à jour la structure HEAP (mise à jour de HEAP#1, étape 6) en insérant le deuxième groupe de paramètres [X0, yr, a, C1, L]. Par contre, on annule l'ensemble des valeurs des paramètres du premier groupe [Pg, Pd, Pt] 25 correspondant avant de les insérer dans la structure HEAP.
2906914 15 Si le test de géométrie valide les valeurs des paramètres du deuxième groupe, on procède alors à un test de cohérence (étape 7, TEST de cohérence), où l'on vérifie la cohérence des valeurs des paramètres du deuxième groupe [X0, yr, a, Cl, L] par rapport aux 5 valeurs précédemment obtenues. Pour cela, au cours d'une étape 8, on détermine des paramètres [Xoest, 'l'est, aest, Ciest, Lest] correspondant aux paramètres géométriques de la dernière image prise dont les valeurs des paramètres [Pg, Pt, Pt ]vérifient : PO) P, app 10 Pd) Pd app . Pt) Ptapp L'image correspondante est référencée nest, cette dernière étant échantillonnée à l'instant test et associée à la distance dest, qui est la distance parcourue entre test et t. On vérifie alors que les paramètres du deuxième groupe 15 satisfont les inéquations suivantes : 1XO ~Iùr XOesstlr \ X0cohérence - `Y est l \ `Y cohérence C1 - Clestl< dl . dest ou C1 -lest /max(C1 , Test )l \ Cerro' /max a -aest /tûtest (da dt /max dCx' Ou XOcohérence, Nlcohérence, dl , Cerror, /max dt /max da sont des paramètres prédéterminés et fixés ; ou Cerror représentant l'écart /max dCx' dl 2906914 16 maximal accepté par les variables C1 et Cest ; étant l'écart imax da dt maximal accepté entre les variables a et aest. On note que dans le cas où la structure HEAP est vide (par exemple au commencement du test de détection de marquages sur 5 route), il n'y a alors pas de valeur pour les paramètres [Xoest, N'est, aest, C'est, Lest], test et dest. Dans ce cas, on considère que le test de cohérence est vérifié. Dans le cas où le test de cohérence est vérifié, on met à jour la structure HEAP (étape 9, mise à jour de HEAP#2). Dans ce cas, on 10 insère les premier et deuxième groupes de paramètres respectivement [Pg, Pd, Pt] et [X0, Nr, a, C1, L] et on met à jour le critère de fin de phase Mark selon l'équation suivante : Mark - Mark + Gain • Pt , le paramètre Gain étant un paramètre fixé prédéterminé.
15 On effectue alors un test de fin de la phase d'apprentissage (étape 10, Test de fin de la phase d'apprentissage), où l'on effectue la comparaison entre le critère de fin de phase Mark et sa valeur limite Markapprentissage telle que Mark) Markapprentissage 20 Si l'inéquation ci-dessus est vérifiée, on quitte la phase d'apprentissage pour effectuer la phase de suivi. Si le test de cohérence n'est pas vérifié, on procède alors à une autre mise à jour de la structure HEAP (étape 11, mise à jour de HEAP#3). Dans ce cas, tous les éléments mémorisés dans la structure 25 HEAP sont effacés. On pose alors Mark=O, et on insère les valeurs des premier et deuxième groupes de paramètres respectivement [Pg, Pd, Pt] et [X0, y, a, C1, L] de l'image considérée dans la structure HEAP.
2906914 17 On se réfère à présent à la figure 7, décrivant plus en détail un mode de mise en oeuvre de la phase de suivi (étape 200) selon l'invention. Des étapes 21 et 22 de la phase de suivi correspondent 5 respectivement aux étapes 1 et 2 de la phase d'apprentissage quant à l'acquisition des données et la suppression des données obsolètes de la structure HEAP. Pour la première image considérée lors de la phase de suivi, la détection des lignes (étape 23) s'effectue par rapport aux positions 10 estimées [Xoest, yrest, aest, C'est, Lest]appr déterminées lors de la phase d'apprentissage. La largeur de l'intervalle de recherche des paramètres [Xo, yr, a, Cl, L] est définie dans ce cas par les paramètres [ 6xosutvt ~6Wsuw~ 6asuw~ 6czvt, 6~sv~], qui sont des grandeurs fixées préalablement.
15 A partir de ces paramètres estimés, on détermine les valeurs des premier et deuxième groupes de paramètres. On effectue alors un test de géométrie (étape 24, TEST de Géométrie) puis un test de cohérence (étape 25, TEST de cohérence) si le test de géométrie est vérifié. Ces tests correspondent aux tests de 20 qualité et de cohérence décrit ci-avant pour la phase d'apprentissage, en utilisant de préférence des seuils prédéterminés propre à la phase de suivi. Si le test de géométrie ou le test de cohérence n'est pas vérifié, on met alors à jour la structure HEAP (étape 26, mise à jour de 25 HEAP#1) en insérant dans la structure HEAP les valeurs des premiers paramètres Pg et Pd ainsi que la valeur minimum entre les valeurs ùPt et ùPts,,,,,,, Pts,,,,,, étant la valeur maximale que peut prendre la valeur du paramètre Pt.
2906914 18 En outre, aux valeurs des paramètres du deuxième groupe, sont substituées les paramètres [Xoest, yrest, aest, C'est, Lest]. Comme pour la phase d'apprentissage, les paramètres [Xoest, 'est, aest, C'est, Lest] déterminées au cours d'une étape 25 bis 5 (détermination de [Xoest, yrest, aest, C'est, Lest]) correspondent pour la phase suivie, aux valeurs des paramètres de deuxième groupe de la dernière image nest tel que les valeurs des paramètres du premier groupe sont supérieures au seuil fixéprédéterminé. Le critère de fin de phase Mark associé à la structure HEAP est 10 actualisé selon l'équation suivante : Mark -Mark -Loss•max(Pt-Pts,,,v,) où Loss est un facteur fixé prédéterminé permettant une décroissance rapide du critère Mark en cas d'invalidité ou d'incohérence des valeurs des paramètres du deuxième groupe, de 15 façon à retourner plus rapidement dans la phase d'apprentissage. Dans le cas où le test de cohérence est valide, on procède alors à une mise à jour de la structure selon l'étape 27 (étape 27, mise à jour de HEAP#2) où l'on insère dans la structure les valeurs des paramètres des premier et deuxième groupes déterminées pour l'image considérée, 20 et où l'on met à jour le critère Mark selon l'équation ci-dessous : Mark - Mark + Gain • Pt . Puis, au cours de l'étape 28, (étape 28, TEST fin de phase de suivi), on effectue une comparaison entre le critère Mark associée à la structure HEAP selon l'équation ci-dessous : 25 Mark < Marks,,,v, Si l'équation ci-dessus est vérifiée, la phase de suivi prend fin. On efface donc l'ensemble des éléments mémorisés dans la structure HEAP puis on reprend la phase d'apprentissage.
2906914 19 La figure 8 représente un mode de réalisation d'un système référencé SYS de détection de marquage sur route selon l'invention. Le système SYS comprend des moyens d'apprentissage MAPPR aptes à détecter les marquages sur route dont la phase d'apprentissage 5 décrite ci-avant. Pour ce faire, les moyens d'apprentissage MAPPR reçoivent en entrée le signal d'échantillonnage Clk, une image Im(t), et la vitesse v(t) du véhicule automobile, respectivement via des connexions 30, 31 et 32.
10 Les moyens d'apprentissage MAPPR comprennent des premier MC1 et des deuxième MC2 moyens de calcul auxiliaires aptes respectivement à calculer les valeurs des paramètres du premier et du deuxième groupe. Les moyens d'apprentissage transmettent la valeur moyenne 15 estimée [Xoest, y'est, aest, C'est, Lest] via une connexion 33 à des moyens de suivi MSUIVI. De même que pour les moyens d'apprentissage MAPPR, les moyens de suivi MSUIVI reçoivent via les connexions 30, 31 et 32, les paramètres d'entrée Clk, Im(t) et v(t). Les moyens d'apprentissage MAPPR et de suivi MSUIVI sont 20 couplés à des moyens de mémorisation MEM respectivement via des connexions 34 et 35. Les moyens de mémorisation MEM mémorisent la structure HEAP mise à jour selon un résultat obtenu par les moyens d'apprentissage MAPPR et les moyens de suivi MSUIVI.
25 Les moyens de mémorisation MEM sont couplés via une connexion 36 à des moyens de calcul principaux MCAL. Ces derniers calculent le critère de fin de phase selon que l'on se trouve en phase d'apprentissage ou en phase de suivi de façon à activer les moyens d'apprentissage ou les moyens de suivi.
2906914 20 Bien entendu, l'invention n'est pas limitée aux modes de mise en oeuvre et aux modes de réalisation décrits ci-avant...FT: PROCEDE DE DETECTION DE LA POSITION DES MARQUAGES SUR ROUTE ET SYSTEME CORRESPONDANT

Claims (12)

REVENDICATIONS
1-Procédé de détection de la position des marquages sur route à l'aide d'une succession d'images numériques comportant des pixels, prises au cours du déplacement d'un véhicule automobile, ledit procédé comprenant pour chaque image une alternance entre une première phase dite phase d'apprentissage comportant une détermination (étape 3) sur un premier ensemble d'images numériques successives, d'une position moyenne desdits marquages, et une deuxième phase dite phase de suivi, comportant une détermination (étape 23) sur un deuxième ensemble d'images numériques successives, de la position desdits marquages à partir de ladite position moyenne déterminée au cours de la phase d'apprentissage, chaque phase étant effectuée tant que la valeur prise par un critère de fin de phase (Mark) ne dépasse pas un seuil associé à la phase considérée, caractérisé par le fait que ledit critère de fin de phase est calculé en fonction du nombre total de pixels appartenant auxdits marquages, comptabilisés sur un nombre choisi d'images numériques successives.
2-Procédé selon la revendication précédente, comprenant en outre avant la phase de détermination de la première ou de la deuxième phase, pour chaque image prise, un calcul d'un premier groupe de paramètres ([Pg, Pd, Pt]) représentatifs du nombre de pixels appartenant auxdits marquage sur route, et d'un deuxième groupe de paramètres ([Xo, yr, a, C1, L]) représentatifs de la position géométriques desdits marquages sur route, et une mémorisation au sein d'une structure commune (HEAP) auxdites première et deuxième phase, pour n images considérées, n étant un entier choisi, de la valeur de la vitesse du véhicule automobile, de l'instant de prise représentatif 2906914 22 du moment de prise de l'image correspondante, des paramètres du premier et du deuxième groupe et dudit critère de fin de phase.
3-Procédé selon la revendication précédente, comprenant également une évaluation d'une distance associée à ladite structure, en 5 fonction de chacun des n instants et de chacune des valeurs de vitesse des n images, mémorisés au sein de ladite structure, et dans lequel pour chaque image prise, ledit procédé comprend en outre une mise à jour (étape 1, étape 21) de ladite structure (HEAP) en supprimant les valeurs des paramètres correspondants à l'image ayant l'instant de 10 prise le plus ancien si ladite structure mémorise les valeurs des paramètres de plus de n images ou si ladite distance associée à la structure est supérieure à une valeur limite donnée.
4- Procédé selon la revendication précédente, dans lequel la phase d'apprentissage comprend également pour chaque image prise, la 15 réalisation d'un test sur la qualité (étape 4) des valeurs des paramètres dudit premier groupe, ledit test comprenant une comparaison de la valeur de chaque paramètre avec un seuil de qualité correspondant.
5-Procédé selon la revendications précédente, dans lequel au cours de la phase d'apprentissage, si pour l'image prise considérée, la 20 qualité des valeurs de chaque paramètre dudit premier groupe est supérieure audit seuil de qualité correspondant, on réalise un test sur la validité (étape 5) des valeurs des paramètres du deuxième groupe par rapport à des plages de validités fixées, liées à la configuration de ladite route et à la trajectoire dudit véhicule automobile. 25
6-Procédé selon la revendication précédente, dans lequel si pour l'image prise considérée, la valeur d'au moins un paramètre du premier groupe, est inférieure au seuil de qualité correspondant, et/ou si au moins l'une des valeurs des paramètres du deuxième groupe n'appartient pas à ladite plage de validité, on met à jour (étape 6) ladite structure et on affecte pour ladite image considérée, une valeur 2906914 23 nulle à chaque valeur mémorisée de ses propres paramètres du premier groupe, puis on compare ledit critère de fin de phase au seuil correspondant.
7-Procédé selon la revendication 5, dans lequel si pour l'image 5 prise considérée, les valeurs des paramètres du deuxième groupe appartiennent à ladite plage de validité, on effectue en outre un test de cohérence (étape 7) sur ces valeurs en les comparant aux dernières valeurs mémorisées des paramètres dudit deuxième groupe qui ont une qualité supérieure au seuil de qualité, et à l'issue dudit test de 10 cohérence, si les valeurs des paramètres de l'image considérée sont supérieures auxdites dernières valeurs mémorisées, on met à jour ladite structure (étape 9) , et on augmente la valeur du critère de fin de phase, 15 sinon on annule l'ensemble des valeurs des paramètres mémorisées dans la structure, on mémorise dans la structure l'instant de prise, la vitesse et les valeurs des paramètres associés à l'image prise considérée et on remet à zéro la valeur du critère de fin de phase (étape 11). 20
8- Procédé selon l'une des revendications 4 à 7, dans lequel au cours de la phase de suivi, on effectue également ledit test de validité (étape 24) des valeurs des paramètres du deuxième groupe de l'image prise considérée, par rapport à ladite plage de validité.
9-Procédé selon la revendication précédente prise en 25 combinaison avec la revendication 7, dans lequel à l'issue du test de validité réalisé au cours de la phase de suivi, si les valeurs des paramètres du premier groupe pour l'image prise considérée appartiennent à ladite plage de validité, on réalise également ledit test de cohérence (étape 25) sur les valeurs des paramètres du deuxième 30 groupe de l'image considérée, et si lesdites valeurs des paramètres du 2906914 24 deuxième groupe de l'image considérée sont supérieures auxdites dernières valeurs mémorisées, on met à jour (étape 27) ladite structure, on augmente la valeur du critère de fin de phase et on compare cette valeur au seuil associé à la phase de suivi (étape 28). 5
10- Procédé selon la revendication 9, dans lequel si au moins une valeur des paramètres du deuxième groupe de l'image prise considérée est inférieure à ladite dernière valeur mémorisée correspondante, et/ou si la valeur du paramètre choisi du deuxième groupe est inférieure audit seuil de validité, on met à jour (étape 26) 10 ladite structure en mémorisant les valeurs desdits paramètres du deuxième groupe correspondant à ladite position moyenne déterminée lors de la phase d'apprentissage à la place des valeurs correspondantes pour l'image considérée et en diminuant la valeur du critère de fin de phase. 15
11-Système de détection de la position des marquages sur route à l'aide d'une succession d'images numériques comportant des pixels, prises au cours du déplacement d'un véhicule automobile, ledit système étant embarqué au sein d'un véhicule automobile et comprenant : 20 - des moyens d'apprentissage (MAPPR) aptes à déterminer sur un premier ensemble d'images numériques successives, une position moyenne desdits marquages, -des moyens de suivi (MSUIVI), aptes à déterminer sur un deuxième ensemble d'images numériques successives, la position 25 desdits marquages à partir de ladite position moyenne déterminée par lesdits moyens d'apprentissage, et - des moyens de calculs principaux (MCAL) aptes à calculer un critère de fin de phase, lesdits moyens d'apprentissage et de suivi étant aptes à 30 effectuer leur propre détermination tant que la valeur prise par ledit 2906914 25 critère de fin de phase ne dépasse pas un seuil associé audit moyen considéré, caractérisé par le fait que les moyens de calcul principaux sont aptes à calculer ledit critère de fin de phase en fonction du nombre total de pixels appartenant auxdits marquages, comptabilisés 5 sur un nombre choisi d'images numériques successives.
12-Système selon la revendication précédente, comprenant en outre des premiers moyens de calcul (MC1) auxiliaires aptes à calculer un premier groupe de paramètres représentatifs du nombre de pixels appartenant auxdits marquage sur route, des deuxièmes moyens de 10 calcul auxiliaires (MC2) aptes à calculer un deuxième groupe de paramètres représentatifs de la position géométriques desdits marquages sur route, et des moyens de mémorisation (MEM) aptes à mémoriser au sein d'une structure commune auxdits premiers et deuxièmes moyens de calcul auxiliaires, pour n images considérées, n 15 étant un entier choisi, la valeur de la vitesse du véhicule automobile, l'instant de la prise, les paramètres du premier et du deuxième groupe et ledit critère de fin de phase.
FR0654166A 2006-10-09 2006-10-09 Procede de detection de la position des marquages sur route et systeme correspondant Expired - Fee Related FR2906914B1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
FR0654166A FR2906914B1 (fr) 2006-10-09 2006-10-09 Procede de detection de la position des marquages sur route et systeme correspondant
EP07848342A EP2082356A1 (fr) 2006-10-09 2007-09-20 Procede de detection de la position des marquages sur route et systeme correspondant
PCT/FR2007/051970 WO2008043927A1 (fr) 2006-10-09 2007-09-20 Procede de detection de la position des marquages sur route et systeme correspondant

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0654166A FR2906914B1 (fr) 2006-10-09 2006-10-09 Procede de detection de la position des marquages sur route et systeme correspondant

Publications (2)

Publication Number Publication Date
FR2906914A1 true FR2906914A1 (fr) 2008-04-11
FR2906914B1 FR2906914B1 (fr) 2009-01-23

Family

ID=37781926

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0654166A Expired - Fee Related FR2906914B1 (fr) 2006-10-09 2006-10-09 Procede de detection de la position des marquages sur route et systeme correspondant

Country Status (3)

Country Link
EP (1) EP2082356A1 (fr)
FR (1) FR2906914B1 (fr)
WO (1) WO2008043927A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004003502B3 (de) * 2004-01-23 2005-08-11 Audi Ag Verfahren und Vorrichtung zum Assistieren beim Führen eines Kraftfahrzeugs
EP1667086A1 (fr) * 2003-09-24 2006-06-07 Aisin Seiki Kabushiki Kaisha Dispositif servant a detecter une voie de circulation routiere

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1667086A1 (fr) * 2003-09-24 2006-06-07 Aisin Seiki Kabushiki Kaisha Dispositif servant a detecter une voie de circulation routiere
DE102004003502B3 (de) * 2004-01-23 2005-08-11 Audi Ag Verfahren und Vorrichtung zum Assistieren beim Führen eines Kraftfahrzeugs

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GRAEFE V: "Vision For Intelligent Road Vehicles", INTELLIGENT VEHICLES '93 SYMPOSIUM TOKYO, JAPAN 14-16 JULY 1993, NEW YORK, NY, USA,IEEE, US, 14 July 1993 (1993-07-14), pages 135 - 140, XP010117281, ISBN: 0-7803-1370-4 *
OTSUKA Y ET AL: "Multitype lane markers recognition using local edge direction", INTELLIGENT VEHICLE SYMPOSIUM, 2002. IEEE JUN 17-21, 2002, PISCATAWAY, NJ, USA,IEEE, 17 June 2002 (2002-06-17), pages 604 - 609, XP010635890, ISBN: 0-7803-7346-4 *
WERSHOFEN K P ED - INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS: "Real-time road-scene classification based on a multiple-lane tracker", SIGNAL PROCESSING AND SYSTEMS CONTROL, INTELLIGENT SENSORS AND INSTRUMENTATION. SAN DIEGO, NOV. 9 - 13, 1992, PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON INDUSTRIAL ELECTRONICS,CONTROL, INSTRUMENTATION AND AUTOMATION (IECON), NEW YORK, IEEE, US, vol. VOL. 3 CONF. 18, 9 November 1992 (1992-11-09), pages 746 - 751, XP010060628, ISBN: 0-7803-0582-5 *

Also Published As

Publication number Publication date
WO2008043927A1 (fr) 2008-04-17
FR2906914B1 (fr) 2009-01-23
EP2082356A1 (fr) 2009-07-29

Similar Documents

Publication Publication Date Title
FR3049560B1 (fr) Procede et systeme d&#39;assistance au changement de voie de roulage pour vehicule automobile
EP2199826B1 (fr) Procédé de détection d&#39;un objet cible pour véhicule automobile
EP1785966B1 (fr) Procédé d&#39;évaluation, par un véhicule automobile, des caractéristiques d&#39;un élément frontal
EP3579191B1 (fr) Estimation dynamique du tangage instantané et du roulis instantané d&#39;une caméra embarquée dans un véhicule automobile
EP2161677A1 (fr) Procédé de détection d&#39;un objet cible pour véhicule automobile
WO2021047916A1 (fr) Détection de défauts liés à des roues d&#39;un véhicule automobile en situation de roulage
WO2017118688A1 (fr) Procédé mis en œuvre dans un véhicule automobile et véhicule automobile associé
EP3417398B1 (fr) Dispositif et procédé d&#39;estimation du niveau d&#39;attention d&#39;un conducteur d&#39;un véhicule
FR2906914A1 (fr) Procede de detection de la position des marquages sur route et systeme correspondant
EP3830740A1 (fr) Procédé de détermination d&#39;un type d&#39;emplacement de stationnement
EP3999997A1 (fr) Procédé et dispositif embarqué d&#39;aide à la conduite avec tracé de contour de voie dépassé
EP3994605A1 (fr) Procédé de détection d&#39;une voie de sortie pour un véhicule automobile
EP3865816B1 (fr) Méthodes et systèmes pour mesurer à distance l&#39;orientation angulaire d&#39;un véhicule au sein d&#39;un convoi automobile routier.
WO2018069060A1 (fr) Dispositif de localisation et dispositif de production de données d&#39;intégrité
EP4430568A1 (fr) Procédé d&#39;estimation dynamique du tangage et du roulis d&#39;un véhicule automobile au moyen d&#39;au moins un capteur d&#39;acquisition d&#39;images
WO2023083821A1 (fr) Procédé d&#39;estimation dynamique du tangage d&#39;un véhicule automobile au moyen d&#39;un capteur d&#39;acquisition d&#39;images
FR3145323A1 (fr) Procédé et dispositif de contrôle d’un système d’éclairage embarqué dans un véhicule à partir d’accélération de limites d’un objet détecté.
FR3145322A1 (fr) Procédé et dispositif de contrôle d’un système d’éclairage embarqué dans un véhicule.
WO2021249809A1 (fr) Procede de calibration d&#39;une camera et dispositif associe
FR3137780A1 (fr) Procédé et dispositif de détermination d’un tracé arrière d’au moins une délimitation latérale de voie de circulation
FR3146523A1 (fr) Procédé d’estimation de la vitesse d’un véhicule
WO2022258900A1 (fr) Procédé de régulation de vitesse d&#39;un véhicule circulant sur une chaussée à partir d&#39;un véhicule cible
FR3135048A1 (fr) Procédé de suivi d’au moins une limite de bord de voie de circulation et véhicule automobile associé
FR3138098A1 (fr) Procédé et dispositif de détermination d’une vitesse de rotation en lacet d’un véhicule
FR3119916A1 (fr) Calibration extrinsèque d’une caméra montée sur un châssis du véhicule

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 10

PLFP Fee payment

Year of fee payment: 11

ST Notification of lapse

Effective date: 20180629