FR3019359A1 - Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique - Google Patents

Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique Download PDF

Info

Publication number
FR3019359A1
FR3019359A1 FR1452775A FR1452775A FR3019359A1 FR 3019359 A1 FR3019359 A1 FR 3019359A1 FR 1452775 A FR1452775 A FR 1452775A FR 1452775 A FR1452775 A FR 1452775A FR 3019359 A1 FR3019359 A1 FR 3019359A1
Authority
FR
France
Prior art keywords
obstruction
sector
disparity
mono
disparity map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1452775A
Other languages
English (en)
Other versions
FR3019359B1 (fr
Inventor
Laure Bajard
Alain Giralt
Sophie Rony
Gregory Baratoff
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Continental Automotive France SAS
Original Assignee
Continental Automotive GmbH
Continental Automotive France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH, Continental Automotive France SAS filed Critical Continental Automotive GmbH
Priority to FR1452775A priority Critical patent/FR3019359B1/fr
Priority to DE102015104125.1A priority patent/DE102015104125A1/de
Priority to US14/673,068 priority patent/US9269142B2/en
Priority to CN201510144352.9A priority patent/CN104951747B/zh
Publication of FR3019359A1 publication Critical patent/FR3019359A1/fr
Application granted granted Critical
Publication of FR3019359B1 publication Critical patent/FR3019359B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

L'invention vise à améliorer les performances de détermination d'un état d'obstruction d'un système stéréoscopique à deux caméras ou plus, avec un taux d'erreur faible et des ressources de taille permettant d'être aisément embarquées. Pour ce faire, l'invention propose une approche hybride entre les méthodes locales et semi-globales. Selon une mode de réalisation, chaque image stéréoscopique étant réalisée à partir d'images gauche et droite (11, 12) produites simultanément, un partage de chaque image gauche (11) et droite (12) est opéré en secteurs correspondants (10). Un taux d'obstruction est déterminé par une carte de disparité (20) par secteur (10), à partir des images gauche (11) ou droite (12), et dans laquelle est attribué à chaque pixel une disparité correspondant au meilleur score d'appariement. Une détermination de densité par secteur (10) de la carte de disparité (20) est réalisée par référence à un taux de pixels de disparité estimée valide. Puis un état d'obstruction d'au moins une caméra est déterminé à partir d'une moyenne pondérée des probabilités d'obturation des secteurs de la carte de disparité (20) obtenues par comparaison entre la densité des secteurs et un taux de densité prédéfini.

Description

La présente invention se rapporte à un procédé de détermination d'un état d'obstruction, dit encore de blocage, d'au moins une caméra dans un système stéréoscopique embarqué à bord d'un véhicule, en particulier d'un véhicule automobile, et contribuant à assister le conducteur du véhicule dans sa conduite.
Dans le domaine de la sécurité et de l'assistance automobile, les systèmes vidéo embarqués à bord de véhicules servent à la détection d'obstacles - objets ou personnes - ou d'événements à l'extérieur de ce véhicule. A partir de deux caméras embarquées, le système vidéo géré par un système de traitement numérique permet de déterminer la distance entre le véhicule et ces obstacles. Il est alors possible de suivre diverses fonctionnalités, par exemple : la détection d'obstacles, la détection de dangers, la détection et la reconnaissance de panneaux de signalisation, la ligne blanche infranchissable de la route, ou encore la détection de voiture venant en sens inverse. Cette dernière détection peut être associée à la gestion des feux du véhicule. La reconnaissance de ces obstacles ou événements est, de plus, portée à la connaissance du conducteur par une intervention signalée de systèmes d'assistance à la conduite. La fiabilité des caméras est alors critique et peut devenir décisive, par exemple lorsqu'il s'agit de savoir en temps réel si, en l'absence d'obstacles signalés, la route est bien libre d'obstacles ou si l'une des caméras est au moins partiellement obstruée. La détection de l'obstruction des caméras est donc aussi importante que la détermination d'une bonne visibilité. Il est à noter qu'une cause fréquente d'obstruction est la condensation d'eau sur l'optique de la caméra. En général, une détection d'obstruction conduit à signaler au conducteur la présence d'une telle condensation et peut déclencher des moyens de dégivrage. La détermination d'un taux d'obstruction d'une caméra embarquée est traitée dans le document de brevet US 2013/0070966. Dans ce document, l'écran est partagé en secteurs et la probabilité d'obstruction par secteur est analysée à partir d'une mesure du nombre d'objets détectés par leur contour dans chaque secteur. Il s'agit d'une méthode d'analyse par secteur d'image. La détection de l'obstruction de caméra selon cette méthode offre des performances réduites : un taux d'obstruction partielle de la caméra n'est détecté que dans 75 % des cas, la distance moyenne pour réaliser cette détection étant de 200 mètres. De plus, au démarrage, une distance moyenne de 30 mètres est nécessaire pour statuer sur l'obstruction de la caméra. Utilisant la même approche par secteur, le document de brevet US 8 116 523 35 propose de générer des données d'image par une détection de bord (en terminologie anglaise : « edge map extraction ») et une détection de points caractéristiques à partir de ces données. Les points caractéristiques sont classés selon trois zones de balayage de détection agencées respectivement à distance proche, moyenne et éloignée du véhicule : une zone dédiée aux voies, une autre pour les embranchements de voies et une zone destinée aux impasses ou obstacles. De cette façon, le nombre d'étapes de traitement d'image est réduit par rapport à la détection de modèles fixes avec un balayage de toute l'image pour vérifier la correspondance de l'image aux modèles. D'autres méthodes ont été développées pour des systèmes stéréoscopiques à deux caméras permettant de fournir une information supplémentaire de profondeur des objets et obstacles de la scène vue par le conducteur. La profondeur d'un pixel d'un élément de cette scène est inversement proportionnelle au décalage, encore appelé « disparité », des pixels appariés des images gauche et droite correspondant au pixel initial de la scène et détectés respectivement par les caméras gauche et droite. Une carte de disparité est constituée de l'ensemble des disparités entre les pixels ainsi appariés.
La génération des cartes de disparité successives dans le temps permet d'augmenter les performances des applications d'aide à la conduite à partir des informations de profondeur de la scène. L'utilisation de cartes de disparité est par exemple illustrée par les documents de brevet US 2010/0013908, EP 2 381 416 ou FR 2 958 774.
Le problème est de correctement apparier les pixels des images gauche et droite. De manière classique, la génération d'une carte de disparité se déroule en deux étapes : la détermination de différents degrés d'appariement, encore appelé « scores d'appariement », pour chaque paire de pixels et l'extraction d'une estimation de disparité pour chaque paire de pixels.
La première étape s'effectue en tenant compte, pour chaque pixel d'une paire analysée, des pixels de son environnement. Les scores traduisent le degré de similarité des pixels de la paire analysée. La deuxième étape permet d'attribuer à chaque pixel d'une des deux images gauche ou droite - dite de référence - la disparité la plus probable estimée à partir des scores d'appariement de ce pixel. L'ensemble des pixels de l'image de référence sur lesquels les disparités retenues ont été reportées constitue la carte de disparité de l'image stéréoscopique. De manière générale, trois types de méthode ont été développés pour réaliser une carte de disparités selon le mode de détermination des scores et le mode d'expression des disparités : les méthodes locales, globales et semi-globales.
Les méthodes locales reposent sur des scores d'appariement de chaque paire de pixels de chaque image obtenus entre les pixels qui entourent immédiatement deux pixels à apparier. Diverses fonctions de corrélation peuvent être utilisées (somme des écarts quadratiques, somme des écarts absolus, inter-corrélation normalisée centrée, etc.) pour déterminer alors les disparités des pixels appariés. Pour chaque paire de pixels analysée, la disparité correspondant au meilleur score est sélectionnée. Ces méthodes locales sont les plus simples et mobilisent donc moins de ressources. Elles génèrent des cartes de disparité de haute densité, c'est-à-dire avec un taux élevé de pixels de disparité estimée valide, la validité reposant sur un critère de cohérence entre les disparités de pixels connexes. Cependant, ces méthodes locales présentent un fort taux d'erreurs, notamment dans les zones d'occlusion et dans les zones peu texturées - par exemple pour une route neuve.
Les méthodes globales consistent à optimiser une fonction d'énergie définie sur toute l'image de référence. La fonction d'énergie définit les contraintes que la carte de disparité doit respecter, par exemple la continuité de la disparité sur les objets. Par la suite, l'ensemble des disparités qui minimisent cette fonction d'énergie est recherché. La méthode de coupure de graphes (« Graph-Cut » en terminologie anglaise) et la propagation de croyance (« Belief Propagation en terminologie anglaise) sont les méthodes globales les plus étudiées. Ces méthodes donnent des images de disparité denses et comportant peu d'erreurs. Elles sont cependant complexes à mettre en oeuvre et nécessitent des ressources de calcul et de mémorisation très importantes, difficilement compatibles avec 20 les contraintes matérielles de l'embarquement. Les méthodes semi-globales se basent sur le même principe que les méthodes globales mais sur des sous-parties de l'image, à savoir des lignes ou des blocs. Le découpage du problème d'optimisation de la fonction d'énergie en sous-problèmes permet de diminuer le besoin en ressources de calcul et de mémoires par rapport aux 25 méthodes globales, mais entraîne de manière récurrente l'apparition d'artefacts sur la carte de disparité, avec un taux d'erreur non négligeable et une densité de carte de disparité moyenne à médiocre (ce que traduit la présence d'artefacts). L'invention a pour objectif principal d'améliorer les performances de la détermination d'un état d'obstruction d'un système stéréoscopique à deux caméras, avec 30 un taux d'erreur faible tout en extrayant des cartes de disparité de forte densité, avec des ressources en calcul et en mémoire de taille raisonnable permettant d'être aisément embarquées. Pour ce faire, l'invention propose une approche hybride entre les méthodes locales et semi-globales, utilisant des cartes de disparité particulières à partir d'un découpage des images en secteurs dans une analyse semi-globale directe, sans utiliser 35 de fonction d'énergie.
A cet effet, la présente invention a pour objet un procédé de détermination d'un état d'obstruction d'au moins une caméra dans un système multi-caméras embarqué à bord d'un véhicule comportant les étapes suivantes : - acquisition des images stéréoscopiques successives d'un champ de vue, chaque image stéréoscopique du système multi-caméras étant réalisée à partir d'images gauche et droite produites simultanément et mémorisées numériquement sous forme de pixels, - calcul d'une carte de disparité à partir des images multi-caméras successives, et - calcul d'un taux d'obstruction. Dans ce procédé, le taux d'obstruction est une moyenne pondérée déterminée par les étapes successives suivantes : - partage de la carte de disparité en secteurs, - détermination de la densité de chaque secteur par le taux de pixels de disparité estimée valide, - détermination d'une probabilité d'obstruction stéréo par secteur de la carte de disparité par comparaison entre la densité de ce secteur et un taux d'obstruction prédéfini, et - détermination d'une moyenne pondérée des probabilités d'obturation des secteurs en fonction d'une pondération de la position de ces secteurs dans la carte de disparité. Ce procédé présente alors, par rapport à d'autres procédés utilisant une ou plusieurs caméras, une plus grande rapidité de décision concernant une éventuelle obstruction - même en l'absence d'objets masquant partiellement le véhicule - une 25 vitesse de détection plus rapide et un taux de détection d'obstruction supérieur. Ainsi, pour définir un taux d'obstruction dans le cadre de l'invention, une seule surface texturée dans le champ de vue - par exemple une route - peut être suffisante et la présence d'objets n'est donc pas utile. Les performances obtenues par l'invention sont liées à la rapidité des calculs du fait de la méthodologie suivie. Par exemple, une absence 30 d'obstruction des caméras après le temps nécessaire pour que le véhicule roule 12 mètres seulement, au lieu de 30 mètres environ avec les méthodes antérieures. Dans un mode de mise en oeuvre préféré : - un filtrage numérique de bruit de disparité peut être effectué par secteur sur la carte de disparité avant la détermination de densité des secteurs, 35 - le filtrage numérique du bruit de disparité peut être effectué par l'application d'outils de morphologie mathématique sur la carte de disparité.
Selon d'autres modes de mise en oeuvre particulièrement avantageux : - chaque secteur étant découpé en sous-parties appelées macro-blocs, ces macro-blocs pouvant être de même dimension et régulièrement répartis dans chaque secteur, le filtrage numérique du bruit de disparité est effectué par secteur en mesurant la densité de chaque macro-bloc de ce secteur par son taux de pixels dont la disparité supérieure à un seuil est estimée valide, la proportion de macro-blocs estimés valides déterminant la densité du secteur, - la probabilité d'obstruction stéréo par secteur est déterminée par comparaison entre le taux de macro-blocs estimés valides dans ce secteur et un taux d'obstruction prédéfini, - le nombre de secteurs peut être choisi entre sensiblement 10 et 50, - le nombre de macro-blocs par secteur peut être choisi entre sensiblement 10 et 100.
Avantageusement, un test d'analyse combinée mono - stéréo est effectué en complément du calcul du taux d'obstruction afin de déterminer la présence d'objet devant une caméra. Ce test prévoit les étapes suivantes, pour chaque image analysée : - sélection d'une des deux images stéréo à analyser, appelé image mono, - partage de cette image mono en secteurs de même dimension que ceux de la carte de disparité pour former une carte mono, - calcul d'une probabilité d'obstruction mono par secteur de l'image mono reportée sur la carte mono, - comparaison des probabilités d'obstruction stéréo et mono, puis fusion entre la carte de disparité filtrée, dotée des probabilités d'obstruction stéréo par secteur, et la carte mono, dotée des probabilités d'obstruction mono par secteur, par affectation à chaque secteur de la carte de disparité filtrée de la probabilité d'obstruction la plus faible, correspondant à la densité la plus élevée, pour élaborer une carte de disparité filtrée dite fusionnée, et - si la probabilité d'obstruction fusionnée est globalement inférieure à la probabilité d'obstruction stéréo, la caméra correspondant à l'image analysée est considérée comme pouvant être obstruée, - dans le cas contraire, un objet mobile est considéré comme ayant masqué le champ de vision de la caméra analysée et un traitement est déclenché.
De manière préférée, le calcul de la probabilité d'obstruction mono par secteur est réalisé par une analyse de détection de bord et une détection de points caractéristiques à partir des données de détection.
D'autres données, caractéristiques et avantages de la présente invention apparaîtront à la lecture de la description détaillée non limitative ci-après, en référence aux figures annexées qui représentent, respectivement : - la figure 1, un exemple d'images acquises par les deux caméras d'un 5 système stéréoscopique associées à la carte de disparité formée à partir de ces images selon un mode de mise en oeuvre du procédé de l'invention, - la figure 2, un exemple de carte de disparité dont les secteurs sont découpés en macro-blocs selon un mode de mise en oeuvre particulier de l'invention, - la figure 3, un exemple de pondération pour le calcul du taux d'obstruction 10 d'une caméra du système stéréoscopique, - les figures 4a et 4b, le logigramme d'un mode de détermination du taux d'obstruction d'une caméra selon l'invention à l'aide d'une carte de disparité, et - la figure 5, une approche combinée mono-stéréo pour détecter la présence d'un masquage temporaire du champ de vue d'une caméra à partir d'une détection de 15 bords de type mono et une comparaison des taux d'obstruction mono et stéréo. La figure 1 illustre un exemple d'images gauche 11 et droite 12 reçues sur les caméras d'un système stéréoscopique de visualisation à bord d'un véhicule automobile. La carte de disparité 20 élaborée par un système de traitement numérique (non représenté) à partir de ces images 11 et 12 est également reportée. Les images 11, 12 20 sont découpées en 5 x 3 secteurs réguliers 10 et la carte de disparité 20 est en conséquence sectorisée en 5 x 3 secteurs. Alternativement, il est possible de sectoriser directement la carte de disparité. L'image droite 12 est complète, alors qu'il apparaît que l'image gauche 11 ne reproduit pas au moins la zone d'intérêt supérieure Al vue sur l'image droite 12. Le 25 champ de vision de la caméra gauche correspondant à l'image 11 est ainsi partiellement obturé sur cette zone supérieure Al qui recouvre les cinq secteurs supérieurs. La carte de disparité 20 est déterminée par report des disparités par secteur 10 à partir des pixels d'une des images servant de référence, ici l'image de gauche 11. Chaque disparité représente dans l'exemple la distance calculée par l'écart 30 quadratique entre les pixels des images 11 et 12 qui présentent le meilleur score d'appariement. Il résulte de l'obstruction partielle de la zone Al que la carte de disparité 20 présente des artefacts 21. Ces défauts se traduisent par des niveaux de densité faibles par secteur tels que déterminés à partir des disparités dans ces secteurs - et donc un 35 taux d'obstruction élevé - comme cela est détaillé ci-après. En référence à l'exemple de mise en oeuvre d'une variante particulière de la figure 2, chaque secteur 10 de la carte de disparité 20 est avantageusement découpé en 6 x 11 macro-blocs 30 de même dimension (un seul macro-bloc est représenté pour ne pas nuire à la clarté de la figure). Ce degré de découpage supplémentaire est utilisé pour une analyse fine de la densité, présentée en référence aux figures 4a et 4b. Dans cette carte de disparité 20 ainsi découpée en secteurs 10 et macro- blocs 30 - les densités de disparité sont mesurées au niveau de chaque macro-bloc 30. Puis la densité est calculée par secteur 10 à partir des densités de disparité des macroblocs 30 de ce secteur 10, un secteur dense étant défini par une proportion élevée de macro-blocs de densité supérieure à un seuil donné. Globalement, le taux d'obstruction d'une caméra est calculé par pondération des densités des secteurs en fonction de leur position dans l'image produite par la caméra. La figure 3 présente un exemple de pondération pour le calcul du taux d'obstruction global d'une caméra du système stéréoscopique. Chaque secteur 10 est doté de coefficients de pondération 40, et le taux d'obstruction global de la caméra est calculé par une moyenne des niveaux de densité des secteurs 10 pondérés à l'aide de ces coefficients 40. Les plus fortes pondérations de coefficient « 4 » correspondent aux secteurs 10 jugés au préalable comme faisant partie de zones d'intérêt importantes. Une telle pondération s'applique aux densités déterminées par secteur 10 de la carte de disparité 42 présentée sur la figure 5. Un exemple de détermination d'un état d'obstruction d'une caméra à partir d'une moyenne pondérée des niveaux de densité par secteur de la carte de disparité est illustré par le logigramme en figure 4a, logigramme complété en figure 4b. L'ensemble d'étapes 102 à 108 de la figure 4a est reporté en figure 4b sous l'appellation « B » pour simplifier sa lecture de cette figure 4b. Sur la figure 4a, la première étape 100 de démarrage, dite « Start », sert aux paramétrages initiaux, en particulier de la calibration d'une caméra par rapport à l'autre, par association de paires de petites zones semblables de chacune des images. L'étape 101 concerne la prise d'images stéréoscopiques gauche et droite successives du champ de vue, selon une fréquence déterminée, telles que les images 11 et 12 de la figure 1. Les images sont stockées dans un système de traitement numérique.
Ces images permettent d'élaborer la carte de disparité (étape 102), en attribuant à chaque pixel un score d'appariement représentatif du degré de similarité entre deux pixels des images stéréoscopiques gauche et droite alors appariées. Cette carte est dite non filtrée, car elle peut contenir du bruit de disparité dû à une obstruction, à un masquage d'une caméra par un objet ou à une dé-calibration d'une caméra. Les étapes suivantes permettent de supprimer l'éventuel bruit de disparité. Au cours de l'étape 103, la carte de disparité est partagée en secteurs (conformément à la description en référence à la figure 2).
Dans cet exemple, les 15 secteurs de la carte de disparité sont découpés en macro-blocs, 66 macro-blocs dans cet exemple (étape 104). Avantageusement, un filtrage numérique du bruit de disparité permet, par une analyse de densité dans chacun des macro-blocs de chaque secteur (étape 105), de définir plus finement la densité de ce secteur. L'étape d'analyse de densité 105 est réalisée de la manière suivante. Pour chaque macro-bloc, la densité est mesurée par son taux de pixels dont la disparité est estimée valide par comparaison avec un seuil. Dans cet exemple, les macro-blocs dont la densité est supérieure à un taux de 80% sont estimés valides. De manière alternative, un filtrage numérique du bruit de disparité peut être 10 effectué directement par secteur par des outils de morphologie mathématique connus de la personne du métier. En option ou indépendamment dans une séquence parallèle, il est alors possible, suite à l'étape 105 d'analyse de densité, de détecter dans un test de décalibration 106 si un bruit constaté est dû à une dé-calibration ou à une perturbation de 15 type obstruction, car la carte de disparité est affectée différemment dans ces deux cas. Ce test est réalisé en effectuant un paramétrage initial du système multi-caméras embarqué. Si le test de dé-calibration conclut à une dé-calibration, une re-calibration est avantageusement effectuée (étape 107). Puis, à l'étape 108, la densité par secteur est déterminée par la proportion de 20 macro-blocs estimés valides au sein de chacun des secteurs. Après détermination de la densité de tous les secteurs, la carte de disparité est dite filtrée. Le calcul de probabilité d'obstruction est ensuite conduit par secteur. Il consiste à l'étape 109 à comparer les taux de macro-blocs estimés valides dans ce secteur à un taux d'obstruction prédéfini. Dans l'exemple, si le taux de macro-blocs 25 estimés valides au sein du secteur est supérieur à 35 %, ce secteur est considéré comme non obstrué. Alternativement, il est également possible, dans une version simplifiée de l'exemple de réalisation, de s'affranchir des macro-blocs dans les étapes B d'analyse (étapes numérotées 104 à 108). Pour ce faire, on utilise directement, à l'étape 109 de 30 calcul de probabilité d'obstruction, les densités par secteur filtré à la place des densités des macro-blocs estimées valides, en comparant la densité de chaque secteur (définie à l'étape 108 de calcul de densité par le taux de pixels par secteur dont la disparité est estimée valide) au taux de densité prédéfini, ici de 35 `Vo. Dans la suite du procédé, une analyse de disparité à partir de la densité des 35 macro-blocs constitutifs de chacun des secteurs est prise en compte. Une fois définie la densité des macro-blocs par secteur à l'étape 108, la probabilité d'obstruction par secteur fournie par le calcul (étape 109) est dite probabilité d'obstruction stéréo (à distinguer de la probabilité d'obstruction mono décrite ci-dessous) car effectuée sur les secteurs de la carte de disparité élaborée à partir des images du système stéréoscopique. La figure 4b présente la suite du procédé selon invention qui va permettre, 5 avantageusement, de vérifier si le bruit constaté sur la carte de disparité est dû à une obstruction réelle ou à un objet qui est venu masquer le champ de vision d'une des deux caméras. Cette vérification consiste à établir les probabilités d'obstruction par secteur 10c d'une carte de disparité dite « fusionnée » 42 illustrée en référence à la 10 figure 5 (décrite plus loin) à partir de la carte de disparité filtrée dite « stéréo » 22 et d'une carte dite « mono » 32, formée à partir de l'image fournie par la caméra analysée. Cette carte mono correspond en fait à l'image sélectionnée (étape 112) parmi les deux images stéréoscopiques 11 et 12 (figure 1) prises à l'étape 101 : afin de déterminer l'état d'obstruction ou de masquage de chaque caméra, l'analyse est conduite, 15 plus précisément, en sélectionnant (étape 112) l'une ou l'autre des images 11 ou 12, l'image gauche 11 dans l'exemple illustré (cf. figure 5), pour analyser la caméra correspondante. Avant l'étape de comparaison et de fusion (étape 115), l'image sélectionnée est sectorisée (étape 113) de la même manière que la carte de disparité pour former la carte mono 32, en 15 secteurs dans cet exemple. Puis une analyse de 20 probabilité d'obstruction par une méthode mono (étape 114), une analyse de détection de bord dans l'exemple, est effectuée sur la carte mono 32. Le calcul des probabilités mono par secteur 10a (figure 5) est alors reporté sur la carte mono 32. La comparaison de l'étape 115 se fait, secteur par secteur, entre les probabilités d'obstruction stéréo par secteur (étape 109) dont est dotée la carte de 25 disparité stéréo, et les probabilités d'obstruction mono par secteur de la carte mono. Cette comparaison conduit, toujours à l'étape 115, à doter chaque secteur de la carte de disparité stéréo de la probabilité d'obstruction la plus faible (ou, en d'autres termes, de la densité la plus élevée), mono ou stéréo, du secteur correspondant. Les probabilités retenues sont dites « fusionnées », et la carte de disparité ainsi obtenue à l'étape 115, 30 dotée des probabilités d'obstruction ainsi « fusionnées », est également dite « fusionnée ». Cette étape 115 de comparaison et de fusion des probabilités d'obstruction stéréo et mono permet de supprimer un éventuel masquage d'une caméra par un objet comme expliqué ci-dessous.
35 Si, dans un test de masquage 116, la probabilité d'obstruction fusionnée globale de la carte de disparité - obtenue à l'étape 115 - est supérieure ou égale à la probabilité d'obstruction globale de la carte stéréo, la caméra correspondant à l'image analysée à l'étape d'analyse de probabilité d'obstruction mono (étape 114) est considérée comme pouvant être obstruée mais sans être masquée. Les probabilités d'obstruction globales sont calculées par une moyenne ou par sommation des valeurs par secteur. Dans le cas contraire, un obstacle ou objet est considéré comme ayant masqué le champ de vision de la caméra analysée, par exemple un objet proche de cette caméra. L'analyse des résultats de ce test de masquage 116 conduit alors à prendre, en conséquence (étape 117), des mesures adaptées (arrêt temporaire de la caméra ou intervention sur la caméra) et/ou à informer le conducteur. Si la caméra analysée n'est pas considérée comme masquée, Puis l'étape 119 calcule, avec la pondération des secteurs, la probabilité globale d'obstruction basée sur la moyenne pondérée de la probabilité d'obstruction des secteurs. La pondération est préalablement élaborée à l'étape 118 en fonction de la position des secteurs dans l'image comme détaillé ci-dessus (en référence à la figure 3). L'état d'obstruction à restituer au conducteur du véhicule est l'une des informations suivantes: pas d'obstruction - condensation - obstruction partielle obstruction. L'obstruction peut être due à de la condensation, à la présence d'un autocollant, de la neige, de la glace ou de sel ou équivalent sur le pare-brise. Dans l'exemple, le système est considéré comme totalement obstrué avec une probabilité globale au moins égale à 90 %, et entre 70 % et 90 % le système est considéré comme « dégradé » de condensation ou d'obstruction partielle. La figure 5 illustre l'approche combinée mono-stéréo utilisée pour détecter la présence d'un éventuel masquage du champ de vue d'une caméra, comme présenté sur la figure 4b à l'étape 115. Cette détection est réalisée par comparaison des probabilités d'obstruction par secteur stéréo et mono, comparaison à partir des valeurs reportées sur la carte de disparité filtrée 22, pour la probabilité d'obstruction stéréo par secteur, et sur une carte mono 32 correspondant à l'image analysée, l'image 11 dans l'exemple, pour la probabilité d'obstruction mono par secteur (étapes respectivement référencées 109 et 114 sur la figure 4b). Pour chaque paire de secteurs correspondants 10a, 10b de ces deux cartes 32 et 22, les densités mono et stéréo sont comparées (flèches Fa, Fb), comme décrit en référence au logigramme de la figure 4b. La comparaison (flèches Fa, Fb) entre les approches mono et stéréo définit, par secteur 10c, une carte de disparité modifiée 42 dotée d'une probabilité d'obstruction fusionnée par secteur. Pour chaque secteur 10c de cette carte, la probabilité d'obstruction de la caméra correspond au minimum des densités mono et stéréo. Si, globalement, la densité de la carte de disparité 42 est inférieure à la densité globale stéréo, la caméra est considérée comme obstruée. Dans le cas contraire, il apparaît qu'un obstacle ou objet mobile a probablement masqué le champ de vision de la caméra analysée. L'invention n'est pas limitée aux exemples de réalisation décrits et représentés. Ainsi, l'invention peut s'appliquer à des systèmes de plus de deux caméras 5 en utilisant le procédé pour chaque ensemble de caméras du système (paire, triplet, quadruplet,...). Il est par ailleurs possible de mettre en oeuvre le procédé selon l'invention sans découper les secteurs en macro-blocs et en remplaçant les étapes discriminantes en fonction des densités des macro-blocs par des étapes dépendant directement des 10 densités des secteurs, après filtrage par morphologie mathématique ou autre filtrage équivalent. De plus, les secteurs mis en correspondance d'une image de caméra à l'autre ont des dimensions identiques mais les secteurs d'une même image peuvent être de dimensions différentes. Par exemple, en fonction du caractère critique au regard de la 15 sécurité, les secteurs des rangées supérieures comme la zone supérieure d'intérêt Al (en référence à la figure 1) peuvent être de dimension inférieure, et de pondération plus ou moins importante, afin de multiplier leur nombre et donc la précision de l'analyse.

Claims (9)

  1. REVENDICATIONS1. Procédé de détermination d'un état d'obstruction d'au moins une caméra dans un système multi-caméras embarqué à bord d'un véhicule comportant les étapes suivantes : - acquisition des images stéréoscopiques successives d'un champ de vue, chaque image stéréoscopique du système multi-caméras étant réalisée à partir d'images gauche et droite (11, 12) produites simultanément et mémorisées numériquement sous forme de pixels, - calcul d'une carte de disparité à partir des images multi-caméras successives, et - calcul d'un taux d'obstruction, caractérisé en ce que le taux d'obstruction est une moyenne pondérée déterminée par les étapes successives suivantes : - partage de la carte de disparité (20) en secteurs (10), - détermination de la densité de chaque secteur (10) par le taux de pixels de disparité estimée valide (108), - détermination d'une probabilité d'obstruction stéréo par secteur (109) de la carte de disparité (20) par comparaison entre la densité de ce secteur (10) et un taux d'obstruction prédéfini, et - détermination (119) d'une moyenne pondérée des probabilités d'obturation des secteurs (10) en fonction d'une pondération (118) de la position de ces secteurs (10) dans la carte de disparité (20).
  2. 2. Procédé de détermination d'un état d'obstruction selon la revendication 1, dans lequel un filtrage numérique de bruit de disparité (105) est effectué par secteur (10) sur la carte de disparité (20) avant la détermination (108) de densité des secteurs.
  3. 3. Procédé de détermination d'un état d'obstruction selon la revendication précédente, dans lequel le filtrage numérique du bruit de disparité (105) est effectué par l'application d'outils de morphologie mathématique sur la carte de disparité (20).
  4. 4. Procédé de détermination d'un état d'obstruction selon la revendication 2, dans lequel chaque secteur (10) étant découpé en sous-parties appelées macro-blocs (30), de même dimension et régulièrement répartis dans chaque secteur (10), le filtrage numérique du bruit de disparité (105) est effectué par secteur (10) en mesurant la densité de chaque macro-bloc (30) de ce secteur (10) par son taux de pixels dont la disparitésupérieure à un seuil est estimée valide, la proportion de macro-blocs (30) estimés valides déterminant (108) la densité du secteur (10).
  5. 5. Procédé de détermination d'un état d'obstruction selon la revendication précédente, dans lequel la probabilité d'obstruction stéréo par secteur (10) est déterminée 5 par comparaison (étape 109) entre la proportion de macro-blocs (30) estimés valides dans ce secteur (10) et un taux d'obstruction prédéfini.
  6. 6. Procédé de détermination d'un état d'obstruction selon l'une quelconque des revendications précédentes, dans lequel le nombre de secteurs (10) est choisi entre sensiblement 10 et 50. 10
  7. 7. Procédé de détermination d'un état d'obstruction selon l'une quelconque des revendications 4 ou 5, dans lequel le nombre de macro-blocs (30) par secteur (10) est choisi entre sensiblement 10 et 100.
  8. 8. Procédé de détermination d'un état d'obstruction selon l'une quelconque des revendications 4 à 7, dans lequel un test complémentaire d'analyse combinée mono-15 stéréo prévoit les étapes suivantes afin de déterminer la présence d'objet devant une caméra : - sélection (112) d'une des deux images stéréo (11; 12) à analyser, appelé image mono ; - partage (113) de cette image mono (11; 12) en secteurs (10a) de même 20 dimension que ceux (10b) de la carte de disparité (22) pour former une carte mono (32) ; - calcul (114) d'une probabilité d'obstruction mono par secteur (10a) de l'image mono (11; 12) reportée sur la carte mono (32) ; - comparaison des probabilités d'obstruction stéréo et mono, puis fusion (115) entre 25 la carte de disparité (22), dotée des probabilités d'obstruction stéréo (109) par secteur (10b) et la carte mono (32), dotée des probabilités d'obstruction mono (114) par secteur (10a), par affectation à chaque secteur (10b) de la carte de disparité (22) de la probabilité d'obstruction la plus faible, correspondant à la densité la plus élevée, pour élaborer une carte de disparité dite fusionnée (42) ; et 30 - si la probabilité d'obstruction fusionnée est globalement inférieure à la probabilité d'obstruction stéréo (test 116), la caméra correspondant à l'image analysée (11 ; 12) est considérée comme pouvant être obstruée et un traitement est déclenché (117) ;- dans le cas contraire, un objet est considéré comme ayant masqué le champ de vision de la caméra analysée.
  9. 9. Procédé de détermination d'un état d'obstruction selon la revendication précédente, dans lequel le calcul (114) de la probabilité d'obstruction mono par secteur 5 (10a) est réalisé par une analyse de détection de bord et une détection de points caractéristiques à partir des données de détection.
FR1452775A 2014-03-31 2014-03-31 Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique Active FR3019359B1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FR1452775A FR3019359B1 (fr) 2014-03-31 2014-03-31 Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique
DE102015104125.1A DE102015104125A1 (de) 2014-03-31 2015-03-19 Verfahren zur Bestimmung eines Blindheitszustands von mindestens einer, in einem stereoskopischen System eingebauten Kamera
US14/673,068 US9269142B2 (en) 2014-03-31 2015-03-30 Method for determining a state of obstruction of at least one camera installed in a stereoscopic system
CN201510144352.9A CN104951747B (zh) 2014-03-31 2015-03-30 用于确定安装在立体系统中的至少一个摄像机的阻碍状态的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1452775A FR3019359B1 (fr) 2014-03-31 2014-03-31 Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique

Publications (2)

Publication Number Publication Date
FR3019359A1 true FR3019359A1 (fr) 2015-10-02
FR3019359B1 FR3019359B1 (fr) 2017-10-06

Family

ID=51261003

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1452775A Active FR3019359B1 (fr) 2014-03-31 2014-03-31 Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique

Country Status (4)

Country Link
US (1) US9269142B2 (fr)
CN (1) CN104951747B (fr)
DE (1) DE102015104125A1 (fr)
FR (1) FR3019359B1 (fr)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180087944A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 스테레오 매칭 방법 및 장치
US10981505B2 (en) * 2017-02-28 2021-04-20 Gentex Corporation Auto switching of display mirror assembly
DE102017220282A1 (de) * 2017-11-14 2019-05-16 Robert Bosch Gmbh Testverfahren für ein Kamerasystem, ein Steuergerät des Kamerasystems, das Kamerasystem und ein Fahrzeug mit diesem Kamerasystem
CN108391036B (zh) * 2018-03-28 2023-07-11 东风商用车有限公司 一种可检测感知功能降级的车载摄像装置及其检测方法
EP3598389A1 (fr) 2018-07-19 2020-01-22 Thomson Licensing Procédé de détection d'occlusions dans une image, dispositif et produit programme d'ordinateur correspondants
CN109490926B (zh) * 2018-09-28 2021-01-26 浙江大学 一种基于双目相机和gnss的路径规划方法
CN113891059B (zh) * 2019-03-09 2024-02-13 核心光电有限公司 对双摄像机进行立体校准的方法
CN111027398A (zh) * 2019-11-14 2020-04-17 深圳市有为信息技术发展有限公司 行车记录仪视频遮挡检测方法
US11120280B2 (en) 2019-11-15 2021-09-14 Argo AI, LLC Geometry-aware instance segmentation in stereo image capture processes
CN116558206B (zh) * 2023-07-11 2023-09-22 江苏星星冷链科技有限公司 冷柜除霜控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2884316A1 (fr) * 2005-04-11 2006-10-13 Denso Corp Detecteur de pluie
US20090180682A1 (en) * 2008-01-11 2009-07-16 Theodore Armand Camus System and method for measuring image quality
EP2293588A1 (fr) * 2009-08-31 2011-03-09 Robert Bosch GmbH Procédé d'utilisation d'un agencement de caméra de stéréovision
US20110311102A1 (en) * 2010-06-17 2011-12-22 Mcdaniel Michael S Machine control system utilizing stereo disparity density

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4937030B2 (ja) 2007-07-24 2012-05-23 ルネサスエレクトロニクス株式会社 車両用画像処理装置
TWI332453B (en) 2008-07-21 2010-11-01 Univ Nat Defense The asynchronous photography automobile-detecting apparatus and method thereof
WO2010084521A1 (fr) 2009-01-20 2010-07-29 本田技研工業株式会社 Procédé et appareil d'identification de gouttes de pluie sur un pare-brise
DE102010002310A1 (de) 2010-02-24 2011-08-25 Audi Ag, 85057 Verfahren und Vorrichtung zur Freisichtprüfung einer Kamera für ein automobiles Umfeld
FR2958774A1 (fr) 2010-04-08 2011-10-14 Arcure Sa Procede et systeme de detection de pietons adaptee au contexte industriel

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2884316A1 (fr) * 2005-04-11 2006-10-13 Denso Corp Detecteur de pluie
US20090180682A1 (en) * 2008-01-11 2009-07-16 Theodore Armand Camus System and method for measuring image quality
EP2293588A1 (fr) * 2009-08-31 2011-03-09 Robert Bosch GmbH Procédé d'utilisation d'un agencement de caméra de stéréovision
US20110311102A1 (en) * 2010-06-17 2011-12-22 Mcdaniel Michael S Machine control system utilizing stereo disparity density

Also Published As

Publication number Publication date
CN104951747B (zh) 2019-02-22
US20150279018A1 (en) 2015-10-01
US9269142B2 (en) 2016-02-23
FR3019359B1 (fr) 2017-10-06
CN104951747A (zh) 2015-09-30
DE102015104125A1 (de) 2015-10-01

Similar Documents

Publication Publication Date Title
FR3019359A1 (fr) Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique
EP2965287B1 (fr) Procédé de suivi d'une cible dans une séquence d'images avec prise en compte de la dynamique de la cible
CN108028023A (zh) 信息处理装置、信息处理方法和程序
EP2275971A1 (fr) Procédé de détection d'un obstacle pour véhicule automobile
EP1999484B1 (fr) Detection d'obstacle
WO2009141378A1 (fr) Procede et systeme d'indexation et de recherche de documents video
FR3025898A1 (fr) Procede et systeme de localisation et de cartographie
FR3011368A1 (fr) Procede et dispositif pour le renforcement de la forme des bords pour l'amelioration visuelle du rendu base sur des images de profondeur d'un flux video en trois dimensions
EP1785966B1 (fr) Procédé d'évaluation, par un véhicule automobile, des caractéristiques d'un élément frontal
EP0961227B1 (fr) Procédé de détection de la profondeur relative entre deux objects dans une scène à partir d'un couple d'images issues de prises de vues différentes
WO2011124719A1 (fr) Procede de detection de cibles dans des images stereoscopiques
EP1646967B1 (fr) Procede de mesure de proximite de deux contours et systeme d'identification automatique de cibles
Wang et al. Object recognition using multi-view imaging
EP3069319B1 (fr) Système et un procédé de caractérisation d'objets d'intérêt présents dans une scène
FR3038760A1 (fr) Detection d'objets par traitement d'images
Yang Vehicle Detection and Classification from a LIDAR equipped probe vehicle
EP2769360B1 (fr) Procédé de localisation d'objets par résolution dans l'espace tridimensionnel de la scène
FR3054355B1 (fr) Procede et systeme de determination d'un espace libre situe dans une zone d'environnement d'un vehicule automobile
WO2018069060A1 (fr) Dispositif de localisation et dispositif de production de données d'intégrité
CA2800512C (fr) Extraction d'un document dans une serie d'images captees
Ban et al. Unsupervised change detection using multitemporal spaceborne SAR data: A case study in Beijing
FR3103301A1 (fr) Procédé de détection de pics d’intensité de faisceau lumineux réfléchi de manière spéculaire
FR3084864A1 (fr) Procede de densification d'une carte de profondeurs
EP2791687B1 (fr) Procede et systeme d'auto-calibration d'un dispositif de mesure de vitesse d'un vehicule circulant dans un espace tridimensionnel
Hernández et al. Segmentation et Interpr\'etation de Nuages de Points pour la Mod\'elisation d'Environnements Urbains

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

PLFP Fee payment

Year of fee payment: 10

TQ Partial transmission of property

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Effective date: 20230424

Owner name: CONTINENTAL AUTOMOTIVE FRANCE, FR

Effective date: 20230424

PLFP Fee payment

Year of fee payment: 11