FR2961928A1 - Procede et dispositif de reconnaissance d'un objet parasite dans une image de camera - Google Patents

Procede et dispositif de reconnaissance d'un objet parasite dans une image de camera Download PDF

Info

Publication number
FR2961928A1
FR2961928A1 FR1155534A FR1155534A FR2961928A1 FR 2961928 A1 FR2961928 A1 FR 2961928A1 FR 1155534 A FR1155534 A FR 1155534A FR 1155534 A FR1155534 A FR 1155534A FR 2961928 A1 FR2961928 A1 FR 2961928A1
Authority
FR
France
Prior art keywords
camera image
image
value
pixel value
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR1155534A
Other languages
English (en)
Inventor
Jad Halimeh
Stephan Simon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of FR2961928A1 publication Critical patent/FR2961928A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Procédé et installation pour reconnaître un objet parasite (210) dans une image de caméra (200) d'une séquence d'images de caméra. On enregistre une première valeur de pixel (g(x,y,t- τ)) à une position prédéfinie (x,y) dans une première image ou dans l'environnement qu'elle représente, une seconde valeur de pixel (g(x,y,t)) à une position prédéfinie (x,y) dans une seconde image et une troisième valeur de pixel (g(x,y,t+ τ)) à une position prédéfinie d'une troisième image de. La seconde image est prise à un instant (t) après la première image et la troisième image à un instant (t+ τ) après la seconde image. On détermine une valeur de référence avec la seconde valeur (g(x,y,t)) et une valeur de comparaison (d ) fondée sur la première valeur (g(x,y,t- τ)) et/ou la troisième valeur (g(x,y,t+ τ)). On reconnaît l'objet parasite à la position prédéfinie (x,y) si la valeur de référence (d ) est dans une certaine relation avec la valeur de comparaison (d ).

Description

1 Domaine de l'invention La présente invention se rapporte à un procédé et à un dispositif de reconnaissance ou de détection d'un objet parasite dans une image de caméra d'une séquence d'images de caméra pour éliminer l'objet parasite de cette séquence. L'invention se rapporte également à un produit programme d'ordinateur pour la mise en oeuvre du procédé. Etat de la technique Il est connu de détecter une couche de neige. Mais la difficulté réside dans la détection d'une chute de neige, c'est-à-dire de flocons en mouvement en utilisant une caméra. But de l'invention La présente invention a pour but de remédier à cette situation, et se propose de développer un procédé de reconnaissance ou de détection d'un objet parasite dans une image de caméra d'une séquence d'images de caméra, ainsi qu'un procédé d'élimination de l'objet parasite dans cette séquence d'images. L'invention se propose également de développer un dispositif mettant en oeuvre ce ou ces procédés, ainsi qu'un produit programme d'ordinateur pour la mise en oeuvre du procédé.
Exposé et avantages de l'invention A cet effet, l'invention a pour objet un procédé du type défini caractérisé par les étapes suivantes : - enregistrer une première valeur de pixel à une position prédéfinie dans une première image de caméra et dans l'environnement représenté dans la première image de caméra, une seconde valeur de pixel à une position prédéfinie dans une seconde image de caméra ou dans l'environnement représenté dans la seconde image de caméra et une troisième valeur de pixel dans une position prédéfinie dans une troisième image de caméra ou dans l'environnement représenté dans la troisième image de caméra, * la première image de caméra ayant été prise à un premier instant, la seconde image de caméra à un second instant après le premier instant et la troisième image de caméra à un troisième instant après le second instant,
2 - déterminer une valeur de référence en se fondant sur la seconde valeur de pixel et une valeur de comparaison en se fondant sur la première valeur de pixel et/ou la troisième valeur de pixel, et - reconnaître l'objet parasite à la position prédéfinie si la valeur de référence est dans une relation prédéfinie avec la valeur de comparaison. L'objet parasite ou objet perturbateur est, par exemple, une chute de neige ou autres objets gênants ou perturbants, qui se trouvent éventuellement dans l'image analysée, par exemple des feuilles qui tourbillonnent, de la grêle, des gouttes, des oiseaux, des insectes, qui se retrouvent dans les données de la séquence d'images prises par la caméra. La caméra peut être mobile ou fixe. Des domaines d'application possible du procédé sont notamment, l'assistance à la conduite, mais aussi les techniques de sécurité et de surveillance, la robotique ou les techniques assimilées. Les caméras de sécurité sont diffusées en millions d'exemplaires. Les caméras d'assistance de conduite passent, au cours des années avenir, de séries relativement réduites, pour le haut de la classe moyenne des véhicules à une extension plus large jusqu'à la classe des véhicules compacts.
Fréquemment, de telles caméras d'assistance de conduite sont équipées en technique "Rolling-Shutter", c'est-à-dire une technique de prise d'image par ligne ou colonne (fente mobile). Les images de la séquence d'images de la caméra, peuvent être des prises de vues devant le pare-brise du véhicule, par exemple par la caméra vidéo du système d'assistance de conduite du véhicule pendant le mouvement du véhicule. La première, la seconde et la troisième valeur de pixel est par exemple un niveau de gris ou une composante de couleurs du pixel à la position prédéfinie et dont l'amplitude peut être différente pour les trois images de caméra. La position prédéfinie peut se représenter par exemple mathématiquement dans un système de coordonnées x et y. L'intervalle de temps entre le premier instant, le second et le troisième, se calcule par exemple en nano secondes jusqu'à atteindre la plage des secondes. Le premier, le second et le troisième instant, correspondent par exemple à une certaine mesure de temps au cours de laquelle la caméra détecte la scène dans l'environnement du véhicule. Les valeurs
3 de pixel peuvent par exemple être enregistrées et pour cela, les valeurs de pixel donnent des signaux transmis à un appareil de commande. La valeur de référence peut se déterminer par exemple dans l'appareil de commande à l'aide d'un algorithme approprié et peut constituer une mesure pour une mise en relation de la seconde valeur de pixel avec la première et/ ou la troisième valeur de pixel. La valeur de comparaison peut se déterminer dans l'appareil de commande à l'aide d'un autre algorithme approprié et former une mesure pour mettre en relation la première et/ou la troisième valeur de pixel avec la seconde valeur de pixel. La valeur de comparaison sera par exemple déterminée seulement sur le fondement de la première valeur de pixel ou seulement sur le fondement de la troisième valeur de pixel ou sur le fondement d'une corrélation ou d'une valeur, en utilisant la première valeur avec la troisième valeur de pixel. La valeur de référence et la valeur de comparaison, peuvent être utilisées pour reconnaître l'objet parasite dans un calcul d'algorithme. La relation prédéfinie se représente par exemple en ce que l'objet parasite sera reconnu dans la seconde image de caméra, si dans une représentation de la première, de la seconde et de la troisième valeur de pixel dans un système de coordonnées, la différence entre la première et la seconde valeur de pixel, correspond à une autre différence entre la troisième et la seconde valeur de pixel. La présente invention a également pour objet un dispositif pour reconnaître un objet parasite dans au moins une image de caméra d'une séquence d'images de caméra et comprenant : - une installation pour enregistrer une première valeur de pixel à une position prédéfinie dans une première image de caméra ou dans l'environnement représenté dans la première image de caméra, une seconde valeur de pixel à une position prédéfinie dans une seconde image de caméra ou dans l'environnement représenté dans la seconde image de caméra, ainsi qu'une troisième valeur de pixel à une position prédéfinie dans une troisième image de caméra ou dans l'environnement représenté dans la troisième image de caméra, * la première image de caméra se produisant à un premier instant, la seconde image de caméra à un second instant après le premier
4 instant et la troisième image de caméra se produisant à un troisième instant après le second instant, - une installation pour déterminer une valeur de référence fondée sur la seconde valeur de pixel et une valeur de comparaison fondée sur la première valeur de pixel et/ ou la troisième me valeur de pixel, et - une installation pour reconnaître un objet parasite à une position prédéfinie si la valeur de référence se trouve dans une relation prédéfinie avec la valeur de comparaison. L'invention est fondée sur la considération que des objets parasites ou perturbateurs ne se trouvent entre la caméra et la scène observée que brièvement à un certain endroit, car du fait de leur faible distance à la caméra, les objets parasites effectuent un mouvement important dans l'image même si le mouvement en absolu dans la réalité où le mouvement relatif par rapport à la caméra est faible. Le mouvement d'un objet parasite dans l'image est habituellement grand, généralement beaucoup plus grand que le mouvement des objets de la scène, des personnes, des véhicules, des panneaux de circulation, des marquages, etc.. Le mouvement des objets parasites est généralement trop grand pour qu'il puisse être défini par un procédé d'évaluation de mouvement fondé sur une image. Dans le cas de flocons de neige ou d'objets volants analogues et en particulier pour des caméras en mouvement, l'absence d'aspect univoque des flocons ainsi que la disposition variable des flocons dans l'image, permettent une évaluation fiable du mouvement. Souvent, le mouvement d'un flocon proche dans l'image est même tellement grand, que même un observateur a des difficultés à retrouver sans équivoque, ce mouvement dans les images précédentes. En d'autres termes, le problème que se pose l'invention peut consister à détecter l'apparition brusque et la disparition aussi brusque des objets d'une séquence d'images de caméra.
La solution selon l'invention, offre l'avantage de pouvoir s'appliquer en temps réel comme composant supplémentaire sous la forme d'un procédé ou d'un dispositif, de manière simple et avec les plates-formes de traitement d'image disponibles actuellement. Il convient en particulier pour être appliqué comme étape préparatoire pour rendre reconnaissables tous les objets parasites importants, c'est- à-dire par exemple les objets parasites les plus grands et les plus remarquables dans l'image et qui sont en général perturbateurs, de façon que les algorithmes de vision par ordinateur, appliqués ensuite, puissent profiter de cette information. Il est également possible 5 d'éliminer les perturbations, c'est-à-dire de générer une image sans perturbation ou sans dérangement, avec les algorithmes suivants, sans autres moyens particuliers. La solution de l'invention telle que proposée en relation avec l'utilisation d'un capteur radar ACC dans un véhicule, est une solution intéressante. Un tel appareil a en effet tendance à se boucher avec de la neige si la neige tombe dans certaines conditions de température et d'humidité. Le capteur est alors neutralisé partiellement sans que le conducteur ne reçoive de message en retour. Les capteurs radar sont en général équipés d'une lentille chauffante qui doit faire fondre la neige. Dans certaines circonstances, le chauffage a effet opposé : si du fait de la température extérieure et de la quantité de neige, la puissance de chauffage ne suffit pas, alors le chauffage ne produit que la fusion superficielle et sous l'effet de son humidité, la neige s'accroche plus facilement. Dans ce cas, il est avantageux de ne pas brancher le chauffage pour que le capteur radar reste sec et sans neige. La détection de chutes de neige selon l'invention par un système vidéo, telle que proposée ci-dessus et le cas échéant en tenant compte d'autres paramètres tels que la température, permettra de résoudre au moins en partie cette difficulté.
Dans le développement d'algorithmes pour le système d'assistance de conduite, on a constaté que les fonctions d'assistance de conduite reposant sur les caméras, subissent actuellement un développement de fonctions simples d'assistance pour la conduite, telles que l'assistance de vision nocturne, l'avertissement de la présence de personnes, la commande adaptative de la lumière, l'avertissement en cas de sortie d'un couloir de circulation, la détection de panneaux de circulation ou de signes de circulation, l'assistance de conduite adaptative ACC, aboutissant globalement à des fonctions de sécurité. Alors que pour des fonctions de confort, les mesures erronées du capteur vidéo, peuvent être neutralisées ou tolérées par le conducteur
6 ou être dépassées, cela ne s'applique pas à des fonctions qui interviennent, comme par exemple le freinage automatique de secours. Cela se traduit par des probabilités de détection faussement positives, mais erronées, qui sont d'un ordre de grandeur plus faible que celles des fonctions de confort. La distance entre la caméra et l'objet observé est, de manière caractéristique de quelques mètres jusqu'à 10 mètres. Dans l'espace intermédiaire, il n'y a normalement que de l'air transparent et/ou la vitre et le cas échéant, des gouttes d'eau. Une chute de neige dense ou autres objets mis en turbulence, ne se rencontrent que très rarement dans cet intervalle. De façon correspondante, pour de tels cas, on ne rencontre que très rarement des données de séquence d'images utilisées par exemple pour les développements ou les tests. L'invention telle que présentée ci-dessus permet de réduire la probabilité qu'un cas critique, par exemple une combinaison malheureuse entre un véhicule dans l'arrière-plan et une couverture partielle par un objet flottant dans l'avant-plan, pourrait conduire à une détection de défaut d'un système d'assistance de conduite non réalisé comme le prévoit l'invention, parce que ce cas n'était, par exemple, pas prévu pour la phase de développement ou de test du système d'assistance de conduite. La proposition développée offre l'avantage de simplifier cette difficulté et cela à l'aide de la détection des flocons de neige ou de manière générale des objets couvrants, dans une première étape et d'effectuer une détection ou une poursuite de participants à la circulation, le cas échéant dans la seconde étape dans laquelle les couvertures par les objets parasites étaient connues. Mais, on peut également développer d'autres raisons pour lesquelles il est intéressant de détecter une chute de neige ou autres objets flottants. Par exemple, pour un passage rapide devant un signe ou panneau de circulation, très peu d'images peuvent être utilisées pour reconnaître le signe affiché. Si le signe ou panneau de circulation est par exemple trop éloigné, il sera représenté trop petit dans l'image ; s'il est trop proche, cela se traduit, au moins de nuit, par une image floue à cause de l'absence d'acuité pour une durée d'éclairage prolongée. Ainsi, souvent on ne pourrait exploiter que très peu d'images
7 de la succession d'images. Un flocon de neige dans une image par ailleurs exploitable, peut facilement conduire à une erreur de détection et ainsi se traduire par une contradiction avec les autres images. La détection des flocons de neige en tant que telle, selon le procédé exposé ici, offre l'avantage de résoudre cette contradiction. La même remarque s'applique par exemple pour une poursuite ou le traçage et la détection d'objets, de personnes, de traces de circulation et pour l'évaluation d'objets et de mouvements propres. La connaissance de la présence d'une couverture par exemple par un flocon de neige, peut toutefois s'utiliser avantageusement. Pour les raisons ainsi évoquées, il est intéressant de résoudre le problème de la reconnaissance de flocons de neige, de feuilles ou d'objets analogues qui flottent. La présente invention fournit une solution simple et pratique, s'intégrant comme étape de préparation dans un système de vision par ordinateur.
Selon une caractéristique, dans l'étape de reconnaissance de l'objet parasite, on peut reconnaître à la position prédéfinie, si la première valeur de pixel et la troisième valeur de pixel, ont respectivement une valeur située dans une plage de tolérance commune, prédéfinie. Par exemple, pour une différence située dans une plage de tolérance entre la première et la troisième valeur de pixel, on pourra, sans difficulté, utiliser par exemple la première valeur de pixel pour former une valeur de comparaison et utiliser la troisième valeur de pixel pour vérifier la première valeur. Inversement, on peut également utiliser la troisième valeur de pixel pour former une valeur de comparaison ou la première valeur de pixel pour la vérification. Ces différentes possibilités peuvent s'appliquer à des différents algorithmes pour former des valeurs de comparaison. En outre, dans l'étape de reconnaissance de l'objet parasite à une position prédéfinie, on pourra savoir si un premier rapport entre la valeur de référence et la valeur de comparaison se situe dans une plage de tolérance par rapport à un second rapport entre la valeur de référence et une autre valeur de comparaison. Cette autre valeur de comparaison peut se déterminer sur le fondement de la troisième valeur de pixel. De manière avantageuse, on peut ainsi constater avec deux opérations de calcul effectuées indépendamment
8 l'une de l'autre et de manière simple, si l'objet parasite se trouve dans la seconde image de caméra ou non. Dans l'étape de reconnaissance de l'objet parasite à une position prédéfinie, on peut également reconnaître si la valeur de référence diffère de la valeur de comparaison de plus d'une grandeur prédéfinie. On peut ainsi avantageusement renoncer à la capacité de calcul pour déterminer la plage de tolérance et rendre l'étape de reconnaissance de l'objet parasite encore plus simple et plus robuste. En outre, dans l'étape de reconnaissance d'une relation prédéfinie, on peut former la différence ou le rapport entre la valeur de référence et la valeur de comparaison. C'est ainsi que l'on peut par exemple utiliser des algorithmes différents à la fois pour l'étape de formation de la relation entre la valeur de comparaison et la valeur de référence et aussi pour l'étape de reconnaissance de l'objet parasite. On augmente ainsi avantageusement les domaines d'application du procédé présenté ci-dessus. En outre, dans l'étape de reconnaissance, on peut définir une différence entre la valeur de référence et la valeur de comparaison et/ou l'autre valeur de comparaison. En fonction de la différence, on pourra reconnaître la probabilité de la présence de l'objet parasite à une position prédéfinie. Il en résulte l'avantage d'avoir une mesure continue de la reconnaissance de l'objet parasite. Le cas échéant, si une probabilité relativement importante apparaît pour la présence de l'objet parasite, on peut appliquer d'autres procédés de contrôle de cette hypothèse. Cela permet, le cas échéant, d'arriver plus rapidement et plus sûrement au résultat. Selon un autre développement, le procédé comprend une étape consistant à déterminer des structures ou des intersections monodimensionnelles par rapport à des structures monodimensionnelles dans au moins l'une des images de la séquence d'images de caméra. Ainsi, on considèrera dans l'étape de reconnaissance, qu'il n'y a pas d'objet parasite à une position prédéfinie, si pour cette position prédéfinie, on a décelé une structure monodimensionnelle ou l'intersection de structures monodimensionnelles. Les structures monodimensionnelles sont par
9 exemple un bord ou une arête horizontale ou verticale de la carrosserie du véhicule ou de panneaux de circulation. Un projecteur ou un feu arrière d'un véhicule peut apparaître dans une image de caméra comme une structure monodimensionnelle. Par exemple, l'étape de reconnaissance de structures monodimensionnelles peut se faire par un filtrage passe-haut des signaux de l'image caméra ou de toutes les images caméra. On évite ainsi avantageusement que par exemple, les arêtes verticales des panneaux de circulation ou des parties de la carrosserie du véhicule, soient identifiées comme objets parasites, par erreur à cause d'une vitesse de circulation élevée. Selon un autre développement, le procédé peut comporter une étape de saisie d'une densité de neige. On pourra faire le rapport entre le nombre de positions prédéfinies dans l'image auxquelles on a reconnu des objets parasites, en particulier des objets parasites ayant une dimension minimale, et le nombre de positions d'une image de caméra. Cela permet de saisir la densité de neige. Si un degré de densité de neige est reconnu, on pourra par exemple décider à partir de là, s'il est avantageux de mettre en marche le chauffage des lentilles du capteur radar installé dans le véhicule.
L'invention a également pour objet un procédé permettant d'éliminer les objets parasites dans la séquence des images de caméra, ce procédé comprenant les étapes du procédé décrit ci-dessus pour reconnaître les objets parasites dans l'image d'une séquence d'images de caméra et le remplacement de la seconde valeur de pixel à une position prédéfinie dans la seconde image de caméra par une valeur de pixel qui est, dans une relation prédéfinie, avec la première valeur de pixel et/ou la troisième valeur de pixel. Le remplacement peut se faire par exemple par interpolation de la seconde valeur de pixel avec la première ou la troisième valeur de pixel ou avec une combinaison de la première et de la troisième valeur de pixel. On peut également remplacer la seconde valeur de pixel par la première ou par la troisième. L'invention a également pour objet un dispositif de reconnaissance des objets parasites, ce dispositif étant réalisé pour exécuter des étapes du procédé de l'invention. En particulier, le
10 dispositif comporte des installations pour exécuter chaque étape du procédé. Cette variante de réalisation de l'invention sous la forme d'un dispositif, permet de résoudre rapidement et efficacement le problème auquel l'invention apporte sa solution.
Le dispositif dans le cadre de l'invention, est un appareil électrique traitant des signaux de capteur et fournissant des signaux de commande en fonction de ces signaux de capteur. Le dispositif peut comporter une interface réalisée sous la forme d'un circuit et/ ou d'un programme. Dans le cas d'une réalisation sous la forme d'un circuit, les interfaces peuvent par exemple faire partie d'un circuit ASIC (circuit dédié) ou d'un circuit FPGA avec les fonctions les plus diverses du dispositif. Mais il est également possible que les interfaces soient des circuits intégrés ou du moins fassent partie de composants discrets. Dans le cas d'une réalisation sous la forme d'un programme, les interfaces peuvent être des modules de programme enregistrés par exemple dans un microcontrôleur à côté d'autres modules de programme. Il est également avantageux de réaliser l'invention sous la forme d'un produit programme d'ordinateur avec un code programme enregistré sur un support lisible par une machine telle qu'une mémoire semi-conductrice, un disque dure ou une mémoire optique pour la mise en oeuvre du procédé tel que décrit ci-dessus lorsque le programme est exécuté par un appareil de commande. Dessins Un procédé et un dispositif de reconnaissance ou de détection d'un objet parasite dans une image de caméra, seront décrits ci-après de manière plus détaillée à l'aide d'exemples de réalisation représentés dans les dessins annexés dans lesquels : - la figure 1 montre un ordinogramme d'un procédé de reconnaissance d'un objet parasite dans une séquence d'images de caméra selon un exemple de réalisation de l'invention, - la figure 2 montre pour la comparaison, un extrait d'image provenant d'une image originale fournie par une caméra d'assistance de conduite et sa représentation pour localiser des pixels concernés
11 par un recouvrement lié à une chute de neige selon un exemple de réalisation de la présente invention, - la figure 3 montre une comparaison entre une autre image originale et une représentation d'une localisation de pixels détectés, concernés par un recouvrement lié à un mouvement d'essuie-glace selon un exemple de réalisation de la présente invention, - la figure 4 montre la comparaison de l'image originale de la figure 2 et d'une représentation de l'extrait d'image avec remplacement des pixels couverts selon un exemple de réalisation de l'invention, - la figure 5 est une représentation d'un détail de l'image originale de la figure 2 après un filtrage passe-haut suivant un exemple de réalisation de l'invention, - la figure 6 montre deux systèmes de coordonnées pour décrire la relation entre une densité mesurée de neige dans l'image et la densité effective de la neige dans l'image, - la figure 7 montre trois extraits d'image successifs d'une séquence d'images de caméra pour expliciter un cas limite de détection d'un objet parasite selon un exemple de réalisation de la présente invention, - la figure 8 est une représentation de principe d'un dispositif de reconnaissance d'un objet parasite dans un véhicule selon un exemple de réalisation de la présente invention. Dans les différentes figures on utilisera les mêmes références pour désigner les mêmes éléments ou des éléments identiques sans reprendre leur description. Les descriptions données ci-après en relation avec les figures ne constituent que des exemples de réalisation sans limiter le caractère général de l'invention. Les exemples décrits ci-après peuvent être implémentés à titre de prototypes (à côté d'autres variantes) pour montrer une application pratique. Dans les figures, certains types d'évènements sont présentés de manière réelle à l'aide de données réelles d'image. L'arrivée brusque et ensuite la disparition d'un objet parasite à un endroit de l'image sont caractérisées par la luminosité ou en variante par la couleur, qui dans une image changent et reviennent ensuite à la valeur d'origine. En alternative à la variation de la
12 luminosité ou de la couleur, on peut également caractériser par la variation d'une caractéristique formée à partir de la luminosité et/ou des valeurs de couleur de plus d'un pixel. On peut notamment utiliser plusieurs pixels côte-à-côte localement et/ou dans le temps et par exemple par une addition, une soustraction, une multiplication ou une division, le cas échéant, pondérées, et combiner ces pixels pour former la caractéristique. La caractéristique correspond à un ensemble de coordonnées (x,y,t), par exemple obtenues en formant la valeur moyenne ou un minimum pour les pixels concernés.
Si l'on considère un niveau de gris ou la valeur d'une composante de couleur ou une caractéristique g(x,y,t) avec des coordonnées de pixels (x,y) et un temps de détection ou un instant de détection t, on pourra exprimer la grandeur dg portant l'indice g pour "droit", par la relation suivante : dg (x,y,t) = - 1/2 g(x,y,t - T) + g(x,y,t) - 1/2 g(x,y,t + T) (1)
cette relation est la mesure, le cas échéant avec un signe algébrique de la variation brusque dans l'image à l'instant t comparé à des images antérieures ou suivantes (c'est-à-dire aux instant t- i ou t+ T). La variable T, désigne la fréquence de répétition des images ou un multiple entier de cette fréquence. La grandeur d' porte l'indice u pour "impair" : du(x,y,t) = - g(x,y,t - T) + g(x,y,t + T) (2)
Cette formule est également une mesure, le cas échéant avec un signe algébrique pour une variation au même endroit et au même instant sans tenir compte de l'évènement brusque.
Si 1 dg(x,y,t) 1 est grand et 1 du(x,y,t) 1 petit, au pixel (x,y) à l'instant t on aura une variation brusque qui peut être occasionnée par un objet parasite. Si en revanche 1 dg(x,y,t) 1 et 1 du(x,y,t) 1 sont grands, cela peut indiquer qu'au moins à l'instant t, on ne peut faire une telle conclusion.
13 Si 1 dg(x,y,t) 1 et 1 d' (x,y,t) 1 sont petits, on se trouve par approximation, dans un cas stationnaire, c'est-à-dire le cas normal. Il est également avantageux d'observer le rapport ou la différence des valeurs absolues, c'est-à-dire 1 dg 1 / 1 d' 1 ou 1 dg 1 - 1 d' 1 et les comparer, le cas échéant, par rapport à un seuil. En même temps, il est avantageux de comparer la valeur 1 dg 1 par rapport à une autre valeur de seuil qui lui est propre, et que l'on peut, le cas échéant, ajuster de manière adaptative au contenu de l'image. Ce second seuil peut être un seuil de signification servant à négliger de petites variations absolues de la valeur absolue et qui proviennent par exemple d'erreurs occasionnelles de mesure pour la formation du rapport ou de la différence pour que le système puisse travailler d'une manière suffisamment robuste. Au lieu de former la différence selon (1) ou (2) ci-dessus, on peut également utiliser d'autres mesures de distance telles que par exemple le rapport ou la combinaison de fonctions non linéaires et former une différence ou un quotient. Il est à remarquer que la transformation logarithmique (qui est souvent appliquée de manière interne par approximation dans les caméras fortement dynamiques), suivie d'une soustraction de deux niveaux de gris, est synonyme d'une division des niveaux ou valeurs de gris. En exploitant la relation entre dg (x,y,t) et d' (x,y,t), on peut, en variante à la formation du seuil (avec une réponse binaire), former également une distance par rapport à un seuil. On a ainsi une mesure continue de la présence d'un objet parasite. Ce moyen a également été utilisé dans les exemples d'image présentés dans les figures suivantes. Pour un procédé ou un dispositif selon l'invention, on a différentes possibilités d'application. C'est ainsi que l'on peut détecter des flocons de neige, des grêlons, des gouttes de pluie, en particulier de grandes gouttes de pluie, de la végétation, des insectes, des oiseaux, des emballages volants ou objets analogues, mais aussi des particules de saletés ou de cendres, des projectiles lancés, etc.., dans l'environnement à l'avant du véhicule. On peut également détecter l'essuie-glace dans l'image. En effet, il exécute un mouvement important
14 dans l'image dans le sens indiqué ci-dessus. De plus, il est possible de localiser localement tous les objets parasites cités ci-dessus, par exemple en indiquant tous les points images ou pixels couverts par un objet parasite dans l'image respective. Au lieu d'utiliser une description binaire, on peut utiliser au moins une description avec une valeur continue qui indique par exemple l'intensité de la couverture, c'est-à-dire par exemple le degré de transparence ou encore l'intensité de la variation de luminosité par la couverture ou encore la sécurité de l'algorithme quant à la présence d'une couverture sur le pixel concerné.
La solution selon l'invention permet en outre d'éliminer la couverture en remplaçant par exemple le pixel couvert en utilisant les niveaux de gris ou les couleurs des pixels des images précédentes ou suivantes et/ou les pixels du voisinage local dans la même image. Les exemples décrits ci-après à l'aide des figures 2 à 7, concernent la détection ou l'élimination d'une chute de neige ainsi que le mouvement d'un essuie-glace dans la séquence des images de caméra. La figure 1 montre l'ordinogramme d'un procédé 100 pour reconnaître un objet parasite dans une séquence d'images de caméra selon un exemple de réalisation de l'invention. La séquence d'images de caméra selon l'exemple présenté ici, est constituée par trois images vidéo d'une scène se déroulant devant le pare-brise d'un véhicule ; ces images ont été prises successivement à trois instants différents. Le procédé 100 est également réalisable avec un nombre différent d'images de caméra dans une séquence d'images. Dans la première étape 110, on prend une première valeur de pixel, une seconde valeur de pixel et une troisième valeur de pixel pour l'appareil de commande exécutant le procédé 100. Les trois valeurs de pixel concernent respectivement une seule et même position prédéfinie dans chacune des trois images de caméra. La position représente un point dans l'environnement du véhicule. L'appareil de commande peut être un dispositif contenant en mémoire un algorithme à l'aide duquel, on met en relation les trois valeurs de pixel par exemple à l'aide de leur niveau de gris et de l'instant de leur prise de vue pour constater ensuite si, par exemple la seconde valeur de pixel représente un objet parasite dans la seconde image de caméra. Dans l'étape 120 suivante, on détermine
15 dans l'appareil de commande et à l'aide de l'algorithme, une valeur de référence et une valeur de comparaison. La valeur de référence peut être fondée sur la seconde valeur de pixel et la valeur de comparaison sur la première et la troisième valeur de pixel en supposant que la première et la troisième valeur de pixel, se trouvent par exemple dans une plage de tolérance commune. Dans l'étape 130 après l'étape 120, on reconnaît l'objet parasite dans la seconde image de caméra à la position prédéfinie, si la valeur de référence est dans une certaine relation prédéfinie avec la valeur de comparaison. La relation prédéfinie peut, par exemple consister à ce que la distance entre la valeur de référence et la valeur de comparaison, dépasse un seuil prédéfini. La figure 2 montre l'un à côté de l'autre un extrait de l'image originale 200 fournie par une caméra d'assistance de conduite et la représentation de l'image 200 y compris la localisation de détection d'un pixel concerné par une couverture résultant d'une chute de neige selon un exemple de réalisation de la présente invention. On a représenté le cas précisément d'une forte chute de neige sur une route à plusieurs voies avec une délimitation des voies de circulation ou couloirs de circulation par rapport à la voie venant en sens opposé à gauche dans chacune des deux images 200. A gauche de la figure 2, on a représenté un extrait d'image centrale provenant d'image originale 200 fournie par une caméra d'assistance de conduite. A droite à la figure 2, on a représenté le résultat d'un algorithme selon l'exemple de réalisation pour l'image de caméra 200. L'algorithme est conçu pour détecter et localiser, les pixels couverts dans l'image de caméra. Dans l'exemple de réalisation présenté à la figure 2, la couverture du pixel concerné par des objets parasites 210, se présente sous la forme de flocons de neige de différentes dimensions et épaisseurs dont un seul a été référencé pour ne pas compliquer le dessin. Les objets parasites 210 détectés et localisés selon l'algorithme de l'invention, sont marqués dans l'image droite de la représentation de la figure 2, en couleurs ou par une augmentation du gris sur l'image de caméra 200. La saturation de la teinte de l'intensité du niveau de gris est une mesure de la variation de la luminosité au niveau du pixel concerné. Selon la séquence d'images de caméra utilisée
16 dans le procédé, l'image de la figure 2, dans le cas d'une séquence de trois images de caméra, est la seconde image. Dans la scène de l'environnement du véhicule représenté ici, un camion 220 circulant devant, et un panneau routier 230 sur la ligne médiane des chaussées représentées, n'ont pas été reconnus comme objets parasites dans la proposition présentée ici. Dans une relation avec la séquence d'images de caméra nécessaire au procédé, la combinaison des données de mouvement propre est importante. Si entre les prises de vues 200, la caméra effectue un mouvement de translation et/ou notamment un mouvement propre de rotation, cela se répercute dans l'image de caméra 200 représentant la scène. Les positions d'image des objets de la scène 220, 230 seront décalées. Si le mouvement de la caméra par rapport à la scène, est connu, on peut compenser par le calcul. Pour juger des données d'image nécessaires à la compensation d'un mouvement propre, on a différentes possibilités. On peut utiliser des capteurs d'inertie, par exemple des capteurs inertiels, notamment avec des capteurs de vitesses de rotation et des capteurs d'accélération pour un mouvement autour et/ou le long d'un ou plusieurs axes. En outre, l'exploitation de capteurs de course de suspension tels que par exemple des capteurs de niveau dans un véhicule, sont intéressants en particulier pour la saisie de mouvement de basculement ou de tangage. Les capteurs de vitesses de rotation du véhicule, installés de préférence à droite et à gauche, peuvent servir à déterminer un mouvement de lacet à partir de la différence. On peut également utiliser un capteur d'angle de direction. De plus, on peut évaluer le mouvement propre à partir de la succession des images. Cela constitue une solution avantageuse car, elle permet une très grande précision et indépendance et évite les problèmes de synchronisation et de calibrage géométrique.
En variante, pour combiner les données de mouvement propre, on peut également avoir une combinaison et une évaluation de mouvement. Il est habituel d'utiliser dans des systèmes de vision par ordinateur, puissants, également des procédés d'évaluation de mouvement. En combinaison avec le procédé de détection d'objets parasites, on peut s'interroger sur l'ordre de la combinaison des deux
17 car, chacun des deux procédés peut utiliser les résultats de l'autre. Si tout d'abord on détecte les objets parasites 210, on peut les exclure de l'évaluation de mouvement. En revanche, si on détecte d'abord le mouvement, on peut utiliser le procédé de détection d'objets parasites avec les objets de scène connus 220, 230 et leur données de mouvement ou l'ensemble du champ de mouvement. C'est ainsi que la détection d'objets parasites peut se faire avant la formation interne de la différence avec compensation de mouvement pour les images antérieures ou postérieures 200. On évite dans ces conditions que des régions d'image texturées, en mouvement, occasionnent des détections erronées. En outre, des algorithmes d'évaluation de mouvement permettent en général de constater si une correspondance appropriée a été trouvée dans la plage de recherche. Il est possible d'assister ou de rendre plausible la détection d'objets parasites. Dans chaque cas, il est avantageux de combiner la détection d'objets parasites et la détection de mouvement. Dans le procédé présenté ci-dessus, on a un temps de latence T, correspondant à une période d'image. L'information concernant l'existence et la position d'objets parasites 210, se trouve en général seulement avec un retard par rapport à l'image 200. Pour certaines applications, cette situation et sans difficulté. En revanche, pour d'autres, le temps latence doit être réduit au minimum. On peut appliquer différentes solutions à cet effet. Dans le cas de procédés de détection d'objets, il faut rendre plausible la détection de l'objet par plusieurs procédés d'observation pour que les résultats soient considérés comme valides. La présente connaissance retardée d'une image pour les objets parasites 210, peut toujours s'utiliser à postériori, pour déplausibiliser des objets reconnus à tort comme étant plausibles.
Dans les procédés d'évaluation de mouvement, on compare de manière caractéristique deux contenus d'images successifs. Si la plus ancienne des deux images fournit la connaissance des objets parasites 210 comme cela est le cas en relation avec les exemples de réalisation décrits ci-dessus, il suffit d'éliminer des candidats de vecteur de mouvement commençant au niveau de l'objet parasite 210.
18 Une solution de compromis sans temps de latence, consiste à échanger l'ordre d'utilisation des trois images 200. Si l'on a pour la détection d'un objet parasite, une variation faible entre t - 2i et t - T et une variation importante entre t - T et t, on pourra toujours constater des variations brusques, si ce n'est toujours leur disparition directe. Une combinaison des deux procédés cités ci-dessus, c'est-à-dire selon l'ordre des exemples de réalisation décrits aux figures et de l'ordre échangé, est intéressante en relation avec l'évaluation du mouvement, car ici l'image antérieure 200 et l'image actuelle 200, ont été traitées différemment. De nuit, les flocons de neige 210 sont éclairés par les projecteurs du véhicule et ils sont ainsi plus clairs que ceux cachés par l'environnement. Connaissant cela, il suffit pour la détection, de n'avoir que deux images au lieu de trois images 200 pour constater dans quelle image 200, se trouve le flocon de neige respectif 210 et entre lesquelles il alterne, car cela est toujours lié à une variation positive de luminosité. Pour une meilleure compréhension, il convient de répéter l'explication : de jour, il y a des flocons clairs 210 sur un fond sombre, par exemple la chaussée et des flocons 210 sur un fond clair par exemple le ciel. Si l'on forme la différence des deux images 200, on peut certes déceler sans équivoque l'emplacement des flocons 210, mais on ne saura pas dans laquelle des deux images se trouve le flocon. Dans ce contexte, on peut utiliser avantageusement la netteté du mouvement. Dans le cas d'objets parasites 210 proches de la caméra et pour un trajet important parcouru dans l'image 200, pendant l'éclairage en temps réel, l'objet 210 sera représenté comme étant brouillé du fait de l'absence de netteté du mouvement. Ce fait peut être utilisé pour rendre plausible et/ou pour évaluer d'autres inconnus. Par exemple, le flocon 210 a une certaine vitesse de déplacement et/ou une vitesse de vent relative, déterminée, ainsi que sa direction, un chemin de trajectoire caractéristique le long des lignes d'écoulement en amont et en aval du véhicule. La trajectoire de ces mouvements est prévisible et peut être observée dans l'hypothèse certes d'une perturbation laminaire. Cela peut s'utiliser pour plausibiliter la détection de la chute
19 de neige. En outre, à partir du mouvement observé, relatif, des flocons, pour un mouvement propre connu, par exemple par la vitesse de rotation d'une roue, la vitesse de lacet, les coordonnées GPS, un compas, etc.., on pourra déterminer la direction du vent. De plus, à partir du rapport longueur/ largeur du flocon 210 avec une image non précise, pour la vitesse relative, même avec une caméra monoculaire, on pourra calculer la distance et en particulier la taille approximative du flocon 210. La figure 3 montre la comparaison d'une autre image originale 300 de l'environnement d'un véhicule et de sa représentation avec détection localisée d'un pixel couvert par le mouvement de l'essuie-glace selon un exemple de réalisation de la présente invention. L'autre image d'origine 300, peut être prise peu avant ou après l'image de caméra décrite en liaison avec la figure 2 par la caméra d'assistance de conduite. Indépendamment du faible temps écoulé, l'image montre la même scène devant le pare-brise du véhicule. Dans le cas de l'image de caméra 300 représentée à gauche de la figure 3, le coin d'image inférieur gauche apparaît de manière schématique comme l'essuie-glace apparaît dans l'image 300 : la représentation de l'image de caméra 300 à droite de la figure 3, montre clairement également l'arrivée brusque et en grande surface, de l'objet parasite 310 tel que l'essuie-glace qui peut être détecté en toute sécurité par l'algorithme. La figure 4 montre l'une à côté de l'autre l'image d'origine 200 de la figure 2 et une représentation de l'extrait d'image 200 avec remplacement des pixels concernés par la couverture selon un exemple de réalisation de l'invention. Dans la représentation de l'image de caméra 200 à droite de la figure 4, on voit qu'aux positions des pixels qui, précédemment étaient par exemple marquées de manière sombre, on a remplacé les niveaux de gris. Pour cela, on a utilisé les niveaux de gris de l'image précédente et/ou de l'image suivante. Le remplacement des objets parasites peut se faire par exemple par une interpolation locale ou dans le temps ou encore par le remplacement direct des valeurs de pixel concerné par des valeurs de pixel provenant d'autres images.
20 Comme le montre la figure 4, la détection d'objets parasites peut également servir à remplacer le niveau de gris ou la valeur de couleur de pixel concernée par la couverture, en utilisant par exemple des valeurs provenant du voisinage local immédiat, ce qui s'appelle interpolation locale ; on peut également utiliser une interpolation dans le temps à partir de valeurs provenant du voisinage dans le temps de la valeur de pixel concernée dans des images antérieures et les images postérieures. On peut également avoir une combinaison des deux. Différents avantages en découlent. Ainsi, dans l'algorithme du traitement d'image effectué ensuite, on ne tient plus compte de la présence d'objets parasites car ils ont déjà été éliminés. L'observateur humain peut observer beaucoup plus longtemps et sans fatigue de telles suites d'image de caméra, nettoyées. En outre, le nettoyage, améliore le travail de compression. Des évènements qui arrivent brusquement, ont une teneur en informations plus élevée si l'on tient compte de la théorie de l'information, lorsque ces informations sont codées pour un taux de bit requis, plus élevé ou un besoin de mémoire plus élevé pour l'enregistrement de l'image ou sa transmission. A cet endroit, l'information supplémentaire en général non souhaitée, pourrait se traduire par des coûts d'enregistrement ou de transfert élevés. L'élimination préalable selon la solution proposée ici, évite cette situation. Une application possible est celle des caméras de surveillance. Dans le cas d'une caméra fixe et d'une scène pratiquement statique, on économise d'une manière particulièrement élevée grâce à ce nettoyage. La figure 5 est une représentation d'un extrait de l'image originale de la figure 1, après un filtrage passe-haut selon un exemple de réalisation de l'invention. La figure montre pratiquement les arêtes horizontales et verticales du camion 220 et du panneau de circulation 230. Un signal obtenu par un filtre passe-haut, peut s'utiliser pour supprimer la détection de zones d'image riches en contraste et mobiles. L'exploitation décrite en relation avec les figures 2 à 4, considère le pixel respectif indépendamment de son environnement dans l'image. Il peut toutefois être avantageux de tenir compte du voisinage local des pixels dans une même image. En effet, si le contraste
21 local est important, alors un mouvement relatif d'un objet de la scène 220, 230, par exemple un véhicule qui passe, peut avoir une grande valeur 1 dg(x,y,t) 1 et une petite valeur 1 du(x,y,t) 1 , car une ligne trop sombre sur un fond clair, passe sous le pixel. Pour éviter une telle erreur de détection, il est avantageux de tenir compte du contraste local sous une forme atténuée dans le détecteur. Cela peut se faire par exemple en lissant localement dans le sens de l'affaiblissement l'amplitude du signal d'image sortant du filtre passe-haut, par exemple à partir d'une image actuelle ou d'une ou plusieurs images antérieures ou d'images postérieures ou une combinaison de celles-ci, pour les intégrer dans le signal de détection, par exemple par soustraction. Cela a également été effectué sur les exemples d'image présentés aux figures 2 à 4. Un exemple d'un signal affaibli est représenté à la figure 5. Cette solution a également l'avantage de faire apparaître les feux de route LED pulsés qui se traduisent dans certaines conditions, telles que la fréquence des impulsions, le rapport impulsion/pause, la fréquence de détection de la caméra, le temps d'éclairage et la phase relative par rapport à une apparition pulsée dans l'image pour ne pas arriver à une fausse détection. L'utilisation de l'atténuation fait certes que les flocons de neige ne sont plus détectés devant le fond en mouvement avec un fort contraste. Mais dans certaines applications, cela peut être toléré. En particulier, l'observateur humain est relativement insensible aux erreurs qui se cachent dans l'environnement riche en contraste. Par exemple, pour cela, on a une assistance de véhicule avec affichage d'image ou indication d'image ou représentation d'image pour la technique de surveillance. La figure 6 montre deux diagrammes avec des systèmes de coordonnées pour décrire la relation entre la densité de neige mesurée dans l'image et la densité effective de neige dans l'image. La densité de la neige dans l'image se caractérise par exemple par le nombre de pixels couverts par un flocon de neige susceptible d'être détecté, en se rapportant au nombre total de pixels dans l'image. Une densité de neige dans l'image peut être transformée par le calcul en une densité de neige dans l'air. La désignation abrégée "densité de neige",
22 signifie ci-après toujours la densité de neige dans l'image. Les diagrammes montrent un système de coordonnées dans lequel on a représenté chaque fois en abscisses la densité effective de neige (p) et en ordonnées la densité mesurée (q). La densité de neige mesurée peut par exemple se déterminer dans la présente solution en exploitant le nombre de positions reconnues comme étant des objets parasites dans l'image de caméra. Dans le cas du système de coordonnées à gauche de la figure 6, les abscisses représentent les valeurs des ordonnées comprises entre 0 et 1 et les valeurs en pourcentage 0 % - 100 % correspondent. Dans le système de coordonnées à droite, on a fait la représentation fondée sur les abscisses et sur les ordonnées avec des valeurs comprises entre 0 et 0,1 qui correspondent respectivement aux potentiels 0 % et 10 %. Un graphe 610 dans le système de coordonnées à gauche dans la représentation, augmente du point d'origine du système de coordonnées, tout d'abord comme une onde pour ensuite se rapprocher de nouveau de l'axe des abscisses et le rejoindre finalement. Contrairement à cela, le graphe 620 du système de coordonnées à droite dans la représentation, à l'origine du système de coordonnées jusqu'au point final de 0,1 sur les abscisses et de 0,08 sur les ordonnées, on a une pente relativement continue, régulière. Le système de coordonnées à droite dans la représentation de la figure 6, est un agrandissement de détail du système de coordonnées à gauche. En relation avec la détection proposée et l'élimination de la chute de neige et des objets perturbateurs dans les séquences d'image, il faut remarquer que certaines applications, comme par exemple la commande du chauffage du capteur de radar, ne nécessitent aucune information relative à la position des différents flocons de neige ou autres objets parasites dans l'image, mais uniquement une mesure scalaire par exemple une densité moyenne de neige dans l'image. Pour cela, on peut par exemple mettre le nombre de pixels couverts par les objets parasites d'au moins une dimension minimale en rapport avec le nombre total des pixels, le cas échéant avec aussi la fonction d'essuyage. Comme le montrent les deux systèmes de coordonnées de la figure 6, pour des fortes densités de neige avec un procédé selon les
23 exemples de réalisation des figures décrites précédemment, on peut rencontrer une erreur systématique, car pour la détection de l'objet parasite avec trois observations, il faut toujours que deux observations, c'est-à-dire une image amont et une image aval, ne soient pas perturbées. La véritable densité de neige sera désignée ci-après par (p) ; la densité de neige mesurée sera désignée par (q). Dans l'hypothèse acceptable dans des conditions normales que deux évènements perturbateurs successifs se produisent indépendamment l'un de l'autre de façon statistique sur un pixel, et sont uniquement décrits par la probabilité de production (p), alors la probabilité que des pixels s'observent en étant successivement non perturbés, puis perturbés, puis de nouveau non perturbés, est donnée par la relation suivante :
q=(1-p)'p.(1-p) (3) Cela permet par exemple d'établir une prescription de correction pour déterminer la densité correcte à partir de la densité mesurée. La relation entre (p) et (q) est représentée graphiquement à la figure 6. Il apparaît que des écarts dans la densité de neige, dans une plage de quelques pourcents ce qui représente le cas principal d'application, sont faibles. Pour des densités de neige supérieures à 10 % et en particulier au-delà de 30 %, il y a toutefois des écarts importants entre (p) et (q). La figure 7 montre un cas limite de détection d'un objet parasite à l'aide d'un extrait fixe dans trois images successives d'une séquence d'images de caméra 700 selon un exemple de réalisation de la présente invention. La séquence d'images de caméra 700, se compose de trois images de caméra 710, 720, 730 prises successivement. Dans chacune des images 710, 720, 730, on a mis en rapport l'image de caméra effective avec l'image portant une référence en couleur pour l'objet perturbateur détecté. Comme il s'agit d'un gros flocon de neige comme objet parasite 740 qui se déplace par hasard précisément le long du rayon de vision de la caméra et apparaît ainsi plusieurs fois au même endroit dans l'image 710 et 720, le modèle de l'arrivée brusque et de la disparition toute aussi brusque de la perturbation, ne la concerne
24 pas. La perturbation sera non détectée ou seulement en détection partielle. On a observé le même effet déjà à la figure 3 : en marquant l'essuie-glace, on rencontre précisément des intervalles là où se trouvent des objets précédents et suivants. La figure 8 est une représentation de principe d'un dispositif de reconnaissance d'un objet parasite ou perturbateur dans un véhicule selon un exemple de réalisation de l'invention. La figure montre un véhicule 800 équipé d'un dispositif 810 pour reconnaître un objet perturbateur. La figure montre également une caméra d'assistance de conduite 820 installée dans la zone avant du véhicule 800, cette caméra étant conçue pour saisir des scènes de circulation devant le véhicule 800 et de transmettre des données d'image correspondantes au dispositif 810. Les données d'image pourront être exploitées pour reconnaître ou pour éliminer des objets parasites à l'aide d'un algorithme approprié. En relation avec la solution selon l'invention décrite ci - dessus, il est intéressant de combiner la détection de la chute de neige avec un thermomètre et/ou un capteur d'humidité. En outre, dans un système de vision stéréophonique avec des zones d'image correspondantes entre une première et au moins une seconde caméra, on cherche à calculer par triangulation et sans enlever les "points réels" correspondants (c'est-à-dire la position d'objets qui se trouvent en réalité devant le véhicule ). S'il y a des objets perturbateurs comme cela a été décrit, la détermination de correspondance ne fonctionnera pas à ces endroits, ce qui se traduit dans le cas d'origine, par des erreurs de mesure. Le procédé décrit ici permet d'examiner les deux images de caméra tout d'abord pour trouver l'objet parasite ou perturbateur et ces zones d'image sont exclues de toute poursuite de traitement. On évite ainsi des erreurs de mesure. On peut également utiliser la couleur pour la détection de la neige. Un flocon de neige est blanc et il réfléchit fortement la lumière ambiante. La neige a ainsi précisément la couleur qui est le blanc de référence de la caméra, obtenu par l'équilibrage des blancs. Ce critère peut par exemple s'utiliser pour relier des zones d'image multicolores comme données pour le flocon de neige. En outre,
25 pour le procédé et le dispositif selon l'invention, on peut envisager d'autres applications par exemple les véhicules sur chenille ou les bateaux pour la navigation dans les ports ainsi que pour les outils et les machines travaillant dans un environnement avec risque d'objets volants et autres. io

Claims (1)

  1. REVENDICATIONS1 °) Procédé (100) de reconnaissance d'un objet parasite (210, 310, 740) dans au moins une image de caméra (200, 300, 710, 720, 730) d'une séquence d'images de caméra (700), procédé caractérisé en ce qu'il comprend les étapes suivantes : enregistrer (110) une première valeur de pixel (g(x,y,t- T)) à une position prédéfinie (x,y) dans une première image de caméra (710) et dans l'environnement représenté dans la première image de caméra (710), une seconde valeur de pixel (g(x,y,t)) à une position prédéfinie (x,y) dans une seconde image de caméra (720) ou dans l'environnement représenté dans la seconde image de caméra (720) et une troisième valeur de pixel (g(x,y,t+ T)) dans une position prédéfinie (x,y) dans une troisième image de caméra (730) ou dans l'environnement représenté dans la troisième image de caméra (730), * la première image de caméra ayant été prise à un premier instant (t- i), la seconde image de caméra à un second instant (t) après le premier instant et la troisième image de caméra à un troisième instant (t+ T) après le second instant, - déterminer (120) une valeur de référence (dg) en se fondant sur la seconde valeur de pixel (g(x,y,t)) et une valeur de comparaison (du) en se fondant sur la première valeur de pixel (g(x,y,t- T)) et/ou la troisième valeur de pixel (g(x,y,t+ i)), et - reconnaître (103) l'objet parasite à la position prédéfinie (x,y) si la valeur de référence (dg) est dans une relation prédéfinie avec la valeur de comparaison (du). 2°) Procédé (100) selon la revendication 1, caractérisé en ce que dans l'étape de reconnaissance (130), on reconnaît l'objet parasite (210, 310, 740) à la position prédéterminée si la première valeur de pixel et la troisième valeur de pixel, ont chaque fois une valeur se situant dans une même plage de tolérance prédéfinie. 3°) Procédé (100) selon la revendication 1, caractérisé en ce que 27 dans l'étape de reconnaissance (130), l'objet parasite (210, 310, 740) est reconnu à la position prédéfinie si un premier rapport de la valeur de référence et de la valeur de comparaison se situe dans une plage de tolérance par rapport à un second rapport de la valeur de référence et d'une autre valeur de comparaison définie en se fondant sur la troisième valeur de pixel. 4°) Procédé (100) selon la revendication 1, caractérisé en ce que dans la troisième étape de reconnaissance (130), l'objet parasite (210, 310, 740) est reconnu à la position prédéfinie si la valeur de référence diffère de la valeur de comparaison de plus d'une grandeur prédéfinie. 5°) Procédé (100) selon la revendication 1, caractérisé en ce que dans la troisième étape de reconnaissance (130), on forme pour la relation prédéfinie, une différence ou un rapport entre la valeur de référence et la valeur de comparaison. 6°) Procédé (100) selon la revendication 1, caractérisé en ce que dans l'étape de reconnaissance (130), on détermine une différence entre la valeur de référence et la valeur de comparaison et/ou l'autre valeur de comparaison en se fondant sur la différence, on reconnaît une probabilité de présence de l'objet parasite (210, 310, 740) à la position prédéfinie. 7°) Procédé (100) selon la revendication 1, caractérisé en ce que le procédé comporte une étape de détermination d'au moins une structure monodimensionnelle dans au moins l'une des images de caméra (200, 300, 710, 720, 730) de la séquence d'images de caméra (700), et 28 dans l'étape de reconnaissance (130), on reconnaît à la position prédéfinie aucun objet parasite (210, 310, 740) si à la position prédéfinie, on a déterminé une structure monodimensionnelle. 8°) Procédé (100) selon la revendication 1, caractérisé en ce que le procédé comporte une étape de saisie d'une densité de neige (p) en ce que dans un nombre de positions prédéfinies, on a reconnu des objets parasites (210, 310, 740), notamment des objets parasites ayant une dimension minimale que l'on met en rapport avec un nombre de positions dans une image de caméra (200, 300, 710, 720, 730) pour saisir la densité de la neige. 9°) Procédé d'élimination des objets parasites (210, 310, 740) dans une séquence d'images de caméra (700), procédé caractérisé en ce qu'il comprend les étapes suivantes : - les étapes (110, 120, 130) selon l'une quelconque des revendications 1 à 8 pour reconnaître l'objet parasite dans l'image (200, 300, 710, 720, 730) de la séquence d'images de caméra, et - remplacer la seconde valeur de pixel à la position prédéfinie dans la seconde image de caméra (720) par une valeur de pixel qui est dans une relation prédéfinie avec la première valeur de pixel et/ ou la troisième valeur de pixel. 10°) Dispositif (810) pour reconnaître un objet parasite (210, 310, 740) dans au moins une image de caméra (200, 300, 710, 720, 730) d'une séquence d'images de caméra (700), dispositif caractérisé en ce qu'il comprend : - une installation pour enregistrer une première valeur de pixel (g(x,y,t- r)) à une position prédéfinie (x,y) dans une première image de caméra (710) ou dans l'environnement représenté dans la première image de caméra (710), une seconde valeur de pixel (g(x,y,t)) à une position prédéfinie (x,y) dans une seconde image de caméra (720) ou dans l'environnement représenté dans la seconde image de caméra (720), ainsi qu'une troisième valeur de pixel (g(x,y,t+ T)) à une position 29 prédéfinie (x,y) dans une troisième image de caméra (730) ou dans l'environnement représenté dans la troisième image de caméra (730), * la première image de caméra se produisant à un premier instant (t- i), la seconde image de caméra à un second instant (t) après le premier instant et la troisième image de caméra se produisant à un troisième instant (t+ t) après le second instant, - une installation pour déterminer une valeur de référence (dg) fondée sur la seconde valeur de pixel (g(x,y,t)) et une valeur de comparaison (du) fondée sur la première valeur de pixel (g(x,y,t- i)) et/ou la troisième me valeur de pixel (g(x,y,t+ i)), et - une installation pour reconnaître un objet parasite à une position prédéfinie (x,y) si la valeur de référence (dg) se trouve dans une relation prédéfinie avec la valeur de comparaison (du). 11 °) Produit programme d'ordinateur avec un code programme pour la mise en oeuvre d'un procédé (100) selon l'une quelconque des revendications 1 à 9, lorsque le programme est exécuté par un dispositif (810) selon la revendication 10. 25
FR1155534A 2010-06-28 2011-06-23 Procede et dispositif de reconnaissance d'un objet parasite dans une image de camera Withdrawn FR2961928A1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010030616A DE102010030616A1 (de) 2010-06-28 2010-06-28 Verfahren und Vorrichtung zum Erkennen eines Störobjekts in einem Kamerabild

Publications (1)

Publication Number Publication Date
FR2961928A1 true FR2961928A1 (fr) 2011-12-30

Family

ID=45115791

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1155534A Withdrawn FR2961928A1 (fr) 2010-06-28 2011-06-23 Procede et dispositif de reconnaissance d'un objet parasite dans une image de camera

Country Status (4)

Country Link
US (1) US8582809B2 (fr)
CN (1) CN102314597A (fr)
DE (1) DE102010030616A1 (fr)
FR (1) FR2961928A1 (fr)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9457768B2 (en) 2011-04-21 2016-10-04 Pylon Manufacturing Corp. Vortex damping wiper blade
MX345011B (es) 2011-07-28 2017-01-11 Pylon Mfg Corp Adaptador, conector y conjunto de limpiaparabrisas.
US9108595B2 (en) 2011-07-29 2015-08-18 Pylon Manufacturing Corporation Windshield wiper connector
DE102011081391A1 (de) 2011-08-23 2013-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Störobjekten in der Umgebungsluft eines Fahrzeugs
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US10723322B2 (en) 2012-02-24 2020-07-28 Pylon Manufacturing Corp. Wiper blade with cover
US20130219649A1 (en) 2012-02-24 2013-08-29 Pylon Manufacturing Corp. Wiper blade
MX364943B (es) 2012-02-24 2019-05-14 Pylon Mfg Corp Escobilla limpiaparabrisas.
WO2013150419A1 (fr) * 2012-04-02 2013-10-10 Koninklijke Philips N.V. Contrôle qualité pendant une procédure d'imagerie médicale
US10829092B2 (en) 2012-09-24 2020-11-10 Pylon Manufacturing Corp. Wiper blade with modular mounting base
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
CN104010207B (zh) * 2013-02-27 2018-10-12 联想(北京)有限公司 一种数据处理方法、被控设备与控制设备
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US10166951B2 (en) 2013-03-15 2019-01-01 Pylon Manufacturing Corp. Windshield wiper connector
US9164511B1 (en) * 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
DE102013019138A1 (de) * 2013-11-12 2015-05-13 Application Solutions (Electronics and Vision) Ltd. Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
US9505380B2 (en) 2014-03-07 2016-11-29 Pylon Manufacturing Corp. Windshield wiper connector and assembly
US9443142B2 (en) * 2014-07-24 2016-09-13 Exelis, Inc. Vision-based system for dynamic weather detection
DE102014110663A1 (de) 2014-07-29 2016-02-04 Connaught Electronics Ltd. Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
KR102118066B1 (ko) * 2014-08-20 2020-06-03 현대모비스 주식회사 주행 안전을 위한 차량 제어방법
US10049273B2 (en) * 2015-02-24 2018-08-14 Kabushiki Kaisha Toshiba Image recognition apparatus, image recognition system, and image recognition method
CN107409183B (zh) * 2015-03-31 2020-04-07 索尼公司 相机模块和电子设备
EP3368383B1 (fr) 2015-10-26 2021-08-04 Pylon Manufacturing Corp. Balai d'essuie-glace
CN106980810A (zh) * 2016-01-19 2017-07-25 华北电力大学(保定) 一种基于敏感区图像轮廓递增的超高车辆接近检测方法
WO2017201470A1 (fr) 2016-05-19 2017-11-23 Pylon Manufacturing Corp. Connecteur d'essuie-glace de pare-brise
CN109311452A (zh) 2016-05-19 2019-02-05 电缆塔制造有限公司 挡风玻璃雨刮器连接器
WO2017201473A1 (fr) 2016-05-19 2017-11-23 Pylon Manufacturing Corp. Balai d'essuie-glace
US11040705B2 (en) 2016-05-19 2021-06-22 Pylon Manufacturing Corp. Windshield wiper connector
AU2017268019A1 (en) 2016-05-19 2018-11-22 Pylon Manufacturing Corp. Windshield wiper connector
US20180061008A1 (en) * 2016-08-31 2018-03-01 Autoliv Asp, Inc. Imaging system and method
JP6755161B2 (ja) * 2016-10-24 2020-09-16 株式会社デンソーテン 付着物検出装置および付着物検出方法
DE102017208994A1 (de) 2017-05-29 2018-11-29 Audi Ag Verfahren zur Ermittlung von Ergebnisbilddaten
DE102017211887A1 (de) * 2017-07-12 2019-01-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Lokalisieren und automatisierten Betreiben eines Fahrzeugs
DE102017216867A1 (de) * 2017-09-25 2019-03-28 Robert Bosch Gmbh Verfahren und Radarsensor zur Reduktion des Einflusses von Störungen bei der Auswertung mindestens eines Empfangssignals
US10625824B2 (en) * 2018-01-13 2020-04-21 Thomas Frizlen Method and system for determining displacement of an anchor
JP2019161362A (ja) * 2018-03-09 2019-09-19 京セラドキュメントソリューションズ株式会社 監視システム
DE102018208527A1 (de) * 2018-05-29 2019-12-05 Siemens Aktiengesellschaft Bildinformationsbewertungsverfahren, Computer-Programm-Produkt zur Bildinformationsbewertung, Bildinformationsbewertungssystem und Fahrzeug, insbesondere für den Schienen- und Straßenverkehr
DK3599411T3 (da) * 2018-07-27 2023-02-20 Fraunhofer Ges Forschung Indretning og fremgangsmåde til generering og overvågning af et sikkerhedsområde i et arbejdsrum
CN110867044B (zh) * 2018-08-27 2022-08-12 浙江大华技术股份有限公司 一种火情检测方法及设备
DE102019119929B4 (de) * 2019-07-23 2024-05-08 Avl Software And Functions Gmbh Verfahren zur Erfassung einer Fahrzeugumgebung
CN110674818B (zh) * 2019-12-03 2020-04-24 捷德(中国)信息科技有限公司 卡面检测的方法、装置、设备和介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3481430B2 (ja) * 1997-09-11 2003-12-22 富士通株式会社 移動体追跡装置
US6253164B1 (en) * 1997-12-24 2001-06-26 Silicon Graphics, Inc. Curves and surfaces modeling based on a cloud of points
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
JP3706051B2 (ja) * 2001-08-13 2005-10-12 大日本スクリーン製造株式会社 パターン検査装置および方法
US7812869B2 (en) * 2007-05-11 2010-10-12 Aptina Imaging Corporation Configurable pixel array system and method
CN101527046B (zh) * 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统

Also Published As

Publication number Publication date
CN102314597A (zh) 2012-01-11
DE102010030616A1 (de) 2011-12-29
US20120008866A1 (en) 2012-01-12
US8582809B2 (en) 2013-11-12

Similar Documents

Publication Publication Date Title
FR2961928A1 (fr) Procede et dispositif de reconnaissance d'un objet parasite dans une image de camera
EP2061006B1 (fr) Procédé de détection d'un phénomène perturbateur de visibilité pour un véhicule
WO2010084521A1 (fr) Procédé et appareil d'identification de gouttes de pluie sur un pare-brise
CN107527006B (zh) 用于检查机动车的介质损失的方法以及用于执行这样的方法的机动车和系统
WO1993021596A1 (fr) Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles
EP2718730A1 (fr) Dispositif de mesure de vitesse et de position d'un véhicule se déplaçant le long d'une voie de guidage, procédé et produit programme d'ordinateur correspondant
CN110135235B (zh) 一种眩光处理方法、装置及车辆
FR3025898A1 (fr) Procede et systeme de localisation et de cartographie
US20150179074A1 (en) Vehicle vision system with cross traffic detection
Cord et al. Towards rain detection through use of in-vehicle multipurpose cameras
EP2875316B1 (fr) Procede de determination de parametres d'observation d'une surface d'eau par imagerie
EP0588815B1 (fr) Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles
FR2945491A1 (fr) Procede et dispositif pour etendre une zone de visibilite
EP2043044A1 (fr) Procédé et dispositif d'assistance au parcage d'un véhicule automobile
FR2935520A1 (fr) Procede de detection d'un objet cible pour vehicule automobile
EP2193477A2 (fr) Procede et systeme d'aide au roulage d'un aeronef
FR3047105A1 (fr) Procede et dispositif d'assistance de conduite
EP0810496B1 (fr) Procédé et dispositif d'identification et de localisation d'objets fixes le long d'un trajet
CN116547726A (zh) 在下雨、入射光线和脏污时对摄像装置的图像的修正
EP3417398A1 (fr) Dispositif et procédé d'estimation du niveau d'attention d'un conducteur d'un véhicule
Morden et al. Driving in the Rain: A Survey toward Visibility Estimation through Windshields
FR2938228A1 (fr) Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile
CN113533215B (zh) 用于光学镜面的水滴检测系统、方法和水滴擦除系统
FR3084628A1 (fr) Procede de determination d'un type d'emplacement de stationnement
WO2011010021A1 (fr) Procede de releve d'informations relatives a des panneaux de signalisation verticale, dispositif associe et application

Legal Events

Date Code Title Description
ST Notification of lapse

Effective date: 20160229