FR2917824A3 - Procede et dispositif de detection en temps reel de la position du soleil par rapport a un vehicule automobile - Google Patents

Abstract

L'invention concerne un procédé de détection en temps réel de la position du soleil par rapport à un véhicule automobile, du type comportant une étape (40) d'acquisition d'image d'une portion du ciel au dessus du véhicule et une étape (42-56) de détermination de ladite position du soleil en fonction d'au moins une image acquise.Selon l'invention, l'étape (42-56) d'acquisition d'image est réalisée sur un champ de vision angulaire supérieur ou égal à 120 degrés.

Description

-1- PROCEDE ET DISPOSITIF DE DETECTION EN TEMPS REEL DE LA POSITION DU

SOLEIL PAR RAPPORT A UN VEHICULE AUTOMOBILE La présente invention concerne un procédé et un système de détection en temps réel de la position du soleil par rapport à un véhicule automobile.

Certaines applications dans un véhicule automobile utilisent une position estimée du soleil par rapport au véhicule pour leur fonctionnement. On peut notamment citer le pilotage de moyens anti-éblouissements, tels qu'un pare-soleil motorisé ou des vitres à teinte contrôlée par exemple. On connaît du document KR-A-20050020318 un système de détection de la position du soleil par rapport au véhicule qui met en oeuvre un suivi de celui-ci dans un flux d'images issues d'un capteur à champ de vision limité. Ce système comporte à cet effet un moteur permettant d'orienter le capteur et des moyens d'asservissement du moteur pour que le capteur soit constamment dirigé vers le soleil de manière à pouvoir détecter en continu la position de celui-ci. Or, un moteur permettant d'obtenir un large balayage d'un large angle solide du ciel est onéreux.

Le but de la présente invention est de résoudre le problème susmentionné en proposant un procédé et un système alternatif de détection de la position du soleil par rapport à un véhicule automobile qui n'utilisent pas de moyens de motorisation.

A cet effet, l'invention a pour objet un procédé de détection en temps réel de la position du soleil par rapport à un véhicule automobile, du type comportant une étape d'acquisition d'image d'une portion du ciel au-dessus du véhicule et une étape de détermination de ladite position du soleil en fonction d'au moins une image acquise. Selon l'invention, l'étape d'acquisition d'image est réalisée sur un champ de vision angulaire supérieur ou égal à 120 degrés Ainsi, une telle acquisition permet d'englober sensiblement tout le ciel de sorte que le soleil peut toujours être détecté quelle que soit sa position dans le ciel. Selon des modes de réalisation particuliers, le procédé comporte un ou plusieurs des caractéristiques suivantes : l'étape de détermination de ladite position du soleil comporte une étape d'extraction de zones lumineuses dans la ou chaque image acquise, une étape -2- d'identification d'une zone de l'image acquise correspondant au soleil parmi les zones lumineuses extraites et une étape de détermination de ladite position du soleil en fonction de la zone correspondant au soleil ; - l'étape d'identification de la zone relative au soleil comporte une étape de classification des zones lumineuses extraites en fonction de leur forme et/ou de leur dimension ; -l'étape d'identification de la zone correspondant au soleil comporte une étape de calcul d'une distance par rapport au véhicule d'une source lumineuse correspondant à une zone extraite en fonction d'au moins deux images acquises et selon un procédé de stéréovision, et une étape de classification de la source lumineuse en fonction de la distance calculée de celle-ci ; et - l'étape d'identification comporte une étape de suivi d'une zone lumineuse extraite dans au moins deux images acquises.

15 L'invention a également pour objet un système de détection en temps réel de la position du soleil par rapport à un véhicule automobile, du type comportant des moyens d'acquisition d'image d'une portion du ciel au dessus du véhicule et des moyens de détermination de ladite position du soleil en fonction d'au moins une image acquise. Selon l'invention, les moyens d'acquisition d'image présentent un champ de vision 20 angulaire supérieur ou égal à 120 degrés. Selon des modes de réalisation particuliers de l'invention, le système comporte une ou plusieurs des caractéristiques suivantes : - un axe optique des moyens d'acquisitions d'image forme un angle supérieur à 80 degrés avec un toit du véhicule ; 25 - les moyens d'acquisition d'image sont agencés sur un toit du véhicule ; - les moyens d'acquisition comportent des moyens de formation d'image du type fish-eye ; et - il est apte à mettre en oeuvre un procédé du type précité.

30 L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple, et faite en relation avec les dessins annexés dans lesquels : - la figure 1 est une vue schématique d'un système selon l'invention ; 10 -3- - la figure 2 est une vue schématique d'une caméra numérique entrant dans la constitution d'un système selon l'invention ainsi que son agencement dans un véhicule automobile; - la figure 3 est un organigramme d'un procédé selon l'invention ; et - les figures 4 et 5 sont des vues schématiques de plans focaux de la caméra de la figure 1, illustrant un alignement de lignes épipolaires de deux images issues de celle-ci, mis en oeuvre lors du procédé de la figure 2.

Sur la figure 1, il est illustré sous la référence générale 10 un système de détection en temps réel de la position du soleil par rapport à un véhicule automobile. Ce système 10, embarqué dans le véhicule, comporte une caméra numérique 12 agencée pour observer une portion de ciel au-dessus de celui-ci, une unité de traitement d'informations 14, connectée à la caméra 12 au travers d'une interface d'acquisition 15, et des moyens 20 d'acquisition d'un déplacement du véhicule connectés à l'unité 14, comme un capteur de distance parcourue usuellement embarqué dans un véhicule. L'unité de traitement d'informations 14 comporte un module à microprocesseur 20 connecté à l'interface 16 pour recevoir, au travers de celle-ci, des images capturées par la caméra 12 et aux moyens 16 pour recevoir le déplacement mesuré du véhicule. Le module à microprocesseur 20 analyse les images capturées afin de déterminer la position du soleil à l'aide du déplacement mesuré. L'unité 14 comporte également un module de stockage 22 connecté au module à microprocesseur 20 pour le stockage de résultats d'analyse, comme cela sera expliqué plus en détail par la suite. Sur la figure 2, la caméra numérique 12 est agencée sur le toit 24 du véhicule, ici illustré sous la référence 26. La caméra numérique 12 comporte un objectif 28 ainsi qu'un capteur bidimensionnel plan 30, par exemple du type à couplage de charge, ou CCD, agencé dans le plan focal de l'objectif 28. L'objectif 28 est agencé sur le toit 24 de manière à ce que son axe optique 32 forme un angle sensiblement droit avec le toit 24 et est sélectionné pour présenter un champ de vision angulaire d'angle 34 supérieur ou égal à 120 et de préférence proche de 180 .

L'objectif 28 est ainsi sélectionné parmi l'ensemble des objectifs grands-angles (GA) ou ultra grands-angles (UGA). De préférence, l'objectif sélectionné est également du type fish-eye qui est peu onéreux à produire. -4- En variante, l'objectif comprend des éléments optiques corrigeant des déformations inhérentes à des objectifs GA et UGA. De préférence également, la caméra numérique 12 est une caméra noir et blanc ayant 255 niveaux de gris.

De cette manière, le champ de vision de la caméra numérique 12 englobe une portion importante du ciel au-dessus du véhicule de sorte que la probabilité que le soleil ne soit pas dans le champ de vision de la caméra 12 est faible. Ainsi, aucun moyen de motorisation n'est nécessaire pour s'assurer que le soleil soit présent dans le champ de vision de la caméra 12.

Il va être à présent décrit un procédé de détection de la position du soleil mis en oeuvre par le système venant d'être décrit, à partir des images délivrées par la caméra numérique 12. Dans une première étape 40, une image du ciel est capturée par la caméra numérique et, le cas échéant cette image est transformée en image noir et blanc, ou image NB.

Dans une étape 42 suivante, la valeur médiane de l'image NB est calculée et mémorisée puis un seuillage est réalisé. Lors de ce seuillage, un pixel de l'image NB est réglé sur 255 si sa valeur est supérieure ou égale à un seuil prédéterminé, par exemple 200, et réglé sur 0 sinon. Il est ainsi obtenu une image binaire B. Ensuite, une étape d'extraction 44 de zones lumineuses (c'est-à-dire des zones de valeur 255) présentes dans l'image B est mise en oeuvre. Cette étape 44 consiste à identifier dans l'image B chaque zone lumineuse qui est l'image par l'objectif 28 d'une source lumineuse présente dans le champ de vision de la caméra 12. Cette étape 44 consiste également, pour chaque zone identifiée, à déterminer la position de celle-ci dans l'image B, par exemple la position de son centre de gravité, ainsi que sa forme et ses dimensions. Par exemple, l'étape d'extraction 44 met en oeuvre une segmentation telle que décrite dans l'article Efficient Graph-Based Image Segmentation de P.F. Felzenszwalb et D.P. Huttenlocher, International Journal of Computer Vision, Volume 59, Numéro 2, Septembre 2004. L'image binaire avec les informations sur les zones extraites lors de l'étape 14 sont alors mémorisées dans le module de stockage 22.

Une première classification est alors réalisée en 46 en fonction des formes et/ou des dimensions des zones lumineuses extraites lors de l'étape 44. On sait par exemple que le soleil est une source non ponctuelle présentant une grande surface par rapport à la surface moyenne des sources de lumière artificielles comme des lampadaires par exemple. -5- De manière optionnelle, l'ambiance lumineuse (aube, crépuscule, jour, nuit...) peut être déterminée en fonction de valeurs médianes calculées pour l'image NB et pour une série d'images NB immédiatement précédent celle-ci. L'ambiance lumineuse déterminée est alors utilisée lors de la classification. Par exemple, si cette ambiance lumineuse est la nuit, cette information sera utilisée pour distinguer entre une zone lumineuse correspondant au soleil et une zone lumineuse correspondant à la lune. A l'issue de l'étape de classification 46, il se peut d'ailleurs qu'une zone lumineuse de l'image B soit déjà reconnue comme correspondant au soleil. C'est par exemple le cas lorsque le véhicule roule dans une région dépourvue de lampadaire. Dans un pareil cas, une seule zone lumineuse d'importance est présente dans l'image B et correspond en conséquence au soleil. Toutefois, la première étape de classification peut se révéler insuffisante dans la mesure où un lampadaire proche du véhicule produit une zone lumineuse dans l'image B qui peut s'apparenter au soleil.

Dans le cas où une zone lumineuse n'est pas associée de manière certaine au soleil à la suite de l'étape 46, les zones lumineuses sont classées, en 48, en deux catégories. La première catégorie correspond aux zones analysées comme pouvant correspondre au soleil et la seconde catégorie correspond aux zones analysées de manière certaine comme ne correspondant pas au soleil.

Le procédé se poursuit alors par une étape de suivi 50 dans laquelle il est recherché, pour chaque zone lumineuse de la première catégorie, une zone lumineuse correspondante dans une image binaire issue d'un cycle de lecture et d'analyse précédent et mémorisée dans le module de stockage 22. Le suivi d'une zone lumineuse d'une image binaire sur l'autre est par exemple réalisé en fonction de la forme et/ou des dimensions de celle-ci, de données relatives au déplacement du véhicule ou autres. Cette étape de suivi 50, communément désignée par le terme anglais tracking , est classique et ne sera donc pas décrite plus en détail pour des raisons de concision. Dans une étape 52 suivante, pour chaque zone lumineuse de la première catégorie, une distance entre le véhicule et la source lumineuse ayant produit cette zone est calculée.

L'image en cours d'analyse, ayant pour instant de prise de vue un instant t , et l'image précédente choisie lors de l'étape de suivi 50, ayant pour instant de prise de vue un instant t-1 , peuvent être considérées comme provenant d'un système de prise de vues à deux caméras numériques immobiles localisées respectivement là où se situe la caméra aux instants t et t-1 . L'étape 52 met alors en oeuvre un algorithme de calcul de la position -6- de la source de lumière ayant produit la zone lumineuse des images aux instants t et t- en se fondant sur un algorithme de stéréovision. Plus particulièrement, l'étape 52 met en oeuvre un algorithme de stéréovision du type décrit dans le manuel Computer Vision - A Modern Approach de D. Forsyth et J. Ponce, 2003, ISBN 0-13-191193-7, pages 236-237. L'étape 52 débute ainsi par un alignement mathématique des lignes épipolaires associées à la zone lumineuse. La ligne épipolaire à l'instant t est définie comme la ligne passant par l'intersection du plan focal à l'instant t avec la droite passant par les centres optiques aux instants t et t-1 et le centre de la zone lumineuse dans l'image à l'instant t . La ligne épipolaire à l'instant t-1 est définie de manière analogue. Les figures 4 et 5 illustrent l'alignement des lignes épipolaires et correspondent à une vue de dessus des plans focaux de la caméra 12 aux instants t et t-1 avant l'alignement (figure 4) et après l'alignement (figure 5), le véhicule ayant par ailleurs suivi une trajectoire T entre ces deux instants.

Avant l'alignement des lignes épipolaires, la zone lumineuse a pour coordonnées polaires dans le plan focal le vecteur (ul, vl) à l'instant t et le vecteur (ul',vl') à l'instant t-1 . Après l'alignement des lignes épipolaires, la zone lumineuse a pour coordonnées polaires le vecteur (u2, v2) à l'instant t et le vecteur (u2',v2') à l'instant t-1 , les repères liées à la caméra aux instants t et t-1 n'ayant pas étés transformés par l'alignement. La distance D entre la source lumineuse ayant produit la zone lumineuse dans les images aux instants t et t-1 et le centre optique de la caméra à l'instant t est alors calculée en 52 selon la relation : D = (u2-u'2) où B est la distance entre les centres optiques de la caméra 12 entre les instants t et t-1 , c'est-à-dire la distance parcourue par le véhicule entre ces instants et mesurée par les moyens 16 d'acquisition du déplacement du véhicule. Pour de plus amples détails, on pourra se reporter au manuel précité.

Le procédé se poursuit ensuite par une seconde étape de classification 54 des zones lumineuses de la première catégorie en fonction des distances des sources lumineuses correspondantes calculées en 52. B -7- Plus particulièrement, la zone lumineuse associée au soleil est identifiée si elle est considérée comme lointaine, c'est-à-dire lorsque la distance D qui lui est associée est supérieure ou égale à une valeur prédéterminée, par exemple égale à 100km. Enfin, en 56, une fois la zone lumineuse associée au soleil identifiée, la position du véhicule par rapport à celui-ci, est déterminée. L'intensité lumineuse du soleil est également déterminée en 56, par exemple en fonction de l'intensité moyenne de la zone lumineuse dans l'image noir et blanc correspondante. L'étape 56 boucle alors sur l'étape 40 pour l'analyse d'une image suivante. On remarquera qu'il n'est pas nécessaire de calculer de manière précise les distances du véhicule aux différentes sources lumineuses capturées par la caméra 12, mais plutôt de calculer des ordres de grandeurs cohérents permettant d'éliminer de manière certaine les sources autres que le soleil (lampadaires, feux de voitures, reflet du soleil dans une vitre d'immeuble, etc...). De manière privilégiée, le choix de l'image précédente sélectionnée pour effectuer l'algorithme de stéréovision se fonde sur une distance minimale parcourue par le véhicule entre les instants t et t-1 . En effet, afin d'obtenir des résultats utilisables pour classer les sources lumineuses, il est préférable que leur mouvement apparent dans les images, quantifié par le terme de disparité u2-u'2, soit suffisamment grand. Une distance B au minimum de 30 mètres permet d'obtenir de bons résultats. Par ailleurs, on remarquera que le procédé venant d'être décrit est particulièrement robuste. En effet, même en cas d'erreur dans le suivi mis en oeuvre à l'étape 50, par exemple en cas d'appariement de deux zones lumineuses correspondant à des sources distinctes, l'algorithme de stéréovision permet de calculer une distance. Cette distance ne correspond à aucune source réelle mais son ordre de grandeur permet tout de même d'éliminer la zone lumineuse de l'image courante lorsqu'elle ne correspond pas au soleil.

Il est ainsi obtenu les avantages suivants avec le système et le procédé selon l'invention venant d'être décrits : - il n'est pas besoin d'utiliser une motorisation pour orienter la caméra vers le soleil ; - une distinction entre le soleil et les sources artificielles est réalisée ; -l'algorithme de détection de la position du soleil est robuste car il autorise des erreurs lors du suivi sans pénaliser le résultat final. La présente invention trouve ainsi application dans : - le pilotage d'une ventilation et/ou d'une climatisation du véhicule en fournissant au dispositif de commande de ceux-ci des informations sur la position du soleil par rapport au véhicule ainsi que l'intensité de celui-ci ; -8- le pilotage de moyens anti-éblouissements, tel qu'un pare-soleil motorisé ou une vitre à teinte contrôlée, en indiquant au dispositif de commande de ceux-ci la position du soleil par rapport au véhicule ; - les systèmes d'aide à la navigation en fournissant des informations sur la position du soleil par rapport au véhicule. Combinée à des informations d'heure, de date ainsi qu'une éphéméride mémorisée dans le véhicule, la position du véhicule dans un repère terrestre peut ainsi être calculée sans l'aide d'un système de navigation par satellite. Ou bien cette position calculée dans un repère terrestre peut être utilisée pour améliorer la position déterminée par le système de navigation par satellite. Bien qu'il ait été décrit un algorithme particulier de détection de la position du soleil par rapport au véhicule en fonction d'images capturées par une caméra grand-angle ou ultra grand-angle, d'autres types d'algorithmes peuvent être utilisés. Il est à noter qu'à cet égard, la première étape de classification 46 est optionnelle, la stéréovision pouvant être mise en oeuvre pour toutes les zones lumineuses indépendamment d'une première classification de celles-ci. De plus, on remarquera que le procédé décrit aux étapes 42 à 54 en relation avec la figure 3 n'est pas spécifiquement dédié à une application dans laquelle une caméra grand-angle ou ultra grand-angle est utilisée.

Ce procédé pourrait par exemple être utilisé dans un système comprenant une caméra de champ de vision plus limité, associée, ou pas, à des moyens de motorisation pour son orientation.

Claims (10)

REVENDICATIONS

1. Procédé de détection en temps réel de la position du soleil par rapport à un véhicule automobile, du type comportant une étape (40) d'acquisition d'image d'une portion du ciel au dessus du véhicule et une étape (42-56) de détermination de ladite position du soleil en fonction d'au moins une image acquise, caractérisé en ce que l'étape (42-56) d'acquisition d'image est réalisée sur un champ de vision angulaire supérieur ou égal à 120 degrés.

2. Procédé selon la revendication 1, caractérisé en ce que l'étape (42-56) de détermination de ladite position du soleil comporte une étape (44) d'extraction de zones lumineuses dans la ou chaque image acquise, une étape (46-54) d'identification d'une zone de l'image acquise correspondant au soleil parmi les zones lumineuses extraites et une étape (56) de détermination de ladite position du soleil en fonction de la zone correspondant au soleil.

3. Procédé selon la revendication 2, caractérisé en ce que l'étape (46-54) d'identification de la zone relative au soleil comporte une étape (46) de classification des zones lumineuses extraites en fonction de leur forme et/ou de leur dimension.

4. Procédé selon la revendication 2, ou 3, caractérisé en ce que l'étape (46-54) d'identification de la zone correspondant au soleil comporte une étape (52) de calcul d'une distance par rapport au véhicule d'une source lumineuse correspondant à une zone extraite en fonction d'au moins deux images acquises et selon un procédé de stéréovision, et une étape (54) de classification de la source lumineuse en fonction de la distance calculée de celle-ci.

5. Procédé selon la revendication 2, 3 ou 4, caractérisé en ce que l'étape (46-54) d'identification comporte une étape (50) de suivi d'une zone lumineuse extraite dans au moins deux images acquises.

6. Système de détection en temps réel de la position du soleil par rapport à un véhicule automobile (32), du type comportant des moyens (12) d'acquisition d'image d'une portion du ciel au dessus du véhicule et des moyens (14) de détermination de ladite position du soleil en fonction d'au moins une image acquise, caractérisé en ce que les moyens (12) d'acquisition d'image présentent un champ de vision angulaire supérieur ou égal à 120 degrés.-10-

7. Système selon la revendication 6, caractérisé en ce qu'un axe optique (32) des moyens (12) d'acquisitions d'image forme un angle supérieur à 80 degrés avec un toit (24) du véhicule.

8. Système selon la revendication 6 ou 7, caractérisé en ce que les moyens (12) d'acquisition d'image sont agencés sur un toit (24) du véhicule.

9. Système selon la revendication 6, 7 ou 8, caractérisé en ce que les moyens (12) 10 d'acquisition comportent des moyens (28) de formation d'image du type fish-eye .

10. Système selon la revendication 6, 7, 8 ou 9, caractérisé en ce qu'il est apte à mettre en oeuvre un procédé conforme à l'une quelconque des revendications 2 à 5.5