FR2965765A1

FR2965765A1 - METHOD AND DEVICE FOR FORMING AN IMAGE OF AN OBJECT IN THE ENVIRONMENT OF A VEHICLE

Info

Publication number: FR2965765A1
Application number: FR1158972A
Authority: FR
Inventors: Thomas Focke; Andreas Hinrichs; Markus Respondek
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2010-10-06
Filing date: 2011-10-05
Publication date: 2012-04-13
Anticipated expiration: 2031-10-05
Also published as: CN102555905A; DE102010042026A1; DE102010042026B4; CN102555905B; FR2965765B1; ITMI20111752A1

Abstract

Procédé (400) pour former l'image d'au moins un objet (120, 130) dans l'environnement d'un véhicule (100) à partir d'une position virtuelle de caméra, notamment en perspective aérienne, procédé caractérisé par les étapes suivantes : - déterminer (410) une zone (210) non visible de l'objet (120, 130) pour le capteur (140) en se fondant sur les données fournies par au moins un capteur (540) du véhicule (100), - fournir (420) un élément graphique de synthèse (310) pour l'intégrer dans la zone non visible (210) de l'objet (120, 130), et - intégrer (430) l'élément graphique de synthèse (310) dans la zone non visible (210) de l'objet (120, 130) pour former l'image d'au moins un objet (120, 130) dans l'environnement du véhicule (100) à partir de la position virtuelle de la caméra, notamment de la perspective aérienne.A method (400) for imaging at least one object (120, 130) in the environment of a vehicle (100) from a virtual camera position, particularly in aerial perspective, characterized by next steps: - determining (410) a non-visible area (210) of the object (120, 130) for the sensor (140) based on data provided by at least one sensor (540) of the vehicle (100) - providing (420) a synthetic graphical element (310) for integrating it into the nonvisible zone (210) of the object (120, 130), and - integrating (430) the graphical synthesis element (310). ) in the non-visible area (210) of the object (120, 130) to form the image of at least one object (120, 130) in the vehicle environment (100) from the virtual position of the camera, especially the aerial perspective.

Description

1 Domaine de l'invention La présente invention se rapporte à un procédé pour former ou générer l'image d'au moins un objet dans l'environnement d'un véhicule à partir d'une position virtuelle de la caméra, notamment en perspective aérienne. L'invention a également pour objet un dispositif pour la mise en oeuvre de ce procédé et un produit programme d'ordinateur pour sa mise en oeuvre. Etat de la technique Les systèmes actuels d'information du conducteur utilisent entre autres des systèmes à caméras multiples dans le but de permettre au conducteur d'avoir une vue périphérique de son propre véhicule. Ces systèmes sont utilisés de préférence pour les manoeuvres de rangement dans un emplacement de stationnement, pour indiquer au conducteur les éventuels obstacles ou lignes délimitant l'emplacement dans l'afficheur. Des développements possibles consistent à afficher simultanément les différentes images ou de former par plusieurs images une représentation panoramique en combinant les images sur 360°. Un autre développement est celui de la perspective aérienne consistant à modifier la perspective de la caméra de manière virtuelle en transformant par le calcul pour donner l'impression d'observer la scène en vol d'oiseau. Le document DE 10 2007 053 305 Al décrit un procédé pour émettre des recommandations de conduite, sous forme optique, dans un système fondé sur un trajet avec une étape de prise de vue d'un environnement réel du véhicule dans la direction de déplacement du véhicule et une étape de saisie de l'emplacement géographique actuel du véhicule. De plus, le procédé comporte une étape pour déterminer un symbole indicateur suivant le trajet prédéfini, et partant de l'emplacement géographique, déterminé, et avec une étape de correction en perspective du symbole indicateur, déterminé, pour avoir une vue du symbole indicateur qui correspond à la vue d'un marquage de chaussée du véhicule sur un affichage. Le procédé comporte également une étape pour déterminer un symbole indicateur et une étape pour combiner l'image reçue au symbole indicateur, corrigé du FIELD OF THE INVENTION The present invention relates to a method for forming or generating the image of at least one object in the environment of a vehicle from a virtual position of the camera, in particular in aerial perspective. . The invention also relates to a device for implementing this method and a computer program product for its implementation. State of the art Current driver information systems use, inter alia, multiple camera systems in order to allow the driver to have a peripheral view of his own vehicle. These systems are preferably used for storage maneuvers in a parking space, to indicate to the driver any obstacles or lines delimiting the location in the display. Possible developments are to simultaneously display the different images or to form a panoramic image by several images by combining the images in 360 °. Another development is that of the aerial perspective of modifying the perspective of the camera in a virtual way by transforming by calculation to give the impression of observing the scene as the crow flies. DE 10 2007 053 305 A1 discloses a method for issuing driving recommendations, in optical form, in a path-based system with a step of shooting a real environment of the vehicle in the direction of movement of the vehicle and a step of entering the current geographical location of the vehicle. In addition, the method comprises a step for determining an indicator symbol according to the predefined path, and starting from the geographical location, determined, and with a step of correction in perspective of the indicator symbol, determined, to have a view of the indicator symbol which corresponds to the view of a road marking of the vehicle on a display. The method also includes a step of determining an indicator symbol and a step of combining the received image with the indicator symbol, corrected by

2 point de vue de la perspective et afficher une image combinée sur l'écran. Exposé et avantages de l'invention L'invention a pour objet un procédé pour former l'image d'au moins un objet dans l'environnement d'un véhicule à partir d'une position virtuelle de caméra, notamment en perspective aérienne, le procédé étant caractérisé par les étapes suivantes : - déterminer une zone non visible de l'objet pour le capteur en se fondant sur les données fournies par au moins un capteur du véhicule, - fournir un élément graphique de synthèse pour l'intégrer dans la zone non visible de l'objet et - intégrer l'élément graphique de synthèse dans la zone non visible de l'objet pour former l'image d'au moins un objet dans l'environnement du véhicule à partir de la position virtuelle de la caméra, notamment en perspective aérienne. Le procédé peut s'appliquer par exemple en liaison avec un système de navigation équipant le véhicule. L'image peut être une représentation sur l'écran du système de navigation. L'image peut également, par exemple reproduire une scène de rangement pratique à partir de la perspective aérienne, et qui présente le véhicule avec les objets qui l'entourent et auxquels le conducteur doit faire attention pour pouvoir ranger son véhicule correctement et sans dommage. L'objet ou un ensemble d'objets correspond par exemple à un autre véhicule ou type de véhicule, au marquage de l'emplacement et aux constructions ou à la végétation qu'il faut contourner par la manoeuvre de stationnement ou par rapport auxquels le véhicule à ranger doit conserver une certaine distance pour pouvoir ouvrir les portières sans risquer d'endommager le véhicule et/ou les objets. L'environnement du véhicule peut par exemple concerner tous les objets dans un angle de 360° autour du véhicule et qui sont importants dans le cadre de la manoeuvre de stationnement que doit effectuer le véhicule. La position virtuelle de la caméra s'obtient par exemple en recalculant les données saisies par au moins un capteur du véhicule. La position virtuelle de la caméra peut être une position située au-dessus du véhicule ou 2 perspective point of view and display a combined image on the screen. DESCRIPTION AND ADVANTAGES OF THE INVENTION The subject of the invention is a method for forming the image of at least one object in the environment of a vehicle from a virtual camera position, especially in aerial perspective, the method being characterized by the following steps: - determining a non-visible area of the object for the sensor based on the data provided by at least one sensor of the vehicle, - providing a graphic synthesis element to integrate it into the area not visible from the object and - integrating the synthetic graphic element in the non-visible area of the object to form the image of at least one object in the vehicle environment from the virtual position of the camera , especially in aerial perspective. The method can be applied for example in connection with a navigation system fitted to the vehicle. The image can be a representation on the screen of the navigation system. The image can also, for example reproduce a practical storage scene from the aerial perspective, and presents the vehicle with the objects around it and which the driver must be careful to be able to store his vehicle properly and without damage. The object or a set of objects corresponds, for example, to another vehicle or type of vehicle, to the marking of the location and to the constructions or vegetation that must be circumvented by the parking maneuver or in relation to which the vehicle must be kept a certain distance in order to open the doors without damaging the vehicle and / or objects. The environment of the vehicle can for example relate to all the objects in a 360 ° angle around the vehicle and which are important in the context of the parking maneuver that the vehicle must perform. The virtual position of the camera is obtained for example by recalculating the data entered by at least one sensor of the vehicle. The virtual position of the camera may be a position above the vehicle or

3 latéralement au-dessus du véhicule pour faire apparaître tous les objets caractéristiques dans l'environnement du véhicule par une apparition virtuelle pour la caméra. Les données fournies par le capteur peuvent être l'éloignement, la dimension et la forme de l'objet saisi par le capteur dans l'environnement du véhicule. Le capteur peut être une caméra mais également un autre capteur optique fournissant des grandeurs de mesure. En particulier, pour déterminer l'éloignement et avoir une trace tridimensionnelle de l'objet, le véhicule est équipé de plusieurs capteurs, par exemple un capteur dans sa zone avant et un capteur dans la zone arrière. On peut également combiner un capteur optique avec un capteur de distance, par exemple un capteur radar ou un capteur à ultrasons. Si le véhicule n'est équipé que d'un capteur, on pourra par exemple conclure à la distance entre le véhicule et l'objet, à partir de mesures déterminées au préalable et qui sont par exemple enregistrées dans la mémoire du système de navigation. La zone de l'objet, non visible, est par exemple une partie de carrosserie de camion qui dépasse de la plage de saisie du capteur équipant la carrosserie du véhicule. L'étape de détermination peut consister par exemple à appliquer un algorithme approprié. L'invention repose sur la considération que par une représentation de synthèse d'objets détectés dans l'environnement du véhicule, on pourra donner au conducteur du véhicule, une représentation complète de l'environnement du véhicule, ou d'une scène en perspective aérienne pour que le conducteur la perçoive beaucoup mieux de manière intuitive. Selon la proposition ci-dessus, on tient compte du fait que les caméras équipant le véhicule ont naturellement une hauteur moindre que celle d'objets hauts et de zones derrière les objets qui ne pourront être saisies complètement. Les zones, c'est-à-dire les "taches noires" dans la représentation de l'environnement du véhicule, seront évitées en ce que l'on remplace ces "taches noires" en incrustant l'objet graphique obtenu par synthèse. Cela est vrai par exemple pour des objets qui certes sont reconnus et représentés complètement, mais que 3 laterally above the vehicle to reveal all the characteristic objects in the vehicle environment by a virtual appearance for the camera. The data provided by the sensor can be the distance, the size and the shape of the object captured by the sensor in the vehicle environment. The sensor may be a camera but also another optical sensor providing measurement quantities. In particular, to determine the distance and have a three-dimensional trace of the object, the vehicle is equipped with several sensors, for example a sensor in its front area and a sensor in the rear area. It is also possible to combine an optical sensor with a distance sensor, for example a radar sensor or an ultrasonic sensor. If the vehicle is equipped only with a sensor, it will be possible for example to conclude at the distance between the vehicle and the object, from measurements determined beforehand and which are for example recorded in the memory of the navigation system. The area of the object, not visible, is for example a truck body part that exceeds the sensor input range fitted to the vehicle body. The determination step may for example consist of applying an appropriate algorithm. The invention is based on the consideration that by a synthetic representation of objects detected in the vehicle environment, it will be possible to give the driver of the vehicle a complete representation of the environment of the vehicle, or a scene in aerial perspective. so that the driver perceives it much better intuitively. According to the above proposal, it is taken into account that the cameras equipping the vehicle naturally have a lower height than that of high objects and areas behind the objects that can not be completely grasped. The zones, that is to say the "black spots" in the representation of the environment of the vehicle, will be avoided in that we replace these "black spots" by embedding the graphic object obtained by synthesis. This is true for example for objects that are certainly recognized and represented completely, but that

4 le conducteur ne pourra plus percevoir de manière intuitive à cause de leur distorsion par la perspective. Pour donner un contenu intuitif à de telles zones "noires", les contours de ces zones sont avantageusement remplis par des éléments graphiques de synthèse. Si la classification de l'objet est connue, indiquant la nature des objets concernés, par exemple un piéton, un véhicule, un camion, un panneau de circulation, etc., alors ces objets reconnus et classifiés, pourront être représentés par exemple par des éléments graphiques appropriés dans la représentation à l'emplacement correct. L'élément graphique de synthèse est par exemple une partie caractéristique d'un certain type de véhicule, par exemple la carrosserie. Il peut également s'agir d'une partie d'immeuble et par le recalcul des données, on pourra la représenter de manière visuelle sur la zone de l'immeuble saisie par le capteur. L'élément graphique de synthèse pourra par exemple être extrait d'une mémoire ou se déterminer dans le cas toujours actuel à partir des données saisies et connues concernant l'objet pour être ainsi fourni directement. L'étape d'insertion peut se faire à l'aide d'un algorithme approprié. L'élément graphique de synthèse est conçu pour qu'à l'état intégré, il couvre l'ensemble de la zone de l'objet non visible ou un segment de la zone non visible. Cela permet de représenter au moins un objet, par exemple sur l'écran image du système de navigation pour que l'objet puisse être reconnu de manière intuitive par le conducteur du véhicule qui jette un coup d'oeil sur l'écran. Selon un mode de réalisation, le procédé comporte en outre une étape de classification de l'objet. Dans l'étape de fourniture, l'élément graphique de synthèse peut être fourni sous la forme d'un symbole pour au moins une zone partielle de l'objet classifié. Dans l'étape de classification, on peut déterminer si l'objet saisi partiellement est par exemple un piéton, un panneau de circulation ou un autre véhicule. Dans l'étape de classification, on peut également déterminer le type du véhicule qui aura été saisi partiellement, par exemple un camion ou un véhicule de tourisme, par exemple en ce que l'on compare la plage partielle saisie, à des objets modèles enregistrés dans une banque de données du système de navigation. De façon avantageuse, l'étape de remplacement pourra se faire beaucoup plus rapidement et le cas échéant toute la zone non visible pourra s'utiliser de nouveau. Selon un autre développement, le procédé comprend en 5 outre une étape de saisie d'autres données de l'objet à partir d'autres positions qui se distinguent de la position du capteur dans laquelle les données ont été saisies pour l'étape de détermination. Dans ces conditions, les autres données pourront se rapporter au moins à une partie de la zone de l'objet non visible par le capteur. En plus, le procédé peut comporter une étape consistant à remplacer au moins partiellement l'élément graphique de synthèse par une représentation d'une zone de l'objet saisi à partir d'une autre position. Cette autre position est par exemple la position d'un autre capteur sur le véhicule ou aussi du même capteur mais décalée dans le temps et/ou décalée localement et qui a déjà fourni les données relative à l'objet. La position décalée dans le temps et/ou localement, provient par exemple du fait que le véhicule passe devant l'objet. De cette manière, étape par étape, on pourra remplacer l'élément de synthèse par une représentation réelle du segment de l'objet de sorte que l'objet sera perceptible d'une manière intuitive pour le conducteur. En outre, l'étape de remplacement au moins partiel peut être appliquée si les autres données représentent une partie prédéfinie de la surface totale à reprendre de l'objet. C'est ainsi que l'on peut éviter avantageusement que le conducteur du véhicule ne soit perturbé par une alternance trop fréquente de la représentation par exemple sur l'écran de l'appareil de navigation. L'étape de remplacement au moins partiel peut être supprimée s'il a été reconnu que l'objet dépasse la plage de saisie verticale du capteur. De manière avantageuse, l'objet sera mieux saisi de manière intuitive par le conducteur car on évite les surfaces noires du capteur dans les zones non visibles. Selon un autre mode de réalisation, on n'effectue pas l'étape de remplacement partiel si pour au moins un autre objet dans l'environnement du véhicule, il a été reconnu que cet autre objet dépasse la plage de saisie verticale du capteur. Dans ce cas également, 4 the driver will no longer perceive intuitively because of their distortion by perspective. To give an intuitive content to such "black" areas, the outlines of these areas are advantageously filled by graphical elements of synthesis. If the classification of the object is known, indicating the nature of the objects concerned, for example a pedestrian, a vehicle, a truck, a traffic sign, etc., then these recognized and classified objects may be represented for example by appropriate graphics in the representation at the correct location. The graphic summary element is for example a characteristic part of a certain type of vehicle, for example the bodywork. It can also be a building part and by recalculating data, it can be visually represented on the area of the building captured by the sensor. The graphic summary element may for example be extracted from a memory or be determined in the case still current from the data entered and known about the object to be so directly provided. The insertion step can be done using an appropriate algorithm. The summary graphical element is designed so that in the integrated state, it covers the entire area of the non-visible object or a segment of the non-visible area. This makes it possible to represent at least one object, for example on the image screen of the navigation system so that the object can be intuitively recognized by the driver of the vehicle who takes a look at the screen. According to one embodiment, the method further comprises a step of classifying the object. In the provisioning step, the summary graphical element may be provided in the form of a symbol for at least a partial area of the classified object. In the classification step, it can be determined whether the partially grasped object is for example a pedestrian, a traffic sign or another vehicle. In the classification stage, it is also possible to determine the type of vehicle that has been partially seized, for example a truck or a passenger vehicle, for example in that the entered partial range is compared to registered model objects. in a database of the navigation system. Advantageously, the replacement step can be done much more quickly and if necessary the entire non-visible zone can be used again. According to another development, the method further comprises a step of inputting other object data from other positions which are distinguished from the position of the sensor in which the data has been input for the determining step . Under these conditions, the other data may refer to at least part of the area of the object not visible by the sensor. In addition, the method may comprise a step of at least partially replacing the graphical synthesis element by a representation of a zone of the object entered from another position. This other position is for example the position of another sensor on the vehicle or also the same sensor but offset in time and / or shifted locally and has already provided the data relating to the object. The position shifted in time and / or locally, for example, comes from the fact that the vehicle passes in front of the object. In this way, step by step, we can replace the synthesis element with a real representation of the segment of the object so that the object will be perceived in an intuitive manner for the driver. In addition, the at least partial replacement step may be applied if the other data represents a predefined portion of the total area to be retrieved from the object. Thus it is advantageously avoided that the driver of the vehicle is disturbed by a too frequent alternation of the representation for example on the screen of the navigation device. The at least partial replacement step may be deleted if it has been recognized that the object exceeds the vertical input range of the sensor. Advantageously, the object will be better grasped intuitively by the driver because the black surfaces of the sensor are avoided in the non-visible areas. According to another embodiment, the partial replacement step is not performed if for at least one other object in the vehicle environment, it has been recognized that this other object exceeds the vertical input range of the sensor. In this case too,

6 on a l'avantage d'éviter de trop solliciter visuellement le conducteur par un changement trop fréquent de la représentation. Selon un autre mode de réalisation, on effectue l'étape de remplacement au moins partiel en fonction du réglage par le conducteur. Le réglage peut par exemple se faire manuellement par les touches du système de navigation ou par un ordre vocal et on a ainsi une possibilité d'intervention sur une reproduction fidèle de l'objet et qui correspond le mieux à la perception personnelle. L'invention a également pour objet un dispositif pour former une image d'au moins un objet dans l'environnement du véhicule à partir d'une position virtuelle de la caméra, notamment de la perspective aérienne, et caractérisé en ce qu'il comprend : - une installation pour déterminer une zone de l'objet qui n'est pas visible par le capteur en fonction des données d'au moins un capteur, notamment d'une caméra du véhicule, - une installation pour fournir un élément graphique de synthèse à intégrer dans la zone non visible de l'objet, et - une installation pour installer l'élément graphique de synthèse dans la zone non visible de l'objet pour générer l'image d'au moins un objet dans l'environnement du véhicule à partir de la position virtuelle de la caméra, notamment en perspective aérienne. Le dispositif peut être avantageusement relié au système de navigation du véhicule. Les installations, peuvent être un appareil de traitement de signal qui intègre le dispositif et le relie à celui-ci. 6 it has the advantage of avoiding too much visually solicit the driver by a too frequent change in the representation. According to another embodiment, the at least partial replacement step is performed according to the setting by the driver. The adjustment can for example be done manually by the keys of the navigation system or by a voice command and there is thus a possibility of intervention on a faithful reproduction of the object and which best corresponds to the personal perception. The invention also relates to a device for forming an image of at least one object in the vehicle environment from a virtual position of the camera, in particular the aerial perspective, and characterized in that it comprises : - an installation for determining an area of the object that is not visible by the sensor according to the data of at least one sensor, in particular a camera of the vehicle, - an installation for providing a graphic summary element to integrate in the non-visible area of the object, and - an installation for installing the synthetic graphic element in the non-visible area of the object to generate the image of at least one object in the vehicle environment from the virtual position of the camera, especially in aerial perspective. The device can be advantageously connected to the navigation system of the vehicle. The facilities may be a signal processing apparatus that integrates the device and connects it to it.

Le dispositif peut également être conçu pour effectuer ou appliquer des étapes du procédé selon l'invention. En particulier, les installations du dispositif sont conçues pour exécuter une étape du procédé. Dans cette variante de l'invention, sous la forme d'un dispositif, l'invention applique rapidement et efficacement le procédé. The device may also be designed to perform or apply steps of the method according to the invention. In particular, the facilities of the device are designed to perform a process step. In this variant of the invention, in the form of a device, the invention applies the process quickly and efficiently.

Le dispositif selon l'invention est un appareil électrique qui traite les signaux du ou des capteurs et fournit un affichage à partir de ces signaux. Mais le dispositif peut également comporter une interface sous forme câblée et/ou sous forme de programme. Dans le cas d'une réalisation câblée, les interfaces peuvent par exemple faire partie d'un système ASIC qui conserve les différentes fonctions du The device according to the invention is an electrical device that processes the signals of the sensor or sensors and provides a display from these signals. However, the device may also include an interface in wired form and / or in the form of a program. In the case of a hard-wired embodiment, the interfaces can for example be part of an ASIC system which retains the various functions of the

7 dispositif. Il est toutefois également possible que les interfaces soient des circuits intégrés propres et se composent au moins en partie de composants discrets. Dans le cas d'une réalisation sous forme de programme, les interfaces sont des modules de programme présents sur un microcontrôleur à côté d'autres modules de programme. L'invention est également réalisée avantageusement par un produit programme d'ordinateur comportant un code programme enregistré sur un support lisible par une machine, tel qu'une mémoire semi-conductrice, une mémoire à disque dur, ou une mémoire optique pour la mise en oeuvre du procédé selon l'un ou l'autre des modes de réalisation décrits ci-dessus. Dessins La présente invention sera décrite ci-après de manière plus détaillée à l'aide d'exemples de procédé pour former l'image d'un objet dans l'environnement d'un véhicule avec une position virtuelle de caméra, représentés dans les dessins annexés dans lesquels : - la figure 1 montre une scène en perspective aérienne avec des objets représentés de manière déformée, - la figure 2 représente la scène en vue en perspective aérienne de la figure 1 avec des objets corrigés en perspective et des zones qui ne peuvent pas être représentées, - la figure 3 représente la scène en vue en perspective aérienne de la figure 1 avec des objets corrigés en perspective et des objets de synthèse, intégrés, selon un exemple de réalisation de l'invention, - la figure 4 montre un ordinogramme d'un procédé pour générer l'image d'au moins un objet dans l'environnement d'un véhicule à partir d'une position virtuelle de caméra selon un exemple de réalisation de l'invention, - la figure 5 est un schéma par blocs d'un dispositif pour générer l'image d'au moins un objet dans l'environnement d'un véhicule à partir d'une position virtuelle de la caméra selon un exemple de réalisation de l'invention. Dans les différentes figures on utilisera les mêmes références pour désigner les mêmes éléments ou des éléments analogues. 7 device. However, it is also possible that the interfaces are clean integrated circuits and consist at least in part of discrete components. In the case of an embodiment in the form of a program, the interfaces are program modules present on a microcontroller alongside other program modules. The invention is also advantageously achieved by a computer program product comprising a program code recorded on a machine readable medium, such as a semiconductor memory, a hard disk memory, or an optical memory for the implementation. process according to one or other of the embodiments described above. Drawings The present invention will be described in more detail below with the aid of process examples for forming the image of an object in the environment of a vehicle with a virtual camera position, shown in the drawings. attached in which: - Figure 1 shows a scene in aerial perspective with objects represented in a deformed manner, - Figure 2 shows the scene in perspective view of Figure 1 with objects corrected in perspective and areas that can not FIG. 3 represents the scene in perspective view in perspective of FIG. 1 with objects corrected in perspective and integrated objects of synthesis, according to an exemplary embodiment of the invention; FIG. flowchart of a method for generating the image of at least one object in the environment of a vehicle from a virtual camera position according to an embodiment of the invention FIG. 5 is a block diagram of a device for generating the image of at least one object in the environment of a vehicle from a virtual position of the camera according to an exemplary embodiment of FIG. the invention. In the different figures, the same references will be used to designate the same elements or similar elements.

8 Description de modes de réalisation de l'invention La figure 1 représente une scène en perspective aérienne avec des objets déformés, montrant le propre véhicule 100 (c'est-à-dire le véhicule appliquant l'invention), un emplacement de stationnement 110 marqué au sol, un camion 120 et un poteau 130. Selon la vue de dessus de la scène de stationnement de la figure 1, l'emplacement de stationnement 110 est à gauche du propre véhicule 100 et à gauche de l'emplacement 110, il y a le camion 120. Le poteau ou pilier 130 se trouve à droite du véhicule 100. La scène de stationnement présentée à la figure 1 pourrait être affichée sur l'afficheur d'un système de navigation. Pour cela, deux capteurs du véhicule 100, non représentés à la figure 1, détectent l'emplacement de stationnement 110, le camion 120 et le poteau 130. Ces capteurs sont par exemple deux caméras. Les capteurs peuvent par exemple être installés dans la zone avant gauche et la zone avant droite de la carrosserie du véhicule 100. Comme le véhicule 100 passe devant les objets 120, 130, les capteurs détectent successivement les objets 120, 130 suivant différents angles de visée, de sorte que le camion 120 et le poteau 130 seront représentés avec une perspective déformée dans l'affichage. Dans cette forme de réalisation, les objets 120 et 130 ne peuvent pas être identifiés par le conducteur du véhicule 100. Pour calculer et représenter la perspective aérienne à partir de l'image vidéo prise par les caméras, parallèlement au plan de la chaussée, et pour représenter cette image, il faut des informations spatiales telles que par exemple la distance entre les pixels de l'image et la caméra. Cela s'obtient soit de manière limitée par des capteurs supplémentaires, tels que les capteurs à ultrasons ou des capteurs radar ou encore par un algorithme de vision stéréoscopique encore appelé "structure à partir du mouvement". Avec les informations spatiales de la scène, en appliquant une transformation des coordonnées, on peut calculer la perspective aérienne pour chacune des caméras. Si l'on assemble les perspectives aériennes de toutes les caméras, on obtient une perspective aérienne de l'ensemble de la scène entourant le véhicule 100. DESCRIPTION OF EMBODIMENTS OF THE INVENTION FIG. 1 depicts an aerial perspective scene with deformed objects, showing the own vehicle 100 (i.e. the vehicle applying the invention), a parking space 110. marked on the ground, a truck 120 and a pole 130. According to the top view of the parking scene of FIG. 1, the parking space 110 is to the left of the own vehicle 100 and to the left of the location 110 it is There is the truck 120. The post or pillar 130 is to the right of the vehicle 100. The parking scene shown in Figure 1 could be displayed on the display of a navigation system. For this, two sensors of the vehicle 100, not shown in Figure 1, detect the parking location 110, the truck 120 and the post 130. These sensors are for example two cameras. The sensors may for example be installed in the left front zone and the right front zone of the body of the vehicle 100. As the vehicle 100 passes objects 120, 130, the sensors successively detect the objects 120, 130 at different viewing angles. , so that the truck 120 and the post 130 will be represented with a distorted perspective in the display. In this embodiment, the objects 120 and 130 can not be identified by the driver of the vehicle 100. To calculate and represent the aerial perspective from the video image taken by the cameras, parallel to the plane of the roadway, and to represent this image, it is necessary spatial information such as for example the distance between the pixels of the image and the camera. This is achieved in a limited way by additional sensors, such as ultrasonic sensors or radar sensors or by a stereoscopic vision algorithm also called "structure from motion". With the spatial information of the scene, applying a coordinate transformation, we can calculate the aerial perspective for each of the cameras. If we assemble the aerial perspectives of all the cameras, we obtain an aerial perspective of the whole scene surrounding the vehicle 100.

9 La figure 2 montre la scène en vue en perspective avec les objets en perspective, corrigés de la figure 1, et les zones qui ne peuvent pas être représentées. Selon la représentation de la figure 2, en recalculant les données des capteurs, on corrige les défauts de perspective du côté droit du camion 120 et du poteau 130. Pour la zone 200 du camion 120 visible par le capteur du véhicule 100, la vue de dessus montre le bord droit du camion 120. Ainsi, le camion 120 et le poteau 130, sont maintenant reconnaissables en tant que tels dans la représentation pour le conducteur du véhicule 100. Comme la scène est reconnaissable de manière limitée et que la perspective a été modifiée selon la perspective aérienne, on arrive à des zones "noires", (c'est-à-dire des zones non visibles) dans la représentation. Selon la figure 2, on a représenté par une surface hachurée, la zone 210 du camion 120 qui n'est pas visible par le capteur, c'est-à-dire qui est cachée et ne peut être ainsi représentée en réalité. La figure 3 montre une représentation de la scène en perspective aérienne de la figure 1 avec des objets corrigés en perspective et des objets à représentation synthétique selon un exemple de réalisation de l'invention. La figure 3 montre une représentation de la scène en perspective aérienne de la figure 1, dont les objets ont été corrigés pour la perspective. De plus, la surface hachurée de la figure 2 correspondant à la zone non visible du camion 120, a été remplacée par un élément graphique de synthèse 310. L'élément graphique de synthèse 310 de l'exemple de réalisation de la figure 3, est une partie d'un camion en vue de dessus, et a été inséré dans la zone du camion 120 non visible pour le capteur. On obtient ainsi pour la représentation, par exemple sur un affichage du système de navigation du véhicule 100, l'image complète du camion 120 qui se compose de la zone "réelle" 200 du camion 120 saisie par le capteur du véhicule 100 et par l'élément graphique de synthèse 310. En variante, l'élément graphique de synthèse 310 peut également être remplacé globalement comme vue de dessus globale d'un camion à la place du camion 120. L'élément graphique de synthèse 310 peut par exemple se classifier par une étape de classification au cours de laquelle la zone visible 200 a été classifiée comme camion, par exemple dans une Figure 2 shows the scene in perspective view with perspective objects, corrected in Figure 1, and areas that can not be represented. According to the representation of FIG. 2, by recalculating the data of the sensors, the perspective defects on the right side of the truck 120 and the column 130 are corrected. For the zone 200 of the truck 120 visible by the sensor of the vehicle 100, the view of the truck 120 and the post 130, are now recognizable as such in the representation for the driver of the vehicle 100. As the scene is recognizable in a limited way and that the perspective has been modified according to the aerial perspective, one arrives at "black" zones, (that is to say non-visible zones) in the representation. According to Figure 2, there is shown by a hatched surface, the area 210 of the truck 120 which is not visible by the sensor, that is to say, which is hidden and can not be represented in reality. FIG. 3 shows a representation of the scene in aerial perspective of FIG. 1 with objects corrected in perspective and objects with synthetic representation according to an exemplary embodiment of the invention. Figure 3 shows a representation of the scene in aerial perspective of Figure 1, whose objects have been corrected for perspective. In addition, the hatched surface of FIG. 2 corresponding to the non-visible zone of the truck 120 has been replaced by a graphic synthesis element 310. The synthetic graphic element 310 of the embodiment of FIG. 3 is part of a truck in top view, and was inserted in the truck area 120 not visible to the sensor. Thus, for the representation, for example on a display of the navigation system of the vehicle 100, the complete image of the truck 120 which consists of the "real" zone 200 of the truck 120 entered by the sensor of the vehicle 100 and by the As an alternative, the synthetic graphic element 310 can also be replaced globally as a global top view of a truck instead of the truck 120. The graphic summary element 310 can for example be classified by a classification step during which the visible area 200 has been classified as a truck, for example in a

10 banque de données dans la mémoire du système de navigation. La banque de données peut entre autres comporter des éléments graphiques de synthèse pour différents types de véhicules ou aussi des bâtiments, des panneaux de circulation ou des personnes. Suivant l'étape de classification, on pourra sélectionner dans la banque de données, l'élément graphique de synthèse, adapté, et l'insérer dans la zone non visible correspondante pour avoir une image totale, directement perceptible d'un objet, de manière intuitive pour l'oeil de l'observateur. 10 databank in the navigation system memory. The database may include, among other things, synthetic graphic elements for different types of vehicles or also buildings, traffic signs or people. According to the classification step, it will be possible to select in the databank the adapted graphic synthesis element and insert it into the corresponding non-visible zone in order to obtain a total, directly perceptible image of an object so as to intuitive for the eye of the observer.

Le choix des zones des objets à représenter par synthèse et des objets à représenter en réalité, peut être conçu de manière adaptative. C'est ainsi que l'on peut déterminer le degré de complétude d'informations par rapport à un objet pour déterminer dans quelle mesure l'objet doit être représenté par synthèse. Par exemple, pour la comparaison au véhicule 100, on aura un camion 120, haut, de sorte qu'une représentation réelle ne sera pas possible à cause du manque de visibilité réelle. Ainsi, lorsqu'un algorithme reconnaît qu'un objet est plus haut que la plage de vision verticale de la caméra, on utilisera une représentation de synthèse de l'objet. En revanche, par exemple, un bac à plantes ou un poteau 130 dans la représentation de la figure 3, pourront tout d'abord être représentés sous forme d'images de synthèse. Mais dès que l'on dispose de suffisamment d'information concernant la zone du bac à plantes ou du poteau 130 du fait du passage du véhicule 100, on peut passer à une représentation réelle. The choice of the areas of the objects to be represented by synthesis and the objects to be represented in reality can be designed adaptively. Thus, the degree of completeness of information in relation to an object can be determined to determine to what extent the object is to be synthetically represented. For example, for the comparison with the vehicle 100, we will have a truck 120, high, so that a real representation will not be possible because of the lack of real visibility. Thus, when an algorithm recognizes that an object is higher than the vertical viewing range of the camera, a synthetic representation of the object will be used. On the other hand, for example, a plant container or a post 130 in the representation of FIG. 3 can first be represented in the form of synthetic images. But as soon as we have enough information about the area of the plant tray or the post 130 because of the passage of the vehicle 100, we can move to a real representation.

En variante, cette adaptation peut s'appliquer à toute la scène. Ainsi, dès qu'un objet de toute la scène a été représenté par synthèse à cause de sa hauteur, comme déjà décrit, cela sert avant tout à ne pas déranger le conducteur par un changement trop fréquent de mode de représentation. En outre, le conducteur du véhicule 100 pourra régler le degré d'adaptation selon ses propres exigences. La figure 4 montre un ordinogramme d'un procédé 400 pour générer l'image d'un objet ou de plusieurs objets dans l'environnement d'un véhicule à partir d'une position virtuelle de la caméra, selon un exemple de réalisation de la présente invention. Alternatively, this adaptation can be applied to the entire scene. Thus, as soon as an object of the whole scene has been represented by synthesis because of its height, as already described, it serves above all not to disturb the driver by a too frequent change of mode of representation. In addition, the driver of the vehicle 100 can adjust the degree of adaptation according to his own requirements. FIG. 4 shows a flowchart of a method 400 for generating the image of an object or several objects in the environment of a vehicle from a virtual position of the camera, according to an exemplary embodiment of the invention. present invention.

Il Lorsqu'un véhicule passe par exemple devant un emplacement de stationnement, au moins un capteur du véhicule aura différents angles de visée sur la scène et on peut ainsi conclure à l'extension d'au moins un objet appartenant à la scène. C'est ainsi que dans une première étape 410 du procédé 400 reposant sur les données d'au moins un capteur pour la zone de l'objet ou des objets non visibles par le capteur, on détermine la zone du ou des objets et par un algorithme approprié, on cherche à classer l'objet. Le capteur peut être notamment une caméra installée par exemple sur la carrosserie du véhicule. Dans une seconde étape 420, on fournit un élément graphique de synthèse qui convient pour remplacer au moins une zone cachée de l'objet que le capteur ne peut voir ou la zone de l'objet cachée par au moins un objet. Dans une troisième étape 430, on installe l'élément graphique de synthèse dans la zone non visible de l'objet. On obtient une image de la scène dans l'environnement du véhicule résultant de la position virtuelle de la caméra, dans laquelle le ou les objets sont représentés par des éléments graphiques de synthèse, intégrés, pour être reconnus intuitivement par un observateur de la scène. La position virtuelle de la caméra peut correspondre notamment à la perspective aérienne. Les étapes 410, 420, 430 du procédé 400, peuvent être répétées car la saisie de la scène à partir de différents angles de visée pendant le passage du véhicule diminue de plus en plus, les plages cachées par les objets. C'est ainsi que la représentation de synthèse des objets de la scène pourra être remplacée peu à peu par la représentation en perspective de l'image vidéo à l'endroit des objets. La figure 5 montre un schéma par blocs d'un rétroviseur vidéo ou d'un dispositif 500 qui génère l'image d'au moins un objet dans l'environnement du véhicule à partir d'une position virtuelle de la caméra, selon un exemple de réalisation de la présente invention. La figure montre une représentation de principe du véhicule 100 équipé du dispositif 500 avec une installation pour déterminer 510, une installation pour fournir 520, ainsi que d'une installation pour remplacer 530. Deux capteurs tels que des caméras 540, sont When a vehicle passes for example in front of a parking space, at least one sensor of the vehicle will have different viewing angles on the scene and we can thus conclude to the extension of at least one object belonging to the scene. Thus, in a first step 410 of the method 400 based on the data of at least one sensor for the area of the object or objects not visible by the sensor, the area of the object or objects is determined and by a appropriate algorithm, we try to classify the object. The sensor may be in particular a camera installed for example on the body of the vehicle. In a second step 420, a graphic summary element is provided that is suitable for replacing at least one hidden area of the object that the sensor can not see or the area of the object hidden by at least one object. In a third step 430, the graphical synthesis element is installed in the non-visible zone of the object. An image of the scene is obtained in the vehicle environment resulting from the virtual position of the camera, in which the object or objects are represented by integrated graphic elements, to be recognized intuitively by an observer of the scene. The virtual position of the camera may correspond in particular to the aerial perspective. The steps 410, 420, 430 of the method 400 can be repeated because the capture of the scene from different viewing angles during the passage of the vehicle decreases more and more, the hidden ranges by the objects. This is how the synthetic representation of the objects of the scene can be replaced little by little by the perspective representation of the video image at the place of the objects. FIG. 5 shows a block diagram of a video mirror or device 500 which generates the image of at least one object in the vehicle environment from a virtual position of the camera, according to an example embodiment of the present invention. The figure shows a basic representation of the vehicle 100 equipped with the device 500 with an installation for determining 510, an installation for providing 520, as well as an installation for replacing 530. Two sensors such as 540 cameras are

12 présentés, l'une étant du côté gauche et l'autre du côté droit de la zone avant d'un côté de la carrosserie. Les capteurs 540, au passage du véhicule 100 devant au moins un objet, fournissent des données sur la taille, la distance par rapport au capteur et la propriété de surface de l'objet et ces informations sont transmises par une interface à l'installation servant à déterminer 510. En fonction des données reçues, l'installation de détermination 510 appliquant un algorithme approprié, détermine une zone non visible de l'objet pour le capteur. Une information concernant la zone non visible de l'objet, est transmise à l'installation 520 par une autre interface. Dans cette installation et en utilisant l'information, on fournit un élément graphique de synthèse qui peut être placé dans la zone non visible de l'objet. Par exemple, l'élément graphique de synthèse peut provenir d'une banque de données dans laquelle sont enregistrés différents objets ou parties d'objet. L'installation 520 transmet les données de l'élément graphique de synthèse par une autre interface non représentée à l'installation 530 conçue pour placer l'élément graphique de synthèse dans la zone ainsi non visible de l'objet pour apparaître sur un affichage d'un système de navigation du véhicule 100 avec l'image d'au moins un objet dans l'environnement du véhicule à partir de la position virtuelle de la caméra, notamment en perspective aérienne.25 NOMENCLATURE 100 110 s 120 130 200 210 310 10 400 410, 420, 430 500 510 520 1s 530 540 véhicule emplacement de stationnement camion objet/poteau zone visible du camion 120 zone non visible du camion 120 élément graphique de synthèse ordinogramme du procédé étapes du procédé dispositif générant l'image d'un objet installation pour déterminer la zone non visible installation pour transmettre les données installation pour placer l'élément de synthèse caméra 20 12 shown, one being on the left side and the other on the right side of the front area on one side of the bodywork. The sensors 540, at the passage of the vehicle 100 in front of at least one object, provide data on the size, the distance from the sensor and the surface property of the object and this information is transmitted by an interface to the installation serving to determine 510. Based on the data received, the determination facility 510 applying an appropriate algorithm determines a non-visible area of the object for the sensor. Information concerning the non-visible zone of the object is transmitted to the installation 520 by another interface. In this installation and using the information, a graphical summary element is provided that can be placed in the non-visible area of the object. For example, the summary graphical element may come from a database in which different objects or parts of objects are stored. The installation 520 transmits the data of the graphic synthesis element by another interface not represented to the installation 530 designed to place the graphic synthesis element in the non-visible zone of the object to appear on a display. a navigation system of the vehicle 100 with the image of at least one object in the vehicle environment from the virtual position of the camera, in particular in aerial perspective.25 NOMENCLATURE 100 110 s 120 130 200 210 310 10 400 410, 420, 430 500 510 520 1s 530 540 vehicle parking space truck object / pole visible area of the truck 120 non-visible area of the truck 120 graphical element of synthesis flowchart of the process steps of the process device generating the image of an object installation to determine the non-visible area installation to transmit data installation to set the camera synthesis element 20

Claims

CLAIMS1 »Method (400) for forming the image of at least one object (120, 130) in the environment of a vehicle (100) from a virtual camera position, especially in aerial perspective, characterized by the following steps: - determining (410) a non-visible area (210) of the object (120, 130) for the sensor (540) based on the data provided by at least one sensor (540) of the vehicle ( 100), - supplying (420) a graphical synthesis element (310) for integrating it into the non-visible zone (210) of the object (120, 130), and integrating (430) the graphical synthesis element (310) in the non-visible area (210) of the object (120, 130) to form the image of at least one object (120, 130) in the vehicle environment (100) from the position virtual camera, especially in aerial perspective. 2 »Method (400) according to claim 1, characterized in that the method further comprises a step of classification of the object (120, 130), * in the supply step (420), the element is provided synthetic graph (310) in the form of a symbol for at least a partial zone of the object to be classified (120, 130). 3 »Method (400) according to claim 1, characterized in that it further comprises a step of entering other data concerning the object (120, 130) from another position, different from a position of the sensor (540) for which the data has been entered for the determining step (410), * these other data relating to at least a part of the non-visible area (210) of the object (120, 130) for the sensor (540), and * the method further comprises a step of at least partially replacing the graphical synthesis element (310) by the representation of an area of the object (120, 130) inputted from another position. 4 »Method (400) according to claim 3, characterized in that one carries out the at least partial replacement step if the other data represent a predefined part of a total surface occupied by the object (120, 130). 5 »Method (400) according to claim 3, characterized in that the at least partial replacement step is removed if it is recognized that the object (120, 130) exceeds the vertical extension range of the sensor ( 540). 6 »Method (400) according to claim 3, characterized in that the at least partial replacement step, is removed if at least one other object (120, 130) in the environment of the vehicle (100), has been recognized as exceeding the vertical sensor input area (540). 7 »Method (400) according to claim 3, characterized in that the at least partial replacement step is performed according to the setting by the driver of the vehicle (100). 8 »Device (500) for forming an image of at least one object (120, 130) in the environment of the vehicle (100) from a virtual position of the camera, in particular from the aerial perspective device characterized in that it comprises: - an installation (510) for determining (410) according to the data of at least one sensor (540), in particular a vehicle camera (100), an area (210) of the object (120, 130) which is not visible by the sensor (540), 16 - an installation (520) for providing (420) a graphic synthesis element (310) to be integrated in the non-visible area (210) of the object (120, 130), and - an installation (530) for placing (430) the synthetic graphical element (310) in the non-visible area (210) of the object (120, 130) to generate the image of at least one object (120, 130) in the environment of the vehicle (100) from the virtual position of the camera, in particular in aerial perspective. 9 "Computer program product with a program code recorded on a machine-readable medium, for carrying out the method (400), according to one of claims 1 to 7, when the program is applied by a device. 20