FR2926908A1 - Motor vehicle i.e. car, driving assisting method, involves allocating quality score to each of pixels in each of corrected images, and selecting pixel having high quality in order to elaborate top view of environment of motor vehicle - Google Patents
Motor vehicle i.e. car, driving assisting method, involves allocating quality score to each of pixels in each of corrected images, and selecting pixel having high quality in order to elaborate top view of environment of motor vehicle Download PDFInfo
- Publication number
- FR2926908A1 FR2926908A1 FR0800504A FR0800504A FR2926908A1 FR 2926908 A1 FR2926908 A1 FR 2926908A1 FR 0800504 A FR0800504 A FR 0800504A FR 0800504 A FR0800504 A FR 0800504A FR 2926908 A1 FR2926908 A1 FR 2926908A1
- Authority
- FR
- France
- Prior art keywords
- motor vehicle
- pixel
- quality
- driving
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000000272 proprioceptive effect Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 230000004438 eyesight Effects 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
Description
REN063FR / PJ8510 - dépôt DA 1 L'invention concerne un procédé d'affichage pour l'assistance à la conduite d'un véhicule automobile, sur la base de la construction d'une vue de dessus, un dispositif d'assistance mettant en oeuvre ce procédé ainsi qu'un véhicule automobile en tant que tel équipé d'un tel dispositif. The invention relates to a display method for assisting the driving of a motor vehicle, on the basis of the construction of a view from above, an assistance device implementing this method and a motor vehicle as such equipped with such a device.
Le document JP2003274394 décrit une reconstitution d'une vue de dessus de l'environnement d'un véhicule automobile à partir d'une caméra positionnée à l'arrière du véhicule. Une telle solution reste très limitée car il n'est pas possible d'obtenir une vue très approfondie à partir de l'image obtenue par une caméra. JP2003274394 describes a reconstruction of a top view of the environment of a motor vehicle from a camera positioned at the rear of the vehicle. Such a solution is very limited because it is not possible to obtain a very thorough view from the image obtained by a camera.
D'une manière générale, les solutions existantes permettant d'élaborer une vue de dessus de l'environnement d'un véhicule automobile sont insuffisantes. Elles sont souvent imprécises, du fait par exemple d'une simple juxtaposition de différentes images obtenues par plusieurs caméras dont les zones frontières entre ces images sont souvent de mauvaise qualité. De plus, elles fournissent aussi souvent une image déformée, notamment du fait de la présence d'obstacles ou d'objets dont la hauteur est non négligeable et qui ne sont donc pas compris dans le plan de la route. In general, the existing solutions for developing a top view of the environment of a motor vehicle are insufficient. They are often imprecise, for example because of a simple juxtaposition of different images obtained by several cameras whose border areas between these images are often of poor quality. In addition, they also often provide a distorted image, in particular because of the presence of obstacles or objects whose height is not negligible and which are not included in the plan of the road.
II existe donc un besoin d'amélioration des procédés et dispositifs d'assistance à la conduite d'un véhicule automobile. Un objet de la présente invention consiste à proposer une nouvelle solution d'assistance qui transmette une vision périphérique la plus pertinente possible au conducteur de l'environnement du véhicule automobile. 30 REN063FR / PJ8510 - dépôt DA 2 A cet effet, l'invention repose sur un procédé d'assistance à la conduite d'un véhicule automobile comprenant un procédé d'élaboration au sein d'un calculateur d'une vue de dessus de l'environnement du véhicule, comprenant une étape de rectification de chaque image reçue par une caméra disposée sur le véhicule par un module de rectification, caractérisé en ce qu'il comprend de plus une étape d'attribution d'un score de qualité à chaque pixel de l'image rectifiée concerné par l'environnement du véhicule à représenter et une étape de sélection du pixel de plus grande qualité afin d'élaborer la vue de dessus en choisissant pour chaque pixel celui de plus grande qualité parmi plusieurs solutions possibles. There is therefore a need for improving methods and devices for assisting the driving of a motor vehicle. An object of the present invention is to provide a new assistance solution that transmits the most relevant peripheral vision possible to the driver of the environment of the motor vehicle. For this purpose, the invention is based on a method of assisting the driving of a motor vehicle comprising a method of producing, within a computer, a top view of the vehicle. environment of the vehicle, comprising a step of rectification of each image received by a camera disposed on the vehicle by a rectification module, characterized in that it further comprises a step of assigning a quality score to each pixel of the rectified image concerned by the environment of the vehicle to be represented and a step of selecting the pixel of higher quality in order to develop the top view by choosing for each pixel that of the highest quality among several possible solutions.
Le procédé d'assistance à la conduite d'un véhicule automobile peut 15 comprendre les étapes suivantes : -découpage en un tableau de n*m cases de l'environnement du véhicule à représenter ; -pour chaque image reçue par une caméra disposée sur le véhicule : -rectification de l'image pour la transformer en vue de dessus, en transformant chaque pixel de cette image en un pixel sur le plan de la route en vue de dessus, et caractérisé en ce qu'il peut de plus comprendre les étapes complémentaires suivantes: -détermination des pixels rectifiés correspondant à l'environnement à représenter, c'est-à-dire à une des cases du tableau défini précédemment ; - pour chacun de ces pixels déterminés, sélection du pixel dans la vue de dessus si son score de qualité est supérieur au 30 score de qualité précédemment attribué au pixel sélectionné pour 20 25 REN063FR / PJ8510 -dépôt DA 3 cette même case du tableau afin de sélectionner le pixel de plus grande qualité pour cette case. The method of assisting driving a motor vehicle may comprise the following steps: cutting into an array of n * m boxes of the environment of the vehicle to be represented; for each image received by a camera disposed on the vehicle: converting the image to transform it into a top view, transforming each pixel of this image into a pixel on the road plane in plan view, and characterized in that it can furthermore comprise the following complementary steps: determination of the corrected pixels corresponding to the environment to be represented, that is to say to one of the cells of the previously defined array; for each of these determined pixels, selection of the pixel in the top view if its quality score is greater than the quality score previously assigned to the pixel selected for the same box of the table in order to select the highest quality pixel for this box.
Le procédé d'assistance à la conduite d'un véhicule automobile peut 5 comprendre une étape de mémorisation dans une mémoire de la luminance de chaque pixel sélectionné et de son score de qualité, ou les chrominances de chaque pixel sélectionné et de leurs scores de qualité. The driving assistance method of a motor vehicle may comprise a step of storing in memory the luminance of each selected pixel and its quality score, or the chrominances of each selected pixel and their quality scores. .
Le procédé peut de plus comprendre une étape d'attribution du score de 10 qualité à chaque pixel de chaque image selon des règles prédéfinies mémorisées dans une mémoire. The method may further include a step of assigning the quality score to each pixel of each image according to predefined rules stored in a memory.
Le procédé peut aussi comprendre une étape de sélection de la règle de score de qualité qui correspond à la situation du véhicule automobile 15 parmi plusieurs règles distinctes mémorisées. The method may also include a step of selecting the quality scoring rule that corresponds to the situation of the motor vehicle among a number of different stored rules.
Le procédé peut aussi comprendre au moins une règle de score de qualité consistant à classer pour chaque zone autour du véhicule les caméras par ordre de préférence dont les images sont à retenir. 20 Une règle de score de qualité peut comprendre la préférence des caméras latérales pour des zones d'observation sur les côtés du véhicule et la préférence d'au moins une caméra arrière pour la zone directement à l'arrière du véhicule, pour une situation de manoeuvre de type 25 créneau . The method may also include at least one quality score rule of classifying for each area around the vehicle the cameras in order of preference whose images are to be retained. A quality scoring rule may include the preference of the side cameras for viewing areas on the sides of the vehicle and the preference of at least one rear camera for the area directly to the rear of the vehicle, for a situation of slot maneuvering.
Le procédé peut comprendre une étape de mise à jour dans un module de mise à jour des données de la vue de dessus mémorisées, par au moins une opération de rotation et/ou translation effectuée aux cases du tableau 30 de l'environnement du véhicule afin de modifier ces cases en cohérence REN063FR / PJ8510 - dépôt DA 4 avec le déplacement du véhicule, en fonction de la réception de données proprioceptives du véhicule par des capteurs proprioceptifs. The method may comprise a step of updating in a module for updating the data of the top view stored by at least one rotation and / or translation operation carried out in the cells of the table 30 of the environment of the vehicle so that to modify these boxes in coherence REN063FR / PJ8510 - deposit DA 4 with the displacement of the vehicle, according to the reception of proprioceptive data of the vehicle by proprioceptive sensors.
Le procédé peut comprendre une étape supplémentaire de représentation 5 des obstacles à partir de données reçues par des capteurs de détection d'obstacles comme des capteurs ultrasons. The method may include an additional step of representing obstacles from data received by obstacle detection sensors such as ultrasonic sensors.
L'invention porte aussi sur un dispositif d'assistance à la conduite d'un véhicule automobile, comprenant des caméras, des capteurs 10 proprioceptifs, et un écran caractérisé en ce qu'il comprend un calculateur apte à la mise en oeuvre d'un procédé d'assistance à la conduite du véhicule automobile tel que décrit précédemment, comprenant une étape de rectification de chaque image reçue par chaque caméra et une étape d'attribution d'un score de qualité à chaque pixel de l'image rectifiée 15 concerné par l'environnement à représenter, afin d'élaborer et afficher sur l'écran la vue de dessus de meilleure qualité à partir des différentes images reçues par les caméras. The invention also relates to a device for assisting the driving of a motor vehicle, comprising cameras, proprioceptive sensors, and a screen characterized in that it comprises a computer capable of implementing a method of assisting the driving of the motor vehicle as described above, comprising a step of rectification of each image received by each camera and a step of assigning a quality score to each pixel of the corrected image 15 concerned by the environment to represent, in order to develop and display on the screen the top view from the different images received by the cameras.
Le calculateur peut comprendre un module de rectification relié par un 20 moyen de communication avec les caméras, un module d'élaboration de la vue de dessus apte à la mise en oeuvre des étapes de sélection du pixel de plus grande qualité à partir des images fournies par le module de rectification, et une mémoire pour mémoriser pour chaque pixel de l'image sa luminance et son score de qualité, ou les chrominances de chaque 25 pixel et leurs scores de qualité. The computer may comprise a grinding module connected by means of communication with the cameras, a module for developing the top view adapted to the implementation of the steps of selecting the pixel of higher quality from the images provided. by the rectification module, and a memory for storing for each pixel of the image its luminance and its quality score, or the chrominances of each pixel and their quality scores.
Le calculateur peut de plus comprendre un module de mise à jour relié par un moyen de communication aux capteurs proprioceptifs apte à mettre à jour les données de la vue de dessus mémorisées dans la mémoire en 30 fonction des données reçues par le module de mise à jour. The computer may further comprise an update module connected by a communication means to the proprioceptive sensors capable of updating the data of the top view stored in the memory according to the data received by the updating module. .
REN063FR / PJ8510 - dépôt DA 5 Le dispositif peut aussi comprendre un module de rectification apte à zoomer sur au moins une partie de la vue de dessus pour observer plus précisément des zones définies par l'utilisateur et/ou le type de manoeuvre, ou au moins une caméra apte à zoomer sur au moins une partie de son champ de vision. REN063FR / PJ8510 - DA deposit 5 The device may also include a grinding module capable of zooming on at least a portion of the top view to more precisely observe user defined zones and / or the type of maneuver, or least a camera able to zoom in at least part of its field of vision.
Enfin, l'invention porte aussi sur un véhicule automobile comprenant un dispositif d'assistance à la conduite tel que décrit précédemment. Ces objets, caractéristiques et avantages de la présente invention seront exposés en détail dans la description suivante d'un mode d'exécution particulier fait à titre non-limitatif en relation avec les figures jointes parmi lesquelles : 15 La figure 1 représente une vue schématique du dispositif d'assistance à la conduite d'un véhicule automobile selon un mode d'exécution de l'invention; la figure 2 représente le calculateur du dispositif précédent selon le mode 20 d'exécution de l'invention ; la figure 3 représente une vue schématique d'une étape du procédé d'assistance selon le mode d'exécution de l'invention ; les figures 4 et 5 représentent des exemples d'implémentation du procédé d'assistance selon le mode d'exécution de l'invention. 25 La figure 1 illustre schématiquement un dispositif d'assistance pour véhicule automobile selon un mode d'exécution de l'invention. Le dispositif comprend plusieurs caméras 1 et des capteurs proprioceptifs 2. Les caméras 1 sont positionnées sur le véhicule automobile, par exemple au 30 niveau des phares et/ou de la carrosserie, de manière à couvrir10 REN063FR / PJ8510 -dépôt DA 6 l'environnement du véhicule qu'on souhaite représenter en vue de dessus pour assister le conducteur dans sa conduite. Les capteurs proprioceptifs 2 permettent d'obtenir des informations complémentaires sur le comportement du véhicule automobile, comme sa vitesse, son angle volant, la variation de l'angle de lacet, ..., par le biais du réseau de bord du véhicule par exemple. Toutes ces informations sont transmises par respectivement des moyens de communication 3, 4 à un calculateur 5, qui met en oeuvre le procédé de construction d'une vue de dessus qui est ensuite transmise par un moyen de communication 6 pour son affichage sur un écran 7 du véhicule automobile pour l'assistance à la conduite. Finally, the invention also relates to a motor vehicle comprising a driving assistance device as described above. These objects, features and advantages of the present invention will be set forth in detail in the following description of a particular non-limiting embodiment in relation to the accompanying figures in which: FIG. 1 is a schematic view of device for assisting the driving of a motor vehicle according to an embodiment of the invention; FIG. 2 represents the computer of the preceding device according to the embodiment of the invention; FIG. 3 represents a schematic view of a step of the assistance method according to the embodiment of the invention; Figures 4 and 5 show examples of implementation of the assistance method according to the embodiment of the invention. FIG. 1 diagrammatically illustrates an assistance device for a motor vehicle according to one embodiment of the invention. The device comprises several cameras 1 and proprioceptive sensors 2. The cameras 1 are positioned on the motor vehicle, for example at the level of the headlights and / or the bodywork, so as to cover the environment. of the vehicle to be represented in plan view to assist the driver in his driving. The proprioceptive sensors 2 make it possible to obtain additional information on the behavior of the motor vehicle, such as its speed, its flying angle, the variation of the yaw angle, etc., for example by means of the vehicle on-board network. . All this information is transmitted respectively by the communication means 3, 4 to a computer 5, which implements the method of construction of a top view which is then transmitted by a communication means 6 for its display on a screen 7 of the motor vehicle for driving assistance.
Le calculateur 5 du dispositif décrit précédemment comprend un module de rectification 8 qui reçoit directement du moyen de communication 3 les images transmises par les différentes caméras 1. Ce module met en oeuvre l'étape de rectification du procédé d'assistance, pour chaque image obtenue pour chaque caméra. Il comprend de plus un module de mise à jour 9 qui reçoit les données transmises par les capteurs proprioceptifs 2 par le moyen de communication 4, et les utilise pour mettre en oeuvre une étape de mise à jour d'une mémoire 11 du calculateur. Enfin, il comprend un module 10 d'élaboration de la vue de dessus par la réunion des différentes images transmises par le module 8. Toutes ces informations sont mémorisées dans la mémoire 11 et transmises en sortie 6 vers un écran d'affichage 7. Les différents modules 8, 9, 10 du calculateur peuvent consister en des éléments logiciels et/ou matériel (software et/ou harclware), mettant finalement en oeuvre le procédé d'assistance qui va maintenant être décrit plus en détail. The computer 5 of the device described above comprises a rectification module 8 which receives directly from the communication means 3 the images transmitted by the different cameras 1. This module implements the step of rectification of the assistance method, for each image obtained for each camera. It further comprises an update module 9 which receives the data transmitted by the proprioceptive sensors 2 by the communication means 4, and uses them to implement a step of updating a memory 11 of the computer. Finally, it comprises a module 10 for developing the top view by the meeting of the different images transmitted by the module 8. All this information is stored in the memory 11 and transmitted at the output 6 to a display screen 7. different modules 8, 9, 10 of the computer may consist of software and / or hardware (software and / or harclware), finally implementing the assistance method which will now be described in more detail.
Le procédé d'assistance consiste donc en un procédé d'élaboration d'une vue de dessus de l'environnement du véhicule automobile.30 REN063FR / PJ8510 - dépôt DA 7 Pour cela, il comprend une étape de rectification des images reçues, mise en oeuvre par le module de rectification 8 du dispositif, qui consiste à transformer chaque image reçue par chaque caméra en vue de dessus. Cette étape consiste principalement à considérer que chaque pixel, plus précisément chaque luminance d'un pixel, correspond à l'aspect de la route. II est ainsi possible de reconstituer l'image de dessus en projetant sur le plan de la route chaque pixel reçu. Pour cela, chaque pixel de l'image reçue est projeté dans le plan de la route par l'intersection de la droite de projection de la luminance du pixel, en suivant la droite optique de la caméra, avec la surface plane de la route. The assistance method therefore consists of a method of producing a top view of the environment of the motor vehicle.30 REN063EN / PJ8510 - DA depot 7 For this, it comprises a step of rectification of the received images, implementation implemented by the grinding module 8 of the device, which consists of transforming each image received by each camera in a view from above. This step consists mainly of considering that each pixel, more precisely each luminance of a pixel, corresponds to the appearance of the road. It is thus possible to reconstruct the image from above by projecting on the road map each pixel received. For this, each pixel of the received image is projected in the plane of the road by the intersection of the projection line of the luminance of the pixel, following the optical line of the camera, with the flat surface of the road.
La figure 3 donne un exemple particulier d'application de ce principe de rectification avec la présence d'un obstacle 15. L'angle 16 de l'obstacle 15, reçu par la caméra 1, est projeté sur la route 14 en un point 17 selon la droite optique 18. Cela illustre que ce procédé, adapté à la représentation de dessus de la route, est peu adapté à la représentation des objets qui ne sont pas dans le plan de la route. En effet, avec ce principe de construction de l'image de dessus, l'objet est déformé sur toute la longueur 19 dans sa vue de dessus. On enregistre en fait aussi l'ombre de l'objet projetée sur le sol par rapport à la vision de la caméra. FIG. 3 gives a particular example of application of this rectification principle with the presence of an obstacle 15. The angle 16 of the obstacle 15, received by the camera 1, is projected onto the road 14 at a point 17 along the optical line 18. This illustrates that this method, adapted to the top of the road representation, is poorly suited to the representation of objects that are not in the plane of the road. Indeed, with this principle of construction of the image from above, the object is deformed over the entire length 19 in its top view. In fact, we also record the shadow of the object projected on the ground in relation to the vision of the camera.
Pour limiter l'impact des déformations telles qu'illustrées ci-dessus, le procédé de l'invention met en oeuvre un procédé particulier, au sein du module 10. Ce procédé comprend une étape de quadrillage de l'environnement immédiat du véhicule à représenter, et de partage de ce quadrillage en n colonnes et m lignes, formant ainsi un tableau à n*m cases. Cet environnement est considéré dans le repère lié au véhicule automobile et25 REN063FR / PJ8510 - dépôt DA 8 se déplace si le véhicule se déplace pour rester fixe dans le repère lié au véhicule. To limit the impact of the deformations as illustrated above, the method of the invention implements a particular method, within the module 10. This method comprises a grid step of the immediate environment of the vehicle to be represented , and sharing this grid in n columns and m lines, thus forming an array with n * m boxes. This environment is considered in the reference linked to the motor vehicle and the deposit DA 8 moves if the vehicle moves to remain fixed in the reference linked to the vehicle.
Dans chaque case (x,y) de ce tableau, le procédé calcule et mémorise une luminance de pixel P(x,y), soit une valeur de niveau de gris qui est utilisée pour la représentation graphique de la vue de dessus sur l'écran 7. De plus, dans chaque case de ce tableau, le procédé établit un score S(x,y), qui est un paramètre représentant la qualité de la luminance p(x,y) mémorisée dans cette case. In each box (x, y) of this table, the method calculates and stores a pixel luminance P (x, y), a gray level value that is used for the graphical representation of the top view on the screen 7. Moreover, in each box of this table, the method establishes a score S (x, y), which is a parameter representing the quality of the luminance p (x, y) stored in this box.
En variante, le procédé peut calculer et mémoriser une luminance de pixel P(x,'y), tenant compte de la couleur des images transmises par les caméras. Pour cela, on pourra prévoir de calculer et mémoriser une chrominance de pixel P(x,y) par couleur, ces chrominances de pixel P(x,y) étant représentatives de la valeur du niveau d'intensité d'une couleur qui est utilisée pour la représentation graphique de la vue de dessus sur l'écran 7. On pourra prévoir de multiplier les tableaux en fonction du nombre de couleurs, et d'affecter à chaque case (x,y) du tableau de couleur considéré, un score S(x,y) représentant la qualité de la chrominance du pixel P(x,y), qui pourra être établi par le procédé pour cette couleur. Par exemple, on pourra calculer trois chrominances de pixel P(x,y) et trois scores S(x,y) et les mémoriser dans trois tableaux respectivement pour une couleur rouge, une couleur verte, et une couleur bleue selon un système dit RVB. Les étapes explicitées dans la description en relation avec les niveaux de gris et la luminance peuvent donc être dupliqués avec les couleurs et les chrominances pour se conformer à cette variante. In a variant, the method can calculate and memorize a pixel luminance P (x, 'y), taking into account the color of the images transmitted by the cameras. For this purpose, it will be possible to calculate and store a pixel chrominance P (x, y) per color, these pixel chrominances P (x, y) being representative of the value of the intensity level of a color that is used. for the graphical representation of the top view on the screen 7. It will be possible to multiply the tables according to the number of colors, and to assign to each box (x, y) of the color chart considered, a score S (x, y) representing the chrominance quality of the pixel P (x, y), which can be established by the method for this color. For example, we can calculate three pixel chrominances P (x, y) and three scores S (x, y) and store them in three tables respectively for a red color, a green color, and a blue color according to a so-called RGB system. . The steps explained in the description in relation to the gray levels and the luminance can therefore be duplicated with the colors and the chrominances to conform to this variant.
RENO63FR / PJ8510 - dépôt DA 9 Les valeurs de ce tableau sont continuellement mises à jour et mémorisées dans la mémoire 11, selon le déplacement du véhicule, soit selon des paramètres reçus par les capteurs proprioceptifs 2, et/ou la réception de nouvelles images transmises par les caméras 1. The values in this table are continuously updated and stored in the memory 11, according to the displacement of the vehicle, either according to parameters received by the proprioceptive sensors 2, and / or the reception of new transmitted images. by the cameras 1.
Si le véhicule se déplace, le procédé met en oeuvre un procédé de mise à jour des données de ce tableau mémorisées dans la mémoire 11, au sein du module de mise à jour 9, puisque dans le repère lié au véhicule, les pixels du tableau qui représentent la route ou l'environnement distinct du véhicule se déplacent aussi de manière cohérente. Pour cela, des opérations de rotation et translations sont effectuées aux cases du tableau pour les déplacer dans leur nouveau repère après le déplacement du véhicule. Cette mise à jour du tableau permet de conserver des valeurs de zones déjà observées avant le déplacement du véhicule mais dans des nouvelles cases du fait du déplacement du véhicule et de compléter le tableau avec des zones non encore observées auparavant, vues pour la première fois du fait du déplacement du véhicule. If the vehicle moves, the method implements a method of updating the data of this table stored in the memory 11, within the update module 9, since in the reference linked to the vehicle, the pixels of the table which represent the road or the distinct environment of the vehicle also move in a consistent manner. For this, rotation and translation operations are performed to the cells of the table to move them in their new marker after moving the vehicle. This update of the table makes it possible to keep values of zones already observed before the vehicle is moved but in new boxes because of the displacement of the vehicle and to complete the table with areas not yet observed before, seen for the first time in made the movement of the vehicle.
La mémorisation des données de représentation de la vue de dessus dans la mémoire 11 permet donc de conserver dans le temps l'information sur des zones déjà observées, et de pouvoir conserver une image complète incluant des données sur des zones qui ne sont par exemple plus observées par les caméras à un instant donné du fait du déplacement du véhicule. The storage of the representation data of the top view in the memory 11 thus makes it possible to keep in time the information on areas already observed, and to be able to preserve a complete image including data on areas that are, for example, no longer observed by the cameras at a given moment due to the displacement of the vehicle.
De plus, le procédé comprend une étape d'intégration des nouvelles images, reçues en permanence depuis les différentes caméras. Ce procédé comprend les étapes suivantes, pour chaque nouvelle image transmise par une caméra 1 : REN063FR / PJ8510 - dépôt DA 10 - pour chaque pixel p(i, j) de cette image, calcul de sa projection p(x,y) sur la route selon le procédé de rectification présenté ci-dessus ; - puis, si p(x,y) appartient au quadrillage n*m prédéfini de l'environnement à représenter, alors le test suivant est effectué, sinon on passe au pixel p(i,j) suivant de l'image reçue ; -si le score S(x,y) mémorisé dans le tableau dans la case x,y est inférieur au score s(i,j) associé à la caméra pour le pixel p(i,j), alors le pixel p(x,y) nouvellement reçu remplace le pixel P(x,y) précédemment mémorisé dans le tableau, et le score s(x,y) remplace le score S(x,y) mémorisé. Une telle situation signifie que la caméra vient de transmettre une image de meilleure qualité pour ce point particulier de la route. In addition, the method comprises a step of integrating the new images, received continuously from the different cameras. This method comprises the following steps, for each new image transmitted by a camera 1: REN063FR / PJ8510 - deposit DA 10 - for each pixel p (i, j) of this image, calculation of its projection p (x, y) on the road according to the rectification method presented above; then, if p (x, y) belongs to the predefined grid n * m of the environment to be represented, then the following test is performed, otherwise the next pixel p (i, j) of the received image is passed; if the score S (x, y) stored in the array in the box x, y is smaller than the score s (i, j) associated with the camera for the pixel p (i, j), then the pixel p (x , y) newly received replaces the pixel P (x, y) previously stored in the array, and the score s (x, y) replaces the stored score S (x, y). Such a situation means that the camera has just transmitted an image of better quality for that particular point of the road.
Ce procédé permet donc de sélectionner pour chaque pixel à représenter en vue de dessus la valeur la plus pertinente parmi plusieurs solutions, obtenues par plusieurs caméras, grâce au principe d'association d'un paramètre de qualité pour chaque pixel. L'attribution des valeurs de score, soit du paramètre de qualité, peut être prédéfinie par des règles stockées dans la mémoire 11. Cette solution permet ainsi d'accoler de manière optirnale les différentes images reçues par les différentes caméras. This method therefore makes it possible to select for each pixel to be represented in view from above the most relevant value among several solutions, obtained by several cameras, thanks to the principle of associating a quality parameter for each pixel. The allocation of the score values, that is to say the quality parameter, can be predefined by rules stored in the memory 11. This solution makes it possible to optially match the different images received by the different cameras.
Il est notamment possible d'éviter ainsi l'enregistrement des ombres vues par certaines caméras, comme les ombres de véhicules sur un parking, qui pourraient empêcher de voir une place libre. In particular, it is possible to avoid the recording of shadows seen by some cameras, such as the shadows of vehicles on a parking lot, which could prevent a free spot.
Les règles de scores stockées dans la mémoire 11 peuvent dépendre de la situation particulière du véhicule et/ou de sa manoeuvre particulière. The score rules stored in the memory 11 may depend on the particular situation of the vehicle and / or its particular maneuver.
La figure 4 représente un exemple particulier d'un véhicule équipé du dispositif selon l'invention, comprenant trois caméras 1, une caméra arrière et deux caméras latérales avant. A l'instant représenté sur la REN063FR / PJ8510 - dépôt DA 11 figure, ces caméras 1 permettent d'observer les zones 20. Au fur et à mesure que le véhicule se déplace, la carte de l'environnement peut se compléter pour intégrer par exemple les zones 21. FIG. 4 represents a particular example of a vehicle equipped with the device according to the invention, comprising three cameras 1, a rear camera and two front side cameras. At the moment represented on the REN063FR / PJ8510 - deposit DA 11 figure, these cameras 1 make it possible to observe the zones 20. As the vehicle moves, the map of the environment can be completed to integrate by example the areas 21.
Sur la situation similaire de la figure 5, dans laquelle le véhicule recule, par exemple dans l'optique de réaliser un créneau dans une place vide, les règles de score sont déterminées pour privilégier les caméras ne projetant pas d'ombres sur une éventuelle place vide : pour cela, les caméras latérales qui permettent d'observer les zones 20 sont privilégiées dans les bandeaux d'observation 21 sur les côtés du véhicule. La caméra arrière ne retient que les pixels directement à l'arrière du véhicule, zone dans laquelle elle est prioritaire sur les caméras latérales. Ces règles de score sont un exemple particulièrement adapté à ce type de manoeuvre. In the similar situation of FIG. 5, in which the vehicle moves back, for example in the optics of making a slot in an empty place, the score rules are determined in order to privilege the cameras not projecting shadows on a possible place. empty: for this, the side cameras that allow to observe the zones 20 are preferred in the observation strips 21 on the sides of the vehicle. The rear camera retains only the pixels directly at the rear of the vehicle, where it has priority over the side cameras. These score rules are an example particularly suitable for this type of maneuver.
Pour d'autre situations, d'autres règles sont prédéfinies et appliquées. Ces différentes règles peuvent être mémorisées dans la mémoire 11 du dispositif. Elles peuvent consister à classer pour chaque zone autour du véhicule les caméras par ordre de préférence dont les images sont à retenir. For other situations, other rules are predefined and applied. These different rules can be stored in the memory 11 of the device. They may consist of classifying for each area around the vehicle the cameras in order of preference whose images are to be retained.
Le procédé décrit ci-dessus est répété continuellement dans le temps, au fur et à mesure des images reçues et traitées en temps réel par le véhicule. Il permet d'obtenir une représentation continue de l'environnement, notamment du fait de la combinaison du choix du meilleur pixel, qui permet de gérer au mieux l'association de plusieurs caméras, et de la mémorisation des données, qui permet de gérer au mieux l'évolution dans le temps de la vue de dessus. The method described above is repeated continuously over time, as and when images received and processed in real time by the vehicle. It makes it possible to obtain a continuous representation of the environment, in particular because of the combination of the choice of the best pixel, which makes it possible to better manage the association of several cameras, and the storage of the data, which makes it possible to manage the better the evolution in time of the view from above.
La solution précédente peut être combinée avec d'autres procédés 30 d'assistance. Par exemple, les obstacles détectés par d'éventuels RENO63FR / PJ8510 - dépôt DA 12 capteurs ultrasons peuvent être ajoutés sous la forme de zones colorées sur Ila même vue de dessus, la couleur indiquant la proximité de l'obstacle. Le dispositif peut intégrer des gabarits des ouvrants du véhicule et informer le conducteur s'il peut par exemple ouvrir les portes du véhicule sans heurter un obstacle. The foregoing solution may be combined with other assisting methods. For example, the obstacles detected by possible RENO63FR / PJ8510 - deposition DA 12 ultrasonic sensors can be added in the form of colored areas on the same top view, the color indicating the proximity of the obstacle. The device can integrate templates of the opening of the vehicle and inform the driver if it can for example open the vehicle doors without hitting an obstacle.
De plus, les informations de vue de dessus mémorisées dans le tableau peuvent être affichées de manière sélective, le conducteur disposant d'une option de zoom pour visualiser plus particulièrement une partie seulement de la vue de dessus. Pour cela, on peut prévoir un affichage progressif lors de la fonction de zoom pour donner au conducteur une impression de continuité. In addition, the top view information stored in the table can be displayed selectively, the driver having a zoom option to view more particularly only part of the top view. For this, we can provide a progressive display during the zoom function to give the driver an impression of continuity.
Pour donner au conducteur cette impression de continuité, on pourra 15 utiliser un procédé de morphage ou morhing en anglais via une technique de fondu, de triangulation de Delaunay, ou de splines. To give the driver this impression of continuity, a method of morphing or morhing in English can be used via a technique of fading, Delaunay triangulation, or splines.
A cette fin, on pourra prévoir un module de rectification 8, apte à zoomer sur au moins une partie de la vue de dessus. A la place ou en 20 complément du module de rectification 8 apte à zoomer, on pourra utiliser au moins une caméra apte à zoomer sur au moins une partie de son champ de vision. La partie de la vue de dessus pourra être définie par l'utilisateur, ou prédéfinie en fonction du type de manoeuvre. Par exemple, lors d'une manoeuvre de recul rectiligne, on pourra zoomer sur le pare- 25 choc arrière, afin de protéger les véhicules lors de la manoeuvre. For this purpose, it will be possible to provide a grinding module 8 capable of zooming on at least part of the top view. Instead of or in addition to the grinding module 8 capable of zooming, at least one camera capable of zooming on at least part of its field of view can be used. The part of the view from above can be defined by the user, or predefined according to the type of maneuver. For example, during a rectilinear recoil maneuver, it is possible to zoom in on the rear bumper, in order to protect the vehicles during the maneuver.
Bien entendu, l'invention n'est pas limitée au mode de réalisation décrit précédemment. Le dispositif peut comprendre tout nombre de caméras, disposées à n'importe quel endroit sur le véhicule, comme aussi au moins 30 une caméra frontale. Of course, the invention is not limited to the embodiment described above. The device may include any number of cameras located anywhere on the vehicle, as well as at least one front camera.
Claims (14)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0800504A FR2926908A1 (en) | 2008-01-30 | 2008-01-30 | Motor vehicle i.e. car, driving assisting method, involves allocating quality score to each of pixels in each of corrected images, and selecting pixel having high quality in order to elaborate top view of environment of motor vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0800504A FR2926908A1 (en) | 2008-01-30 | 2008-01-30 | Motor vehicle i.e. car, driving assisting method, involves allocating quality score to each of pixels in each of corrected images, and selecting pixel having high quality in order to elaborate top view of environment of motor vehicle |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2926908A1 true FR2926908A1 (en) | 2009-07-31 |
Family
ID=39672039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0800504A Pending FR2926908A1 (en) | 2008-01-30 | 2008-01-30 | Motor vehicle i.e. car, driving assisting method, involves allocating quality score to each of pixels in each of corrected images, and selecting pixel having high quality in order to elaborate top view of environment of motor vehicle |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2926908A1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015001065A1 (en) * | 2013-07-04 | 2015-01-08 | Jaguar Land Rover Limited | Trailer parameter identification system |
| US9902425B2 (en) | 2013-07-04 | 2018-02-27 | Jaguar Land Rover Limited | System for guiding trailer along target route during reversing maneuver |
| US10046803B2 (en) | 2013-07-04 | 2018-08-14 | Jaguar Land Rover Limited | Vehicle control system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6429789B1 (en) * | 1999-08-09 | 2002-08-06 | Ford Global Technologies, Inc. | Vehicle information acquisition and display assembly |
| US20020149673A1 (en) * | 2001-03-29 | 2002-10-17 | Matsushita Electric Industrial Co., Ltd. | Image display method and apparatus for rearview system |
| WO2006022630A1 (en) * | 2004-07-26 | 2006-03-02 | Silicon Optix, Inc. | Panoramic vision system and method |
| EP1701306A1 (en) * | 2005-03-09 | 2006-09-13 | Sanyo Electric Co., Ltd. | Driving support system |
-
2008
- 2008-01-30 FR FR0800504A patent/FR2926908A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6429789B1 (en) * | 1999-08-09 | 2002-08-06 | Ford Global Technologies, Inc. | Vehicle information acquisition and display assembly |
| US20020149673A1 (en) * | 2001-03-29 | 2002-10-17 | Matsushita Electric Industrial Co., Ltd. | Image display method and apparatus for rearview system |
| WO2006022630A1 (en) * | 2004-07-26 | 2006-03-02 | Silicon Optix, Inc. | Panoramic vision system and method |
| EP1701306A1 (en) * | 2005-03-09 | 2006-09-13 | Sanyo Electric Co., Ltd. | Driving support system |
Non-Patent Citations (2)
| Title |
|---|
| DESOUZA G N ET AL: "VISION FOR MOBILE ROBOT NAVIGATION: A SURVEY", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, vol. 2, no. 24, 1 February 2002 (2002-02-01), pages 237 - 267, XP001141181, ISSN: 0162-8828 * |
| S. THRUN, A. BÜCKEN, W. BURGARD, D. FOX, T. FRÖHLINGHAUS, D. HENNIG, T. HOFMANN, M. KRELL AND T. SCHMIDT: "Map learning and high-speed navigation in RHINO", ARTIFICIAL INTELLIGENCE AND MOBILE ORBOTS: CASE STUDIES OF SUCCESSFUL ROBOT SYSTEMS, 1998, XP002492547 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015001065A1 (en) * | 2013-07-04 | 2015-01-08 | Jaguar Land Rover Limited | Trailer parameter identification system |
| US9902425B2 (en) | 2013-07-04 | 2018-02-27 | Jaguar Land Rover Limited | System for guiding trailer along target route during reversing maneuver |
| US10046803B2 (en) | 2013-07-04 | 2018-08-14 | Jaguar Land Rover Limited | Vehicle control system |
| US10119812B2 (en) | 2013-07-04 | 2018-11-06 | Jaguar Land Rover Limited | Trailer parameter identification system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11917281B2 (en) | Camera system, method and instructions using images captured by a first mage sensor and a second image sensor to generate a third image corresponding to a simulated lens having an intermediate focal length | |
| JP7081835B2 (en) | Real-time HDR video for vehicle control | |
| CN107878311A (en) | System and method for launching subjective message on vehicle | |
| EP2133237B1 (en) | Process of displaying a parking aid | |
| JP2012503817A (en) | Method and composition for blurring an image | |
| FR2899332A1 (en) | VISIBILITY FIELD MEASUREMENT DEVICE FOR VEHICLE AND DRIVING ASSISTANCE SYSTEM FOR VEHICLE | |
| EP3350018A1 (en) | Projection method for a motor vehicle, for projecting an image onto a projection surface | |
| EP3332352A1 (en) | Device and method for detecting a parking space that is available for a motor vehicle | |
| FR2965765A1 (en) | METHOD AND DEVICE FOR FORMING AN IMAGE OF AN OBJECT IN THE ENVIRONMENT OF A VEHICLE | |
| EP2094531B1 (en) | Electronic rear-view device | |
| FR2926908A1 (en) | Motor vehicle i.e. car, driving assisting method, involves allocating quality score to each of pixels in each of corrected images, and selecting pixel having high quality in order to elaborate top view of environment of motor vehicle | |
| EP2801075B1 (en) | Image processing method for an on-board camera installed on a vehicle and corresponding processing device | |
| WO2010133785A1 (en) | Method and device for extending a visibility area | |
| FR2899363A1 (en) | Movable/static object`s e.g. vehicle, movement detecting method for assisting parking of vehicle, involves carrying out inverse mapping transformation on each image of set of images of scene stored on charge coupled device recording camera | |
| FR2902381A1 (en) | Motor vehicle driving assisting method, involves merging image captured by image formation device of night vision system and synthesis image, and displaying merged image on internal display of night vision system | |
| EP3768555A1 (en) | Panoramic vision system the view of which is displayed on a portrait screen | |
| EP3494412B1 (en) | Visual driving assistance system | |
| FR2979311A1 (en) | Processing device for assistance system used for assisting driver of e.g. car, has processing unit instructing display of graphic element that is representative of obstacle, in display zone with color function of level of estimated risk | |
| FR3088754A1 (en) | METHOD OF CREATING A VIEW FROM AN IMAGE CAPTURED BY A WIDE ANGLE CAMERA | |
| EP1791078A1 (en) | Obstacle detection process implemented in an automobile vehicle | |
| EP2649586B1 (en) | Device for correcting real images which are useful in the construction of a synthesis image of a zone surrounding a vehicle, and associated driver aid device | |
| FR3071333A1 (en) | METHOD FOR DISPLAYING ON A SCREEN OF AN ENVIRONMENT OF A MOTOR VEHICLE, AND MOTOR VEHICLE IN WHICH SUCH A METHOD IS IMPLEMENTED | |
| FR3053293A1 (en) | DRIVER ASSISTANCE SYSTEM FOR A VEHICLE, RAILWAY VEHICLE AND METHOD OF USE THEREOF | |
| WO2020174142A1 (en) | Vehicle driving assistance by reliable determination of objects in deformed images | |
| FR3094298A1 (en) | Method of assisting the parking of a motor vehicle in a parking lot |