EP3794563A1 - Procede et dispositif de retro vision par cameras a realite augmentee - Google Patents

Procede et dispositif de retro vision par cameras a realite augmentee

Info

Publication number
EP3794563A1
EP3794563A1 EP19716338.9A EP19716338A EP3794563A1 EP 3794563 A1 EP3794563 A1 EP 3794563A1 EP 19716338 A EP19716338 A EP 19716338A EP 3794563 A1 EP3794563 A1 EP 3794563A1
Authority
EP
European Patent Office
Prior art keywords
cameras
vision
retro
camera
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP19716338.9A
Other languages
German (de)
English (en)
Inventor
Antoine LASSAGNE
Marie Pierre BOUSSIER
Laurent TEXIER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Publication of EP3794563A1 publication Critical patent/EP3794563A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images

Definitions

  • the present invention relates to retro vision cameras, on a motor vehicle.
  • Mirror mirrors present the driver with an external vision that is framed in relation to the vehicle's outline and its interior context. On the exterior mirrors, we see most often part of the wing of the vehicle, or its door, for example the handle. On the rearview mirror, we see the rear window, the headrests. Mirror technologies also restore the three dimensions of the landscape, because the images are in direct vision for each eye.
  • the retro-vision cameras eliminate blind spots, and the limitation of the field of vision by passengers, or bulky objects.
  • representations can confuse drivers, deprived of visual cues to locate their vehicle and estimate distances.
  • FR 2 780 230 discloses a device for retro vision by camera, delivering on the same screen a retro-vision image, and additional information provided by the engine control computer of the vehicle.
  • This device automatically selects all or part of the retro-vision image, to display additional information on the screen, with dynamic framing.
  • Certain driving information appears on the screen, without being embedded in the image, so as to limit the risk of confusion of the image with certain symbols displayed.
  • the driver has no additional mark, relative to his environment.
  • Several studies have highlighted the difficulties experienced by users with the camera back-vision, because the images returned are devoid of references on the size of the vehicle, or on its location in the environment.
  • the present invention aims to overcome the disadvantages of known camera retro-vision systems.
  • the device comprises a set of retro-vision cameras 1, arranged in pairs, a static or dynamic software mask, specific to each camera set, and at least one rendering screen 2.
  • FIG. 1 is a diagram of an on-vehicle camera-based retro vision device
  • FIG. 2 illustrates the method of the invention
  • FIG. 1 diagrammatically shows a motor vehicle having a system for acquiring images by double cameras 1, lateral and rear, and a set of image reproduction screens 2, auto stereoscopic preference.
  • the associated processing means comprise a retro-vision point-of-view computer A, a memory B of 3D (three-dimensional) models, texture and layout, an augmented reality image calculator C (pixels, light, user settings), and a graphic distribution unit D to the screens.
  • a set of retro-vision cameras 1 arranged in pairs, for example two rear cameras, and two side cameras,
  • a set of reproduction screens 2 which may be conventional (LCD, LED, TN) but preferably auto-stereoscopic,
  • a user parameter interface and possibly a system for acquiring the position of the driver's eyes.
  • the purpose of the mask is to add to the retro-vision some markers usually represented on mirrored mirrors (rear windows, rear headrests, wings, handles, etc.), in order to give the driver clues as to the point of view of the spectators. cameras.
  • the system also provides a three-dimensional vision to maximize spatial perception.
  • the software mask is preferably a graphic overlay, which is applied to the stream, of camera images, to superimpose informations.
  • the proposed method of retro vision is based on the selection in the field of view of the cameras, areas corresponding to the usual retro vision mirrors mirrors.
  • the shots are subject to the necessary corrections to restore the driver on a screen, a scene built by grouping the different shots of the cameras.
  • the invention proposes to superimpose on the image of the outdoor scene, some reference marks of the vehicle.
  • the mask brings to the user the cumulative benefits of retro-vision cameras and mirrors, without their respective disadvantages. Thanks to the mask the retro-vision device renders a complete scene of the external environment, without dead angle and without occultation of the field of vision by objects or occupants of the vehicle, while enriching it with physical references of the vehicle, to facilitate spatial perception.
  • the invention provides for the insertion of three-dimensional digital models adapted to the vehicle, in the scene constructed from the cameras, and to construct an augmented reality scene, by superimposing the three-dimensional models, to the scene constructed from cameras.
  • the device includes
  • At least one rendering screen At least one rendering screen.
  • the technology of the "auto-stereoscopic 3D” allows the driver to see directly inserted elements in three dimensions, without special equipment, such as 3D glasses.
  • the depth of field provided by three-dimensional rendering helps to reinforce spatial perception.
  • the cameras can advantageously be placed in their usual location on the vehicle. They are arranged in pairs, spaced apart by about 65 mm, because this distance corresponds to an average difference between two eyes, and makes it possible to restore a stereoscopic image to the user.
  • a position calculator for the digital models able to work with the driver's eye positioning system to adapt the image to the latter;
  • -a graphical unit able to display in 3D the numerical models, with a sufficient resolution, with or without guelgues calculations in real time to increase the realism of the scene: shadows, ambient brightness, incident lights, etc.
  • the development of the masgue is done in real time with a permanent refresh. It applies to the image in several steps.
  • the first step is the framing. It consists in selecting in the field the zone which corresponds to the usual retro vision of mirror mirrors, possibly applying some deformations to it if they are necessary to constitute an overview.
  • the second step is the acguisition of the models. It consists of placing digital maguettes adapted to the vehicle and inserting them into the scene constructed by the cameras. In general, models reguis are headrests, doors, etc.
  • the third step in building the augmented reality scene is to render the 3D models superimposed on the cameras.
  • the calculator takes into account the user selected setting, and the position of the head of the user (either an average position or a precise position if the vehicle is equipped with the optional eye-tracking system).
  • the return screens are preferably auto-stereoscopic, to display the content in three dimensions, without special glasses or other accessory.
  • the interface is available to the driver at his driving position. Thanks to him, he can parameterize the retro vision, by regulating the transparency of the digital inserts, or the quantity of the mechanical inserts.
  • the adjustment interface can advantageously be integrated into the software of a pre-existing navigation and guidance console. If the console has a touch screen, it facilitates adjustments.
  • the transparency of the inserts varies depending on the external environment, for example the presence of a vehicle in a potentially hidden area, a vehicle during parking, etc.).
  • the depth of the stereoscopy is also adjustable.
  • Figure 3 shows an example, an image constructed from a rear camera view and two side cameras.
  • the software mask does not appear on the image (100% transparency over the entire surface); on the second 12, the mask decreases the transparency of the image by 60% in the area concerned; on the third 13, this decrease is 80%.
  • the invention eliminates blind spots, and improves safety. Compared to a conventional camera system, it facilitates the learning and handling phase by the driver. The location of the eyes is optional because we can content with an average position. Finally, application of the invention is not limited to motor vehicles. She also finds all her interest in other means of transport using cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

Procédé de rétro vision par caméras pour véhicule, reposant sur la sélection dans le champ de prise de vue des caméras, de zones correspondant à la rétro vision habituelle de rétroviseurs à miroirs, avec les corrections nécessaires pour restituer au conducteur sur un écran, une scène construite par regroupement des différentes prises de vues des caméras, caractérisé en ce que : on insère des maguettes numérigues tridimensionnelles adaptées au véhicule, dans la scène de rétro vision construite à partir des caméras; et on construit une scène de réalité augmentée, en superposant les maguettes en trois dimensions, à la scène construite à partir des caméras.

Description

PROCEDE ET DISPOSITIF DE RETRO VISION PAR CAMERAS A
REALITE AUGMENTEE
La présente invention concerne la rétro vision par caméras, sur véhicule automobile.
Plus précisément, elle a pour objet un procédé de rétro vision par caméras pour véhicule, restituant au conducteur sur un écran, une scène construite par regroupement de prises de vues.
L'utilisation de caméras de rétro vision numérique, avec un écran de retour dans l'habitacle, offre davantage de possibilités pour adapter le champ de vision au profil extérieur du véhicule, que les miroirs de rétro vision classique. Les caméras assurent notamment au conducteur un large champ de vision, vers l'arrière et les côtés du véhicule. Cependant, il est difficile, pour certaines personnes, d'évaluer des distances relatives sur un écran, comme la proximité latérale ou longitudinale des obstacles, des vitesses relatives, etc .
Les rétroviseurs à miroirs présentent au conducteur une vision extérieure cadrée par rapport au contour du véhicule et à son contexte intérieur. Sur les rétroviseurs extérieurs, on voit le plus souvent une partie de l'aile du véhicule, ou de sa portière, par exemple la poignée. Sur le rétroviseur intérieur, on voit la lunette arrière, les appuie-têtes . De plus, les technologies à miroirs restituent les trois dimensions du paysage, car les images sont en vision directe pour chaque œil .
Les caméras de rétro vision suppriment les angles morts, et la limitation du champ de vision par les passagers, ou des objets encombrants . Cependant les représentations peuvent dérouter des conducteurs, privés de repères visuels pour situer leur véhicule et estimer les distances .
Par la publication FR 2 780 230, on connaît un dispositif de rétro vision par caméra, délivrant sur un même écran une image de rétro vision, et des informations complémentaires fournies par le calculateur de contrôle moteur du véhicule. Ce dispositif sélectionne automatiquement tout ou partie de l'image de rétro vision, pour afficher des informations additionnelles sur l'écran, avec un cadrage dynamique. Certaines informations de conduite apparaissent sur l'écran, sans être incrustées sur l'image, de manière à limiter les risques de confusion de l' image avec certains symboles affichés. Toutefois, le conducteur ne dispose d'aucun repère supplémentaire, par rapport à son environnement. Plusieurs études ont mis en évidence les difficultés rencontrées par des utilisateurs avec la rétro vision par caméra, car les images restituées sont dépourvues de repères sur l'encombrement du véhicule, ou sur son emplacement dans l'environnement.
La présente invention vise à remédier aux inconvénients des systèmes de rétro vision par caméras connus.
Dans ce but, elle propose de créer sur une image de rétro vision, des éléments fantômes représentant les parties arrière du véhicule, pour aider l'utilisateur à retrouver les repères des rétroviseurs classiques à miroirs.
Ce résultat est obtenu grâce à des repères physiques en réalité augmentée :
- on insère des maquettes numériques tridimensionnelles adaptées au véhicule, dans la scène construite à partir des caméras, et
-on construit une scène de réalité augmentée, en superposant les maquettes en trois dimensions, à la scène construite à partir des caméras .
Le dispositif comprend un ensemble de caméras de rétro vision 1, disposées par paires, un masque logiciel, statique ou dynamique, spécifique à chaque jeu de caméra, et au moins un écran de restitution 2.
La présente invention sera mieux comprise à la lecture de la description suivante d'un mode de réalisation non limitatif de celle- ci, en se reportant aux dessins annexés, sur lesquels : - la figure 1 est un schéma de dispositif de rétro vision par caméra embarqué sur véhicule,
- la figure 2 illustre le procédé de l'invention, et
- la figure 3 illustre le résultat obtenu.
Sur la figure 1, on a représenté de façon schématique un véhicule automobile disposant d'un système d'acquisition d'images par doubles caméras 1, latérales et arrière, et d'un ensemble d'écrans de restitution d'images 2, de préférence auto stéréoscopiques. Les moyens de traitement associés comprennent un calculateur de point de vue de rétro vision A, une mémoire B de modèles 3D (en trois dimensions), de texture et d'agencement, un calculateur C d'image de réalité augmentée (pixels, lumière, paramétrages de l'utilisateur), et une unité de distribution graphique D vers les écrans .
Ces composants permettent de constituer un dispositif de rétro vision par caméra disposant de :
- un ensemble de caméras de rétro vision 1, disposées par paires, par exemple deux caméras arrière, et deux caméras latérales,
- un masque logiciel, statique ou dynamique, spécifique à chaque jeu de caméras,
- un ensemble d'écrans de restitution 2, qui peuvent être classiques (LCD, LED, TN) mais de préférence auto-stéréoscopiques,
- une interface de paramétrage utilisateur, et éventuellement un système d'acquisition de la position des yeux du conducteur .
Le masque a pour objectif de rajouter à la rétro vision, quelques repères habituellement représentés sur les rétroviseurs à miroir (lunettes arrière, appuis têtes arrière, ailes, poignées, etc.), afin de donner au conducteur des indices sur le point de vue des caméras. Le système apporte aussi une vision en trois dimensions, pour maximiser la perception spatiale. Dans le cadre de l'invention, le masque logiciel est de préférence une surcouche graphique, qui est appliquée sur le flux, d'images de caméras, pour y superposer des informations. L'application d'éléments virtuels, tels que des repères sur le flux réel d'images des caméras, améliore la perception de la scène filmée en augmentant son réalisme.
Le procédé de rétro vision proposé, repose sur la sélection dans le champ de prise de vue des caméras, de zones correspondant à la rétro vision habituelle de rétroviseurs à miroirs. Les prises de vue sont soumises aux corrections nécessaires pour restituer au conducteur sur un écran, une scène construite par regroupement des différentes prises de vues des caméras.
L'invention propose de superposer sur l'image de la scène extérieure, quelques repères du véhicule. Le masque apporte à l'utilisateur les avantages cumulés de la rétro vision par caméras et par miroirs, sans leurs inconvénients respectifs. Grâce au masque le dispositif de rétro vision restitue une scène complète de l'environnement extérieur, sans angle mort et sans occultation du champ de vision par des objets ou des occupants du véhicule, tout en l'enrichissant de repères physiques du véhicule, pour faciliter la perception spatiale.
En résumé, l'invention prévoit d'insérer des maquettes numériques tridimensionnelles adaptées au véhicule, dans la scène construite à partir des caméras, et de construire une scène de réalité augmentée, en superposant les maquettes en trois dimensions, à la scène construite à partir des caméras. Le dispositif comprend
- un ensemble de caméras de rétro vision 1, disposées par paires ,
- un masque logiciel, statique ou dynamique, spécifique à chaque jeu de caméra, et
-au moins un écran de restitution.
La technologie de la « 3D auto-stéréoscopique » permet au conducteur de voir directement les éléments insérés en trois dimensions, sans équipements particuliers, tels que des lunettes 3D. La profondeur de champ assurée par la restitution en trois dimensions, contribue à renforcer la perception spatiale.
Les caméras peuvent avantageusement être placées à leur emplacement habituel sur le véhicule. Elles sont disposées par paires, espacées d' environ 65mm, car cette distance correspond à un écart moyen entre deux yeux, et permet de restituer une image stéréoscopigue à 1' utilisateur .
Les autres ressources contribuant à la mise en œuvre de l'invention sont les suivantes :
-une mémoire interne contenant les modèles numérigues texturés du véhicule, gui peuvent être superposés à la rétro vision ;
-un calculateur de position des modèles numérigues, pouvant travailler avec le système de localisation des yeux du conducteur pour adapter l'image à celle-ci ;
-une unité graphigue capable d'afficher en 3D les modèles numérigues, avec une résolution suffisante, avec ou sans guelgues calculs en temps réel pour augmenter le réalisme de la scène : ombres, luminosité ambiante, lumières incidentes, etc.
L'élaboration du masgue s'effectue en temps réel avec un rafraîchissement permanent. Il s'appligue sur l'image en plusieurs étapes .
La première étape est le cadrage. Il consiste à sélectionner dans le champ la zone gui correspond à la rétro vision habituelle des rétroviseurs à miroirs, en lui appliguant éventuellement certaines déformations si elles sont nécessaires pour constituer une vue d'ensemble.
La deuxième étape est l' acguisition des modèles. Elle consiste à placer des maguettes numérigues adaptées au véhicule et à les insérer dans la scène construite par les caméras. En général, les modèles reguis sont des appui-têtes, des portières, etc.
La troisième étape de construction de la scène de réalité augmentée, consiste à effectuer le rendu des modèles 3D superposé à celui des caméras. Pour cela, le calculateur tient compte du paramétrage sélectionné par l'utilisateur, et de la position de la tête de celui-ci (soit une position moyenne, soit une position précise si l'on équipe le véhicule du système de localisation des yeux facultatif) .
Les écrans de retour sont de préférence auto-stéréoscopiques, pour visualiser le contenu en trois dimensions, sans lunettes particulières ou autre accessoire.
L' interface est à la disposition du conducteur sur son poste de conduite. Grâce à lui, il peut paramétrer la rétro vision, en réglant la transparence des inserts numériques, ou la quantité des inserts mécaniques. L'interface de réglage peut avantageusement s'intégrer dans le logiciel d'une console de navigation et de guidage préexistante. Si la console dispose d'un écran tactile, celui-ci facilite les réglages .
Dans un mode de réalisation particulier de l'invention, dit de « de transparence dynamique », la transparence des inserts varie en fonction de l'environnement extérieur, par exemple la présence d'un véhicule dans une zone potentiellement masquée, d'un véhicule en cours de stationnement, etc.) . Enfin, il est préférable que la profondeur de la stéréoscopie soit également réglable.
La superposition du masque sur l'image, diminue la transparence de celle-ci dans la zone concernée. La suppression de la luminosité peut être partielle ou totale. La figure 3 montre sur un exemple, une image construite à partir d'une vue par caméra arrière et deux caméras latérales. Sur la première vue II, le masque logiciel n'apparaît pas sur l'image (100% de transparence sur toute la surface) ; sur la deuxième 12, le masque diminue la transparence de l'image de 60% dans la zone concernée ; sur la troisième 13, cette diminution est de 80%.
L'invention permet de s'affranchir des angles morts, et améliore la sécurité. Par rapport à un système de caméras classique, elle facilite la phase d'apprentissage et de prise en main par le conducteur. La localisation des yeux est facultative, car on peut se contenter d'une position moyenne. Enfin, application de l'invention n'est pas limitée aux véhicules automobiles. Elle trouve aussi tout son intérêt dans d'autres moyens de transports utilisant des caméras.

Claims

REVENDICATIONS
1. Procédé de rétro vision par caméras pour véhicule, restituant au conducteur sur un écran, une scène construite par regroupement de prises de vues dans la zone d'observation habituelle de rétroviseurs à miroirs, caractérisé en ce que :
on insère des maquettes numériques tridimensionnelles adaptées au véhicule, dans la scène de rétro vision construite à partir des caméras, et
on construit une scène de réalité augmentée tenant compte d'un paramétrage sélectionné par l'utilisateur et de la position de sa tête, en superposant les maquettes en trois dimensions, à la scène construite à partir des caméras .
2. Procédé de rétro vision par caméras selon la revendication 1, caractérisé en ce qu'il comprend les étapes suivantes :
acquisition d'un flux d'images tridimensionnelles par les caméras, sélection et cadrage du point de vue du conducteur,
construction de la scène de réalité augmentée, affichage en trois dimensions sur des écrans de restitution .
3. Procédé de rétro vision par caméras selon la revendication 1 ou 2, caractérisé en ce que le masque superposé à l'image diminue la transparence de celle-ci dans la zone concernée.
4. Dispositif de rétro vision par caméras, pour la mise en œuvre du procédé selon la revendication 1 ou 2, caractérisé en ce qu'il comprend :
un ensemble de caméras de rétro vision 1, disposées par paires ,
un masque logiciel, statique ou dynamique, spécifique à chaque jeu de caméra,
au moins un écran de restitution, et
une interface de paramétrage pour l'utilisateur.
4. Dispositif de rétro vision selon la revendication 3, caractérisé en ce que l'écran de restitution est auto stéréoscopique .
5. Dispositif de rétro vision par caméras selon la revendication 3 ou 4 , caractérisé en ce qu'il comprend une interface de paramétraqe pour l'utilisateur.
6. Dispositif de rétro vision par caméras selon la revendication 3, 4 ou 5, caractérisé en ce qu'il comporte un système d'acquisition de la position des yeux du conducteur.
7. Dispositif de rétro vision par caméras selon l'une des revendications 3 à 6, caractérisé en ce qu'il comprend une paire de caméras arrière, et une paire de caméras latérales.
EP19716338.9A 2018-05-15 2019-04-02 Procede et dispositif de retro vision par cameras a realite augmentee Withdrawn EP3794563A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1854057A FR3081250B1 (fr) 2018-05-15 2018-05-15 Procede et dispositif de retro vision par cameras a realite augmentee
PCT/EP2019/058316 WO2019219288A1 (fr) 2018-05-15 2019-04-02 Procede et dispositif de retro vision par cameras a realite augmentee

Publications (1)

Publication Number Publication Date
EP3794563A1 true EP3794563A1 (fr) 2021-03-24

Family

ID=63722482

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19716338.9A Withdrawn EP3794563A1 (fr) 2018-05-15 2019-04-02 Procede et dispositif de retro vision par cameras a realite augmentee

Country Status (5)

Country Link
EP (1) EP3794563A1 (fr)
KR (1) KR102490465B1 (fr)
CN (1) CN112204626A (fr)
FR (1) FR3081250B1 (fr)
WO (1) WO2019219288A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419949B (zh) * 2022-01-13 2022-12-06 武汉未来幻影科技有限公司 一种汽车后视镜影像重建方法及后视镜
WO2024043588A1 (fr) * 2022-08-26 2024-02-29 엘지전자 주식회사 Dispositif de fourniture d'informations de réalité augmentée sur la base d'un miroir numérique et procédé de commande de dispositif

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
FR2780230B1 (fr) 1998-06-18 2000-08-25 Renault Dispositif de retrovision principale pour vehicule automobile
US20060262140A1 (en) * 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
US9280202B2 (en) * 2013-05-10 2016-03-08 Magna Electronics Inc. Vehicle vision system
US10475242B2 (en) * 2014-01-10 2019-11-12 Aisin Seiki Kabushiki Kaisha Image display control device and image display system including image superimposition unit that superimposes a mirror image and a vehicle-body image
JP5562498B1 (ja) * 2014-03-04 2014-07-30 サカエ理研工業株式会社 ルームミラー及びそのルームミラーを用いた車両死角支援装置並びにそのルームミラー又は車両死角支援装置の表示画像の調整方法
CN114554177A (zh) * 2016-05-19 2022-05-27 瑞尔D斯帕克有限责任公司 广角成像定向背光源
JP6707007B2 (ja) * 2016-09-27 2020-06-10 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法

Also Published As

Publication number Publication date
FR3081250A1 (fr) 2019-11-22
FR3081250B1 (fr) 2021-08-13
WO2019219288A1 (fr) 2019-11-21
CN112204626A (zh) 2021-01-08
KR20210008503A (ko) 2021-01-22
KR102490465B1 (ko) 2023-01-20

Similar Documents

Publication Publication Date Title
EP2914002B1 (fr) Groupe virtuel transparent d'instruments avec video en direct
Azuma Augmented reality: Approaches and technical challenges
WO2005088970A1 (fr) Dispositif de generation d’images, procede de generation d’images et programme de generation d’images
US20150325052A1 (en) Image superposition of virtual objects in a camera image
US9918066B2 (en) Methods and systems for producing a magnified 3D image
KR20170135952A (ko) 차량의 주변 영역을 표시하기 위한 방법
JP2017191378A (ja) 拡張現実情報表示装置および拡張現実情報表示方法
EP2572164A1 (fr) Aide a la navigation a traitement de donnees d'affichage perfectionne
EP3794563A1 (fr) Procede et dispositif de retro vision par cameras a realite augmentee
WO2016102304A1 (fr) Procédé de présentation d'un élément de recouvrement d'image dans une image avec des informations 3d, système d'assistance au conducteur, et véhicule automobile
WO2019026747A1 (fr) Dispositif d'affichage d'image réelle augmentée pour véhicule
US10088678B1 (en) Holographic illustration of weather
EP2469868B1 (fr) Procédé de correction de l'hyperstéréoscopie et système de visualisation de casque associé
JP2005269010A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
CN111902792A (zh) 用于通过增强现实设备来提供信息的方法和装置、用于提供用于控制增强现实设备的显示的信息的方法和装置、用于控制增强现实设备的显示的方法和装置、具有用于执行方法的指令的计算机可读的存储介质
CN115223231A (zh) 视线方向检测方法和装置
EP3833574B1 (fr) Procédé de fourniture d'une représentation d'image d'au moins une partie d'un environnement d'un véhicule, produit de programme informatique et système d'aide à la conduite
WO2017081915A1 (fr) Dispositif de traitement d'image, procédé de traitement d'image et programme
CN114236822A (zh) 用于呈现虚拟元素的方法
KR101929325B1 (ko) 트릭아트 전시장치 및 전시방법
JP6813437B2 (ja) 表示システム
CN117193530B (zh) 基于虚拟现实技术的智能座舱沉浸式用户体验方法及系统
WO2024132688A1 (fr) Dispositif d'affichage et procédé mis en œuvre dans un dispositif d'affichage
FR3144322A1 (fr) Système de réalité immersive embarqué sur un véhicule
KR20220078366A (ko) 핸드 트래킹을 이용한 재활 훈련 장치 및 방법

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20201106

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: RENAULT S.A.S

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: RENAULT S.A.S

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230612

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230608

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20231223