ES2949030T3 - Procedimiento y dispositivo para determinar la posición geográfica y orientación de un vehículo - Google Patents

Procedimiento y dispositivo para determinar la posición geográfica y orientación de un vehículo Download PDF

Info

Publication number
ES2949030T3
ES2949030T3 ES20169501T ES20169501T ES2949030T3 ES 2949030 T3 ES2949030 T3 ES 2949030T3 ES 20169501 T ES20169501 T ES 20169501T ES 20169501 T ES20169501 T ES 20169501T ES 2949030 T3 ES2949030 T3 ES 2949030T3
Authority
ES
Spain
Prior art keywords
vehicle
ground
image
transitions
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES20169501T
Other languages
English (en)
Inventor
Volker Patricio Schomerus
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Application granted granted Critical
Publication of ES2949030T3 publication Critical patent/ES2949030T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

En el método según la invención para determinar la posición geográfica y la orientación de un vehículo, se captura (1) una imagen del entorno del vehículo utilizando al menos una cámara del vehículo, comprendiendo la imagen capturada al menos parcialmente áreas del entorno del vehículo a nivel del suelo. Para los píxeles individuales de la imagen capturada (2) se genera información de clasificación, que indica una asignación a una de varias clases de objetos predeterminadas, segmentándose semánticamente la imagen basándose en esta asignación (3). Las transiciones de textura del suelo se detectan basándose en la segmentación semántica de la imagen (4). Las transiciones de textura del suelo detectadas se proyectan sobre el nivel del suelo del entorno del vehículo (6). Se minimiza la desviación entre las transiciones de textura del suelo proyectadas sobre el nivel del suelo del entorno del vehículo y las transiciones de textura del suelo en un mapa de referencia global (7, 8, 9). A partir de la desviación minimizada se obtiene (10) la posición actual y la orientación del vehículo en el espacio. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Procedimiento y dispositivo para determinar la posición geográfica y orientación de un vehículo
La presente invención se refiere a un procedimiento para determinar la posición geográfica y orientación de un vehículo que, en particular, puede aplicarse para la localización propia de vehículos que se conducen de manera autónoma o parcialmente autónoma. La presente invención se refiere además a un dispositivo para la realización del procedimiento y un vehículo que está configurado para realizar dicho procedimiento o que presenta dicho dispositivo.
Una localización propia precisa y robusta es una de las condiciones para la conducción autónoma de vehículos en el tráfico rodado. Para la determinación de posición y navegación en el sector de la automoción se conocen sistemas de navegación por satélite globales como, por ejemplo, el sistema GPS. Además de las dificultades en el caso de malas condiciones de recepción, por ejemplo, en zonas urbanas o en caso de nieve intensa, la precisión sin embargo tampoco es suficiente para aplicaciones relacionadas con la seguridad.
La precisión de la localización basada en GPS se ha mejorado notablemente mediante procedimientos como DGPS, en el que se transmiten señales de corrección habitualmente por radio a los receptores DGPS. Sin embargo, a pesar de ello, tampoco es posible ninguna conducción autónoma segura. Así, por un lado, los sistemas basados en radio pueden fallar debido a parásitos, o el operador no puede evaluarlos debido a una codificación, dado el caso, incluso no anunciada, de manera no es posible ninguna medición de posición segura con la precisión suficiente.
Además, en el caso de una determinación de posición asistida por satélite, al menos sin añadir otros datos de sensor no se presenta ninguna información sobre la alineación u orientación del vehículo. Esta puede calcularse solo directamente mediante sustracción de posiciones consecutivas anteriores.
Para determinar también la orientación del vehículo en caso de una determinación de posición se conocen distintas soluciones en las cuales se realiza una captación mediante sensores del entorno del vehículo, por ejemplo, con una cámara o un sensor LiDAR (es la abreviatura en inglés para; “ light detection and ranging” ).
Así, mediante una localización basada en cámara a través de determinadas marcas terrestres que se han anotado en un mapa digital y se detectan en la imagen de cámara, puede averiguarse una coordenada 2D en el plano de mapa y también la orientación del vehículo en este plano. Sin embargo, esto requiere que un número suficiente de marcas terrestres adecuadas tengan que anotarse en el mapa digital que también pueden detectarse sin importar el tiempo que haga en cualquier estación.
Asimismo, hay planteamientos para una localización basada en LiDAR. Los sensores LiDAR, independientemente de las condiciones de luz en el entorno del vehículo suministran una acumulación de puntos con coordinadas espaciales 3D con una exactitud de centímetros para los objetos captados. Estos puntos de medición para la determinación de la posición pueden emplearse en conexión con un mapa digital de puntos 3D. A este respecto, para la localización del vehículo se hace corresponder la acumulación de puntos LiDAR medida actualmente con el mapa digital, es decir, se hace coincidir de la manera más exacta posible con los puntos 3D en el mapa. Sin embargo, una desventaja de dicha localización basada en el sistema LiDAR es que la creación de un mapa 3D exacto necesario para ello es muy compleja.
Una localización basada en el sistema LiDAR que se basa en la captación de marcas terrestres se describe en el documento 2018/140701 A1. En este sentido adicionalmente se asocian datos de una cámara a los puntos 3D. También en los documentos US 2017/0248963 A1 y US 2018/0136644 A1 se recopilan datos de distintos sensores de manera centralizada para llevar a cabo una planificación de vías para vehículos que se conducen de manera autónoma. A este respecto, también se utiliza un localizador que analiza los datos de los distintos sensores y mediante la comparación de los datos de sensor con datos de mapa determina la pose de un vehículo autónomo.
Por lo demás, el documento WO 2018/104563 A2 para la determinación de la posición y orientación de un vehículo desvela cómo captar el entorno de vehículo con una o varias cámaras. Para encontrar zonas en las cuales se encuentran marcas terrestres que pueden emplearse mediante comparación con un mapa de referencia para la localización en este sentido se lleva a cabo una segmentación semántica de las imágenes captadas con las cámaras. A este respecto, para clases de objeto como p.ej., edificio o señales de tráfico en conexión con una medición de profundidad se generan marcas terrestres 3D. También se propone un seguimiento de tales marcas terrestres a través de varios fotogramas.
El documento KR 101 880 185 B1 desvela un procedimiento de estimación de pose para un objeto que se mueve empleando una imagen que se capta con una cámara, y un mapa semántico que sirve como referencia. Tomando como base una información de pose inicial en el mapa semántico se selecciona una zona de comparación semántica y se compara con informaciones de análisis de imagen de la imagen de cámara captada para calcular la pose del objeto que se mueve. Para el mapa semántico, la zona de comparación semántica y las informaciones de análisis de imagen están previstas distintas clases, como zonas de carretera y zonas que no corresponden a una carretera.
Finalmente, en el documento HAOHAO HU Y COL., “Accurate Global Trajectory Alignment using Poles and Road Markings” , ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 25 de marzo de 2019, XP081157525 se describe un planteamiento de georreferenciación en el que se alinean trayectorias con ayuda de postes y señalizaciones viales identificados en imágenes aéreas. En este sentido las señalizaciones viales identificadas se dividen en distintas clases y se emplean adicionalmente límites de carretera para la alineación lateral.
Es un objetivo de la invención poner a disposición un procedimiento y un dispositivo mejorados para determinar la posición geográfica y orientación de un vehículo.
Este objetivo se consigue mediante un procedimiento con las características de la reivindicación 1, así como mediante un dispositivo correspondiente según la reivindicación 12. Realizaciones ventajosas de la invención son objeto de las reivindicaciones dependientes.
En el procedimiento según la invención para determinar la posición geográfica y orientación de un vehículo
- con al menos una cámara del vehículo se capta una imagen del entorno de vehículo, en donde la imagen captada comprende al menos parcialmente zonas del entorno de vehículo al nivel del suelo;
- para los píxeles individuales de la imagen captada se genera en cada caso una información de clasificación que indica una asignación a una de varias clases de objeto especificadas, en donde tomando como base esta asignación se realiza una segmentación semántica de la imagen;
- se detectan transiciones de textura de suelo, es decir transiciones a otras clases de objeto en el plano de suelo, tomando como base la segmentación semántica de la imagen;
- se proyectan solo los píxeles de las transiciones de textura de suelo detectadas hacia el nivel de suelo del entorno de vehículo;
- se minimiza la desviación entre las transiciones de textura de suelo proyectadas hacia el nivel de suelo del entorno de vehículo y transiciones de textura de suelo en un mapa de referencia global; y
- tomando como base la desviación minimizada se emite la posición actual y orientación del vehículo en el espacio.
De este modo con escaso esfuerzo puede llevarse a cabo una localización 6D, es decir, una determinación de los seis grados de libertad (en inglés: “ six degrees of freedom” , 6DoF) en el espacio tridimensional. Por tanto, para el vehículo se captan tanto las coordenadas espaciales actuales como un giro a la izquierda o a la derecha (guiñada), un ladeo hacia los lados (escorado), o una inclinación hacia adelante o hacia atrás (cabeceo). Debido a que para la localización 6D se emplean exclusivamente transiciones de textura de suelo y por tanto no es necesaria ninguna información de profundidad no es necesario captar o realizar un seguimiento de marcas terrestres con posiciones 3D. Por lo demás, el mapa de referencia empleado no debe contener ningún tipo de información 3D para las marcas terrestres. Con ello se reducen notablemente los requisitos con respecto al tiempo de cálculo y demanda de memoria frente a los procedimientos conocidos.
Según una forma de realización de la invención en este sentido, partiendo de una estimación de la posición actual y orientación del vehículo y/o una calibración inicial de la al menos una cámara se determinan parámetros de transformación iniciales entre las transiciones de textura de suelo detectadas y las transiciones de textura de suelo para la posición y orientación estimadas en el mapa de referencia global.
Tomando como base los parámetros de transformación las transiciones de textura de suelo detectadas se proyectan hacia el nivel de suelo del entorno de vehículo.
Para ello se calcula una medida de optimización para la desviación y se compara con un valor umbral para una desviación aceptable. Los parámetros de transformación se modifican, en el caso de que el valor umbral se supere y este proceso se continua iterativamente hasta que no se alcance el valor umbral.
Preferiblemente, en este sentido, tomando como base la estimación de la posición actual y orientación del vehículo y/o la calibración inicial de la al menos una cámara se selecciona un fragmento parcial del mapa de referencia global con transiciones de textura de suelo y se minimiza la desviación entre las transiciones de textura de suelo proyectadas hacia el nivel de suelo del entorno de vehículo y transiciones de textura de suelo en el fragmento parcial seleccionado del mapa de referencia global.
En este sentido la estimación de la posición actual puede averiguarse mediante navegación por satélite y la orientación del vehículo mediante una brújula electrónica.
En lugar de esto, o adicionalmente, la estimación de la posición actual y orientación del vehículo puede averiguarse tomando como base una posición y orientación anteriores conocidas del vehículo mediante procedimientos de medición odométricos.
Las transiciones de textura de suelo pueden basarse en este sentido en particular en una naturaleza diferente de la superficie de diferentes zonas del entorno de vehículo al nivel del suelo.
Por lo demás, el mapa de referencia global ventajosamente a vista de pájaro reproduce una representación generalizada de carreteras y detalles geográficos adyacentes a las carreteras.
Según una forma de realización de la invención la representación generalizada está diseñada en forma de un campo de distancia que en cada caso para un punto del mapa de referencia de una primera clase de objeto indica la distancia con respecto al punto más cercano de una segunda clase de objeto.
Según una forma de realización adicional de la invención en este sentido están previstos varios tipos distintos de transiciones de textura de suelo en función de las clases de objeto de las zonas contiguas del entorno de vehículo, en donde para los distintos tipos de transiciones de textura de suelo en cada caso se minimiza de manera independiente la desviación entre las transiciones de textura de suelo proyectadas hacia el nivel de suelo del entorno de vehículo y las transiciones de textura de suelo en el mapa global de referencia y los resultados que se obtienen se reúnen para averiguar los parámetros para la posición actual y orientación del vehículo.
Según una forma de realización adicional de la invención, en la zona de las transiciones de textura de suelo adicionalmente para los píxeles de la imagen captada con la al menos una cámara se capta mediante sensores una información de altitud, en donde para los puntos individuales del mapa de referencia global se presentan asimismo informaciones de altitud y en donde los píxeles de la imagen captada y los puntos del mapa de referencia global se hacen coincidir de la mejor manera posible entre sí.
Preferiblemente, en este sentido, la información de clasificación para los píxeles individuales se genera con una red neuronal artificial.
De manera correspondiente, un dispositivo según la invención, para determinar la posición geográfica y orientación de un vehículo comprende al menos una cámara para captar una imagen desde el entorno de vehículo del vehículo, en donde la al menos una cámara puede disponerse en un vehículo, de modo que la imagen captada comprenda al menos parcialmente zonas del entorno de vehículo al nivel del suelo, y una unidad de procesamiento, que
- para los píxeles individuales de la imagen captada genera en cada caso una información de clasificación que indica una asignación a una de varias clases de objeto especificadas, y tomando como base esta asignación realiza una segmentación semántica de la imagen;
- detecta transiciones de textura de suelo, es decir transiciones a otras clases de objeto en el plano de suelo, tomando como base la segmentación semántica de la imagen;
- proyecta solo los píxeles de las transiciones de textura de suelo detectadas hacia el nivel de suelo del entorno de vehículo;
- minimiza la desviación entre las transiciones de textura de suelo proyectadas hacia el nivel de suelo del entorno de vehículo y transiciones de textura de suelo en un mapa de referencia global; y
- tomando como base la desviación minimizada emite la posición actual y orientación del vehículo en el espacio.
Según una forma de realización adicional de la invención en este sentido está previsto un sensor 3D que en la zona de las transiciones de textura de suelo adicionalmente para los píxeles de la imagen captada con la al menos una cámara genera una información de altitud.
Preferiblemente en este sentido el sensor 3D está diseñado como sensor LiDAR.
La invención se refiere también a un vehículo de motor en el que se utiliza el procedimiento según la invención o el dispositivo según la invención.
Otras características de la presente invención se desprenderán de la siguiente descripción y de las reivindicaciones en relación con las figuras.
Fig. 1 muestra esquemáticamente un diagrama de bloques de un procedimiento según la invención;
Fig. 2 muestra esquemáticamente en otro ejemplo la proyección de píxeles de cámara hacia el plano de suelo tomando como base los parámetros de calibración de cámara y de la pose de vehículo estimada;
Fig. 3 muestra esquemáticamente en un ejemplo una fotografía aérea de una zona de cruce (A), transiciones de textura de suelo para esta zona de cruce (B) y un campo de distancia para esta zona de cruce (C);
Fig. 4 muestra esquemáticamente una imagen tomada con una cámara de una zona de cruce (A), la asignación de los píxeles de esta imagen a una de varias clases de objeto (B), la proyección de los píxeles clasificados hacia el plano de suelo (C) con las transiciones de textura de suelo (D) que resultan de estos;
Fig. 5 muestra para el ejemplo de la Fig. 3 de nuevo las transiciones (A) de textura de suelo que resultan de la proyección de los píxeles clasificados hacia el plano de suelo, estas transiciones de textura de suelo en un campo de distancia tomando como base una estimación de la posición y orientación del vehículo (B), así como la proyección correspondiente de las transiciones de textura de suelo hacia el mapa (C) de referencia; y
Fig. 6 muestra esquemáticamente un vehículo de motor con un dispositivo según la invención.
Para una mejor comprensión de los principios de la presente invención, a continuación se explican con más detalle realizaciones de la invención haciendo referencia a las figuras. Se entiende que la invención no se limita a estas realizaciones y que las características descritas también pueden combinarse o modificarse sin apartarse del alcance de protección de la invención tal como se define en las reivindicaciones.
La figura 1 muestra esquemáticamente un diagrama de bloques de un procedimiento según la invención para determinar la posición geográfica y orientación de un vehículo que puede aplicarse en particular para la localización propia de vehículos que se conducen de manera autónoma o parcialmente autónoma. Las siguientes explicaciones hacen referencia en este sentido a una imagen individual, habitualmente esta será parte de una cadencia de imágenes o secuencia de vídeo.
Según la etapa de procedimiento 1 inicialmente con un sensor de imágenes que puede estar integrado en una cámara se capta una imagen con una pluralidad de píxeles. En este sentido la imagen puede presentarse en particular como imagen en color, por ejemplo, como señal RGB en la que para los píxeles individuales en cada caso para los tres colores primarios rojo, verde y azul se presentan valores cromáticos. Asimismo, la imagen puede presentarse como imagen de medio tono, en donde para los píxeles individuales existe en cada caso una escala de grises. Mediante el sensor de imágenes puede captarse en este sentido en particular luz visible, en lugar de esto o adicionalmente sin embargo también luz infrarroja. A través de la orientación del sensor de imágenes o de la cámara los píxeles en este sentido están asociados a un sistema de coordenadas de sensor de imágenes o de cámara.
En la etapa de procedimiento 2 siguiente, mediante una red neuronal para cada píxel se genera una información de clasificación que indica una asociación a una de varias clases de objeto especificadas. La red neuronal 12 puede ser en este caso en particular una así llamada red neuronal convolucional “ Convolutional Neural Network’ en la que las neuronas están dispuestas en una o varias capas convolucionales “ Convolutional Layer" y la actividad de las neuronas se calcula mediante convolución discreta. Habitualmente una capa de agrupación “ Pooling Layer’ en la que se desechan informaciones superfluas, sigue las capas convolucionales en este sentido.
Sobre esta base, en la etapa de procedimiento 3 mediante una segmentación semántica, el así llamado “etiquetado de píxeles semántico” , la imagen captada se subdivide en distintos segmentos como, por ejemplo, zonas de las clases de objeto “calzada” , “coche” , “ peatón” , “señal de tráfico” , “edificio” , “zona verde en los bordes” o “cielo” . Dado que el etiquetado de píxeles semántico con frecuencia se emplea también en otros módulos de la conducción automática, en tales casos el resultado puede emplearse tanto para la determinación de pose según la invención como para los otros módulos mencionados de manera que luego se produce un escaso requerimiento de cálculo adicional.
En la etapa de procedimiento 4 se averiguan segmentos que se encuentran al nivel del suelo como, por ejemplo, superficies de calzada, superficies de borde contiguas como aparcamientos, aceras/caminos para peatones o zonas verdes, marcas de calzada, p.ej., para delimitar varias calzadas entre sí o para identificar pasos de peatones, bordillos para delimitar distintas zonas de la carretera entre sí y para fijar franjas de césped y el borde de calzada o de camino, o desagües para el drenaje de carreteras. Para estos segmentos se averiguan transiciones de textura, es decir, transiciones hacia otras clases de objeto en el plano de suelo. Así, p.ej., se averiguan los píxeles que se encuentran en el límite entre un segmento de bordillo y un segmento de calzada. Todos los objetos dinámicos, así como objetos estáticos que no se encuentran en el plano de suelo y por lo tanto falsificarían una proyección de la imagen de cámara hacia el plano de suelo no se emplean para la correspondencia.
Partiendo de una estimación de la posición actual y orientación del vehículo y una calibración inicial del sensor de imagen o de la cámara entonces en la etapa de procedimiento 5 se determinan parámetros de transformación iniciales para una transformación cTg basada en la rotación y traslación a través de la cual las transiciones de textura de suelo detectadas y transiciones de textura de suelo para la posición y orientación estimadas en un mapa de referencia global pueden hacerse coincidir aproximadamente. Los parámetros de transformación pueden darse en este sentido en particular mediante las tres coordenadas cartesianas (de traslación) que describen la posición en el espacio 3D en el eje x, y y z de un sistema de coordenadas y los 3 parámetros de rotación que indican el ángulo de giro (orientación) alrededor de estos ejes. Para los cálculos de coordenadas entre distintos sistemas de coordenadas los parámetros de traslación se representan normalmente como vector 3D y los parámetros de orientación se representan como matriz de rotación 3x3.
Con esta estimación inicial para la transformación cTg dentro del mapa de referencia global entonces en la etapa de procedimiento 6 siguiente las transiciones de textura de suelo detectadas se proyectan desde la imagen de cámara hacia el plano de suelo.
Después, en la etapa de procedimiento 7 se calcula la desviación entre las transiciones de textura de suelo proyectadas hacia el nivel de suelo del entorno de vehículo y transiciones de textura de suelo en el mapa global de referencia, y en la etapa de procedimiento 8 se compara con un valor umbral definido previamente para la calidad necesaria de la coincidencia. Si no se alcanzara ya este valor umbral, entonces en la etapa de procedimiento 10 la posición 3D actual y la orientación alrededor de los tres ejes espaciales se emite para etapas de procedimiento adicionales, en particular para una función de conducción autónoma.
En la gran mayoría de los casos la reproducción original sin embargo no será lo suficientemente exacta para cumplir con una medida de optimización definida previamente para ello. En estos casos, entonces en un proceso iterativo para parámetros de transformación modificados se lleva a cabo de nuevo la proyección y se calcula la desviación que se produce para esta proyección corregida que después se compara de nuevo con el valor umbral. Este proceso se continúa iterativamente hasta que el valor umbral quede sin alcanzar. En este sentido, por tanto, partiendo de una estimación inicial para la transformación cTg, en correspondencia con una localización inicial aproximada y calibración la transformación cTg se corrige y así el error para la posición actual y orientación del vehículo se minimiza.
La proyección de los píxeles de cámara que pertenecen a una transición de textura de suelo se representa en la figura 2. En el caso de una pose de cámara conocida, es decir, la transformación conocida cTg entre sistema de coordenadas de cámara C y sistema de coordenadas de suelo G la proyección M del píxel de cámara m hacia el plano de suelo resulta como punto de intersección entre el rayo visual de la cámara y el plano de suelo.
Existen distintas posibilidades para minimizar el error de coincidencia y para averiguar el mejor conjunto de los parámetros de transformación. Así, dentro de límites determinados pueden seleccionarse valores de parámetro aleatorios y estos puede modificarse de manera arbitraria en el marco de la iteración y después el conjunto de parámetros puede emitirse con el error mínimo. Asimismo puede definirse y minimizarse una función de coste, por ejemplo, mediante la aplicación de un algoritmo de optimización descenso de gradiente “gradient descent’ que mediante modificaciones iterativas en los parámetros converge en la dirección de un mínimo de la función de coste.
Por lo demás, también mediante una red neuronal artificial puede calcularse con las desviaciones mínimas la transformación u homografía entre las transiciones de textura de suelo captadas y las extraídas de un mapa de referencia comentado.
En este sentido la optimización puede llevarse a cabo individualmente también inicialmente para cada tipo de transición y a continuación resumirse.
Como medida de optimización, por ejemplo, puede averiguarse la desviación de las transiciones de textura de suelo captadas de un campo de distancia (en inglés: “ distance map” ) para la zona de carretera que se transita en ese momento. Para ello previamente, por ejemplo, desde un proveedor de servicios especializado en la creación de mapas digitales deben generarse mapas de referencia a vista de pájaro. En el ejemplo de una zona de cruce esto se representa en la figura 3.
La figura 3A muestra inicialmente esquemáticamente una fotografía aérea de la zona de cruce. Para esta fotografía aérea se averiguan transiciones de textura de suelo tomando como base clases de objeto previamente definidas que están asignadas al plano de suelo. Se realiza por tanto un realce 11, en cierto modo un rótulo, de las transiciones de textura de suelo en la fotografía aérea. Esto se reproduce en la figura 3B.
Tomando como base esto se genera un campo de distancia 12 para la zona de cruce en la cual el valor de cada punto reproduce la distancia con respecto a la transición de textura de suelo más cercana. Esto se ilustra en la Figura 3C. Como medida de optimización para la desviación de las transiciones de textura de suelo captadas puede consultarse y minimizarse, por ejemplo, la distancia media que puede formarse mediante la suma de los cuadrados de las distancias.
Estos datos de mapa generados, “ offline” representados en la figura 3 se comparan entonces con las transiciones de textura de suelo detectadas mediante el vehículo. Para ello estas deben generarse inicialmente a partir de la imagen tomada con una cámara del vehículo. Esto se aclara de nuevo en la figura 4 en el ejemplo de la zona de cruce ya observada previamente.
En la figura 4A se muestra inicialmente de manera esquemática una imagen tomada con la cámara de la zona de cruce. En este sentido puede verse claramente la calzada 13 situada ante el vehículo propio con una carretera transversal situada a alguna distancia. A la izquierda, junto a la calzada se encuentran franjas de césped con zonas, en el borde de calzada derecho el asfalto se convierte en un pavimentado. También pueden distinguirse un paso de peatones 14 situado delante del vehículo, vehículos aparcados en el borde de la calzada, ciclistas y señales de tráfico.
Los píxeles de esta imagen se asocian ahora mediante un etiquetado de píxeles semántico a varias clases de objeto diferentes, como se representa en la figura 4B. Así, los píxeles en la zona del asfalto transitable se asignan a una clase de objeto. Del mismo modo los píxeles se asignan a las clases de objeto correspondientes en la zona de los otros objetos mostrados en la figura 4A. De este modo, la imagen tomada con la cámara se segmenta en diferentes zonas, en donde inicialmente están presentes todavía todas las clases de objeto definidas.
La figura 4C muestra esquemáticamente una proyección hacia el plano de suelo para la ilustración de la imagen segmentada de la figura 4B. En este caso pueden seguir distinguiéndose los distintos segmentos de las diferentes clases de objeto. Sin embargo, dicha proyección completa para todos los elementos de imágenes no es necesaria para el procesamiento adicional, dado que para el procedimiento según la invención solo son importantes las transiciones 15, 16 de textura de suelo. Esto se representa en la figura 4D. En este sentido tanto el curso del borde 15 de calzada izquierdo y derecho como también del paso 16 de peatones pueden distinguirse claramente.
La figura 5A muestra inicialmente para el ejemplo de la Fig. 4 de nuevo las transiciones 15, 16 de textura de suelo que resultan de la proyección de los píxeles clasificados hacia el plano de suelo. Estas, tal como se representan en la figura 5B, se proyectan tomando como base una estimación de la posición y orientación del vehículo hacia el campo de distancia mostrado en la figura 3C para la zona de cruce observada. La figura 5C muestra una proyección correspondiente de las transiciones de textura de suelo hacia el mapa de referencia. En el marco de una optimización iterativa los parámetros de transformación tx, ty, tz, para una traslación en las tres coordenadas espaciales y rx, ry, rz para una rotación alrededor de los tres ejes espaciales se adaptan hasta que se haya cumplido con la calidad necesaria de la coincidencia.
La figura 6 muestra esquemáticamente un vehículo propio EF con un dispositivo según la invención. El vehículo de motor presenta al menos una cámara K para captar el entorno de vehículo situado delante del vehículo. La cámara puede estar montada en este sentido por ejemplo en la rejilla frontal, pero puede encontrarse igualmente en otras posiciones de montaje que hacen posible una captación sin interferencias del entorno de vehículo. También pueden estar previstas otras cámaras y/o sensores de otro tipo como sensores LiDAR o sensores de radar. La cámara presenta como cámara frontal en este sentido una zona de captación EB del entorno de vehículo situado delante del vehículo de motor que cubre, por ejemplo, una zona de 120° en la horizontal y 90° en la horizontal. En este sentido la cámara está dispuesta de modo que la imagen captada comprenda al menos parcialmente zonas del entorno de vehículo al nivel del suelo, como en particular la carretera transitada por el vehículo.
La cámara genera varias imágenes RGB de alta resolución por segundo, por ejemplo, con una resolución en el rango de megapíxeles y se alimenta a una unidad V de procesamiento. En esta, mediante una red neuronal a cada píxel de la imagen RGB se asocia una de varias clases de objeto y la segmentación semántica ya mencionada se realiza para detectar basándose en esto las transiciones de textura de suelo en la imagen captada que se proyectan hacia el nivel de suelo.
Por lo demás, está prevista una unidad P de determinación de pose que averigua la posición de vehículo actual aproximada a partir de datos GPS de un sensor GPS en el interior del vehículo y la orientación actual aproximada del vehículo mediante una brújula electrónica y asimismo alimenta una sobre ello a la unidad V de procesamiento. La unidad V de procesamiento averigua entonces un fragmento parcial para el procesamiento posterior mediante esta información a partir de un mapa de referencia global con transiciones de textura de suelo que está presente en la base de datos DB. La base de datos DB puede ser en este sentido en particular parte de una unidad de navegación.
La unidad V de procesamiento realiza entonces un procedimiento de optimización para minimizar la desviación entre las transiciones de textura de suelo proyectadas hacia el nivel de suelo y las transiciones de textura de suelo en el fragmento parcial del mapa de referencia global y, basándose en esto, averiguar la posición actual y orientación del vehículo con una exactitud mejorada con respecto a la estimación y emplear para etapas de procedimiento adicionales o emitir a unidades de procesamiento y de control no representadas adicionales para una función de conducción autónoma o también otras funciones de asistencia al conductor.
Adicionalmente puede estar previsto un sensor 3D no representado en la figura, por ejemplo, un sensor LiDAR que adicionalmente para los píxeles de la imagen captada con la cámara genera una información de altitud que puede emplearse para un aumento adicional de la exactitud.
La invención puede utilizarse en particular para el funcionamiento de vehículos de motor que se conducen de manera automática. Por lo demás, la invención puede emplearse por ejemplo también en otros sistemas de transporte sin conductor o robots móviles. La invención, a no ser que se abandone el ámbito de protección definido en las reivindicaciones, no está limitada a vehículos terrestres, sino que también puede emplearse para aeronaves y embarcaciones.
Leyendas
1 Captación de una imagen del entorno de vehículo
2 Generación de información de clasificación para los píxeles individuales 3 Segmentación semántica de la imagen
4 Detección de transiciones de textura de suelo
5 Determinación de parámetros de transformación iniciales para la pose estimada 6 Proyección hacia el nivel de suelo del entorno de vehículo
7 Cálculo de la desviación entre proyección y mapa de referencia
8 Consulta sobre si la desviación queda por debajo del valor umbral
9 Modificación de los parámetros de transformación
10 Emisión de la posición actual y orientación
11 T ransiciones de textura de suelo para fotografía aérea
12 Campo de distancia
13 Calzada situada delante del vehículo propio
14 Paso de peatones
15 Transiciones de textura de suelo proyectadas de la calzada
16 Transiciones de textura de suelo proyectadas del paso de peatones
C Sistema de coordenadas de cámara
G Sistema de coordenadas de suelo
EF Vehículo propio
BF Zona de los píxeles de la clase de objeto “ peatón”
K Cámara
V Unidad de procesamiento
EB Zona de detección
DB Base de datos
P Unidad de determinación de pose

Claims (15)

REIVINDICACIONES
1. Procedimiento para determinar la posición geográfica y orientación de un vehículo, en el que
- con al menos una cámara del vehículo se capta (1) una imagen del entorno de vehículo, en donde la imagen captada comprende al menos parcialmente zonas del entorno de vehículo al nivel del suelo;
- para los píxeles individuales de la imagen captada se genera (2) en cada caso una información de clasificación que indica una asignación a una de varias clases de objeto especificadas, y tomando como base esta asignación se realiza (3) una segmentación semántica de la imagen;
- se detectan (4) transiciones de textura de suelo, es decir transiciones a otras clases de objeto en el plano de suelo, tomando como base la segmentación semántica de la imagen;
- se proyectan (6) solo los píxeles de las transiciones de textura de suelo detectadas hacia el nivel de suelo del entorno de vehículo;
- se minimiza (7, 8, 9) la desviación entre las transiciones de textura de suelo proyectadas hacia el nivel de suelo del entorno de vehículo y transiciones de textura de suelo en un mapa de referencia global; y
- tomando como base la desviación minimizada se emite (10) la posición actual y orientación del vehículo en el espacio.
2. Procedimiento según la reivindicación 1, en donde partiendo de una estimación de la posición actual y orientación del vehículo y/o una calibración inicial de la al menos una cámara se determinan (5) parámetros de transformación iniciales entre las transiciones de textura de suelo detectadas y las transiciones de textura de suelo para la posición y orientación estimadas en el mapa de referencia global; tomando como base los parámetros de transformación se proyectan (56) las transiciones de textura de suelo detectadas hacia el nivel de suelo del entorno de vehículo; para ello se calcula (7) una medida de optimización para la desviación y se compara (8) con un valor umbral para una desviación aceptable, los parámetros de transformación se modifican (9) en el caso de que se supere el valor umbral y este proceso se continua iterativamente hasta que no se alcance el valor umbral.
3. Procedimiento según la reivindicación 2, en donde tomando como base la estimación de la posición actual y orientación del vehículo y/o la calibración inicial de la al menos una cámara se selecciona un fragmento parcial del mapa de referencia global con transiciones de textura de suelo y se minimiza (6, 7, 8) la desviación entre las transiciones de textura de suelo proyectadas hacia el nivel de suelo del entorno de vehículo y transiciones de textura de suelo en el fragmento parcial seleccionado del mapa de referencia global.
4. Procedimiento según la reivindicación 3, en donde la estimación de la posición actual se averigua mediante navegación por satélite y la orientación del vehículo se averigua mediante una brújula electrónica.
5. Procedimiento según la reivindicación 3 o 4, en donde la estimación de la posición actual y orientación del vehículo se averigua tomando como base una posición anterior conocida y orientación del vehículo mediante procedimientos de medición odométricos.
6. Procedimiento según una de las reivindicaciones anteriores, en donde las transiciones de textura de suelo se basan en una naturaleza diferente de la superficie de diferentes zonas del entorno de vehículo al nivel del suelo.
7. Procedimiento según una de las reivindicaciones anteriores, en donde el mapa de referencia global desde la vista de pájaro reproduce una representación generalizada de carreteras y detalles geográficos adyacentes a las carreteras.
8. Procedimiento según la reivindicación 7, en donde la representación generalizada está diseñada en forma de un campo de distancia que, en cada caso, para un punto del mapa de referencia de una primera clase de objeto indica la distancia con respecto al punto más cercano de una segunda clase de objeto.
9. Procedimiento según una de las reivindicaciones anteriores, en donde están previstos varios tipos distintos de transiciones de textura de suelo en función de las clases de objeto de las zonas contiguas del entorno de vehículo, en donde para los distintos tipos de transiciones de textura de suelo en cada caso se minimiza (6) de manera independiente la desviación entre las transiciones de textura de suelo proyectadas hacia el nivel de suelo del entorno de vehículo y las transiciones de textura de suelo en el mapa de referencia global y los resultados que se obtienen se reúnen para averiguar los parámetros para la posición actual y orientación del vehículo.
10. Procedimiento según una de las reivindicaciones anteriores, en donde en la zona de las transiciones de textura de suelo adicionalmente para los píxeles de la imagen captada con la al menos una cámara se capta mediante sensores una información de altitud y para los puntos individuales del mapa de referencia global se presentan asimismo informaciones de altitud, y en donde los píxeles de la imagen captada y los puntos del mapa de referencia global se hacen coincidir de la mejor manera posible entre sí.
11. Procedimiento según una de las reivindicaciones anteriores, en donde la información de clasificación para los píxeles individuales se genera con una red neuronal artificial.
12. Dispositivo para determinar la posición geográfica y orientación de un vehículo, con al menos una cámara (K) para captar una imagen desde el entorno de vehículo del vehículo, en donde la al menos una cámara puede disponerse en un vehículo de modo que la imagen captada comprenda al menos parcialmente zonas del entorno de vehículo al nivel del suelo, y una unidad (V) de procesamiento que
- para los píxeles individuales de la imagen captada genera en cada caso una información de clasificación que indica una asignación a una de varias clases de objeto especificadas, y tomando como base esta asignación realiza una segmentación semántica de la imagen;
- detecta transiciones de textura de suelo, es decir transiciones a otras clases de objeto en el plano de suelo, tomando como base la segmentación semántica de la imagen;
- proyecta solo los píxeles de las transiciones de textura de suelo detectadas hacia el nivel de suelo del entorno de vehículo;
- minimiza la desviación entre las transiciones de textura de suelo proyectadas hacia el nivel de suelo del entorno de vehículo y transiciones de textura de suelo en un mapa de referencia global; y - tomando como base la desviación minimizada emite la posición actual y orientación del vehículo en el espacio.
13. Dispositivo según la reivindicación 12, en donde está previsto un sensor 3D que en la zona de las transiciones de textura de suelo adicionalmente para los píxeles de la imagen captada con la al menos una cámara genera una información de altitud.
14. Procedimiento según la reivindicación 13, en donde el sensor 3D está diseñado como sensor LiDAR.
15. Vehículo de motor que está configurado para una función de conducción autónoma o parcialmente autónoma y comprende medios para realizar un procedimiento según una de las reivindicaciones 1 a 11 o presenta un dispositivo según la reivindicación 12, 13 o 14.
ES20169501T 2019-04-26 2020-04-14 Procedimiento y dispositivo para determinar la posición geográfica y orientación de un vehículo Active ES2949030T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019206036.6A DE102019206036A1 (de) 2019-04-26 2019-04-26 Verfahren und Vorrichtung zur Bestimmung der geografischen Position und Orientierung eines Fahrzeugs

Publications (1)

Publication Number Publication Date
ES2949030T3 true ES2949030T3 (es) 2023-09-25

Family

ID=70289611

Family Applications (1)

Application Number Title Priority Date Filing Date
ES20169501T Active ES2949030T3 (es) 2019-04-26 2020-04-14 Procedimiento y dispositivo para determinar la posición geográfica y orientación de un vehículo

Country Status (5)

Country Link
US (1) US11573091B2 (es)
EP (1) EP3731187B1 (es)
CN (1) CN111856491B (es)
DE (1) DE102019206036A1 (es)
ES (1) ES2949030T3 (es)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11080890B2 (en) * 2017-07-28 2021-08-03 Qualcomm Incorporated Image sensor initialization in a robotic vehicle
US11548433B2 (en) * 2019-12-06 2023-01-10 Karma Automotive Llc Automotive directional dark area pathway illumination
CN113348466A (zh) * 2019-12-26 2021-09-03 谷歌有限责任公司 用于移动计算设备的方位确定
DE102020133634A1 (de) 2020-12-16 2022-06-23 Valeo Schalter Und Sensoren Gmbh Erstellen einer Tiefenkarte
DE102020134119B3 (de) 2020-12-18 2021-12-23 Audi Aktiengesellschaft Verfahren zur Lokalisierung eines Kraftfahrzeugs in einer Assistenzkarte, Kraftfahrzeug, Computerprogramm und elektronisch lesbarer Datenträger
CN113865600B (zh) * 2021-09-28 2023-01-06 北京三快在线科技有限公司 一种高精地图的构建方法及装置
US20230126833A1 (en) * 2021-10-21 2023-04-27 Argo AI, LLC System and method for simultaneous online lidar intensity calibration and road marking change detection
CN114018215B (zh) * 2022-01-04 2022-04-12 智道网联科技(北京)有限公司 基于语义分割的单目测距方法、装置、设备及存储介质
GB2615073A (en) * 2022-01-25 2023-08-02 Mercedes Benz Group Ag A method for correcting a pose of a motor vehicle, a computer program product, as well as an assistance system
CN114119758B (zh) * 2022-01-27 2022-07-05 荣耀终端有限公司 获取车辆位姿的方法、电子设备和计算机可读存储介质
CN114677502B (zh) * 2022-05-30 2022-08-12 松立控股集团股份有限公司 一种任意倾斜角度的车牌检测方法
CN118474542B (zh) * 2024-07-15 2024-09-17 深圳市浩瀚卓越科技有限公司 云台方位控制方法、装置、设备和存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873238B2 (en) * 2006-08-30 2011-01-18 Pictometry International Corporation Mosaic oblique images and methods of making and using same
GB201116958D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Use of synthetic overhead images for vehicle localisation
DE102013101639A1 (de) * 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
EP2958054B1 (en) * 2014-06-18 2024-07-03 Mobileye Vision Technologies Ltd. Hazard detection in a scene with moving shadows
US9989969B2 (en) * 2015-01-19 2018-06-05 The Regents Of The University Of Michigan Visual localization within LIDAR maps
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9612123B1 (en) 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US9946264B2 (en) * 2016-03-22 2018-04-17 Sharp Laboratories Of America, Inc. Autonomous navigation using visual odometry
US11761790B2 (en) * 2016-12-09 2023-09-19 Tomtom Global Content B.V. Method and system for image-based positioning and mapping for a road network utilizing object detection
EP3346418A1 (en) * 2016-12-28 2018-07-11 Volvo Car Corporation Method and system for vehicle localization from camera image
CN106802954B (zh) * 2017-01-18 2021-03-26 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
JP7141403B2 (ja) 2017-01-27 2022-09-22 カールタ インコーポレイテッド 実時間オンライン自己運動推定を備えたレーザスキャナ
US10430968B2 (en) 2017-03-14 2019-10-01 Ford Global Technologies, Llc Vehicle localization using cameras
CN107144285B (zh) * 2017-05-08 2020-06-26 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
US10176596B1 (en) * 2017-07-06 2019-01-08 GM Global Technology Operations LLC Calibration verification methods for autonomous vehicle operations
KR101880185B1 (ko) * 2017-12-22 2018-07-19 한화시스템(주) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
US20190347808A1 (en) * 2018-05-09 2019-11-14 Ford Global Technologies, Llc Monocular Visual Odometry: Speed And Yaw Rate Of Vehicle From Rear-View Camera
DE102018210072B4 (de) * 2018-06-21 2020-08-20 Volkswagen Aktiengesellschaft Verfahren zum Kalibrieren eines funkbasierten schlüssellosen Zugangssystems eines Kraftfahrzeugs, Zugangssystem und Kraftfahrzeug
CN108960183B (zh) * 2018-07-19 2020-06-02 北京航空航天大学 一种基于多传感器融合的弯道目标识别系统及方法

Also Published As

Publication number Publication date
US11573091B2 (en) 2023-02-07
EP3731187A1 (de) 2020-10-28
CN111856491A (zh) 2020-10-30
CN111856491B (zh) 2023-12-22
EP3731187B1 (de) 2023-06-07
US20200340817A1 (en) 2020-10-29
DE102019206036A1 (de) 2020-10-29

Similar Documents

Publication Publication Date Title
ES2949030T3 (es) Procedimiento y dispositivo para determinar la posición geográfica y orientación de un vehículo
US11755024B2 (en) Navigation by augmented path prediction
US11972022B2 (en) Systems and methods for anonymizing navigation information
US20210311490A1 (en) Crowdsourcing a sparse map for autonomous vehicle navigation
US20230152461A1 (en) Determining Yaw Error from Map Data, Lasers, and Cameras
KR102128851B1 (ko) 제1 랜드마크의 글로벌 위치를 결정하는 방법 및 시스템
EP3343172B1 (en) Creation and use of enhanced maps
JP6899368B2 (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
KR102558055B1 (ko) 차선의 추정 방법
Schreiber et al. Laneloc: Lane marking based localization using highly accurate maps
US20180024562A1 (en) Localizing vehicle navigation using lane measurements
WO2021227645A1 (zh) 目标检测方法和装置
US20180273031A1 (en) Travel Control Method and Travel Control Apparatus
CN103955920A (zh) 基于三维点云分割的双目视觉障碍物检测方法
US11920950B2 (en) System and method for generating precise road lane map data
US11579622B2 (en) Systems and methods for utilizing images to determine the position and orientation of a vehicle
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2018077162A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
Moras et al. Drivable space characterization using automotive lidar and georeferenced map information
KR20200142315A (ko) 도로 네트워크를 갱신하는 방법 및 장치
Boschenriedter et al. Multi-session visual roadway mapping
WO2022133986A1 (en) Accuracy estimation method and system
Belaroussi et al. Vehicle attitude estimation in adverse weather conditions using a camera, a GPS and a 3D road map
CN112530270A (zh) 一种基于区域分配的建图方法及装置
Gu et al. Correction of vehicle positioning error using 3D-map-GNSS and vision-based road marking detection