ES2882834A1 - Sistema y método para el rastreo de objetos en movimiento en vehículos - Google Patents
Sistema y método para el rastreo de objetos en movimiento en vehículos Download PDFInfo
- Publication number
- ES2882834A1 ES2882834A1 ES202030518A ES202030518A ES2882834A1 ES 2882834 A1 ES2882834 A1 ES 2882834A1 ES 202030518 A ES202030518 A ES 202030518A ES 202030518 A ES202030518 A ES 202030518A ES 2882834 A1 ES2882834 A1 ES 2882834A1
- Authority
- ES
- Spain
- Prior art keywords
- scene
- vehicle
- sensor
- zone
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
Sistema y método para el rastreo de objetos en movimiento en vehículos. Un sistema (100) MOT para vehículos comprendiendo un subsistema de sensores (101) para escanear zonas de una escena (200) y una computadora (110) con: - un módulo interpretador de la escena (200) para asociar cada zona con unas frecuencias de escaneo; - al menos un detector de objetos (103, 104, 105) que genera una representación estructurada de la escena (200) con información de los objetos detectados en cada zona asociada; - un controlador (102) de sensores para asignar a cada sensor una zona, frecuencia y resolución de escaneo, basándose en un mapa estático (300) y en la representación estructurada de la escena (200) obtenida en instantes anteriores; - un compilador de escena (106) para generar una representación final de la escena (200) usando el mapa estático (300), la representación estructurada generada por cada detector de objetos (103, 104, 105) y el estado del vehículo (400) con su posición, velocidad y orientación, y enviar la representación final generada al controlador (102) para reasignar los parámetros de cada sensor.
Description
DESCRIPCIÓN
Sistema y método para el rastreo de objetos en movimiento en vehículos
OBJETO DE LA INVENCIÓN
La presente invención está relacionada con la industria dedicada a la implementación de sistemas hardware y software para rastrear obstáculos en movimiento. Más particularmente, la presente invención se refiere a un sistema y método de rastreo de obstáculos en movimiento para vehículos, especialmente vehículos autónomos.
ANTECEDENTES DE LA INVENCIÓN
Los vehículos con capacidad de conducción autónoma disponen de sistemas para la detección y rastreo de obstáculos en movimiento, MOT (MOT: "Movable Objects Tracker” , en inglés).
El objetivo de estos sistemas MOT es el de escanear la escena alrededor del vehículo y generar una representación estructurada de la misma con información sobre los distintos elementos y objetos que la componen, su tipo, posición y trayectoria (velocidad y orientación). Esta representación es procesada posteriormente por el sistema de toma de decisiones del vehículo autónomo, el cual es el encargado de mover el vehículo y llevar a los pasajeros a su destino de manera rápida y segura.
Un sistema MOT está compuesto por un hardware (sensores, placa de procesado y medios de almacenaje) y uno o más componentes software o hardware diseñados para el procesado de datos del sistema de sensores y los mapas estáticos almacenados. Un mapa estático es un conjunto de datos estructurados precargados en el vehículo u obtenidos on-line (de una nube en Internet: "cloud”, en inglés) con información estática sobre la infraestructura viaria (conjunto de elementos que forman parte de las calles y carreteras de una geografía de forma estática: la calzada, puentes, postes de luz, casas, árboles, vallas, bancos y demás objetos situados de forma estática en la vía pública).
Para identificar los distintos elementos de una escena (elementos de la carretera, personas, otros vehículos, etc.) que se encuentran en el entorno de un vehículo, un sistema MOT convencional dispone de un sistema de sensores instalado en el vehículo autónomo,
compuesto por sensores de distinta índole como, por ejemplo, LIDAR ("Laser Imaging Detection and Ranging”, en inglés), RADAR ("Radio Detection and Ranging”, en inglés), cámaras estereográficas o monográficas, etc. Estos sensores escanean la escena (i.e., exploran parcial o totalmente la escena) y proporcionan datos a una frecuencia y resolución determinada, los cuales son procesados por una computadora que incluye un detector de objetos, que es un elemento software y/o hardware especializado (incluso con aceleradores o circuitos integrados para aplicaciones específicas, ASIC "application-specific integrated circuit”), con capacidad para identificar, rastrear ("trace”, en inglés) y extraer los distintos elementos de la escena. En general, estos sensores permiten detectar una combinación de la parte dinámica y la parte estática de la escena, generando un gran flujo de información por unidad de tiempo.
Existen diferentes técnicas y algoritmos para la implementación de sistemas MOT y en concreto de los detectores de objetos, que se clasifican en seis categorías: tradicionales, basados en modelos, basados en visión estereoscópica, basados en cuadrículas, basados en la fusión de sensores y basados en aprendizaje profundo ("Deep Learning”, en inglés).
Una vez los objetos son identificados, la información se combina con el conjunto de mapas proporcionados por otro sistema, conocido como el mapeador del vehículo, mapas que pueden o bien estar precargados, o bien ser generados de forma automática, o ser una combinación de ambos. Estos mapas incluyen información estructurada sobre la infraestructura viaria como carreteras, señales de tráfico, barreras y otros obstáculos. Además, se recibe el estado del vehículo autónomo, con información sobre su posición, velocidad y orientación. Toda esta información se combina para generar la representación estructurada final de la escena, proyectando los distintos elementos detectados por el Detector de objetos, así como el vehículo autónomo, en sus respectivas posiciones y orientaciones en el plano del mapa. El formato y características de esta representación final dependen de las técnicas o algoritmos usados por el sistema de toma de decisiones.
En todos los casos, pero especialmente en aquellos sistemas que incorporan sensores LIDAR, el sistema de sensores genera enormes cantidades de datos (hasta centenares de TeraBytes cada día por vehículo) que deben ser procesados (y en algunos casos almacenados) en tiempo real y que pueden resultar críticos para la seguridad del vehículo. Reducir la cantidad de datos generados por los diferentes sensores necesarios para tomar una decisión determinada de movimiento, sin comprometer la seguridad del usuario es de
suma importancia si se quiere reducir el coste de estos sistemas, mejorar su fiabilidad y, en resumen, mejorar su penetración en el mercado.
El problema técnico objetivo que se presenta es permitir la reducción de la cantidad de datos generados por el sistema de sensores de un sistema MOT y reducir la capacidad de cálculo necesaria para la detección de los distintos elementos de una escena y su transformación en una representación estructurada para su uso en un sistema de toma de decisiones de un vehículo autónomo.
DESCRIPCIÓN DE LA INVENCIÓN
La presente invención sirve para solucionar el problema mencionado anteriormente, mediante un sistema que combina software y hardware para rastrear objetos en movimiento en vehículos, que usa información contextual para controlar y determinar qué zonas de la escena, a qué resolución y con qué frecuencia los distintos sensores del sistema deben escanear dicha escena. La información contextual o "contexto" proviene de dos fuentes: i) de los mapas estáticos almacenados en el sistema (datos enriquecidos con información contextual precargados en el vehículo) y ii) de datos capturados (en su representación estructurada) "online" (en línea) de las escenas observadas en los instantes que preceden al instante actual en el que los sensores hacen el escaneo, para así adaptarse a la situación actual de conducción del vehículo. La decisión sobre qué frecuencia y resolución y qué zonas de la escena se escanean se toma en base al "contexto" disponible.
Un aspecto de la invención se refiere a un sistema de rastreo de obstáculos en movimiento o sistema MOT, para vehículos, el sistema comprendiendo los siguientes componentes:
- un subsistema de uno o más sensores, cada sensor configurado de manera individual para escanear, en un instante actual de escaneo, al menos una zona de una escena que rodea un vehículo, a una resolución espacial determinada (la resolución espacial en imágenes se entiende como la cantidad de puntos en la imagen que define el nivel de detalles) y con una frecuencia determinada;
- unos medios de computación o computadora que comprende:
- un módulo interpretador de la escena configurado para determinar una pluralidad de zonas de la escena y asociar cada zona determinada con un rango de frecuencias de escaneo,
- al menos un detector de objetos configurado para procesar los datos de al menos una zona de la pluralidad de zonas determinadas e implementar al
menos un algoritmo de reconocimiento de objetos, cada algoritmo de reconocimiento adaptado a un tipo definido de zona de la pluralidad de zonas determinadas para detectar objetos en cada zona que procesa del tipo definido, y cada detector de objetos configurado para generar una representación estructurada de la escena para las zonas que procesa con información de los objetos detectados;
- un controlador de sensores configurado para asignar a cada sensor del subsistema de sensores unos parámetros que indican al menos una zona de la pluralidad de zonas determinadas, una frecuencia de escaneo del rango de frecuencias asociado a cada zona asignada y una resolución de escaneo, donde la asignación de parámetros se basa en información dada por la representación estructurada de la escena obtenida por cada detector de objetos en instantes anteriores al instante actual de escaneo y por al menos un mapa estático, donde el mapa estático es un conjunto de datos conteniendo al menos información de la infraestructura viaria, estructurados para ser procesables por cada detector de objetos y el controlador de sensores;
- un compilador de escena configurado para generar una representación final de la escena usando el, al menos, un mapa estático, la representación estructurada de la escena habiendo sido generada por cada detector de objetos, y un estado del vehículo que comprende información sobre posición, velocidad y orientación del vehículo, el compilador de escena estando además configurado para enviar la representación final de la escena al controlador de sensores para que el controlador reasigne los parámetros cada sensor del subsistema de sensores basándose en la representación final de la escena.
Otro aspecto de la invención se refiere a un método para rastrear obstáculos en movimiento en vehículos, implementable en el sistema MOT arriba descrito, comprendiendo los siguientes pasos:
- escanear mediante un subsistema de sensores, en un instante actual de escaneo, al menos una zona de una escena que rodea un vehículo, a una resolución espacial y frecuencia determinadas;
- determinar una pluralidad de zonas de la escena y asociar cada zona determinada con un rango de frecuencias de escaneo ( o con resoluciones espaciales, opcionalmente);
- procesar los datos de al menos una zona de la pluralidad de zonas determinadas e implementar al menos un algoritmo de reconocimiento de objetos, cada algoritmo de reconocimiento adaptado a un tipo definido de zona de la pluralidad de zonas determinadas para detectar objetos en cada zona que procesa del tipo definido, y generar una representación estructurada de la escena para cada zona procesada con información de los objetos detectados;
- asignar a cada sensor del subsistema de sensores unos parámetros que indican al menos una zona de la pluralidad de zonas determinadas, una frecuencia de escaneo del rango de frecuencias asociado a cada zona asignada y una resolución de escaneo, donde la asignación de parámetros se basa en información dada por la representación estructurada de la escena obtenida en instantes anteriores al instante actual de escaneo y por al menos un mapa estático, donde el mapa estático es un conjunto de datos estructurados conteniendo al menos información de la infraestructura viaria;
- generar una representación final de la escena usando el, al menos, un mapa estático, y un estado del vehículo que comprende información sobre posición, velocidad y orientación del vehículo; y
- reasignar los parámetros de cada sensor del subsistema de sensores basándose en la representación final de la escena generada en el paso anterior.
Las ventajas de la presente invención frente al estado de la técnica anterior y en relación a los sistemas MOT existentes actualmente son fundamentalmente:
- Permite reducir la densidad de adquisición de datos necesarios, reduciendo la frecuencia y resolución de captura de distintas zonas de la escena.
- Permite optimizar el uso de los sensores del sistema, y potencialmente relajar sus especificaciones de frecuencia de muestreo y resolución espacial en determinadas situaciones.
- Establece un algoritmo de realimentación entre el "hardware” de los sensores y el "software” que los controla y realiza el procesado, tales que permiten optimizar las prestaciones conjuntas del sistema.
- Facilita el uso y combinación de un abanico más amplio de software y/o hardware de diferentes características (y más eficientes) para la detección de objetos, permitiendo la reducción de costes
- Facilita el uso de software y/o hardware especializado en detectar tipos de objetos concretos, mejorando la precisión y como consecuencia, la seguridad del vehículo.
- Permite un uso más eficiente de los sensores, reduciendo su consumo energético.
BREVE DESCRIPCIÓN DE LAS FIGURAS
A continuación, se pasa a describir de manera muy breve una serie de dibujos que ayudan a comprender mejor la invención y que se relacionan expresamente con una realización de dicha invención que se presenta como un ejemplo no limitativo de ésta.
FIGURA 1.- Muestra un diagrama de bloques de un sistema MOT para vehículos, según una realización preferente de la invención.
REALIZACIÓN PREFERENTE DE LA INVENCIÓN
Se propone un sistema MOT (100), que se muestra en la Figura 1, capaz de rastrear obstáculos en movimiento en cualquier tipo de vehículo. El sistema MOT (100) procesa la información recibida mediante herramientas hardware y software, de manera que minimiza el consumo de datos generado por el vehículo ajustando la resolución de escaneo de manera activa, adaptándola a las necesidades de la conducción. El sistema MOT (100) simula cómo un conductor humano analiza una escena (200).
El conductor normalmente centra la mayor parte de su atención en la carretera, representada en la Figura 1 como Zonas A, que es donde es más probable encontrar obstáculos en movimiento (por ejemplo, otros vehículos o peatones) que afectan a su conducción. Por consiguiente, para el rastreo de obstáculos en movimiento en la carretera, el sistema MOT (100) debe obtener datos a una frecuencia y resolución altas (generados por su subsistema de sensores) para poder reaccionar a tiempo ante imprevistos.
Por el contrario, en los laterales de la calle o carretera, representadas en la Figura 1 como Zonas B, es menos probable encontrar obstáculos, y si los hay, éstos están normalmente parados (por ejemplo, vehículos estacionados). El conductor, mediante su visión periférica es capaz de detectar y reaccionar a cambios en estos objetos de los laterales (por ejemplo, un vehículo estacionado empieza a moverse), pero sólo les presta toda la atención si estos objetos empiezan a moverse. En este caso, por tanto, los sensores del sistema MOT (100) están configurados para escanear estas zonas B a menor frecuencia y resolución que las zonas A.
Por otro lado, en la acera, representada en la Figura 1 como Zonas C, por donde los peatones circulan, éstos lo hacen en general paralelos a la carretera y a una velocidad muy reducida en
comparación a la del vehículo, por lo que el conductor (mediante su visión periférica) solamente les presta atención si detecta que los peatones (obstáculos de las zonas C) se acercan en exceso a la calzada (zona A). En este caso, el sistema MOT (100) precisa un escaneo de estas zonas a una resolución y frecuencia bajas, acordes a la velocidad y al tipo de obstáculos (peatones) que típicamente se encuentran en estas zonas C.
Finalmente, hay zonas que no hace falta escanear, representadas en la Figura 1 como Zonas D, debido a que quedan muy alejadas de las zonas de circulación y por donde apenas circulan elementos u obstáculos que puedan afectar a la circulación del vehículo, y además, cualquier objeto o elemento móvil presente en las Zonas D debe pasar antes por zonas A, B o C, ya escaneadas para que esto suceda.
El sistema MOT (100) usa unos mapas estáticos (300) que guardan información sobre la infraestructura viaria de manera estructurada en forma de grafo (301), así como información sobre la probabilidad de encontrar objetos móviles en cada una de las zonas distinguidas, zonas A, B, C o D. Por ejemplo, esa probabilidad se puede representar en el mapa estático (300) usando un esquema de color o, como se muestra en la Figura 1, usando una escala de grises: probabilidad alta se representa en gris claro (zonas A), probabilidad media se representa en gris oscuro (zonas B), probabilidad baja se representa en negro (zonas C) y probabilidad muy baja se representa con rayas negras (zonas D).
En el grafo (301), los nodos unidos mediante enlaces son una forma de representar el mapa (300) o zona navegable por un vehículo Las aristas del grafo (301) representan la posibilidad o capacidad de “navegar” desde una zona a otra (no presentan relación con la probabilidad de que se produzca un determinado desplazamiento). La probabilidad de detectar objetos en movimiento se representa con un color de fondo o escala de grises como la descrita anteriormente, que no forma parte del grafo. En una posible realización, como la mostrada en la Figura 1, la representación estructurada del mapa estático (300) está compuesta por un grafo (301) superpuesto sobre un mapa de colores/ escala de grises (112).
El sistema MOT (100) comprende los siguientes componentes:
- Un subsistema de sensores (101) compuesto por uno o más sensores de distintos tipos:
LIDAR, RADAR, cámara estéreo, mono-cámara (la cámara monográfica puede ser polarimétrica, o sensible a diferentes áreas del espectro: infrarrojo cercano-NIR: Near InfraRed, en inglés-, longitud de onda corta infrarroja -SWIR: Short-wavelength infrared en inglés-, espectro visible, cámara térmica,...), etc. La resolución, la frecuencia y la zona de
escaneo de cada sensor es parametrizable de manera individual. Estos sensores pueden encontrarse en una única unidad central, o estar distribuidos en el vehículo. Pueden, también entregar sus datos, tanto en dos dimensiones o 2D como en tres dimensiones o 3D, ya fusionados, 2D+3D.
- Un procesador o computadora (110) que comprende un módulo interpretador de la escena (200), que implementa un algoritmo para determinar qué diferentes zonas de la escena y con qué frecuencia debe escanearse cada zona determinada. La computadora (110), con acceso a medios de almacenaje (112), además comprende:
■ Un controlador (102) de sensores, que controla los parámetros de los distintos sensores del subsistema de sensores (101) para que escaneen diferentes partes de la escena (200) a diferentes resoluciones y frecuencias, generando conjuntos de datos distintos correspondientes a diferentes partes de la escena (200) alrededor del vehículo. Para decidir qué valor de los distintos parámetros se asigna a cada sensor, el controlador (102) procesa: i) la información obtenida en instantes anteriores de la representación estructurada de la escena (200), y ii) un conjunto de mapas estáticos (300), precargados u obtenidos de un servidor en la red Internet (i.e., obtenidos de la nube), que contiene información sobre las distintas zonas presentes en el entorno del vehículo (por ejemplo la calzada, zonas peatonales, zonas con vehículos aparcados, etc.) y/o la probabilidad de encontrar objetos en movimiento. El objetivo del controlador (102) es el de parametrizar los sensores de tal manera que la cantidad de datos a procesar es la menor posible, tratando de reducir la resolución y frecuencia de escaneo en la mayor parte de la escena posible, adaptándola a las singularidades de cada zona y sin comprometer la seguridad del vehículo. Este el controlador (102) adicionalmente, en una posible implementación, puede implementar el mencionado interpretador de la escena (200).
■ Uno o más detectores de objetos (103, 104, 105), cada uno de los cuales es un sistema software y/o hardware con capacidad para procesar los datos de una parte de la escena (200), generando una representación estructurada (por ejemplo, en forma de grafo) de la parte o zona de la escena procesada. Cada detector de objetos (103, 104, 105) implementa una o más técnicas o algoritmos para el reconocimiento de objetos de manera independiente a los demás, adaptando cada detector de objetos (103, 104, 105) el reconocimiento de objetos a la tipología de las zonas que cada uno procesa. Por ejemplo, un primer detector de objetos (103) puede procesar los datos provenientes de la acera, que es parte de las zonas C, e implementa algoritmos especializados en detectar correctamente peatones, a
resolución baja, y cuya complejidad requiere de una capacidad de cómputo baja. Por otro lado, en el ejemplo de la Figura 1, un segundo detector de objetos (104) que recibe los datos de la calzada, zona A, implementa técnicas más complejas, capaces de detectar todo tipo de elementos con alta precisión, requiriendo más capacidad de cómputo. En el sistema (100) de la Figura 1, además un tercer detector de objetos (105) implementa algoritmos de escaneo de zonas a resolución y frecuencia media para rastrear objetos de las zonas B, por ejemplo, zonas con coches estacionados; mientras que las zonas D, muy alejadas del vehículo, no son escaneadas. El controlador (102) es el encargado de parametrizar esa resolución y frecuencia del algoritmo de escaneo de objetos de cada detector de objetos (103, 104, 105) Otra alternativa es que el controlador (102) use el interpretador de escena para dividir la escena en campos de visión estáticos y dé más frecuencia de escaneo a los detectores de objetos asociados a las áreas centrales de la escena (200) y, en cambio, parametrice con menor frecuencia de escaneo a los detectores de objetos asociados a las áreas periféricas. En otra posible realización, el sistema (100) puede disponer de un solo detector de objetos para escanear todas las áreas de la escena (200) o uno dedicado a una única área y otro(s) a más de un área.
Un compilador de escena (106), que es un sistema software y/o hardware que genera la representación final de la escena a partir de los objetos detectados por los distintos detectores de objetos (103, 104, 105), el estado del vehículo (400) y los mapas estáticos (300). El estado del vehículo (400) da información sobre la posición, velocidad y orientación del vehículo. El compilador de la escena (106) es el encargado de proyectar la posición y orientación de los distintos objetos en relación al vehículo autónomo y la infraestructura viaria, así como la de calcular su velocidad. Así, una vez los objetos han sido detectados, la escena es compilada por el compilador de escena (106), que construye una representación de la escena (200), por ejemplo, basada en grafo, que incluye tanto la información sobre la infraestructura viaria como los distintos objetos detectados, sus relaciones y su tipo. La representación final (por ejemplo, en forma de grafo u otra representación estructurada y procesable) se envía tanto al controlador (102) de sensores como a un sistema de toma de decisiones del vehículo. Esta representación es enviada de vuelta al controlador (102) con el objetivo de proveer de contexto al controlador (102) para que este reajuste las zonas de escaneo y sus parámetros. Por ejemplo, en la Figura 1, si el tercer detector de objetos (105) asignado a las zonas B detecta que un coche estacionado ha empezado a moverse, el controlador (102) puede
extender la zona A para que cubra también las zonas B donde el coche previamente estacionado empezó a moverse, temporalmente
Uno o más mapas estáticos (300) que son un conjunto de datos correspondientes a la información de la infraestructura viaria u otra información relevante (por ejemplo, la probabilidad de observar objetos movibles en cada zona, la infraestructura viaria en forma de grafo, etc.), estructurados de manera que sean procesables por los distintos detectores de objetos (103, 104, 105) y el controlador (102) de sensores. Los mapas estáticos (300) se pueden almacenar físicamente en el vehículo o en un servidor de la nube.
Claims (13)
1. Un sistema (100) para rastrear objetos en movimiento en vehículos, que comprende: - un subsistema de sensores (101) que comprende uno o más sensores, cada sensor configurado de manera individual para escanear, en un instante actual de escaneo, al menos una zona de una escena (200) que rodea un vehículo, a una resolución espacial y frecuencia determinadas;
el sistema (100) caracterizado por que además comprende una computadora (110) en el vehículo, la computadora (110) comprendiendo: - un módulo interpretador de la escena (200) configurado para determinar una pluralidad de zonas de la escena (200) y asociar cada zona determinada con un rango de frecuencias de escaneo,
- al menos un detector de objetos (103, 104, 105) configurado para procesar los datos de al menos una zona de la pluralidad de zonas determinadas e implementar al menos un algoritmo de reconocimiento de objetos, cada algoritmo de reconocimiento adaptado a un tipo definido de zona de la pluralidad de zonas determinadas para detectar objetos en cada zona que procesa del tipo definido, y cada detector de objetos (103, 104, 105) configurado para generar una representación estructurada de la escena (200) para las zonas que procesa con información de los objetos detectados; - un controlador (102) de sensores configurado para asignar a cada sensor del subsistema de sensores (101) unos parámetros que indican al menos una zona de la pluralidad de zonas determinadas, una frecuencia de escaneo del rango de frecuencias asociado a cada zona asignada y una resolución espacial de escaneo, donde la asignación de parámetros se basa en información dada por la representación estructurada de la escena (200) obtenida por cada detector de objetos (103, 104, 105) en instantes anteriores al instante actual de escaneo y por al menos un mapa estático (300), donde el mapa estático (300) es un conjunto de datos conteniendo al menos información de la infraestructura viaria, estructurados para ser procesables por cada detector de objetos (103, 104, 105) y el controlador (102) de sensores;
- un compilador de escena (106) configurado para generar una representación final de la escena (200) usando el, al menos, un mapa estático (300), la representación estructurada de la escena (200) generada por cada detector de objetos (103, 104, 105), y un estado del vehículo (400) que comprende información sobre posición, velocidad y orientación del vehículo, el compilador de escena (106) estando además configurado para enviar la representación final de la escena (200) al controlador (102)
de sensores para que el controlador (102) reasigne los parámetros cada sensor del subsistema de sensores (101) basándose en la representación final de la escena (200).
2. El sistema (100) de acuerdo con la reivindicación 1, caracterizado por que el módulo interpretador de la escena (200) está en el controlador (102) de sensores.
3. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el compilador de escena (106) está configurado para además enviar la representación final de la escena (200) a un sistema de toma de decisiones del vehículo.
4. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el, al menos un, detector de objetos (103, 104, 105) está configurado para generar la representación estructurada de la escena (200) en forma de grafo con un conjunto de nodos representando objetos detectados en las zonas de la escena (200) procesadas por el detector de objetos (103, 104, 105).
5. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el, al menos un, mapa estático (300) comprende un grafo (301) superpuesto a un mapa de color con información sobre la pluralidad de zonas determinadas, donde el grafo (301) comprende un conjunto de nodos representando objetos de la escena (200).
6. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el, al menos un, mapa estático (300) está precargado en unos medios de almacenamiento (112) accesibles por la computadora (110) del vehículo o es obtenido por la computadora (110) a través de un servidor en Internet.
7. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el subsistema de sensores (101) comprende un número variable de sensores que se seleccionan entre sensor LIDAR, RADAR, cámara estereográfica y cámara monográfica.
8. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el subsistema de sensores (101) está en una única unidad
central del vehículo.
9. El sistema (100) de acuerdo con cualquiera de las reivindicaciones 1 -8, caracterizado por que el subsistema de sensores (101) comprende múltiples sensores distribuidos por el vehículo.
10. Un método para rastrear objetos en movimiento en vehículos, que comprende los siguientes pasos:
- escanear mediante un subsistema de sensores (101), en un instante actual de escaneo, al menos una zona de una escena (200) que rodea un vehículo, a una resolución espacial y frecuencia determinadas;
- determinar una pluralidad de zonas de la escena (200) y asociar cada zona determinada con un rango de frecuencias de escaneo,
- procesar los datos de al menos una zona de la pluralidad de zonas determinadas e implementar al menos un algoritmo de reconocimiento de objetos, cada algoritmo de reconocimiento adaptado a un tipo definido de zona de la pluralidad de zonas determinadas para detectar objetos en cada zona que procesa del tipo definido, y generar una representación estructurada de la escena (200) para cada zona procesada con información de los objetos detectados;
- asignar a cada sensor del subsistema de sensores (101) unos parámetros que indican al menos una zona de la pluralidad de zonas determinadas, una frecuencia de escaneo del rango de frecuencias asociado a cada zona asignada y una resolución espacial de escaneo, donde la asignación de parámetros se basa en información dada por la representación estructurada de la escena obtenida en instantes anteriores al instante actual de escaneo y por al menos un mapa estático (300), donde el mapa estático (300) es un conjunto de datos estructurados conteniendo al menos información de la infraestructura viaria;
- generar una representación final de la escena (200) usando el, al menos, un mapa estático (300), y un estado del vehículo (400) que comprende información sobre posición, velocidad y orientación del vehículo; y
- reasignar los parámetros de cada sensor del subsistema de sensores (101) basándose en la representación final de la escena (200) generada.
11. El método de acuerdo con la reivindicación 10, caracterizado por que además comprende enviar la representación final de la escena (200) a un sistema de toma de decisiones del vehículo.
12. El método de acuerdo con cualquiera de las reivindicaciones 10-11, caracterizado por que la representación estructurada de la escena (200) generada comprende un grafo formado por un conjunto de nodos representando objetos detectados en las zonas de la escena (200).
13. El método de acuerdo con cualquiera de las reivindicaciones 10-12, caracterizado por que el, al menos un, mapa estático (300) comprende un grafo (301) superpuesto a un mapa de color con información sobre la pluralidad de zonas determinadas, donde el grafo (301) comprende un conjunto de nodos representando objetos de la escena (200).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES202030518A ES2882834A1 (es) | 2020-06-02 | 2020-06-02 | Sistema y método para el rastreo de objetos en movimiento en vehículos |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES202030518A ES2882834A1 (es) | 2020-06-02 | 2020-06-02 | Sistema y método para el rastreo de objetos en movimiento en vehículos |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2882834A1 true ES2882834A1 (es) | 2021-12-02 |
Family
ID=78768186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES202030518A Withdrawn ES2882834A1 (es) | 2020-06-02 | 2020-06-02 | Sistema y método para el rastreo de objetos en movimiento en vehículos |
Country Status (1)
| Country | Link |
|---|---|
| ES (1) | ES2882834A1 (es) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150110344A1 (en) * | 2013-10-23 | 2015-04-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Image and map-based detection of vehicles at intersections |
| CN104636763A (zh) * | 2014-12-01 | 2015-05-20 | 北京工业大学 | 一种基于无人驾驶车的道路与障碍物检测方法 |
| WO2018055449A2 (en) * | 2016-09-20 | 2018-03-29 | Innoviz Technologies Ltd. | Lidar systems and methods |
| US10297152B1 (en) * | 2017-10-27 | 2019-05-21 | Waymo Llc | Displaying sensor data and supplemental data as a mask for autonomous vehicles |
| US20190377087A1 (en) * | 2018-06-11 | 2019-12-12 | Augmented Radar Imaging Inc. | Vehicle location determination using synthetic aperture radar |
| US20200160559A1 (en) * | 2018-11-16 | 2020-05-21 | Uatc, Llc | Multi-Task Multi-Sensor Fusion for Three-Dimensional Object Detection |
-
2020
- 2020-06-02 ES ES202030518A patent/ES2882834A1/es not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150110344A1 (en) * | 2013-10-23 | 2015-04-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Image and map-based detection of vehicles at intersections |
| CN104636763A (zh) * | 2014-12-01 | 2015-05-20 | 北京工业大学 | 一种基于无人驾驶车的道路与障碍物检测方法 |
| WO2018055449A2 (en) * | 2016-09-20 | 2018-03-29 | Innoviz Technologies Ltd. | Lidar systems and methods |
| US10297152B1 (en) * | 2017-10-27 | 2019-05-21 | Waymo Llc | Displaying sensor data and supplemental data as a mask for autonomous vehicles |
| US20190377087A1 (en) * | 2018-06-11 | 2019-12-12 | Augmented Radar Imaging Inc. | Vehicle location determination using synthetic aperture radar |
| US20200160559A1 (en) * | 2018-11-16 | 2020-05-21 | Uatc, Llc | Multi-Task Multi-Sensor Fusion for Three-Dimensional Object Detection |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11860640B2 (en) | Signal processing device and signal processing method, program, and mobile body | |
| US10489686B2 (en) | Object detection for an autonomous vehicle | |
| Possatti et al. | Traffic light recognition using deep learning and prior maps for autonomous cars | |
| US20170359561A1 (en) | Disparity mapping for an autonomous vehicle | |
| Fernández et al. | Free space and speed humps detection using lidar and vision for urban autonomous navigation | |
| US11854229B2 (en) | Object localization for autonomous driving by visual tracking and image reprojection | |
| CN115104138A (zh) | 多模态、多技术载具信号检测 | |
| US11126197B2 (en) | Verification of iterative closest point alignments for autonomous vehicles | |
| Li et al. | Integration of vision and topological self-localization for intelligent vehicles | |
| US20210097313A1 (en) | Methods, systems, and devices for verifying road traffic signs | |
| Moras et al. | Drivable space characterization using automotive lidar and georeferenced map information | |
| US11761769B2 (en) | Localization adaptation based on weather estimation | |
| US12087063B2 (en) | Systems and methods for detecting traffic lights corresponding to a driving lane | |
| Rana et al. | The perception systems used in fully automated vehicles: a comparative analysis | |
| US20240153107A1 (en) | System and method for three-dimensional multi-object tracking | |
| Thomas et al. | Sensor-based road model estimation for autonomous driving | |
| ES2882834A1 (es) | Sistema y método para el rastreo de objetos en movimiento en vehículos | |
| WO2023178069A1 (en) | Instance segmentation in a pseudo-image | |
| US8995721B1 (en) | Using object appearance changes due to high reflectivity for feature detection | |
| US20240304001A1 (en) | Systems and methods for generating a heatmap corresponding to an environment of a vehicle | |
| US12073633B2 (en) | Systems and methods for detecting traffic lights of driving lanes using a camera and multiple models | |
| Bansal et al. | Vision-based perception for autonomous urban navigation | |
| Dong | Sensors for autonomous vehicles | |
| Tanimoto et al. | Mobile robot's navigation based on road segmentation and route evaluation | |
| WO2024215334A1 (en) | High definition map fusion for 3d object detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| BA2A | Patent application published |
Ref document number: 2882834 Country of ref document: ES Kind code of ref document: A1 Effective date: 20211202 |
|
| FA2A | Application withdrawn |
Effective date: 20220321 |