ES3073136T3 - Event-driven region of interest management - Google Patents

Event-driven region of interest management

Info

Publication number
ES3073136T3
ES3073136T3 ES17817869T ES17817869T ES3073136T3 ES 3073136 T3 ES3073136 T3 ES 3073136T3 ES 17817869 T ES17817869 T ES 17817869T ES 17817869 T ES17817869 T ES 17817869T ES 3073136 T3 ES3073136 T3 ES 3073136T3
Authority
ES
Spain
Prior art keywords
sensor
vehicle
event
environment model
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17817869T
Other languages
English (en)
Inventor
Rainer Oder
Andreas Erich Geiger
Ljubo Mercep
Matthias Pollach
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mentor Graphics Development Deutschland GmbH
Original Assignee
Mentor Graphics Development Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mentor Graphics Development Deutschland GmbH filed Critical Mentor Graphics Development Deutschland GmbH
Application granted granted Critical
Publication of ES3073136T3 publication Critical patent/ES3073136T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B60W10/184—Conjoint control of vehicle sub-units of different type or different function including control of braking systems with wheel brakes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G06N5/047—Pattern matching networks; Rete networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)

Abstract

Esta solicitud describe un sistema informático para implementar la gestión de regiones de interés basada en eventos en un sistema de conducción asistida o automatizada de un vehículo. El sistema informático puede identificar una porción del modelo ambiental del vehículo que corresponde a una región de interés para el sistema de control de la conducción. El sistema informático puede detectar al menos un evento asociado a la región de interés en el modelo ambiental y proporcionar datos correspondientes al evento detectado al sistema de control de la conducción. Este último puede utilizar los datos correspondientes al evento detectado para controlar el funcionamiento del vehículo. (Traducción automática con Google Translate, sin valor legal)

Description

[0001] DESCRIPCIÓN
[0002] Gestión de regiones de interés basada en eventos
[0003] Solicitud relacionada
[0004] La presente solicitud de patente reivindica prioridad sobre la solicitud de patente provisional de EE. UU. No.
[0005] 62/385.156, presentada el 8 de septiembre de 2016.
[0006] Campo técnico de la invención
[0007] Esta solicitud está relacionada en general con los sistemas de conducción y asistencia automatizados y, más específicamente, con la gestión de regiones de interés basada en eventos para sistemas de conducción y asistencia automatizados.
[0008] Antecedentes de la invención
[0009] US 9.384.402 B1 muestra una compresión de imagen y vídeo para la asistencia remota de vehículos. Muchos vehículos modernos incluyen sistemas de asistencia al conductor avanzados (ADAS) integrados para proporcionar seguridad automatizada y/o funciones de conducción asistida. Por ejemplo, estos sistemas avanzados de asistencia al conductor pueden tener aplicaciones para implementar el control de crucero adaptativo, el aparcamiento automático, el frenado automático, el monitoreo del ángulo muerto, la evitación de colisiones, la detección de la somnolencia del conductor, la advertencia de salida del carril, o similares. La próxima generación de vehículos puede incluir sistemas de conducción autónoma (AD) para controlar y navegar los vehículos independientemente de la interacción humana.
[0010] Estos vehículos suelen incluir varios sensores, tales como una o más cámaras, un sensor de detección y localización por luz (Lidar), un sistema de detección y localización por radio (Radar), o similares, para medir distintas porciones del entorno que rodea a los vehículos. Cada sensor procesa sus propias mediciones captadas a lo largo del tiempo para detectar un objeto dentro de su campo de visión y, a continuación, proporcionar una lista de los objetos detectados a una aplicación de los sistemas avanzados de asistencia al conductor o de los sistemas de conducción autónoma a los que esté dedicado el sensor. En algunos casos, los sensores también pueden proporcionar un nivel de confianza correspondiente a su detección de los objetos de la lista con base en sus mediciones capturadas.
[0011] Las aplicaciones de los sistemas avanzados de asistencia al conductor o de los sistemas de conducción autónoma pueden utilizar la lista de objetos recibida de sus sensores correspondientes y, en algunos casos, los niveles de confianza asociados de su detección, para implementar la seguridad automatizada y/o la funcionalidad de conducción. Por ejemplo, cuando un sensor de radar situado en la parte delantera de un vehículo proporciona al sistema avanzado de asistencia al conductor del vehículo una lista con un objeto situado en la trayectoria actual del vehículo, la aplicación correspondiente a la colisión frontal del sistema avanzado de asistencia al conductor puede proporcionar una advertencia al conductor del vehículo o al vehículo de control con el fin de evitar una colisión con el objeto.
[0012] Como cada aplicación tiene sensores dedicados, la aplicación puede recibir una lista de objetos de los sensores dedicados que proporciona a la aplicación un campo de visión fijo en torno a una porción del vehículo. Cuando varios sensores para una aplicación tienen campos de visión que se solapan al menos parcialmente, la aplicación puede integrar listas de objetos de sus múltiples sensores dedicados para el campo de visión fijo alrededor de la porción del vehículo para la aplicación. Sin embargo, dado que el vehículo se mueve, disponer de un campo de visión estrecho proporcionado por los sensores puede dejar a la aplicación ciega ante posibles objetos. Por el contrario, ampliar el campo de visión puede aumentar el coste, por ejemplo, debido a los sensores adicionales, y añadir latencia al procesamiento de datos.
[0013] Breve descripción de la invención
[0014] La invención se define mediante las reivindicaciones independientes. En particular, esta solicitud divulga un sistema informático para implementar la gestión dinámica de regiones de interés (ROI) basada en eventos en sistemas de asistencia al conductor y/o sistemas de conducción automatizada de un vehículo. La gestión dinámica de regiones de interés basada en eventos puede identificar una porción de un modelo del entorno para un vehículo que corresponda a una región de interés para un sistema de funcionalidad de conducción. El sistema informático puede detectar al menos un evento asociado a la región de interés en el modelo del entorno y proporcionar los datos correspondientes al evento detectado al sistema de funcionalidad de conducción. El sistema de funcionalidad de conducción puede utilizar los datos correspondientes al evento detectado para controlar el funcionamiento del vehículo. Las realizaciones se describirán a continuación con mayor detalle.
[0015] Descripción de los dibujos
[0016] La Figura 1 ilustra un ejemplo de sistema de conducción autónoma de acuerdo con diversas realizaciones de la invención.
[0017] La Figura 2A ilustra un ejemplo de campos de coordenadas de medición para un sistema de sensores desplegado en un vehículo de acuerdo con diversas realizaciones de la invención.
[0018] La Figura 2B ilustra un ejemplo de campo de coordenadas del entorno asociado a un modelo del entorno para un vehículo de acuerdo con diversas realizaciones de la invención.
[0019] La Figura 3 ilustra un ejemplo de sistema de fusión de sensores de acuerdo con varios ejemplos de la invención. La Figura 4 ilustra un ejemplo de sistema de localización de acuerdo con varios ejemplos de la invención.
[0020] La Figura 5 ilustra un diagrama de flujo de ejemplo para la localización de vehículos de acuerdo con varios ejemplos de la invención.
[0021] La Figura 6 ilustra un ejemplo de sistema de gestión de regiones de interés en un sistema de fusión de sensores de acuerdo con varios ejemplos de la invención.
[0022] La Figura 7 ilustra un diagrama de flujo de ejemplo para la gestión de regiones de interés con base en eventos y en un modelo del entorno de acuerdo con varios ejemplos de la invención.
[0023] La Figura 8 ilustra un diagrama de flujo de ejemplo para la adaptación dinámica de la región de interés de acuerdo con varios ejemplos de la invención.
[0024] Las Figuras 9 y 10 ilustran un ejemplo de sistema informático del tipo que puede utilizarse para poner en práctica diversas realizaciones de la invención.
[0025] Descripción detallada de la invención
[0026] Fusión de sensores para la conducción autónoma
[0027] La Figura 1 ilustra un ejemplo de sistema de conducción autónoma 100 de acuerdo con diversas realizaciones. En referencia a la Figura 1, el sistema de conducción autónoma 100, cuando está instalado en un vehículo, puede detectar un entorno que rodea al vehículo y controlar el funcionamiento del vehículo con base, al menos en parte, en el entorno detectado.
[0028] El sistema de conducción autónoma 100 incluye un sistema de sensores 110 que tiene múltiples sensores, cada uno de los cuales puede medir diferentes porciones del entorno que rodea al vehículo y emitir las mediciones como datos de medición brutos 115. Los datos de medición brutos 115 pueden incluir características de la luz, las ondas electromagnéticas o el sonido captados por los sensores, tal como una intensidad o una frecuencia de la luz, las ondas electromagnéticas o el sonido, un ángulo de recepción por los sensores, un retardo de tiempo entre una transmisión y la correspondiente recepción de la luz, las ondas electromagnéticas o el sonido, un tiempo de captación de la luz, las ondas electromagnéticas o el sonido, o similares.
[0029] El sistema de sensores 110 incluye varios tipos diferentes de sensores, tales como un dispositivo de captura de imágenes 111, un dispositivo de detección y localización por radio (radar) 112, un dispositivo de detección y localización por luz (Lidar) 113, un dispositivo ultrasónico 114, uno o más micrófonos, cámaras de infrarrojos o de visión nocturna, cámaras de tiempo de vuelo, cámaras capaces de detectar y transmitir diferencias en la intensidad de los píxeles, o similares. El dispositivo de captura de imágenes 111, tal como una o más cámaras, puede capturar al menos una imagen de al menos una porción del entorno que rodea al vehículo. El dispositivo de captura de imágenes 111 puede dar salida a la imagen o imágenes capturadas como datos de medición sin procesar 115, que, en algunas realizaciones, pueden ser datos de píxeles sin procesar y/o sin comprimir correspondientes a la imagen o imágenes capturadas.
[0030] El dispositivo de radar 112 puede emitir señales de radio en el entorno que rodea al vehículo. Dado que las señales de radio emitidas pueden reflejarse en los objetos del entorno, el dispositivo de radar 112 puede detectar las señales de radio reflejadas procedentes del entorno. El dispositivo de radar 112 puede medir las señales de radio entrantes midiendo, por ejemplo, una intensidad de señal de las señales de radio, un ángulo de recepción, una frecuencia o similares. El dispositivo de radar 112 también puede medir un retardo de tiempo entre la emisión de una señal de radio y la medición de las señales de radio entrantes procedentes del entorno que corresponden a señales de radio emitidas reflejadas en objetos en el entorno. El dispositivo de radar 112 puede emitir las mediciones de las señales de radio entrantes como los datos de medición brutos 115.
[0031] El dispositivo lidar 113 puede transmitir luz, tal como la procedente de un láser u otro dispositivo de transmisión óptica, al entorno que rodea al vehículo. La luz transmitida, en algunas realizaciones, puede ser pulsos de luz ultravioleta, luz visible, luz infrarroja cercana o similares. Dado que la luz transmitida puede reflejarse en los objetos del entorno, el dispositivo lidar 113 puede incluir un fotodetector para medir la luz procedente del entorno. El dispositivo lidar 113 puede medir la luz entrante midiendo, por ejemplo, una intensidad de la luz, una longitud de onda o algo similar. El dispositivo lidar 113 también puede medir un retardo de tiempo entre una transmisión de un pulso de luz y una medición de la luz entrante del entorno que corresponde a la luz transmitida que se ha reflejado en los objetos en el entorno. El dispositivo lidar 113 puede emitir las mediciones de la luz entrante y el retardo de tiempo como los datos de medición brutos 115.
[0032] El dispositivo ultrasónico 114 puede emitir impulsos acústicos, por ejemplo, generados por transductores o similares, en el entorno que rodea al vehículo. El dispositivo ultrasónico 114 puede detectar el sonido ultrasónico procedente del entorno, tal como, por ejemplo, los impulsos acústicos emitidos que se han reflejado en objetos en el entorno. El dispositivo ultrasónico 114 también puede medir un retardo de tiempo entre la emisión de los impulsos acústicos y la recepción del sonido ultrasónico del entorno que corresponde a los impulsos acústicos emitidos que se han reflejado en los objetos del entorno. El dispositivo ultrasónico 114 puede emitir las mediciones del sonido ultrasónico entrante y el retardo de tiempo como los datos de medición brutos 115.
[0034] Los distintos sensores del sistema de sensores 110 pueden montarse en el vehículo para captar mediciones de distintas porciones del entorno que rodea al vehículo. La Figura 2A ilustra un ejemplo de campos de coordenadas de medición para un sistema de sensores desplegado en un vehículo 200 de acuerdo con diversas realizaciones. En referencia a la Figura 2A, el vehículo 200 puede incluir varios sensores diferentes capaces de detectar señales entrantes, tales como señales luminosas, señales electromagnéticas y señales sonoras. Cada uno de estos diferentes sensores puede tener un campo de visión diferente en un entorno alrededor del vehículo 200. Estos campos de visión pueden permitir a los sensores medir la luz y/o el sonido en diferentes campos de coordenadas de medición.
[0036] El vehículo de este ejemplo incluye varios campos de coordenadas de medición diferentes, incluyendo un campo de sensores delantero 211, varios campos de sensores de tráfico transversales 212A, 212B, 214A y 214B, un par de campos de sensores laterales 213A y 213B y un campo de sensores trasero 215. Cada uno de los campos de coordenadas de medición puede estar centrado en el sensor, lo que significa que los campos de coordenadas de medición pueden describir una región de coordenadas relativa a una ubicación de su sensor correspondiente.
[0037] Volviendo a la Figura 1, el sistema de conducción autónoma 100 incluye un sistema de fusión de sensores 300 para recibir los datos de medición brutos 115 del sistema de sensores 110 y poblar un modelo del entorno 121 asociado al vehículo con los datos de medición brutos 115. En algunas realizaciones, el modelo del entorno 121 puede tener un campo de coordenadas del entorno correspondiente a una envoltura física que rodea al vehículo, y el sistema de fusión de sensores 300 puede poblar el modelo del entorno 121 con los datos de medición brutos 115 con base en el campo de coordenadas del entorno. En algunas realizaciones, el campo de coordenadas del entorno puede ser un campo de coordenadas no centrado en el vehículo, por ejemplo, un sistema de coordenadas mundial, un campo de coordenadas centrado en la trayectoria o similares.
[0039] La Figura 2B ilustra un ejemplo de campo de coordenadas del entorno 220 asociado a un modelo del entorno para el vehículo 200 de acuerdo con diversas realizaciones. En referencia a la Figura 2B, el entorno que rodea al vehículo 200 puede corresponder al campo de coordenadas del entorno 220 para el modelo del entorno. El campo de coordenadas del entorno 220 puede estar centrado en el vehículo y proporcionar un área de 360 grados alrededor del vehículo 200. El modelo del entorno puede poblarse y anotarse con información detectada por el sistema de fusión de sensores 300 o introducida desde fuentes externas. Las realizaciones se describirán a continuación con mayor detalle.
[0041] Volviendo a la Figura 1, para introducir los datos de medición brutos 115 en el modelo del entorno 121 asociado al vehículo, el sistema de fusión de sensores 300 puede alinear espacialmente los datos de medición brutos 115 con el campo de coordenadas del entorno del modelo del entorno 121. El sistema de fusión de sensores 300 también puede identificar el momento en que los sensores capturaron los datos de medición brutos 115, por ejemplo, marcando la hora de los datos de medición brutos 115 cuando se reciben del sistema de sensores 110. El sistema de fusión de sensores 300 puede poblar el modelo del entorno 121 con la marca de tiempo u otra información de tiempo de captura, que puede utilizarse para alinear temporalmente los datos de medición brutos 115 en el modelo del entorno 121. En algunas realizaciones, el sistema de fusión de sensores 300 puede analizar los datos de medición brutos 115 procedentes de los múltiples sensores tal como se han poblado en el modelo del entorno 121 para detectar un evento del sensor o al menos un objeto en el campo de coordenadas del entorno asociado al vehículo. El evento del sensor puede incluir un evento de medición del sensor correspondiente a una presencia de los datos de medición brutos 115 en el modelo del entorno 121, por ejemplo, por encima de un umbral de ruido. El evento del sensor puede incluir un evento de detección del sensor correspondiente a una agrupación espacial y/o temporal de los datos de medición brutos 115 en el modelo del entorno 121. El objeto puede corresponder a una agrupación espacial de los datos de medición brutos 115 que han sido rastreados en el modelo del entorno 121 durante un periodo de tiempo, lo que permite al sistema de fusión de sensores 300 determinar que los datos de medición brutos 115 corresponden a un objeto alrededor del vehículo. El sistema de fusión de sensores 300 puede poblar el modelo de entorno 121 con una indicación del evento del sensor detectado o del objeto detectado y un nivel de confianza de la detección. A continuación, se describirán con más detalle las realizaciones de la fusión de sensores y la detección de eventos por los sensores o la detección de objetos.
[0043] El sistema de fusión de sensores 300, en algunas realizaciones, puede generar señales de retroalimentación 116 para proporcionarlas al sistema de sensores 110. Las señales de retroalimentación 116 pueden configurarse para indicar al sistema de sensores 110 que calibre uno o más de sus sensores. Por ejemplo, el sistema de sensores 110, en respuesta a las señales de retroalimentación 116, puede reposicionar al menos uno de sus sensores, ampliar un campo de visión de al menos uno de sus sensores, cambiar una tasa de actualización o un tiempo de exposición de al menos uno de sus sensores, alterar un modo de funcionamiento de al menos uno de sus sensores, o similares.
[0044] El sistema de conducción autónoma 100 puede incluir un sistema de funcionalidad de conducción 120 para recibir al menos una porción del modelo del entorno 121 del sistema de fusión de sensores 300. El sistema de funcionalidad de conducción 120 puede analizar los datos incluidos en el modelo del entorno 121 para implementar la funcionalidad de conducción automatizada o la funcionalidad de seguridad automatizada y conducción asistida para el vehículo. El sistema de funcionalidad de conducción 120 puede generar señales de control 131 con base en el análisis del modelo del entorno 121.
[0045] El sistema de conducción autónoma 100 puede incluir un sistema de control del vehículo 130 para recibir las señales de control 131 del sistema de funcionalidad de conducción 120. El sistema de control del vehículo 130 puede incluir mecanismos para controlar el funcionamiento del vehículo, por ejemplo, controlando diferentes funciones del vehículo, tales como el frenado, la aceleración, la dirección, el freno de estacionamiento, la transmisión, las interfaces de usuario, los sistemas de advertencia o similares, en respuesta a las señales de control.
[0046] La Figura 3 ilustra un ejemplo de sistema de fusión de sensores 300 de acuerdo con varios ejemplos. En referencia a la Figura 3, el sistema de fusión de sensores 300 puede incluir un sistema de integración de mediciones 310 para recibir datos de medición brutos 301 de múltiples sensores montados en un vehículo. El sistema de integración de mediciones 310 puede generar un modelo del entorno 315 para el vehículo, que puede poblarse con los datos de medición brutos 301.
[0047] El sistema de integración de mediciones 310 puede incluir una unidad de alineación espacial 311 para correlacionar los campos de coordenadas de medición de los sensores con un campo de coordenadas del entorno para el modelo del entorno 315. El sistema de integración de mediciones 310 puede utilizar esta correlación para convertir o traducir las ubicaciones de los datos de medición brutos 301 dentro de los campos de coordenadas de medición en ubicaciones dentro del campo de coordenadas del entorno. El sistema de integración de mediciones 310 puede poblar el modelo del entorno 315 con los datos de medición brutos 301 con base en la correlación entre los campos de coordenadas de medición de los sensores con el campo de coordenadas del entorno para el modelo del entorno 315.
[0048] El sistema de integración de mediciones 310 también puede alinear temporalmente los datos de medición brutos 301 procedentes de diferentes sensores del sistema de sensores. En algunas realizaciones, el sistema de integración de mediciones 310 puede incluir una unidad de alineación temporal 312 para asignar marcas de tiempo a los datos de medición brutos 301 con base en cuándo el sensor capturó los datos de medición brutos 301, cuándo los datos de medición brutos 301 fueron recibidos por el sistema de integración de mediciones 310, o similares. En algunas realizaciones, la unidad de alineación temporal 312 puede convertir un tiempo de captura de los datos de medición brutos 301 proporcionados por los sensores en un tiempo correspondiente al sistema de fusión de sensores 300. El sistema de integración de mediciones 310 puede anotar los datos de medición brutos 301 poblados en el modelo del entorno 315 con las marcas de tiempo de los datos de medición brutos 301. Las marcas de tiempo de los datos de medición brutos 301 pueden ser utilizadas por el sistema de fusión de sensores 300 para agrupar los datos de medición brutos 301 en el modelo del entorno 315 en diferentes periodos de tiempo o segmentos de tiempo. En algunas realizaciones, un tamaño o duración de los periodos o cortes de tiempo puede basarse, al menos en parte, en una tasa de actualización de uno o más sensores del sistema de sensores. Por ejemplo, el sistema de fusión de sensores 300 puede establecer un segmento de tiempo que corresponda al sensor con una tasa más rápida de suministro de nuevos datos de medición brutos 301 al sistema de fusión de sensores 300.
[0049] El sistema de integración de mediciones 310 puede incluir una unidad de movimiento ego 313 para compensar el movimiento de al menos un sensor que capture los datos de medición brutos 301, por ejemplo, debido a la conducción del vehículo o a su desplazamiento por el entorno. La unidad de movimiento del ego 313 puede estimar el movimiento del sensor que captura los datos de medición brutos 301, por ejemplo, utilizando la funcionalidad de rastreo para analizar la información de movimiento del vehículo, tales como los datos del sistema de posicionamiento global (GPS), las mediciones inerciales, los datos del cuentakilómetros del vehículo, las imágenes de vídeo o similares. La funcionalidad de rastreo puede implementar un filtro de Kalman, un filtro de partículas, un estimador basado en el flujo óptico, o similares, para rastrear el movimiento del vehículo y sus sensores correspondientes en relación con el entorno que rodea al vehículo.
[0050] La unidad de movimiento del ego 313 puede utilizar el movimiento estimado del sensor para modificar la correlación entre el campo de coordenadas de medición del sensor y el campo de coordenadas del entorno para el modelo del entorno 315. Esta compensación de la correlación puede permitir al sistema de integración de mediciones 310 poblar el modelo del entorno 315 con los datos de medición brutos 301 en ubicaciones del campo de coordenadas del entorno donde se capturaron los datos de medición brutos 301 en contraposición a la ubicación actual del sensor al final de su captura de mediciones.
[0051] En algunas realizaciones, el sistema de integración de mediciones 310 puede recibir objetos o listas de objetos 302 de diversas fuentes. El sistema de integración de mediciones 310 puede recibir la lista de objetos 302 de fuentes externas al vehículo, tal como en una comunicación de vehículo a vehículo (V2V), comunicación de vehículo a infraestructura (V2I), comunicación de vehículo a peatón (V2P), comunicación de vehículo a dispositivo (V2D), comunicación de vehículo a red (V2G) o, en general, comunicación de vehículo a todo (V2X). El sistema de integración de mediciones 310 también puede recibir los objetos o una lista de objetos 302 de otros sistemas internos del vehículo, tal como de una interfaz hombre-máquina, sistemas de mapeo, sistema de localización, sistema de funcionalidad de conducción, sistema de control del vehículo, o el vehículo puede estar equipado con al menos un sensor que emita la lista de objetos 302 en lugar de los datos de medición brutos 301.
[0053] El sistema de integración de mediciones 310 puede recibir la lista de objetos 302 y poblar uno o más objetos de la lista de objetos 302 en el modelo del entorno 315 junto con los datos de medición brutos 301. La lista de objetos 302 puede incluir uno o más objetos, una marca de tiempo para cada objeto y, opcionalmente, incluir metadatos espaciales asociados a una ubicación de los objetos en la lista de objetos 302. Por ejemplo, la lista de objetos 302 puede incluir mediciones de la velocidad del vehículo, que pueden no incluir un componente espacial que se almacenará en la lista de objetos 302 como metadatos espaciales. Cuando la lista de objetos 302 incluye un nivel de confianza asociado a un objeto de la lista de objetos 302, el sistema de integración de mediciones 310 también puede anotar el modelo del entorno 315 con el nivel de confianza para el objeto de la lista de objetos 302.
[0055] El sistema de fusión de sensores 300 puede incluir un sistema de detección de objetos 320 para recibir el modelo del entorno 315 del sistema de integración de mediciones 310. En algunas realizaciones, el sistema de fusión de sensores 300 puede incluir un sistema de memoria 330 para almacenar el modelo del entorno 315 procedente del sistema de integración de mediciones 310. El sistema de detección de objetos 320 puede acceder al modelo del entorno 315 desde el sistema de memoria 330.
[0057] El sistema de detección de objetos 320 puede analizar los datos almacenados en el modelo del entorno 315 para detectar un evento de detección del sensor o al menos un objeto. El sistema de fusión de sensores 300 puede poblar el modelo de entorno 315 con una indicación del evento de detección del sensor o del objeto detectado en una ubicación del campo de coordenadas del entorno correspondiente a la detección. El sistema de fusión de sensores 300 también puede identificar un nivel de confianza asociado a la detección, que puede basarse en al menos uno de una cantidad, una calidad o una diversidad de sensores de los datos de medición brutos 301 utilizados en la detección del evento de detección del sensor o del objeto detectado. El sistema de fusión de sensores 300 puede poblar el modelo de entorno 315 con el nivel de confianza asociado a la detección. Por ejemplo, el sistema de detección de objetos 320 puede anotar el modelo del entorno 315 con anotaciones de objetos 324, que rellenan el modelo del entorno 315 con el evento de detección del sensor detectado o el objeto detectado y el correspondiente nivel de confianza de la detección.
[0059] El sistema de detección de objetos 320 puede incluir una unidad de detección y fusión de eventos del sensor 321 para monitorear el modelo del entorno 315 con el fin de detectar eventos de medición del sensor. Los eventos de medición de los sensores pueden identificar ubicaciones en el modelo del entorno 315 que se hayan poblado con los datos de medición brutos 301 de un sensor, por ejemplo, por encima de un umbral correspondiente al ruido en el entorno. En algunas realizaciones, la unidad de detección y fusión de eventos del sensor 321 puede detectar los eventos de medición del sensor identificando cambios en la intensidad dentro de los datos de medición brutos 301 a lo largo del tiempo, cambios en las reflexiones dentro de los datos de medición brutos 301 a lo largo del tiempo, cambios en los valores de los píxeles, o similares.
[0061] La unidad de detección y fusión de eventos del sensor 321 puede analizar los datos de medición brutos 301 del modelo del entorno 315 en las ubicaciones asociadas a los eventos de medición del sensor para detectar uno o más eventos de detección del sensor. En algunas realizaciones, la unidad de detección y fusión de eventos del sensor 321 puede identificar un evento de detección del sensor cuando los datos de medición brutos 301 están asociados a un único sensor. Por ejemplo, la unidad de detección y fusión de eventos del sensor 321 puede analizar una imagen capturada por una cámara en los datos de medición brutos 301 para identificar bordes en la imagen, formas en la imagen, o similares, que la unidad de detección y fusión de eventos del sensor 321 puede utilizar para identificar un evento de detección del sensor para la imagen. La unidad de detección y fusión de eventos del sensor 321 también puede analizar grupos de puntos de intensidad en los datos de medición brutos 301 correspondientes a un sensor lidar o grupos de reflexiones en los datos de medición brutos 301 correspondientes a un sensor radar para determinar el evento de detección de un sensor para los datos de medición brutos 301 de dichos sensores.
[0062] La unidad de detección y fusión de eventos del sensor 321, en algunas realizaciones, puede combinar el evento de detección del sensor identificado para un único sensor con los datos de medición brutos 301 asociados con uno o más eventos de medición del sensor o eventos de detección del sensor capturados por al menos otro sensor para generar un evento de detección del sensor fusionado. El evento de detección del sensor fusionado puede corresponder a datos de medición brutos 301 procedentes de múltiples sensores, al menos uno de los cuales corresponde al evento de detección del sensor identificado por la unidad de detección y fusión de eventos del sensor 321.
[0063] El sistema de detección de objetos 320 puede incluir una unidad de preclasificación 322 para asignar una preclasificación al evento de detección del sensor o al evento de detección del sensor fusionado. En algunas realizaciones, la preclasificación puede corresponder a un tipo de objeto, tal como otro vehículo, un peatón, un ciclista, un animal, un objeto estático o similares. La unidad de preclasificación 322 puede anotar el modelo del entorno 315 con el evento de detección del sensor, el evento de detección del sensor fusionado y/o la preclasificación asignada.
[0065] El sistema de detección de objetos 320 puede incluir una unidad de rastreo 323 para rastrear los eventos de detección del sensor o los eventos de detección del sensor fusionado en el modelo del entorno 315 a lo largo del tiempo, por ejemplo, mediante el análisis de las anotaciones en el modelo del entorno 315, y determinar si el evento de detección del sensor o el evento de detección del sensor fusionado corresponde a un objeto en el sistema de coordenadas del entorno. En algunas realizaciones, la unidad de rastreo 323 puede rastrear el evento de detección del sensor o el evento de detección del sensor fusionado utilizando al menos un modelo de predicción de cambio de estado, tal como un modelo cinético, un modelo probabilístico u otro modelo de predicción de cambio de estado. La unidad de rastreo 323 puede seleccionar el modelo de predicción de cambio de estado a utilizar para rastrear el evento de detección del sensor o el evento de detección del sensor fusionado con base en la preclasificación asignada al evento de detección del sensor o al evento de detección del sensor fusionado por la unidad de preclasificación 322. El modelo de predicción de cambio de estado puede permitir a la unidad de rastreo 323 implementar una predicción de transición de estado, que puede suponer o predecir estados futuros del evento de detección del sensor o del evento de detección del sensor fusionado, por ejemplo, con base en una ubicación del evento de detección del sensor o del evento de detección del sensor fusionado en el modelo del entorno 315, un movimiento previo del evento de detección del sensor o del evento de detección del sensor fusionado, una clasificación del evento de detección del sensor o del evento de detección del sensor fusionado, o similares. En algunas realizaciones, la unidad de rastreo 323 que implementa el modelo cinético puede utilizar ecuaciones cinéticas para la velocidad, la aceleración, el impulso o similares, para suponer o predecir los estados futuros del evento de detección del sensor o del evento de detección del sensor fusionado con base, al menos en parte, en sus estados anteriores. La unidad de rastreo 323 puede determinar una diferencia entre el estado futuro previsto del evento de detección del sensor o del evento de detección del sensor fusionado y su estado futuro real, que la unidad de rastreo 323 puede utilizar para determinar si el evento de detección del sensor o el evento de detección del sensor fusionado es un objeto. Después de que la unidad de preclasificación 322 haya identificado el evento de detección del sensor o el evento de detección del sensor fusionado, la unidad de rastreo 323 puede rastrear el evento de detección del sensor o el evento de detección del sensor fusionado en el campo de coordenadas del entorno asociado al modelo del entorno 315, por ejemplo, a través de múltiples sensores diferentes y sus correspondientes campos de coordenadas de medición.
[0067] Cuando la unidad de rastreo 323, con base en el rastreo del evento de detección del sensor o del evento de detección del sensor fusionado con el modelo de predicción de cambio de estado, determina que el evento de detección del sensor o el evento de detección del sensor fusionado es un objeto, la unidad de rastreo del objeto 323 puede anotar el modelo del entorno 315 para indicar la presencia del objeto. La unidad de rastreo 323 puede seguir rastreando el objeto detectado a lo largo del tiempo implementando el modelo de predicción de cambio de estado para el objeto y analizando el modelo del entorno 315 cuando se actualiza con datos de medición brutos 301 adicionales. Una vez detectado el objeto, la unidad de rastreo 323 puede rastrear el objeto en el campo de coordenadas del entorno asociado al modelo del entorno 315, por ejemplo, a través de múltiples sensores diferentes y sus correspondientes campos de coordenadas de medición.
[0069] El sistema de fusión de sensores 300 puede incluir un sistema de análisis 340 para desarrollar información a partir del modelo del entorno 315 para su utilización por la funcionalidad de conducción automatizada en un sistema de control del vehículo. El sistema de análisis 340 puede incluir una unidad de predicción de la trayectoria del objeto 341 para generar una trayectoria proyectada del objeto 343 de un objeto rastreado próximo al vehículo. La unidad de predicción de la trayectoria del objeto 341 puede acceder al modelo del entorno anotado 332 desde el sistema de memoria 330 o recibirlos directamente del sistema de integración de mediciones 310 y/o del sistema de detección de objetos 320. La unidad de predicción de la trayectoria del objeto 341 puede utilizar el modelo del entorno anotado 332 junto con el modelo de predicción del cambio de estado correspondiente al objeto rastreado para predecir el movimiento del objeto rastreado en relación con el vehículo en el futuro. Dado que un objeto rastreado puede tener multitud de opciones para moverse en el futuro, en algunas realizaciones, la unidad de predicción de trayectoria del objeto 341 puede generar un rango de trayectorias esperadas junto con probabilidades asociadas a las trayectorias esperadas en el rango. La unidad de predicción de la trayectoria del objeto 341 puede anotar el modelo del entorno 315 con la trayectoria proyectada del objeto 343, por ejemplo, almacenando la trayectoria proyectada del objeto 343 en el modelo del entorno anotado 332 que reside en el sistema de memoria 330.
[0071] El sistema de análisis 340 puede incluir un sistema de localización 400 para utilizar el modelo del entorno anotado 332 para determinar una ubicación del vehículo. El sistema de localización 400 puede recibir la información del sistema de posicionamiento global (GPS) y los datos cartográficos 331, por ejemplo, del sistema de memoria 330. Los datos cartográficos 331 pueden incluir mapas topográficos, mapas del terreno, mapas de vistas de calles, o similares, de un área correspondiente a una ubicación del vehículo. Los datos cartográficos 331 pueden incluir características, tales como calzadas, señales de tránsito, semáforos, cruces de tránsito, pasos de peatones, edificios, árboles, estructuras, gradientes del terreno, bordes topográficos, fotogrametría, gradientes de intensidad o similares.
[0073] El sistema de localización 400 puede correlacionar datos o anotaciones en el modelo del entorno anotado 332 con puntos de referencia u objetos en los datos cartográficos 331. En algunas realizaciones, el sistema de localización 400 puede acceder al modelo del entorno anotado 332 desde el sistema de memoria 330 o recibirlos directamente del sistema de integración de mediciones 310 y/o del sistema de detección de objetos 320. La correlación entre los datos cartográficos 331 y el modelo del entorno anotado 332 puede identificar una localización del vehículo 344 que describe una posición del vehículo en relación con los datos cartográficos 331. El sistema de localización 400 también puede utilizar el modelo del entorno anotado 332 para determinar la localización dentro del carril para el vehículo. La localización dentro del carril puede identificar la ubicación del vehículo 344 describiendo la posición del vehículo en relación con un carril en una calzada. El sistema de localización 400 puede realizar selectivamente la localización dentro del carril y la correlación de datos cartográficos con el modelo del entorno anotado 332 para identificar la ubicación del vehículo 344, por ejemplo, con base en una situación de conducción, la utilización de recursos de procesamiento o similares. El sistema de localización 400 puede emitir la localización del vehículo 344, que, en algunas realizaciones, puede ser almacenada por el sistema de memoria 330 como otra anotación al modelo del entorno anotado 332. En las Figuras 4 y 5 se describirán con más detalle las realizaciones de la localización de vehículos.
[0075] La Figura 4 ilustra un ejemplo de sistema de localización 400 de acuerdo con varios ejemplos de la invención. Haciendo referencia a la Figura 4, el sistema de localización 400 puede recibir un modelo del entorno 401 y datos cartográficos 402, por ejemplo, de un sistema de memoria 330. El modelo del entorno 401 puede incluir datos de medición brutos capturados por un sistema de sensores y, opcionalmente, incluir anotaciones de eventos detectados, eventos rastreados, objetos rastreados o similares. Los datos cartográficos 402 pueden incluir mapas topográficos, mapas del terreno, mapas de vistas de calles, o similares, de un área correspondiente a una ubicación del vehículo. Los datos cartográficos 402 pueden incluir características, tales como calzadas, señales de tránsito, semáforos, cruces de tránsito, pasos de peatones, edificios, árboles, estructuras, gradientes del terreno, bordes topográficos, fotogrametría, gradientes de intensidad o similares. En algunas realizaciones, los datos cartográficos 402 pueden incluir uno o más mapas de alta definición y uno o más mapas dispersos. Los mapas dispersos pueden incluir un subconjunto de los datos en los mapas de alta definición, por ejemplo, incluyendo puntos de referencia u otros objetos invariantes.
[0077] El sistema de localización 400 puede incluir una unidad de detección 410 para realizar la localización dentro del carril a partir de los datos del modelo del entorno 401, que puede detectar una ubicación del vehículo en relación con un carril de una calzada. La unidad de detección 410 también puede detectar cuándo el modelo del entorno 401 se correlaciona con los datos cartográficos 402. En algunas realizaciones, la unidad de detección 410 puede comparar los datos del modelo del entorno 401 con los datos de los datos cartográficos 402 y determinar que el modelo del entorno 401 se correlaciona con los datos cartográficos 402 con base en las coincidencias entre los datos del modelo del entorno 401 y los datos cartográficos 402. Por ejemplo, el sistema de localización 400 puede determinar una correlación entre el modelo del entorno 401 y los datos cartográficos 402 tras un número o porcentaje predeterminado de coincidencias, o cuando las coincidencias corresponden a puntos de referencia u objetos invariables en los datos cartográficos 402.
[0079] En algunas realizaciones, el sistema de localización 400 puede recibir información del sistema de posicionamiento global (GPS) 403, que puede proporcionar al sistema de localización 400 una referencia global de una ubicación del vehículo en los datos cartográficos 402. El sistema de localización 400 puede utilizar la información del GPS 403 para identificar una porción de los datos cartográficos 402 a utilizar para intentar correlacionarlos con los datos del modelo del entorno 401.
[0081] La unidad de detección 410 puede utilizar la detección del modelo del entorno 401 en correlación con los datos cartográficos 402 o la localización dentro del carril para determinar una ubicación del vehículo 405. En algunas realizaciones, la unidad de detección 410 puede transformar un campo de coordenadas del entorno del modelo del entorno 401 en un campo de coordenadas globales asociado a los datos cartográficos 402 con base en la ubicación del vehículo 405. La unidad de detección 410 puede almacenar la localización del vehículo 405 y/o las coordenadas transformadas en el modelo del entorno 401, por ejemplo, tal y como se almacenan en el sistema de memoria.
[0083] El sistema de localización 400 también puede evaluar las correlaciones detectadas entre el modelo del entorno 401 y los datos cartográficos 402 para identificar qué puntos de referencia u objetos dentro de los datos cartográficos 402 son invariables al cambio con el tiempo o en diferentes condiciones de conducción, tales como el clima, las congestiones de tráfico, la iluminación o similares. En algunas realizaciones, el sistema de localización 400 puede identificar estos puntos de referencia u objetos con base en si los puntos de referencia u objetos son estáticos en los datos cartográficos 402, tienen formas o perfiles que permiten la medición del sensor, están hechos de materiales que permiten la medición del sensor, están situados para permitir una visión sin obstrucciones por parte del sistema de sensores, o similares.
[0084] El sistema de localización 400, en algunas realizaciones, puede alternar entre la utilización de mapas dispersos y mapas de alta definición para detectar la correlación entre el modelo del entorno 401 y los datos cartográficos 402 con base en la evaluación. Por ejemplo, cuando el sistema de localización 400 determina que la ubicación actual del vehículo debe incluir uno o más de estos puntos de referencia u objetos invariantes identificados, el sistema de localización 400 puede optar por pasar a utilizar un mapa disperso para detectar una correlación entre los puntos de referencia u objetos invariantes en el mapa disperso y los datos del modelo del entorno 401. Al reducir la cantidad de datos cartográficos que el sistema de localización 400 debe analizar para correlacionarlos con el modelo del entorno 401, el sistema de localización 400 puede reducir la utilización de recursos de procesamiento y la latencia asociada.
[0085] Cuando la unidad de detección 410 es incapaz de correlacionar el modelo del entorno 401 con los datos cartográficos 402, el sistema de localización 400 puede entrar en un modo de funcionamiento de reparación. El sistema de localización 400 puede incluir una unidad de reparación 420 para determinar la localización del vehículo 405 en el modo de reparación, mientras la unidad de detección 410 sigue intentando correlacionar el modelo del entorno 401 con los datos cartográficos 402.
[0086] La unidad de reparación 420 puede rastrear el movimiento del vehículo y correlacionar aproximadamente el movimiento rastreado con los datos cartográficos 402, por ejemplo, con base en su última ubicación correlacionada conocida. La unidad de reparación 420 puede rastrear el movimiento del vehículo con base, al menos en parte, en mediciones del movimiento del vehículo, tales como mediciones inerciales, datos del cuentakilómetros del vehículo, imágenes de vídeo o similares, algunas de las cuales pueden estar incluidas en el modelo del entorno 401. Sin una referencia externa, tal como una correlación de datos cartográficos o información GPS 403, el movimiento del vehículo rastreado internamente puede experimentar una deriva, en la que el movimiento del vehículo rastreado internamente se desalinee con respecto a los datos cartográficos 402.
[0087] La unidad de reparación 420 puede analizar el modelo del entorno 401 para llevar a cabo la localización del vehículo en el carril, por ejemplo, para determinar la ubicación del vehículo 405 en relación con las líneas o carriles de tráfico de una calzada. En algunas realizaciones, la unidad de reparación 420 puede utilizar datos de sensores correspondientes a líneas en las carreteras, bordes elevados de las aceras, vehículos adyacentes o similares, para determinar en qué parte de un carril se encuentra el vehículo. La unidad de reparación 420 también puede provocar un aumento de la precisión de los datos dentro del modelo del entorno 401, por ejemplo, indicando al vehículo que reduzca la velocidad y/o al sistema de sensores que aumente la tasa de actualización de los sensores, que aumente la precisión de los datos capturados, o similares.
[0088] En algunas realizaciones, la unidad de reparación 420, mientras se encuentra en el modo de reparación, puede determinar que porciones de los datos cartográficos 402 pueden estar incompletas o faltar. En algunas realizaciones, la unidad de reparación 420 puede marcar estas secciones de los datos cartográficos 402 como incompletas o ausentes, de modo que un sistema de control del vehículo proceda con precaución en esta área. La unidad de reparación 420 puede construir datos cartográficos generando datos correspondientes a los datos cartográficos incompletos o faltantes con base, al menos en parte, en el rastreo del movimiento del vehículo y en los datos de medición del modelo del entorno 401.
[0089] Después de que la unidad de localización 400 readquiera una referencia externa, por ejemplo, correlacione el modelo del entorno 401 con los datos cartográficos 402, el sistema de localización 400 puede rellenar los datos cartográficos 402 con el rastreo del movimiento del vehículo y/o los datos del modelo del entorno 401 para estas secciones que faltan o están incompletas. El sistema de localización 400 puede almacenar los datos recolectados durante el rastreo del movimiento del vehículo y/o los datos cartográficos corregidos 406 en el sistema de memoria para su posterior utilización al atravesar esa área o para cargar los datos cartográficos generados en un servidor externo para su utilización por otros vehículos.
[0090] La unidad de localización 400 puede incluir una unidad de construcción de mapas 430 para utilizar los datos del modelo del entorno 401 para generar datos cartográficos, por ejemplo, en un área en la que el sistema de localización 400 no tenga acceso a datos cartográficos o los datos cartográficos estén incompletos. Durante una fase de construcción de mapas, el vehículo puede estar ajustado a una velocidad baja y el sistema de sensores configurado para captar mediciones con una gran precisión. El vehículo puede moverse en este entorno no mapeado o poco mapeado de forma similar a como lo hace en el modo de reparación, por ejemplo, con localización dentro del carril, mayor precisión de los datos de los sensores y rastreo del vehículo. La unidad de construcción de mapas 430 puede salir de un modo de construcción de mapas dirigiendo el vehículo hacia un área que tenga datos cartográficos. Cuando el vehículo correlaciona los datos del modelo del entorno 401 con los datos cartográficos, la unidad de construcción de mapas 430 experimenta el cierre del bucle, y el sistema de localización 400 puede almacenar los datos cartográficos recién generados en el sistema de memoria para su posterior utilización al atravesar esa área o para cargar los datos cartográficos generados en un servidor externo para su utilización por otros vehículos.
[0091] La Figura 5 ilustra un diagrama de flujo de ejemplo para la localización de vehículos de acuerdo con varios ejemplos de la invención. Haciendo referencia a la Figura 5, en un bloque 501, un sistema de localización, en un modo normal, puede comparar los datos de un modelo del entorno con los datos cartográficos. El sistema de localización puede utilizar la información del GPS para determinar qué porción de los datos cartográficos debe comparar el sistema de localización con el modelo del entorno. Los datos cartográficos pueden corresponder a un mapa detallado o a un mapa poco poblado, por ejemplo, con un subconjunto de los datos en el mapa detallado. Por ejemplo, el mapa poco poblado puede incluir datos correspondientes a puntos de referencia u otros objetos invariantes en el mapa detallado. El sistema de localización puede utilizar selectivamente el mapa detallado y/o el mapa poco poblado para compararlos con los datos del modelo del entorno. El sistema de localización, en el modo normal, también puede utilizar el modelo del entorno para realizar la localización dentro del carril para el vehículo. En un bloque de decisión 502, el sistema de localización, en el modo normal, puede determinar si los datos del modelo del entorno se correlacionan con los datos cartográficos. Por ejemplo, el sistema de localización puede determinar una correlación entre el modelo del entorno y los datos cartográficos tras un número o porcentaje predeterminado de coincidencias, o cuando las coincidencias corresponden a puntos de referencia u objetos invariables en los datos cartográficos.
[0092] Cuando en el bloque de decisión 502, los datos del modelo del entorno se correlacionan con los datos cartográficos, la ejecución procede al bloque 506, donde el sistema de localización puede transformar un campo de coordenadas del entorno del modelo del entorno en un campo de coordenadas globales asociado con los datos cartográficos. En algunas realizaciones, el sistema de localización también puede almacenar las coordenadas transformadas en el sistema de memoria.
[0093] Cuando en el bloque de decisión 502, los datos del modelo del entorno no se correlacionan con los datos cartográficos, la ejecución procede al bloque 503, en el que el sistema de localización puede entrar en un modo de reparación. En el modo de reparación, el sistema de localización puede intentar volver a correlacionar el modelo del entorno con los datos cartográficos. El sistema de localización también puede rastrear el movimiento del vehículo y correlacionar aproximadamente el movimiento rastreado con los datos cartográficos, por ejemplo, con base en su última ubicación conocida correlacionada o en una última ubicación conocida con datos cartográficos coincidentes. El sistema de localización puede rastrear el movimiento del vehículo con base, al menos en parte, en mediciones del movimiento del vehículo, tales como mediciones inerciales, datos del cuentakilómetros del vehículo, imágenes de vídeo o similares, algunas de las cuales pueden estar incluidas en el modelo del entorno. Además, en el modo de reparación, el sistema de localización puede utilizar las mediciones del vehículo para determinar la ubicación del vehículo. El sistema de localización puede analizar el modelo del entorno para realizar la localización dentro del carril del vehículo, por ejemplo, para determinar la ubicación del vehículo en relación con las líneas o carriles de tráfico en una calzada. En algunas realizaciones, el sistema de localización puede utilizar datos de sensores correspondientes a líneas en las carreteras, bordes elevados de las aceras, vehículos adyacentes o similares, para determinar en qué parte de un carril se encuentra el vehículo.
[0094] En un bloque de decisión 504, el sistema de localización, en el modo de reparación, puede determinar si el modelo del entorno se ha vuelto a correlacionar con los datos cartográficos. En algunas realizaciones, el sistema de localización puede seguir comparando el modelo del entorno con los datos cartográficos a lo largo del tiempo. Cuando el sistema de localización determina una correlación entre el modelo del entorno y los datos cartográficos o adquiere de otro modo la referencia externa, el sistema de localización puede alinear la ubicación del vehículo generada internamente y el movimiento del vehículo rastreado con el campo de coordenadas global.
[0095] Cuando en el bloque de decisión 504, el sistema de localización ha vuelto a correlacionar el modelo del entorno con los datos cartográficos, la ejecución pasa al bloque 505, en el que el sistema de localización puede almacenar los datos asociados al movimiento del vehículo rastreado como datos cartográficos corregidos. La ejecución puede entonces volver al bloque 501. Cuando en el bloque de decisión 504, el sistema de localización ha vuelto a correlacionar el modelo del entorno con los datos cartográficos, la ejecución vuelve al bloque 503, en el que el sistema de localización puede seguir rastreando el movimiento del vehículo y utilizar las mediciones locales para determinar la ubicación del vehículo.
[0096] Volviendo a la Figura 3, el sistema de fusión de sensores 300 incluye un sistema de publicación-suscripción 610 para comunicarse con dispositivos, componentes o aplicaciones externos al sistema de fusión de sensores 300. El sistema de publicación-suscripción 610 permite a los procesos o aplicaciones de un sistema de funcionalidad de conducción recibir información del modelo del entorno anotado 332 o puede permitirles proporcionar anotaciones al modelo del entorno anotado 332.
[0097] El sistema de publicación-suscripción 610 recibe suscripciones 601 de un sistema de funcionalidad de conducción o, por ejemplo, también de un sistema de control del vehículo, o de otros dispositivos externos al sistema de fusión de sensores 300. Las suscripciones 601 identifican al menos una región de interés en el modelo del entorno anotado 332 para que un sistema de gestión de regiones de interés 620 la monitoree en busca de datos o eventos. La región de interés puede tener una descripción espacial, por ejemplo, una porción del campo de coordenadas del entorno en el modelo del entorno anotado 332. La región de interés puede tener una descripción temporal, por ejemplo, como ventana de tiempo o un desfase temporal durante el cual el sistema de gestión de regiones de interés 620 puede monitorear el modelo del entorno anotado 332. Las suscripciones 601 incluyen un tipo de datos a monitorear. En algunas realizaciones, las suscripciones 601 pueden incluir información de rastreo adicional, tal como si se debe permitir la adaptación dinámica de la región de interés identificada.
[0098] El sistema de publicación-suscripción 610 puede proporcionar al menos una porción de las suscripciones 601 al sistema de gestión de regiones de interés 620 como información de suscripción 602. El sistema de gestión de regiones de interés 620 puede analizar la información de suscripción 602 para identificar al menos una región de interés del modelo del entorno anotado 332 para monitorear datos o eventos. En algunas realizaciones, el sistema de gestión de regiones de interés 620 puede incluir un registro de las una o más regiones de interés que el sistema de gestión de regiones de interés 620 monitorea con base en la información de suscripción 602 del sistema de publicación-suscripción 610.
[0099] El sistema de gestión de regiones de interés 620 monitorea el modelo del entorno 315, por ejemplo, accediendo al sistema de memoria 330, para identificar datos y eventos correspondientes a al menos una de las regiones de interés del registro. Cuando el sistema de gestión de regiones de interés 620 detecta datos o un evento correspondiente a una región de interés en una suscripción 602, el sistema de gestión de regiones de interés 620 reenvía la información de detección al sistema de publicación-suscripción 610. La información de detección puede identificar la región de interés asociada a la detección, la porción detectada del modelo del entorno anotado 332, una referencia a la porción detectada del modelo del entorno anotado 332 en el sistema de memoria 330, un tipo de detección, o similares. El sistema de publicación-suscripción 610 utiliza la información de detección para generar y emitir datos de eventos 611 a los dispositivos, sistemas, aplicaciones o componentes que proporcionaron al sistema de publicación-suscripción 610 la suscripción 601 que describe la región de interés asociada a la detección. El sistema 620 de gestión de la región de interés también puede adaptar dinámicamente la región de interés para una o más de las suscripciones 601, por ejemplo, con base en el modo de funcionamiento del vehículo, una trayectoria o ruta planificada que el vehículo espera atravesar, características en los datos cartográficos 331, o similares. Por ejemplo, el sistema de gestión de la región de interés 620 u otra porción del sistema de fusión de sensores 300 puede identificar las ubicaciones de los próximos semáforos o señalizaciones y sugerir al proceso o componente del sistema de funcionalidad de conducción que amplíe su región de interés o añada una nueva región de interés para incluir los próximos semáforos o señalizaciones. En otro ejemplo, el sistema de gestión de la región de interés 620 u otra porción del sistema de fusión de sensores 300 puede identificar que el vehículo planea realizar un giro y ampliar su región de interés para incluir áreas correspondientes a la carretera después de realizar el giro. Las realizaciones de la gestión de regiones de interés basada en eventos se describirán a continuación con mayor detalle.
[0100] Gestión de regiones de interés basada en eventos
[0101] La Figura 6 ilustra un ejemplo de sistema de gestión de regiones de interés 620 en un sistema de fusión de sensores y la Figura 7 ilustra un ejemplo de diagrama de flujo para la gestión de regiones de interés con base en eventos de acuerdo con varios ejemplos de la invención. Haciendo referencia a las Figuras 6 y 7, en un bloque 701, el sistema de gestión de regiones de interés 620 puede recibir información de suscripción 602, por ejemplo, de un sistema de publicación-suscripción. La información de suscripción 602 identifica al menos una región de interés 603 en un modelo del entorno 609, y también incluye un tipo de detección 604, y, en algunas realizaciones, también incluye un tipo de detección 604, un indicador de suscripción dinámico 605, y/o un indicador de enfoque basado en eventos 606. La región de interés 603 puede tener una descripción espacial, por ejemplo, una porción del campo de coordenadas del entorno en el modelo del entorno 609. La región de interés 603 también puede tener una descripción temporal, por ejemplo, como ventana de tiempo o un desfase temporal durante el cual el sistema de gestión de la región de interés 620 puede monitorear el modelo del entorno 609.
[0102] El tipo de detección 604 identifica un tipo de datos que el sistema de gestión de regiones de interés 620 debe monitorear en la región de interés 603 del modelo del entorno 609. Por ejemplo, el tipo de datos puede ser datos de medición brutos procedentes de un sistema de sensores o datos anotados en el modelo del entorno 609. En algunas realizaciones, los datos anotados en el modelo del entorno 609 pueden corresponder a diferentes eventos identificados por el sistema de fusión de sensores, tal como un evento de medición de sensor, un evento de detección de sensor, un evento de detección de sensor rastreado, un evento de detección de sensor rastreado y fusionado, un evento de objeto rastreado, o similares. Los datos anotados en el modelo del entorno 609 también pueden corresponder a predicciones de estado para los objetos rastreados, tales como las trayectorias proyectadas de los objetos rastreados, o corresponder a información poblada en el modelo del entorno 609 desde dispositivos externos al sistema de fusión de sensores. El sistema de gestión de regiones de interés 620 puede incluir un registro de las una o más regiones de interés que el sistema de gestión de regiones de interés 620 monitorea con base en la información de suscripción 602.
[0103] El sistema de gestión de regiones de interés 620 puede incluir una unidad de detección de regiones de interés 621 para detectar y emitir selectivamente la información de detección 608 correspondiente a la región de interés 603 en el modelo del entorno 609 con base, al menos en parte, en la información de suscripción 602. En un bloque 702, la unidad de detección de la región de interés 621 puede monitorear una porción del modelo del entorno 609 correspondiente a la región de interés 603. La unidad de detección de la región de interés 621 puede recibir al menos la porción del modelo del entorno 609 de un sistema de memoria o de uno o más componentes del sistema de fusión de sensores. La porción monitoreada del modelo del entorno 609 puede incluir datos de medición sin procesar procedentes de un sistema de sensores y/o incluir datos anotados, tales como eventos, datos de predicción de estado de objetos rastreados u otras anotaciones de datos procedentes de dispositivos o aplicaciones externas al sistema de fusión de sensores.
[0104] En un bloque 703, la unidad de detección de la región de interés 621 puede detectar una presencia de datos en la porción monitoreada del modelo del entorno. En algunas realizaciones, la unidad de detección de regiones de interés 621 puede filtrar los datos introducidos en el modelo del entorno 609 con base en la información de suscripción 602. Por ejemplo, la unidad de detección de la región de interés 621 puede filtrar espacial y temporalmente los datos introducidos en el modelo del entorno 609 con base en la región de interés 603. La unidad de detección de la región de interés 621 también puede ser capaz de filtrar los datos por el tipo de detección 604 en la información de suscripción 602.
[0105] En un bloque 704, la unidad de detección de la región de interés 621 puede emitir la información de detección 608, que corresponde a los datos detectados. La información de detección 608 puede incluir datos situados espacial y temporalmente dentro de la región de interés descrita por la información de suscripción 602 y, opcionalmente, datos que correspondan al tipo de detección. La información de detección 608 también puede ser una referencia o puntero a una ubicación de los datos en el sistema de memoria, lo que puede permitir que el sistema de publicación-suscripción, un dispositivo externo, un componente o una aplicación suscrita a la región de interés 603 acceda a los datos identificados por la información de detección 608.
[0106] El sistema de gestión de la región de interés 620 puede incluir una unidad de adaptación dinámica de la región de interés 622 para modificar una región de interés 603 con base en la información sobre la situación del vehículo 607. La información sobre la situación del vehículo 607 puede describir una situación actual del vehículo. Por ejemplo, la información sobre la situación del vehículo 607 puede incluir información sobre el movimiento del vehículo, tales como datos del sistema de posicionamiento global (GPS), mediciones inerciales, datos del cuentakilómetros del vehículo, imágenes de vídeo o similares. La información sobre la situación del vehículo 607 también puede incluir información centrada en el vehículo correspondiente a una trayectoria prevista del vehículo, información correspondiente a la ubicación del vehículo, por ejemplo, en relación con datos cartográficos, información correspondiente a una ruta o trayectoria prevista para que la atraviese el vehículo, o similares. La información sobre la situación del vehículo 607 puede incluir información recibida de fuentes externas al vehículo, tal como en una comunicación de vehículo a vehículo (V2V), comunicación de vehículo a infraestructura (V2I), comunicación de vehículo a peatón (V2P), comunicación de vehículo a dispositivo (V2D), comunicación de vehículo a red (V2G) o, en general, comunicación de vehículo a todo (V2X).
[0107] La unidad de adaptación dinámica de regiones de interés 622 puede utilizar la información sobre la situación del vehículo 607 para alterar dinámicamente una o más regiones de interés 603 que monitorea el sistema de gestión de regiones de interés 620. En algunas realizaciones, la información de suscripción 602 puede incluir un indicador de suscripción dinámico 605, que puede permitir a los dispositivos, componentes o aplicaciones suscriptores recibir de forma electiva datos de una región de interés adaptada dinámicamente. A continuación, en la Figura 8, se describirán realizaciones de la adaptación dinámica de la región de interés.
[0108] La Figura 8 ilustra un diagrama de flujo de ejemplo para la adaptación dinámica de la región de interés de acuerdo con varios ejemplos de la invención. Haciendo referencia a las Figuras 6 y 8, en un bloque 801, una unidad de adaptación dinámica de la región de interés 622 puede recibir la información sobre la situación del vehículo 607, que puede describir una situación o estado actual del vehículo. La información sobre la situación del vehículo 607 puede proceder de diversas fuentes y recopilarse en la unidad de adaptación dinámica de la región de interés 622 o un sistema externo, tal como un sistema de conocimiento de la situación, puede recopilar la información sobre la situación del vehículo 607 y proporcionarla a la unidad de adaptación dinámica de la región de interés 622. En un bloque opcional 802, la unidad de adaptación dinámica de la región de interés 622 puede identificar una región de interés 603 susceptible de adaptación dinámica. En algunas realizaciones, la unidad de adaptación dinámica de la región de interés 622 puede revisar los indicadores de suscripción dinámica 605 en la información de suscripción 602 para determinar si los dispositivos, componentes o aplicaciones suscriptores han elegido recibir datos de una región de interés adaptada dinámicamente.
[0109] En un bloque 803, la unidad de adaptación dinámica de la región de interés 622 puede determinar qué porciones de la información sobre la situación del vehículo 607 pueden provocar la adaptación dinámica de la región de interés 603, y en un bloque 804, la unidad de adaptación dinámica de la región de interés 622 puede modificar la región de interés 603 con base en la porción determinada de la información sobre la situación del vehículo 607. Por ejemplo, cuando la región de interés 603 corresponde a la evitación de colisión frontal, la unidad de adaptación dinámica de la región de interés 622 puede utilizar una velocidad del vehículo o la velocidad para impulsar la adaptación dinámica de la región de interés 603. En otros ejemplos, la información sobre la situación del vehículo 607 puede indicar que el vehículo se aproxima a una intersección de tráfico, lo que puede provocar la adaptación dinámica de la región de interés 603 para incluir posibles cruces de tráfico, pasos de peatones, carriles para bicicletas o similares. Cuando el vehículo que se aproxima a la intersección de tráfico tiene previsto girar, la región de interés 603 puede adaptarse dinámicamente para incluir porciones de la calzada tras el giro, junto con posibles cruces de tráfico, pasos de peatones, carriles para bicicletas o similares. La información sobre la situación del vehículo 607 también puede incluir información de localización relativa a otro vehículo en un carril de tráfico adyacente, lo que puede impulsar la adaptación dinámica de la región de interés 603 para incluir al otro vehículo para un posible cambio de carril.
[0110] Volviendo a la Figura 6, el sistema de gestión de regiones de interés 620 puede incluir una unidad de enfoque activada por eventos 623 para identificar una porción de una región de interés 603 para sugerir un análisis enfocado e identificar el área de enfoque en la información de detección 608. En algunas realizaciones, la información de suscripción 602 puede incluir el indicador de enfoque basado en eventos 606, que puede permitir a los dispositivos, componentes o aplicaciones elegir si desean recibir sugerencias sobre dónde centrar el análisis de los datos detectados que se encuentran dentro de la región de interés 603. Al sugerir áreas de enfoque en la información de detección 608, los dispositivos, componentes o aplicaciones suscriptores pueden ser capaces de ordenar el procesamiento de los datos asociados a la información de detección 608 y pueden reducir la latencia del procesamiento.
[0111] La unidad de enfoque activada por eventos 623 puede identificar el área de enfoque en la región de interés con base en los datos poblados en el modelo del entorno 609, la información de la situación del vehículo 607, datos cartográficos, una combinación de los mismos, o similares. Por ejemplo, cuando el modelo del entorno 609 incluye un evento de sensor que tiene una forma indicativa de señalización de tránsito dispositivo de señalización, la unidad de enfoque activada por eventos 623 puede generar el área de enfoque para encapsular, al menos parcialmente, la forma correspondiente al evento de sensor. La unidad de enfoque activada por eventos 623 también puede analizar la información sobre la situación del vehículo 607 o los datos cartográficos asociados para identificar ubicaciones en un entorno alrededor del vehículo que pueden incluir la señalización de tránsito o los dispositivos de señalización.
[0112] Entorno de funcionamiento ilustrativo
[0113] La ejecución de varios procesos de automatización de la conducción de acuerdo con las realizaciones de la invención puede implementarse utilizando instrucciones de software ejecutables por ordenador ejecutadas por uno o más dispositivos informáticos programables. Dado que estas realizaciones de la invención pueden implementarse utilizando instrucciones de software, a continuación se describirán los componentes y el funcionamiento de un sistema informático programable en el que pueden emplearse diversas realizaciones de la invención.
[0114] Las Figuras 9 y 10 ilustran un ejemplo de sistema informático del tipo que puede utilizarse para poner en práctica diversas realizaciones de la invención. En referencia a la Figura 9, varios ejemplos de la invención pueden implementarse mediante la ejecución de instrucciones de software por parte de un dispositivo informático 901, tal como un ordenador programable. En consecuencia, la Figura 9 muestra un ejemplo ilustrativo de un dispositivo informático 901. Como se ve en la Figura 9, el dispositivo informático 901 incluye una unidad informática 903 con una unidad de procesamiento 905 y una memoria del sistema 907. La unidad de procesamiento 905 puede ser cualquier tipo de dispositivo electrónico programable para ejecutar instrucciones de software, pero convencionalmente será un microprocesador. La memoria del sistema 907 puede incluir tanto una memoria de sólo lectura (ROM) 909 como una memoria de acceso aleatorio (RAM) 911. Como entenderán los expertos en la técnica, tanto la memoria de sólo lectura (ROM) 909 como la memoria de acceso aleatorio (RAM) 911 pueden almacenar instrucciones de software para su ejecución por la unidad de procesamiento 905.
[0115] La unidad de procesamiento 905 y la memoria del sistema 907 están conectadas, directa o indirectamente, a través de un bus 913 o de una estructura de comunicación alternativa, a uno o más dispositivos periféricos 917-923. Por ejemplo, la unidad de procesamiento 905 o la memoria del sistema 907 pueden estar conectadas directa o indirectamente a uno o más dispositivos adicionales de almacenamiento de memoria, tal como una unidad de disco duro 917, que puede ser magnética y/o extraíble, una unidad de disco óptico extraíble 919, y/o una tarjeta de memoria flash. La unidad de procesamiento 905 y la memoria del sistema 907 también pueden estar conectadas directa o indirectamente a uno o más dispositivos de entrada 921 y a uno o más dispositivos de salida 923. Los dispositivos de entrada 921 pueden incluir, por ejemplo, un teclado, un dispositivo señalador (tal como un ratón, un panel táctil, un lápiz óptico, un ratón de bola o un mando de juegos), un escáner, una cámara y un micrófono. Los dispositivos de salida 923 pueden incluir, por ejemplo, una pantalla de monitor, una impresora y altavoces. Con varios ejemplos del dispositivo informático 901, uno o más de los dispositivos periféricos 917-923 pueden estar alojados internamente con la unidad informática 703. Alternativamente, uno o más de los dispositivos periféricos 917-923 pueden ser externos al alojamiento de la unidad informática 903 y estar conectados al bus 913 a través de, por ejemplo, una conexión de bus serie universal (USB).
[0116] En algunas implementaciones, la unidad informática 903 puede estar conectada directa o indirectamente a una interfaz de red 915 para comunicarse con otros dispositivos que conforman una red. La interfaz de red 915 puede traducir los datos y las señales de control procedentes de la unidad de cálculo 903 en mensajes de red de acuerdo con uno o más protocolos de comunicación, tal como el protocolo de control de transmisión (TCP) y el protocolo de Internet (IP). Asimismo, la interfaz de red 915 puede emplear cualquier agente de conexión adecuado (o combinación de agentes) para conectarse a una red, incluyendo, por ejemplo, un transceptor inalámbrico, un módem o una conexión Ethernet. Dichas interfaces y protocolos de red son bien conocidos en la técnica, por lo que no se tratarán aquí con más detalle.
[0118] Debe entenderse que el dispositivo informático 901 se ilustra únicamente a modo de ejemplo y no pretende ser limitativo. Diversas realizaciones de la invención pueden implementarse utilizando uno o más dispositivos informáticos que incluyan los componentes del dispositivo informático 901 ilustrado en la Figura 9, que incluyan sólo un subconjunto de los componentes ilustrados en la Figura 9, o que incluyan una combinación alternativa de componentes, incluyendo componentes que no se muestran en la Figura 9. Por ejemplo, varias realizaciones de la invención pueden implementarse utilizando un ordenador multiprocesador, una pluralidad de ordenadores monoprocesador y/o multiprocesador dispuestos en red, o alguna combinación de ambos.
[0120] En algunas implementaciones de la invención, la unidad procesadora 905 puede tener más de un núcleo de procesador. En consecuencia, la Figura 10 ilustra un ejemplo de unidad procesadora multinúcleo 905 que puede emplearse con diversas realizaciones de la invención. Como se ve en esta Figura, la unidad procesadora 905 incluye una pluralidad de núcleos de procesador 1001A y 1001B. Cada núcleo de procesador 1001A y 1001B incluye un motor de cálculo 1003A y 1003B, respectivamente, y una memoria caché 1005A y 1005B, respectivamente. Como es sabido por los expertos en la técnica, un motor informático 1003A y 1003B puede incluir dispositivos lógicos para llevar a cabo diversas funciones informáticas, tales como obtener instrucciones de software y posteriormente llevar a cabo las acciones especificadas en las instrucciones obtenidas. Estas acciones pueden incluir, por ejemplo, sumar, restar, multiplicar y comparar números, llevar a cabo operaciones lógicas, tales como AND, OR, NOR y XOR, y recuperar datos. Cada motor informático 1003A y 1003B puede entonces utilizar su correspondiente memoria caché 1005A y 1005B, respectivamente, para almacenar y recuperar rápidamente datos y/o instrucciones para su ejecución.
[0122] Cada núcleo de procesador 1001A y 1001B está conectado a una interconexión 1007. La construcción particular de la interconexión 1007 puede variar en función de la arquitectura de la unidad procesadora 905. Con algunos núcleos de procesador 1001A y 1001B, tal como el microprocesador Cell creado por Sony Corporation. Toshiba Corporation e IBM Corporation, la interconexión 1007 puede implementarse como un bus de interconexión. Sin embargo, con otras unidades procesadoras 1001A y 1001B, tales como los procesadores de doble núcleo Opteron<™>y Athlon<™>disponibles en Advanced Micro Devices de Sunnyvale, California, la interconexión 1007 puede implementarse como un dispositivo de interfaz de petición del sistema. En cualquier caso, los núcleos de procesador 1001A y 1001B se comunican a través de la interconexión 1007 con una interfaz de entrada/salida 1009 y un controlador de memoria 1010. La interfaz de entrada/salida 1009 proporciona una interfaz de comunicación entre la unidad procesadora 905 y el bus 913. Del mismo modo, el controlador de memoria 1010 controla el intercambio de información entre la unidad procesadora 905 y la memoria del sistema 907. Con algunas implementaciones de la invención, la unidad procesadora 905 puede incluir componentes adicionales, como una memoria caché de alto nivel accesible compartida por los núcleos de procesador 1001A y 1001B. También debe entenderse que la descripción de la red informática ilustrada en las Figuras 9 y 10 se proporciona únicamente a modo de ejemplo, y no pretende sugerir ninguna limitación en cuanto al alcance de uso o funcionalidad de las realizaciones alternativas de la invención.
[0124] El sistema y el aparato descritos anteriormente pueden utilizar sistemas de procesadores dedicados, microcontroladores, dispositivos lógicos programables, microprocesadores o cualquier combinación de los mismos, para llevar a cabo algunas o todas las operaciones descritas en la presente. Algunas de las operaciones descritas anteriormente pueden implementarse en software y otras operaciones pueden implementarse en hardware. Cualquiera de las operaciones, procesos y/o métodos descritos en la presente puede ser llevado a cabo por un aparato, un dispositivo y/o un sistema sustancialmente similar a los descritos en la presente y con referencia a las figuras ilustradas.
[0126] El dispositivo de procesamiento puede ejecutar instrucciones o “código” almacenados en un dispositivo de memoria legible por ordenador. El dispositivo de memoria también puede almacenar datos. El dispositivo de procesamiento puede incluir, pero puede no limitarse a, un procesador analógico, un procesador digital, un microprocesador, un procesador multinúcleo, un conjunto de procesadores, un procesador de red o similares. El dispositivo de procesamiento puede formar parte de un sistema de control integrado o de un gestor de sistemas, o puede proporcionarse como un dispositivo electrónico portátil configurado para interactuar con un sistema en red, ya sea localmente o a distancia mediante transmisión inalámbrica.
[0128] La memoria del procesador puede estar integrada junto con el dispositivo de procesamiento, por ejemplo, una memoria RAM o FLASH dispuesta dentro de un microprocesador de circuito integrado o similar. En otros ejemplos, el dispositivo de memoria puede consistir en un dispositivo independiente, tal como una unidad de disco externa, una matriz de almacenamiento, un llavero FLASH portátil o similares. La memoria y el dispositivo de procesamiento pueden estar acoplados de forma operativa o en comunicación entre sí, por ejemplo, mediante un puerto de E/S, una conexión de red o similar, y el dispositivo de procesamiento puede leer un archivo almacenado en la memoria. Los dispositivos de memoria asociados pueden ser de “sólo lectura” por diseño (ROM) en virtud de la configuración de permisos, o no. Otros ejemplos de dispositivos de memoria pueden incluir, pero pueden no limitarse a, WORM, EPROM, EEPROM, FLASH, NVRAM, OTP o similares, que pueden implementarse en dispositivos semiconductores de estado sólido. Otros dispositivos de memoria pueden incluir parte móviles, tales como una conocida unidad de disco giratorio. Todos estos dispositivos de memoria pueden ser “legibles por máquina” y pueden ser legibles por un dispositivo de procesamiento.
[0129] Las instrucciones o comandos de funcionamiento pueden implementarse o plasmarse en formas tangibles de software informático almacenado (también conocido como “programa informático” o “código”). Los programas, o el código, pueden almacenarse en un dispositivo de memoria digital y pueden ser leídos por el dispositivo de procesamiento. El “medio de almacenamiento legible por ordenador” (o alternativamente, “medio de almacenamiento legible por máquina”) puede incluir todos los tipos anteriores de dispositivos de memoria legibles por ordenador, así como las nuevas tecnologías del futuro, siempre que los dispositivos de memoria puedan almacenar información digital en forma de programa informático u otros datos, al menos temporalmente, y siempre que la información almacenada pueda ser “leída” por un dispositivo de procesamiento adecuado. El término “legible por ordenador” puede no limitarse al uso histórico de “ordenador” para implicar un ordenador central completo, un miniordenador, un ordenador de sobremesa o incluso un ordenador portátil. Más bien, “legible por ordenador” puede comprender un medio de almacenamiento que pueda ser leído por un procesador, un dispositivo de procesamiento o cualquier sistema informático. Dichos medios pueden ser cualquier medio disponible que pueda ser accesible local y/o remotamente por un ordenador o un procesador, y pueden incluir medios volátiles y no volátiles, y medios extraíbles y no extraíbles, o cualquier combinación de los mismos.
[0130] Un programa almacenado en un medio de almacenamiento legible por ordenador puede comprender un producto de programa informático. Por ejemplo, un medio de almacenamiento puede utilizarse como un medio conveniente para almacenar o transportar un programa informático. Por comodidad, las operaciones pueden describirse como varios bloques o diagramas funcionales interconectados o acoplados. Sin embargo, puede haber casos en los que estos bloques o diagramas funcionales puedan agregarse de forma equivalente en un único dispositivo lógico, programa u operación con límites poco claros.
[0131] Conclusión
[0132] Aunque en la solicitud se describen ejemplos concretos de realización de las realizaciones de la invención, los expertos en la técnica entenderán que existen numerosas variaciones y permutaciones de los sistemas y técnicas descritos que entran dentro del alcance de la invención tal como se establece en las reivindicaciones adjuntas. Por ejemplo, aunque se ha empleado anteriormente una terminología específica para referirse a los procesos de automatización del diseño electrónico, debe entenderse que varios ejemplos de la invención pueden implementarse utilizando cualquier combinación deseada de procesos de automatización del diseño electrónico. Un experto en la técnica reconocerá también que los conceptos enseñados en la presente pueden adaptarse a una aplicación concreta de muchas otras maneras. En particular, los expertos en la técnica reconocerán que los ejemplos ilustrados no son más que una de las muchas implementaciones alternativas que se harán evidentes al leer esta divulgación.
[0133] Aunque la memoria descriptiva puede referirse a “un”, “uno”, “otro” o “algún” ejemplo(s) en varios lugares, esto no significa necesariamente que cada una de dichas referencias sea al mismo ejemplo(s), o que la característica sólo se aplique a un único ejemplo.

Claims (9)

1. REIVINDICACIONES
1. Un método que comprende:
poblar, mediante un sistema de integración de mediciones (310) de un sistema de fusión de sensores implementado por ordenador (300), un modelo del entorno (121, 315, 332, 609) para un vehículo con al menos datos de medición brutos obtenidos a partir de múltiples tipos diferentes de sensores del vehículo; monitorear, mediante una unidad de detección y fusión de eventos del sensor (321) del sistema de fusión de sensores (300), el modelo del entorno (315) para detectar eventos de medición del sensor, incluyendo la identificación de ubicaciones en el modelo del entorno (315) que hayan sido pobladas con los datos de medición brutos (301) para un sensor del vehículo;
analizar, mediante la unidad de detección y fusión de eventos del sensor (321), los datos de medición brutos (301) en el modelo del entorno (315) en las ubicaciones asociadas con los eventos de medición del sensor para detectar uno o más eventos de detección del sensor;
combinar, mediante la unidad de detección y fusión de eventos del sensor (321), los uno o más eventos de detección del sensor identificados para un único sensor con datos de medición brutos (301) asociados a uno o más eventos de medición del sensor o eventos de detección del sensor capturados por al menos otro sensor para generar un evento de detección del sensor fusionado correspondiente a los datos de medición brutos (301) de múltiples sensores;
recibir, mediante un sistema de publicación-suscripción (610) del sistema de fusión de sensores (300), una suscripción (601) de un sistema de funcionalidad de conducción (120) del vehículo, en donde la suscripción (601) está configurada para identificar una región de interés para el sistema de funcionalidad de conducción (120) en el modelo del entorno (121, 315, 332, 609) que debe monitorearse para detectar eventos, en donde la suscripción (601) está configurada para identificar un tipo de detección (604), donde el tipo de detección (604) identifica un tipo de datos a monitorear en la región de interés del modelo del entorno (121, 315, 332, 609), de entre los diferentes tipos de datos con los que está poblado el modelo del entorno, los diferentes tipos de datos comprenden datos anotados en el modelo del entorno (121, 315, 332, 609), los datos anotados en el modelo del entorno (121, 315, 332, 609) corresponden a diferentes eventos identificados, identificados por el sistema de fusión de sensores (300), donde los diferentes eventos identificados comprenden un evento de detección del sensor fusionado; detectar, mediante un sistema de gestión de regiones de interés (620) del sistema de fusión de sensores (300), al menos un evento asociado a la región de interés del modelo del entorno (121, 315, 332, 609) identificada por la suscripción (601) con base, al menos en parte, en el tipo de detección (604) de la suscripción (601); y proporcionar, mediante el sistema de publicación-suscripción (610), los datos correspondientes al evento detectado al sistema de funcionalidad de conducción (120), en donde el sistema de funcionalidad de conducción (120) está configurado para utilizar los datos correspondientes al evento detectado para controlar el funcionamiento del vehículo mediante la implementación de una funcionalidad de conducción automatizada o una funcionalidad de seguridad automatizada y conducción asistida del vehículo.
2. El método de la reivindicación 1, que comprende además, cuando la suscripción (601) incluye un indicador de modo dinámico para la región de interés, alterar dinámicamente, mediante una unidad de adaptación dinámica de la región de interés (622) del sistema de gestión de la región de interés (620), una descripción espacial o temporal de la región de interés identificada en la suscripción (601).
3. El método de la reivindicación 2, en donde la alteración dinámica de la descripción espacial o temporal de la región de interés identificada en la suscripción (601) se lleva a cabo con base en al menos una de la información sobre la situación del vehículo (607), la ubicación del vehículo (344, 405) o la trayectoria planificada del vehículo.
4. El método de la reivindicación 1, que comprende además, cuando la suscripción (601) incluye un indicador de enfoque basado en eventos (606) para la región de interés, seleccionar, con base en el evento detectado, una porción de la región de interés como área de enfoque, y proporcionar los datos correspondientes al área de enfoque en la región de interés al sistema de funcionalidad de conducción (120).
5. El método de la reivindicación 1, en donde el modelo del entorno (121, 315, 332, 609) incluye datos de medición brutos (115, 301) que están alineados temporal y espacialmente con base, al menos en parte, en el lugar del vehículo en el que están montados los sensores.
6. El método de la reivindicación 1, que además comprende:
asignar, mediante una unidad de preclasificación (322) del sistema de fusión de sensores (300), una preclasificación a un evento de detección del sensor o a un evento de detección del sensor fusionado; y anotar, mediante la unidad de preclasificación (322), el modelo del entorno (315) con el evento de detección del sensor o el evento de detección del sensor fusionado, respectivamente, y la preclasificación asignada.
7. El método de la reivindicación 1, que además comprende:
rastrear, mediante una unidad de rastreo (323) del sistema de fusión de sensores (300), los eventos de detección de sensores o los eventos de detección de sensores fusionados en el modelo del entorno (315) a lo largo del tiempo; y
cuando se determine, con base en el rastreo del evento de detección del sensor fusionado con un modelo de
predicción de cambio de estado, que el evento de detección del sensor fusionado es un objeto en el sistema de coordenadas del entorno, anotar, mediante la unidad de rastreo (323), el modelo del entorno (121, 315, 332, 609) para indicar la presencia del objeto;
en donde los diferentes eventos identificados comprenden además un evento de objeto rastreado y/o un evento de detección del sensor rastreado y fusionado.
8. Un aparato que comprende un dispositivo de memoria legible por ordenador que almacena instrucciones que, cuando son ejecutadas por uno o más dispositivos de procesamiento, hacen que los dispositivos de procesamiento lleven a cabo el método de cualquiera de las reivindicaciones 1 a 7.
9. Un sistema que comprende:
un dispositivo de memoria configurado para almacenar instrucciones legibles por máquina; y
un sistema informático que incluye uno o más dispositivos de procesamiento, en respuesta a la ejecución de las instrucciones legibles por máquina, configurado para llevar a cabo el método de cualquiera de las reivindicaciones 1 a 7.
ES17817869T 2016-09-08 2017-09-08 Event-driven region of interest management Active ES3073136T3 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662385156P 2016-09-08 2016-09-08
US15/287,549 US11067996B2 (en) 2016-09-08 2016-10-06 Event-driven region of interest management
US15/411,830 US20180067490A1 (en) 2016-09-08 2017-01-20 Pre-tracking sensor event detection and fusion
PCT/IB2017/001489 WO2018047016A2 (en) 2016-09-08 2017-09-08 Event-driven region of interest management

Publications (1)

Publication Number Publication Date
ES3073136T3 true ES3073136T3 (en) 2026-07-08

Family

ID=61280683

Family Applications (1)

Application Number Title Priority Date Filing Date
ES17817869T Active ES3073136T3 (en) 2016-09-08 2017-09-08 Event-driven region of interest management

Country Status (5)

Country Link
US (2) US11067996B2 (es)
EP (1) EP3494515B1 (es)
CN (1) CN109863500B (es)
ES (1) ES3073136T3 (es)
WO (1) WO2018047016A2 (es)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10802450B2 (en) 2016-09-08 2020-10-13 Mentor Graphics Corporation Sensor event detection and fusion
US11067996B2 (en) 2016-09-08 2021-07-20 Siemens Industry Software Inc. Event-driven region of interest management
US10663974B2 (en) * 2016-11-23 2020-05-26 Electronics And Telecommunications Research Institute Object recognition device, autonomous driving system including the same, and object recognition method using the object recognition device
US12287628B2 (en) 2017-01-20 2025-04-29 Follow Inspiration, S.A. Method and system to improve autonomous robotic systems responsive behavior
US11392133B2 (en) 2017-06-06 2022-07-19 Plusai, Inc. Method and system for object centric stereo in autonomous driving vehicles
US11573573B2 (en) * 2017-06-06 2023-02-07 Plusai, Inc. Method and system for distributed learning and adaptation in autonomous driving vehicles
US11042155B2 (en) * 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
US10386856B2 (en) * 2017-06-29 2019-08-20 Uber Technologies, Inc. Autonomous vehicle collision mitigation systems and methods
US10065638B1 (en) 2017-08-03 2018-09-04 Uber Technologies, Inc. Multi-model switching on a collision mitigation system
US10268204B2 (en) * 2017-08-30 2019-04-23 GM Global Technology Operations LLC Cross traffic detection using cameras
EP3456599B1 (en) * 2017-09-18 2025-01-22 Novus Hi-Tech Robotic Systemz Private Ltd. Monitoring drivers and external environment for vehicles
DE102017122711A1 (de) * 2017-09-29 2019-04-04 Claas E-Systems Kgaa Mbh & Co. Kg Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine
EP3707526A2 (en) 2017-11-06 2020-09-16 Echodyne Corp Intelligent sensor and intelligent feedback-based dynamic control of a parameter of a field of regard to which the sensor is directed
WO2019092874A1 (ja) * 2017-11-13 2019-05-16 三菱電機株式会社 物体認識装置および物体認識方法
US10510154B2 (en) * 2017-12-21 2019-12-17 Intel Corporation Adaptive processing of spatial imaging data
US11925446B2 (en) * 2018-02-22 2024-03-12 Vayyar Imaging Ltd. Radar-based classification of vehicle occupants
US20240172946A1 (en) * 2018-02-22 2024-05-30 Vayyar Imaging Ltd. Systems and methods for monitoring a vehicle cabin
JP7030573B2 (ja) * 2018-03-15 2022-03-07 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11747444B2 (en) 2018-08-14 2023-09-05 Intel Corporation LiDAR-based object detection and classification
US10928819B2 (en) * 2018-10-29 2021-02-23 Here Global B.V. Method and apparatus for comparing relevant information between sensor measurements
JP7151387B2 (ja) * 2018-11-06 2022-10-12 株式会社デンソー 自車挙動推定装置、自車挙動推定プログラム、記憶媒体および自車挙動推定装置の制御方法
US11287523B2 (en) * 2018-12-03 2022-03-29 CMMB Vision USA Inc. Method and apparatus for enhanced camera and radar sensor fusion
JP7155991B2 (ja) * 2018-12-17 2022-10-19 トヨタ自動車株式会社 報知装置
KR102569904B1 (ko) * 2018-12-18 2023-08-24 현대자동차주식회사 표적 차량 추적 장치 및 그의 표적 차량 추적 방법과 그를 포함하는 차량
US20200202706A1 (en) * 2018-12-20 2020-06-25 Qualcomm Incorporated Message Broadcasting for Vehicles
IL270540A (en) * 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
CN109795464B (zh) * 2018-12-28 2020-04-28 百度在线网络技术(北京)有限公司 制动方法、装置和存储介质
US20200211388A1 (en) * 2019-01-02 2020-07-02 Visteon Global Technologies, Inc. Augmented reality based driver guidance system
US20200284912A1 (en) * 2019-03-08 2020-09-10 GM Global Technology Operations LLC Adaptive sensor sytem for vehicle and method of operating the same
DE102020206659B4 (de) * 2019-05-30 2026-04-02 Robert Bosch Gesellschaft mit beschränkter Haftung Multi-hypothesen-objektverfolgung für automatisierte fahrsysteme
US11577753B2 (en) 2019-05-30 2023-02-14 Robert Bosch Gmbh Safety architecture for control of autonomous vehicle
DE102019208498A1 (de) 2019-06-12 2020-12-17 Robert Bosch Gmbh Verfahren zum Optimieren eines Umfeldmodells
US11433886B2 (en) * 2019-06-24 2022-09-06 GM Global Technology Operations LLC System, vehicle and method for adapting a driving condition of a vehicle upon detecting an event in an environment of the vehicle
DE102019006243A1 (de) * 2019-09-04 2021-03-04 Man Truck & Bus Se Verfahren zum Betrieb eines Abbiegeassistenzsystems, Abbiegeassistenzsystem und Kraftfahrzeug mit einem derartigen Abbiegeassistenzsystem
KR102796677B1 (ko) * 2019-10-10 2025-04-16 삼성전자주식회사 엣지 컴퓨팅 서비스를 위한 방법 및 장치
DE102019129263A1 (de) * 2019-10-30 2021-05-06 Wabco Europe Bvba Verfahren zur Überwachung einer momentanen Fahrzeugumgebung eines Fahrzeuges sowie Überwachungssystem
US11391577B2 (en) * 2019-12-04 2022-07-19 Pony Ai Inc. Dynamically modelling objects in map
US11735045B2 (en) * 2019-12-04 2023-08-22 Uatc, Llc Systems and methods for computational resource allocation for autonomous vehicles
JP7658958B2 (ja) * 2019-12-13 2025-04-08 マーベル アジア ピーティーイー、リミテッド 効率的なメタデータの生成およびエクスポートを伴う自動車データ処理システム
KR20210086774A (ko) * 2019-12-30 2021-07-09 현대자동차주식회사 차량 및 그 제어방법
WO2021154201A1 (en) * 2020-01-27 2021-08-05 Hewlett-Packard Development Company, L.P. Detection fields of view
US11520009B2 (en) * 2020-02-05 2022-12-06 Caterpillar Inc. Method and system for detecting an obstacle
US11586854B2 (en) * 2020-03-26 2023-02-21 Intel Corporation Devices and methods for accurately identifying objects in a vehicle's environment
WO2022010734A1 (en) * 2020-07-08 2022-01-13 The Penn State Research Foundation Collision detector, collision detection system, and method of using same
JP7415849B2 (ja) * 2020-08-19 2024-01-17 株式会社デンソー 車両用システム及び物標識別プログラム
US12031829B2 (en) * 2020-12-03 2024-07-09 Motional Ad Llc Localization based on surrounding vehicles
US12669614B2 (en) 2021-07-29 2026-06-30 Intel Corporation LiDAR-based object tracking
US11869250B2 (en) * 2021-08-24 2024-01-09 GM Global Technology Operations LLC Systems and methods for detecting traffic objects
CN113917452B (zh) * 2021-09-30 2022-05-24 北京理工大学 一种视觉与雷达结合的盲道检测装置和方法
WO2024039634A1 (en) * 2022-08-15 2024-02-22 Robotic Research Opco, Llc Region focusing radar systems and methods
EP4361997A1 (en) * 2022-10-28 2024-05-01 Volvo Car Corporation Method for controlling a vehicle, data processing apparatus, vehicle, computer program, and computer-readable storage medium
US12644980B2 (en) * 2023-08-30 2026-06-02 Zoox, Inc. Fusion of radar and infrared data for object detection and tracking
CN119323771B (zh) * 2024-12-17 2025-02-28 成都科瑞特电气自动化有限公司 一种360环视影像辅助的倒车雷达盲区的检测方法及系统
US12668264B1 (en) * 2025-08-04 2026-06-30 Akshat Agarwal Techniques for autonomous lookahead for early risk detection

Family Cites Families (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4796191A (en) 1984-06-07 1989-01-03 Etak, Inc. Vehicle navigational system and method
JPH04227507A (ja) 1990-07-02 1992-08-17 Nec Corp 移動ロボット用のマップを作成し保持する方法
US5359529A (en) 1992-05-15 1994-10-25 Zexel Corporation Route guidance on/off-route state filter
US5883586A (en) 1996-07-25 1999-03-16 Honeywell Inc. Embedded mission avionics data link system
US5999866A (en) 1996-11-05 1999-12-07 Carnegie Mellon University Infrastructure independent position determining system
US6411898B2 (en) 2000-04-24 2002-06-25 Matsushita Electric Industrial Co., Ltd. Navigation device
US6973384B2 (en) * 2001-12-06 2005-12-06 Bellsouth Intellectual Property Corporation Automated location-intelligent traffic notification service systems and methods
JP4037722B2 (ja) 2002-09-18 2008-01-23 富士重工業株式会社 車外監視装置、及び、この車外監視装置を備えた走行制御装置
US7164472B2 (en) * 2003-10-09 2007-01-16 Hunter Engineering Company Common reference target machine vision wheel alignment system
US7486803B2 (en) 2003-12-15 2009-02-03 Sarnoff Corporation Method and apparatus for object tracking prior to imminent collision detection
US20100013615A1 (en) 2004-03-31 2010-01-21 Carnegie Mellon University Obstacle detection having enhanced classification
US7355508B2 (en) * 2004-05-21 2008-04-08 International Electronic Machines Corp. System and method for monitoring an area
EP1741591B1 (de) 2005-07-06 2009-10-14 Ford Global Technologies, LLC Verfahren zur Vorhersage von Fahrtsituationen in einem Kraftfahrzeug
US20070182623A1 (en) 2006-02-03 2007-08-09 Shuqing Zeng Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
US20080033645A1 (en) 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
US7739006B2 (en) 2007-02-07 2010-06-15 Disney Enterprises, Inc. System and method for autonomous navigation in a ride vehicle
US20080243378A1 (en) 2007-02-21 2008-10-02 Tele Atlas North America, Inc. System and method for vehicle navigation and piloting including absolute and relative coordinates
WO2009070069A1 (en) 2007-11-26 2009-06-04 Autoliv Development Ab A system for classifying objects in the vicinity of a vehicle
RU2010136929A (ru) 2008-02-04 2012-03-20 Теле Атлас Норт Америка Инк. (Us) Способ для согласования карты с обнаруженными датчиком объектами
EP2107503A1 (en) 2008-03-31 2009-10-07 Harman Becker Automotive Systems GmbH Method and device for generating a real time environment model for vehicles
US8032296B2 (en) * 2008-04-30 2011-10-04 Verizon Patent And Licensing Inc. Method and system for providing video mapping and travel planning services
US7825785B2 (en) * 2008-05-06 2010-11-02 Shih-Hsiung Li Vehicle backup detector that indicates a distance from an obstruction
US8249798B2 (en) * 2008-05-29 2012-08-21 Delphi Technologies, Inc. Vehicle pre-impact sensing system having signal modulation
US8812226B2 (en) 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US8912978B2 (en) 2009-04-02 2014-12-16 GM Global Technology Operations LLC Dynamic vehicle system information on full windshield head-up display
US20140379254A1 (en) 2009-08-25 2014-12-25 Tomtom Global Content B.V. Positioning system and method for use in a vehicle navigation system
JP5522434B2 (ja) 2009-09-01 2014-06-18 アイシン精機株式会社 運転支援装置
JP5035643B2 (ja) 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
KR20120059109A (ko) * 2010-11-30 2012-06-08 한국전자통신연구원 레이저 스캐너 센서를 이용한 다중 차량 감지 장치 및 그 방법
WO2012145822A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
US9140792B2 (en) 2011-06-01 2015-09-22 GM Global Technology Operations LLC System and method for sensor based environmental model construction
US8805648B2 (en) 2011-10-05 2014-08-12 Ats Group (Ip Holdings) Limited Data fusion in high computational load environments
US8520219B2 (en) * 2011-12-19 2013-08-27 Perceptron, Inc. Non-contact sensor having improved laser spot
EP2803060A1 (en) 2012-01-13 2014-11-19 Pulse Function F6 Limited Telematics system with 3d inertial sensors
US20130181860A1 (en) 2012-01-16 2013-07-18 Ford Global Technologies, Llc Radar based multifunctional safety system
US8781721B2 (en) 2012-06-06 2014-07-15 Google Inc. Obstacle evaluation technique
US9418466B2 (en) 2012-06-06 2016-08-16 Apple Inc. Geospatial representation of data-less map areas
US9563204B2 (en) 2012-08-14 2017-02-07 Husqvarna Ab Mower with object detection system
US9097800B1 (en) 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion
US9644952B2 (en) * 2012-10-18 2017-05-09 Hunter Engineering Company Method for evaluating component calibration in machine vision vehicle wheel alignment system
EP2927077B1 (en) 2012-11-27 2017-09-06 Nissan Motor Co., Ltd Vehicular acceleration suppression device
US20170060810A1 (en) 2012-12-13 2017-03-02 Eagle Harbor Holdings, LLC. System and method for the operation of an automotive vehicle system with modeled sensors
US10254118B2 (en) 2013-02-21 2019-04-09 Regents Of The University Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
US20140267415A1 (en) * 2013-03-12 2014-09-18 Xueming Tang Road marking illuminattion system and method
US9043072B1 (en) 2013-04-04 2015-05-26 Google Inc. Methods and systems for correcting an estimated heading using a map
US9909898B2 (en) 2013-04-26 2018-03-06 Mitsubishi Electric Corporation In-vehicle device, information distribution server, and facility information display method
US9152860B2 (en) 2013-05-10 2015-10-06 Tantrum Street LLC Methods and apparatus for capturing, processing, training, and detecting patterns using pattern recognition classifiers
US9719801B1 (en) 2013-07-23 2017-08-01 Waymo Llc Methods and systems for calibrating sensors using road map data
EP2848487B1 (en) 2013-09-12 2020-03-18 Volvo Car Corporation Manoeuvre generation for automated drive
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9336436B1 (en) 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
JP6351235B2 (ja) 2013-11-06 2018-07-04 アルパイン株式会社 ナビゲーションシステム、コンピュータプログラム及び現在位置算出方法
US9340207B2 (en) * 2014-01-16 2016-05-17 Toyota Motor Engineering & Manufacturing North America, Inc. Lateral maneuver planner for automated driving system
US9446765B2 (en) 2014-01-30 2016-09-20 Mobileye Vision Technologies Ltd. Systems and methods for identifying relevant traffic lights
US9476730B2 (en) 2014-03-18 2016-10-25 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
DE102014205180B4 (de) 2014-03-20 2025-12-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US10186123B2 (en) 2014-04-01 2019-01-22 Avigilon Fortress Corporation Complex event recognition in a sensor network
US9384402B1 (en) * 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
GB201407643D0 (en) 2014-04-30 2014-06-11 Tomtom Global Content Bv Improved positioning relatie to a digital map for assisted and automated driving operations
GB201409625D0 (en) 2014-05-30 2014-07-16 Isis Innovation Vehicle localisation
DE102014210770A1 (de) 2014-06-05 2015-12-17 Conti Temic Microelectronic Gmbh Verfahren und system zur bestimmung einer fahrzeugposition eines fahrzeuges
US9747505B2 (en) 2014-07-07 2017-08-29 Here Global B.V. Lane level traffic
US9658070B2 (en) 2014-07-11 2017-05-23 Regents Of The University Of Minnesota Inverse sliding-window filters for vision-aided inertial navigation systems
US10293752B2 (en) 2014-08-28 2019-05-21 The University Of Tokyo Display system for work vehicle, display control device, work vehicle, and display control method
US9321461B1 (en) 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
US9983300B2 (en) * 2014-10-17 2018-05-29 Qualcomm Incorporated Systems, methods, and apparatus for living object protection in wireless power transfer applications
EP3213251A1 (en) 2014-10-27 2017-09-06 FTS Computertechnik GmbH Computer vision monitoring for a computer vision system
US9804594B2 (en) 2014-11-07 2017-10-31 Clearpath Robotics, Inc. Self-calibrating sensors and actuators for unmanned vehicles
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US20160223643A1 (en) 2015-01-28 2016-08-04 Wenhua Li Deep Fusion of Polystatic MIMO Radars with The Internet of Vehicles for Interference-free Environmental Perception
CN112146669B (zh) 2015-02-10 2024-08-27 御眼视觉技术有限公司 服务器系统、方法及机器可读介质
US11370422B2 (en) 2015-02-12 2022-06-28 Honda Research Institute Europe Gmbh Method and system in a vehicle for improving prediction results of an advantageous driver assistant system
US10444337B2 (en) * 2015-05-22 2019-10-15 Witricity Corporation Methods and apparatus utilizing time division access of multiple radar modules in living object detection for wireless power transfer applications
US9836056B2 (en) 2015-06-05 2017-12-05 Bao Tran Smart vehicle
US10096248B2 (en) 2015-06-11 2018-10-09 Nissan North America, Inc. Parking lot mapping system
EP3106836B1 (en) 2015-06-16 2018-06-06 Volvo Car Corporation A unit and method for adjusting a road boundary
US9285805B1 (en) 2015-07-02 2016-03-15 Geodigital International Inc. Attributed roadway trajectories for self-driving vehicles
KR101887335B1 (ko) 2015-07-13 2018-08-09 닛산 지도우샤 가부시키가이샤 자기 위치 추정 장치 및 자기 위치 추정 방법
US11125566B2 (en) 2015-07-16 2021-09-21 Ford Global Technologies, Llc Method and apparatus for determining a vehicle ego-position
US10948302B2 (en) 2015-08-03 2021-03-16 Tomtom Global Content B.V. Methods and systems for generating and using localization reference data
US10139828B2 (en) 2015-09-24 2018-11-27 Uber Technologies, Inc. Autonomous vehicle operated with safety augmentation
DE102016205139B4 (de) 2015-09-29 2022-10-27 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Charakterisierung von Objekten
JP6825569B2 (ja) 2015-09-30 2021-02-03 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
US9916703B2 (en) 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US9720415B2 (en) 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US9630619B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
WO2017079341A2 (en) 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US10397019B2 (en) 2015-11-16 2019-08-27 Polysync Technologies, Inc. Autonomous vehicle platform and safety architecture
FR3044101B1 (fr) 2015-11-20 2020-04-24 Thales Procede d'acquisition d'images d'une scene, a partir d'un capteur a bord d'un porteur en deplacement, avec asservissement de sa ligne de visee
CN118838336A (zh) 2016-01-05 2024-10-25 御眼视觉技术有限公司 用于主车辆的导航系统、自主车辆及导航自主车辆的方法
US10486707B2 (en) 2016-01-06 2019-11-26 GM Global Technology Operations LLC Prediction of driver intent at intersection
EP3430427B1 (en) 2016-03-14 2021-07-21 IMRA Europe S.A.S. Processing method of a 3d point cloud
JP2019510240A (ja) 2016-03-15 2019-04-11 ソルファイス リサーチ、インコーポレイテッド 車両認知を提供するためのシステム及び方法
US10223380B2 (en) 2016-03-23 2019-03-05 Here Global B.V. Map updates from a connected vehicle fleet
DE102016205142A1 (de) 2016-03-29 2017-10-05 Volkswagen Aktiengesellschaft Verfahren, Vorrichtungen und Computerprogramm zum Initiieren oder Durchführen eines kooperativen Fahrmanövers
JP2017191562A (ja) 2016-04-15 2017-10-19 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
CN112367513B (zh) 2016-05-06 2022-06-17 深圳市大疆创新科技有限公司 导航系统和用于感测环境的方法
US9672446B1 (en) 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
US20170329332A1 (en) 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
US9996936B2 (en) 2016-05-20 2018-06-12 Qualcomm Incorporated Predictor-corrector based pose detection
US10203209B2 (en) 2016-05-25 2019-02-12 Regents Of The University Of Minnesota Resource-aware large-scale cooperative 3D mapping using multiple mobile devices
JP6194520B1 (ja) 2016-06-24 2017-09-13 三菱電機株式会社 物体認識装置、物体認識方法および自動運転システム
US10502577B2 (en) 2016-06-30 2019-12-10 Here Global B.V. Iterative map learning based on vehicle on-board sensor data
US10521677B2 (en) 2016-07-14 2019-12-31 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms
US10838426B2 (en) 2016-07-21 2020-11-17 Mobileye Vision Technologies Ltd. Distributing a crowdsourced sparse map for autonomous vehicle navigation
US10209081B2 (en) 2016-08-09 2019-02-19 Nauto, Inc. System and method for precision localization and mapping
DE102016214868A1 (de) 2016-08-10 2018-02-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erstellen oder Ergänzen einer Karte für ein Kraftfahrzeug
US20180060989A1 (en) * 2016-08-30 2018-03-01 MaaS Global Oy System, method and device for digitally assisted personal mobility management
KR20180025591A (ko) 2016-09-01 2018-03-09 삼성전자주식회사 자율 주행 차량을 위한 비전 센서의 제어 방법 및 장치
US10678240B2 (en) 2016-09-08 2020-06-09 Mentor Graphics Corporation Sensor modification based on an annotated environmental model
US10802450B2 (en) 2016-09-08 2020-10-13 Mentor Graphics Corporation Sensor event detection and fusion
US10740658B2 (en) 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
US11067996B2 (en) 2016-09-08 2021-07-20 Siemens Industry Software Inc. Event-driven region of interest management
US10317901B2 (en) 2016-09-08 2019-06-11 Mentor Graphics Development (Deutschland) Gmbh Low-level sensor fusion
US20180314253A1 (en) 2017-05-01 2018-11-01 Mentor Graphics Development (Deutschland) Gmbh Embedded automotive perception with machine learning classification of sensor data
US10755136B2 (en) 2017-05-16 2020-08-25 Nec Corporation Pruning filters for efficient convolutional neural networks for image recognition in vehicles
US20180307245A1 (en) 2017-05-31 2018-10-25 Muhammad Zain Khawaja Autonomous Vehicle Corridor
US10317899B2 (en) 2017-06-16 2019-06-11 nuTonomy Inc. Intervention in operation of a vehicle having autonomous driving capabilities
US10606259B2 (en) 2017-07-07 2020-03-31 Zoox, Inc. Interactions between vehicle and teleoperations system
US10268191B1 (en) 2017-07-07 2019-04-23 Zoox, Inc. Predictive teleoperator situational awareness
US10564638B1 (en) 2017-07-07 2020-02-18 Zoox, Inc. Teleoperator situational awareness
US11145146B2 (en) 2018-01-31 2021-10-12 Mentor Graphics (Deutschland) Gmbh Self-diagnosis of faults in an autonomous driving system
US10553044B2 (en) 2018-01-31 2020-02-04 Mentor Graphics Development (Deutschland) Gmbh Self-diagnosis of faults with a secondary system in an autonomous driving system
US11275374B2 (en) 2018-12-18 2022-03-15 Zoox, Inc. Event-based data logging

Also Published As

Publication number Publication date
US11067996B2 (en) 2021-07-20
CN109863500B (zh) 2023-11-14
US20180067495A1 (en) 2018-03-08
EP3494515B1 (en) 2026-03-25
WO2018047016A3 (en) 2018-05-03
WO2018047016A2 (en) 2018-03-15
US20180067490A1 (en) 2018-03-08
EP3494515A2 (en) 2019-06-12
CN109863500A (zh) 2019-06-07