ES2962810T3

ES2962810T3 - Método y sistema de seguimiento de objetos LiDAR multiespectral

Info

Publication number: ES2962810T3
Application number: ES21150185T
Authority: ES
Inventors: Orellana Raul Bravo
Original assignee: Iridesense
Current assignee: Iridesense
Priority date: 2020-01-06
Filing date: 2021-01-05
Publication date: 2024-03-21
Anticipated expiration: 2041-01-05
Also published as: US20210208279A1; EP3845926C0; JP2021110748A; EP3845926A1; EP3845926B1; US11119215B2; EP3845926B8

Abstract

Sistemas y métodos para el seguimiento de objetos que utilizan una respuesta espectral y un aspecto geométrico de un conjunto de puntos. Un método incluye transmitir, con un sistema lidar multiespectral, un haz de luz multiespectral y analizar una respuesta, de un fotodetector, al retorno del haz. El método también incluye generar una nube de puntos con un conjunto de puntos y determinar un conjunto de respuestas espectrales del conjunto de puntos basándose en el análisis de la respuesta. El método también incluye determinar un conjunto de composiciones materiales para el conjunto de puntos basándose en el conjunto de respuestas espectrales del conjunto de puntos. El método también incluye agrupar puntos en el conjunto de puntos en grupos basándose tanto en el conjunto de composiciones materiales como en un aspecto geométrico del conjunto de puntos y crear una o más definiciones de objetos de seguimiento usando los grupos. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Método y sistema de seguimiento de objetos LiDAR multiespectral

Antecedentes

El seguimiento de objetos es un campo en evolución dentro de la visión por ordenador que tiene aplicaciones cada vez más amplias en el mundo actual mejorado por la tecnología. La importancia del seguimiento de objetos queda demostrada por su uso en una variedad de tecnologías modernas que incluyen, entre otras, vehículos autónomos y semiautónomos, sistemas avanzados de asistencia al conductor, interacción persona-ordenador, reconocimiento de gestos y videovigilancia. Por lo tanto, el desarrollo de mejores sistemas de seguimiento de objetos avanza en otras áreas de la tecnología que generan beneficios tales como la seguridad y la conveniencia.

Esta descripción se relaciona con todos los sistemas de seguimiento de objetos. A continuación se dan a conocer dos tipos de sistemas de seguimiento de objetos estrictamente con el fin de explicar la técnica relacionada y no como ejemplos limitativos del alcance de aplicabilidad de los enfoques descritos en la presente memoria. En los sistemas de imágenes bidimensionales, un objeto bidimensional se reconoce utilizando algoritmos que realizan análisis de imágenes y el objeto se representa mediante un conjunto de puntos codificados como un grupo de píxeles en la imagen. El movimiento del objeto se puede rastrear utilizando técnicas de procesamiento de imágenes que incluyen, entre otras, detección de contornos, detección de características, filtros de convolución o umbrales de color o intensidad. Se pueden rastrear múltiples objetos a lo largo de una sucesión de imágenes (por ejemplo, múltiples tramas de una transmisión de video). En los sistemas de imágenes tridimensionales, se pueden aplicar técnicas similares utilizando sensores tales como el radar o el sistema de medición y detección de objetos mediante láser (LiDAR) que proporcionan datos de una nube de puntos tridimensionales para representar el objeto. Sin embargo, la naturaleza escasa de los datos tridimensionales recopilados de esta manera puede hacer que el seguimiento de objetos sea algo más desafiante.

El documento US 2014/085 622 describe un sistema de imágenes hiperespectrales tridimensionales que tiene una fuente de iluminación para iluminar un objeto objetivo y un elemento dispersivo para separar espectralmente la luz recibida del objeto objetivo en diferentes colores.

El documento US 2012/286 136 describe un sistema LiDAR para monitorizar el espacio, que comprende un primer haz óptico y un segundo haz óptico, y una parte de procesamiento para determinar la presencia de un objeto basándose en haces reflejados.

El documento WO 2018/196336 describe un sistema para llevar a cabo el seguimiento de objetos con un LiDAR, en donde los datos se agrupan en una pluralidad de grupos mediante un módulo de segmentación y se calcula la estimación del movimiento de cada objeto.

El documento US 6882409 describe un detector multiespectral capaz de separar la radiación LADAR recibida de una escena en una pluralidad de componentes espectrales.

El documento US 2016/377 719 describe un aparato telémetro láser que incluye una pluralidad de fotodetectores para recibir respectivamente una pluralidad de diferentes bandas de longitud de onda de transmisión de una luz láser.

El documento "Occluded human recognition for a leader following system using 3D range and image data in forest environment" (Reconocimiento humano ocluido para un sistema de seguimiento líder utilizando datos de medición e imagen 3D en entornos forestales) (Actas de SPIE, IEEE, EE. UU.; Cho Kuk y col.; Vol 9048) describe el seguimiento de una persona en un bosque fusionando datos de un LiDAR y de una cámara RGB.

Compendio

En la presente memoria se describen sistemas de seguimiento de objetos que utilizan una respuesta espectral y un aspecto geométrico de un conjunto de puntos para rastrear objetos. Los sistemas de seguimiento de objetos pueden agrupar puntos en el conjunto de puntos en uno o más grupos y crear una o más definiciones de objetos de seguimiento. Las definiciones de objetos de seguimiento definen un objeto específico y único que el sistema debe rastrear. La definición de objeto de seguimiento se puede utilizar, a continuación, para rastrear de forma exclusiva ese objeto con exclusión de otros objetos que puedan ser detectables por el sistema de seguimiento de objetos. Según la invención, el sistema de seguimiento de objetos utiliza un LiDAR multiespectral para obtener la respuesta espectral y el aspecto geométrico del conjunto de puntos. Por ejemplo, el LiDAR multiespectral podría transmitir haces de luz en múltiples frecuencias, o un solo haz que comprenda múltiples frecuencias, en cada punto de un conjunto de puntos, analizar su respuesta y utilizar ese análisis para determinar tanto la respuesta espectral como la posición de cada punto del conjunto de puntos del mismo conjunto de señales sonoras.

Los sistemas actuales de seguimiento de objetos se enfrentan a problemas al rastrear objetos en movimiento en un espacio tridimensional. Por ejemplo, un sistema de imágenes tridimensionales proporciona un conjunto de menos puntos para representar un objeto en comparación con un sistema de imágenes bidimensionales. Por lo tanto, el número de puntos proporcionado por un sistema de imágenes tridimensionales para representar un objeto es a veces insuficiente para los enfoques de procesamiento de imágenes estándar. Como resultado, los sistemas de imágenes tridimensionales no pueden rastrear adecuadamente los objetos en ciertas situaciones, incluyendo, entre otras, cuando las trayectorias de los objetos se interrumpen debido a una oclusión o cuando los objetos se cruzan entre sí.

La Figura 1 incluye una serie de tramas de entrada proporcionadas a un sistema de seguimiento de objetos en dos escenarios de seguimiento de objetos diferentes según la técnica relacionada. En el primer escenario 100, dos objetos, 105 y 106, cada uno representado por un conjunto diferente de píxeles, se acercan entre sí en 101, se vuelven contiguos o se superponen ligeramente en 102, se cruzan en 103 y finalmente se separan en 104. Como se ilustra, el sistema de seguimiento de objetos es capaz de rastrear los dos objetos a medida que se acercan uno al otro y comienzan a superponerse, pero, a continuación, no logra distinguir entre los dos objetos una vez que se cruzan. El sistema de seguimiento de objetos puede incluso agregar ambos conjuntos de píxeles como un solo objeto. Así, cuando los dos objetos se separan después de cruzarse, existe ambigüedad en términos de rastrear los dos objetos e identificar qué conjunto de píxeles representa qué objeto. De manera similar, en el segundo escenario 110, dos objetos, cada uno representado por un conjunto diferente de píxeles, siguen una trayectoria que se aproxima a una obstrucción desde la izquierda en 111, se ocluyen parcialmente en 112, se ocluyen completamente en 113 y, a continuación, vuelven a emerger de la obstrucción en 114. Como se ilustra, el sistema de seguimiento de objetos es capaz de rastrear los dos objetos a medida que se acercan y comienzan a quedar ocluidos por la obstrucción. Sin embargo, una vez que ambos objetos están completamente ocluidos por la obstrucción, es decir, "se oscurecen", ya no son visibles para el sistema de seguimiento de objetos. Cuando ambos objetos emergen de detrás de la obstrucción, existe ambigüedad en términos de rastrear los dos objetos e identificar qué conjunto de píxeles representa qué objeto. En el caso donde sólo un objeto resurge desde detrás de la obstrucción después de "oscurecerse", también existe ambigüedad al poder saber cuál de los dos objetos es el que ha resurgido.

En las realizaciones específicas de la invención descrita en la presente memoria, un sistema de seguimiento de objetos puede superar los inconvenientes de los sistemas de seguimiento de objetos anteriores utilizando definiciones de objetos de seguimiento basadas tanto en un aspecto geométrico de un conjunto de puntos como en una respuesta espectral de ese conjunto de puntos. Cada definición de objeto de seguimiento define un objeto específico y único que será rastreado por el sistema y se puede utilizar para rastrear de forma única ese objeto con exclusión de otros objetos que puedan ser detectables por el sistema de seguimiento de objetos. Por lo tanto, el sistema de seguimiento de objetos es capaz de realizar un seguimiento de los objetos incluso si los objetos se cruzan, quedan ocluidos por una obstrucción o, de otro modo, es necesario volver a rastrearlos después de "oscurecerse".

La Figura 2 incluye una tabla 200 de definiciones de objetos de seguimiento y una serie de tramas de entrada proporcionadas a un sistema de seguimiento de objetos según las realizaciones específicas de la invención dada a conocer en la presente memoria. Cada fila de la tabla corresponde a un objeto único y específico en el sistema de seguimiento de objetos y proporciona la siguiente información para ese objeto: una definición del objeto de seguimiento en la columna de la izquierda, un aspecto geométrico en la columna del medio y una composición de material en la columna de la derecha. Por ejemplo, la primera fila de la tabla 200 corresponde con un peatón 220 que tiene una definición de objeto de seguimiento de "Peatón #1", un aspecto geométrico con la forma de una persona y una composición de material del 80% de algodón y del 20% de piel. Tal como se utiliza en la presente memoria, el término definición de objeto de seguimiento se refiere al título de la definición (por ejemplo, "Peatón #1") así como a la asociación de ese título con el aspecto geométrico, la composición de material y cualquier otra información almacenada en asociación con ese título. De manera similar, la segunda fila de la tabla 200 se corresponde con un cubo de basura 230 que tiene una definición de objeto de seguimiento de "cubo de basura #1", un aspecto geométrico en forma de cubo de basura y una composición de material del 95% de plástico y del 5% de aluminio. El escenario 210 muestra al peatón acercándose al cubo de basura en 211, alcanzando el cubo de basura en 212, recogiendo el cubo de basura en 213 y finalmente depositando el cubo de basura en 214. Como se ilustra, el sistema de seguimiento de objetos es capaz de reconocer y rastrear con éxito tanto al peatón como al cubo de basura mediante la eliminación de la ambigüedad entre los dos objetos basándose en el aspecto geométrico y la información de composición de material en la tabla 200 asociada con la definición de objeto de seguimiento específica de cada objeto.

En las realizaciones específicas de la invención, las definiciones de objetos de seguimiento identifican objetos específicos y únicos sin llevar a cabo una clasificación o reconocimiento del objeto. En el ejemplo anterior en la Fig. 2, y como se muestra en la tabla 220, la primera definición de objeto de seguimiento podría ser simplemente "Objeto 1" sin tener que reconocer que el objeto es un peatón. En estas realizaciones, la creación de definiciones de objetos de seguimiento y el uso de esas definiciones para rastrear objetos se pueden llevar a cabo a velocidades más altas, al menos en parte porque no hay necesidad de proporcionar los datos a un clasificador, y con un conjunto de datos más disperso en comparación con enfoques en los que los objetos se clasifican y dividen en categorías específicas.

Según la invención, se proporciona un método para el seguimiento de objetos. Cada etapa del método se realiza mediante un sistema LiDAR multiespectral. El método incluye la transmisión, con el sistema LiDAR multiespectral, de un haz de luz multiespectral. El método también incluye analizar una respuesta de un fotodetector a un retorno del haz de luz multiespectral. El método también incluye, basándose en el análisis de la respuesta, (i) la generación de una nube de puntos con un conjunto de puntos y (ii) la determinación de un conjunto de respuestas espectrales del conjunto de puntos. El método también incluye, basándose en el conjunto de respuestas espectrales del conjunto de puntos, la determinación de un conjunto de composiciones materiales para el conjunto de puntos. El método también incluye, basándose tanto en (i) el conjunto de composiciones materiales como en (ii) un aspecto geométrico del conjunto de puntos, agrupando puntos en el conjunto de puntos en uno o más grupos. El método también incluye la creación de una o más definiciones de objetos de seguimiento utilizando uno o más grupos.

Además, según la invención, se proporciona otro método. El método incluye la transmisión de un haz de luz multiespectral. El método también incluye el análisis de un retorno del haz de luz multiespectral. El método también incluye, basándose en el análisis, (i) la generación de un conjunto de puntos con coordenadas tridimensionales y (ii) la determinación de un conjunto de respuestas espectrales del conjunto de puntos. El método también incluye, basándose en el conjunto de respuestas espectrales del conjunto de puntos, la determinación de un conjunto de composiciones materiales para el conjunto de puntos. El método también incluye la creación de una o más definiciones de objetos de seguimiento utilizando (i) el conjunto de composiciones de materiales y (ii) un aspecto geométrico de la nube de puntos.

Además, según la invención, se proporciona un sistema para el seguimiento de objetos. El sistema incluye un transmisor de haz de luz multiespectral que transmite un haz de luz. El sistema también incluye un fotodetector dispuesto para recibir un retorno del haz de luz multiespectral. El sistema también incluye un sistema de procesamiento de segmentación. El sistema de procesamiento de segmentación está programado para analizar una respuesta de un fotodetector a un retorno del haz de luz multiespectral. El sistema de procesamiento de segmentación también está programado para, basándose en el análisis de la respuesta, (i) generar una nube de puntos con un conjunto de puntos y (ii) determinar un conjunto de respuestas espectrales del conjunto de puntos. El sistema de procesamiento de segmentación también está programado para, basándose en el conjunto de respuestas espectrales del conjunto de puntos, determinar un conjunto de composiciones materiales para el conjunto de puntos. El sistema de procesamiento de segmentación también está programado para, basándose tanto en (i) el conjunto de composiciones materiales como en (ii) un aspecto geométrico del conjunto de puntos, agrupar puntos en el conjunto de puntos en uno o más grupos. El sistema de procesamiento de segmentación también está programado para crear una o más definiciones de objetos de seguimiento utilizando uno o más grupos.

Breve descripción de los dibujos

La Figura 1 ilustra una serie de tramas de entrada proporcionadas a un sistema de seguimiento de objetos en dos escenarios de seguimiento de objetos diferentes según la técnica relacionada.

La Figura 2 ilustra una tabla de definiciones de objetos de seguimiento y una serie de tramas de entrada proporcionadas a un sistema de seguimiento de objetos.

La Figura 3 ilustra un diagrama de flujo para un conjunto de métodos para la creación de definiciones de objetos de seguimiento y objetos de seguimiento utilizando esas definiciones según la invención.

La Figura 4 ilustra un proceso para la determinación de una respuesta espectral para un conjunto de.

La Figura 5 ilustra una biblioteca de respuestas espectrales que se pueden utilizar para determinar la composición de material de un,

La Figura 6 ilustra un sistema para la creación de definiciones de objetos de seguimiento y para rastrear objetos.Descripción detallada

La Figura 3 incluye un diagrama 300 de flujo para un conjunto de métodos para la creación de definiciones de objetos de seguimiento y objetos de seguimiento utilizando esas definiciones según la invención dadas a conocer en la presente memoria. El diagrama de flujo incluye etapas opcionales con límites discontinuos. El diagrama de flujo sirve como esquema para el resto de esta descripción. El diagrama de flujo comienza con las etapas dadas para tomar muestras y analizar el entorno para obtener información sobre uno o más objetos físicos, continúa con las etapas dadas para crear una o más definiciones de objetos de seguimiento y concluye con las etapas dadas para rastrear uno o más objetos físicos utilizando la una o más definiciones de objetos de seguimiento.

El diagrama 300 de flujo comienza con las etapas dadas para tomar muestras y analizar el entorno para obtener información sobre uno o más objetos físicos. Las etapas pueden ser ejecutadas por un sistema de detección. En realizaciones específicas de la invención, el sistema de detección es un sistema de seguimiento de objetos. El sistema de seguimiento de objetos puede incluir un transmisor de haz de luz multiespectral, un fotodetector y un sistema de procesamiento de segmentación. En el ejemplo de la Fig. 3, el diagrama 300 de flujo comienza con la etapa 301, en la que un sistema de seguimiento de objetos transmite un haz de luz multiespectral con un transmisor de haz de luz multiespectral.

El diagrama 300 de flujo continúa con la etapa 302 en la que se analiza una respuesta, de un fotodetector, a un retorno del haz de luz multiespectral transmitido en la etapa 301. El retorno del haz de luz incluirá información sobre las propiedades del objeto porque la forma en que se refleja la luz cambia las propiedades de la luz de una manera que depende de las propiedades del objeto. El fotodetector puede incluir un único elemento o varios elementos de hardware. Dependiendo de las características de la señal transmitida en la etapa 301, el fotodetector puede detectar múltiples señales enviadas en diferentes momentos o analizar múltiples espectros de luz que se reciben al mismo tiempo. En las realizaciones específicas de la invención, un sistema de procesamiento de segmentación está programado para realizar el análisis. El análisis puede incluir la determinación de una intensidad de la luz reflejada por un objeto, un cambio de fase de la luz reflejada por un objeto o un cambio de frecuencia de la luz reflejada por un objeto. Dependiendo de las características de la señal transmitida en la etapa 301, el análisis puede determinar cualquiera de las variables mencionadas en la frase anterior a través de múltiples frecuencias y/o intensidades de luz.

El diagrama 300 de flujo continúa con la etapa 303 en la que, basándose en el análisis de la respuesta en la etapa 302, se genera una nube de puntos con un conjunto de puntos. En las realizaciones específicas de la invención, se genera un conjunto de puntos con coordenadas tridimensionales en la etapa 330. En las realizaciones específicas de la invención, un sistema de procesamiento de segmentación está programado para llevar a cabo la etapa 303. El sistema de procesamiento de segmentación puede llevar a cabo esta acción llevando a cabo un análisis del tiempo de vuelo de las señales transmitidas en la etapa 301 y recibidas en la etapa 302 junto con información almacenada con respecto a un ángulo en el que se han transmitido las señales. El análisis puede incluir la transmisión de la señal en un ángulo conocido y en un momento conocido y el cálculo de la distancia y la ubicación del punto en el que la señal se ha reflejado de regreso al transmisor utilizando cálculos trigonométricos y de determinación de distancia. El análisis puede incluir alternativa o adicionalmente llevar a cabo un análisis del ángulo de recepción en el que se mide directamente un ángulo en el que se recibe una señal en la etapa 302, el ángulo de transmisión de la señal en la etapa 301 es un valor conocido, y la distancia que separa el detector para la etapa 302 y el transmisor para la etapa 301 se utilizan junto con cálculos trigonométricos para determinar la ubicación del punto en el que se ha reflejado la señal.

El diagrama 300 de flujo continúa con la etapa 304, en la que, basándose en el análisis de la respuesta en la etapa 302, se determina un conjunto de respuestas espectrales del conjunto de puntos generados en la etapa 303. La Figura 4 incluye un proceso para la determinación de una respuesta espectral para un conjunto de puntos según las realizaciones específicas de la invención descritas en la presente memoria. En el ejemplo de la Fig. 4 y con referencia a la Fig. 3, un sistema LiDAR multiespectral para seguimiento de objetos realiza el proceso realizando primero las etapas 301 a 303. En la etapa 301, el sistema LiDAR multiespectral transmite un haz de luz multiespectral con un transmisor de haz de luz multiespectral. El transmisor de haz de luz multiespectral puede transmitir haces de luz en múltiples frecuencias o un único haz que comprende múltiples frecuencias. Según una realización específica, el transmisor de haz de luz multiespectral emite luz infrarroja en el intervalo de 1000 nm a 2000 nm. En la etapa 302, el sistema LiDAR multiespectral analiza una respuesta, de un fotodetector, a un retorno del haz de luz multiespectral. En el gráfico 441 se muestra una gráfica de una respuesta de muestra.

La Figura 4 incluye un diagrama 400 de flujo para un método para el análisis de la respuesta según realizaciones específicas de la invención dada a conocer en la presente memoria. El diagrama 400 de flujo comienza y termina con la etapa 401 y se llevaría a cabo como una subetapa de la etapa 302 en el diagrama 300 de flujo, en la que el análisis de la respuesta incluye la aplicación de un conjunto de filtros de longitud de onda a la respuesta. Por ejemplo y como se muestra en el gráfico 442, a la respuesta se le pueden aplicar cuatro intervalos de filtros de longitud de onda. En realizaciones específicas de la invención, el conjunto de filtros de longitud de onda incluye un filtro de paso de banda que deja pasar la luz infrarroja. La intensidad correspondiente a cada intervalo de longitud de onda se puede medir como parte del análisis en la etapa 302. Basándose en el análisis, se puede determinar un conjunto de respuestas espectrales del conjunto de puntos en la etapa 304. En el gráfico 443 se muestra un gráfico de un conjunto de muestras de respuestas espectrales. En las realizaciones específicas de la invención, un sistema de procesamiento de segmentación está programado para determinar el conjunto de respuestas espectrales del conjunto de puntos llevando a cabo las etapas ilustradas en la Fig. 4.

El diagrama 300 de flujo continúa con la etapa 305, en la que, basándose en el conjunto de respuestas espectrales del conjunto de puntos determinado en la etapa 304, se determina un conjunto de composiciones de materiales para el conjunto de puntos. La Figura 5 incluye un diagrama 500 de flujo para un conjunto de métodos para la determinación de una composición de material de un punto utilizando una biblioteca de respuestas espectrales según las realizaciones específicas de la invención dada a conocer en la presente memoria. El diagrama 500 de flujo comienza con la etapa 501, en la que se almacena una biblioteca de respuestas espectrales. En las realizaciones específicas de la invención, la biblioteca de respuestas espectrales se almacena en una memoria del sistema de seguimiento de objetos. La Figura 5 incluye una tabla 550 que muestra un ejemplo de una biblioteca de respuestas espectrales para ciertos materiales. La biblioteca se puede generar basándose en observaciones llevadas a cabo en un laboratorio y se puede codificar en el sistema de seguimiento de objetos. Alternativamente, la biblioteca podría almacenarse en la memoria y actualizarse a través de una conexión de red a medida que se analicen materiales adicionales.

El diagrama 500 de flujo finaliza con la etapa 502, en el que se utiliza la biblioteca de respuestas espectrales para determinar el conjunto de composiciones de materiales para el conjunto de puntos. Por ejemplo, se puede determinar el conjunto de composiciones de materiales para el conjunto de puntos buscando el conjunto de respuestas espectrales para el conjunto de puntos utilizando la biblioteca de respuestas espectrales. El conjunto de respuestas espectrales también se puede redondear antes de la búsqueda. La determinación del conjunto de composiciones de materiales para el conjunto de puntos también se puede hacer de otras maneras, incluyendo el establecimiento de reglas con umbrales. Por ejemplo, si el componente uno excedía al componente cuatro mientras que el componente cuatro era menor que el componente tres, el sistema podía determinar que la composición de material de un punto con esa respuesta era piel. Basándose en la cantidad de materiales en la biblioteca, las reglas podrían ser más complejas. Los espectros también podrían seleccionarse basándose en el deseo de minimizar la complejidad de las reglas y distinguir aún más los materiales. Por ejemplo, los filtros aplicados en la etapa 401 podrían seleccionarse para elegir espectros que distinguieran más claramente un conjunto de materiales que el sistema que ha sido optimizado para filtrar y rastrear. En las realizaciones específicas de la invención, un sistema de procesamiento de segmentación está programado para determinar el conjunto de composiciones de materiales para el conjunto de puntos utilizando las reglas y procesos descritos anteriormente.

En las realizaciones específicas de la invención, el conjunto de respuestas espectrales detectadas por el sistema de detección es un conjunto de vectores de respuesta espectral, y la biblioteca de respuestas espectrales almacenada en la etapa 501 es una biblioteca de vectores de respuesta espectral. En estas realizaciones, la determinación del conjunto de composiciones de materiales para el conjunto de puntos en la etapa 502 podría incluir, a continuación, aplicar un análisis de distancia mínima a un conjunto de vectores de respuesta espectral en la biblioteca de vectores de respuesta espectral como en la subetapa 503.

En las realizaciones específicas de la invención, el conjunto de respuestas espectrales del conjunto de puntos en la nube de puntos se normaliza en un conjunto de respuestas espectrales normalizadas antes de la determinación del conjunto de composiciones de materiales para el conjunto de puntos utilizando el conjunto de respuestas espectrales normalizadas. Se puede normalizar un conjunto de respuestas espectrales para tener en cuenta la distancia del objeto reflectante porque los objetos a mayor distancia devuelven una respuesta espectral más baja. La información geométrica obtenida respecto de los puntos se puede utilizar en las rutinas asociadas. De manera similar, se puede normalizar un conjunto de respuestas espectrales para tener en cuenta las condiciones atmosféricas (tal como la niebla) que también pueden reducir la respuesta espectral de un objeto. De este modo, las longitudes de onda que son más susceptibles a las condiciones atmosféricas se pueden ajustar hacia arriba o hacia abajo para contrarrestar la tendencia introducida por la condición. La condición atmosférica puede detectarse mediante un sistema separado tal como una cámara de luz visible o una conexión a una red externa con conocimiento de la posición del sistema de detección y las condiciones locales de esa posición (por ejemplo, un sistema de monitorización meteorológico de Internet). En las realizaciones específicas de la invención, las condiciones atmosféricas se pueden detectar utilizando el mismo sistema de detección durante una etapa de calibración que apunta a una superficie conocida, tal como un objetivo de calibración. El objetivo de calibración podría colocarse dentro del alcance del sistema de detección, tal como en un vehículo en el que se ha ubicado el sistema de detección. En las realizaciones específicas de la invención, el conjunto de respuestas espectrales del conjunto de puntos en la nube de puntos se normaliza en un conjunto de respuestas espectrales normalizadas después de detectar la condición atmosférica y la determinación del conjunto de composiciones de materiales para el conjunto de puntos utiliza el conjunto de respuestas espectrales normalizadas que se han normalizado basándose en las condiciones atmosféricas.

El diagrama 300 de flujo continúa con la etapa 306, en la que, basándose tanto en (i) el conjunto de composiciones de materiales de la etapa 305 como en (ii) un aspecto geométrico del conjunto de puntos, el conjunto de puntos se agrupa en uno o más grupos. Un aspecto geométrico de un conjunto de puntos puede ser cualquier factor geométrico relacionado con los puntos. Por ejemplo, el aspecto podría ser un conjunto de distancias entre el conjunto de puntos determinado calculando la distancia entre los puntos en la nube de puntos generada en la etapa 303. Como otro ejemplo, el aspecto geométrico podría ser una forma delineada por el conjunto de puntos o una arista definida por el conjunto de puntos. De todos modos, la agrupación del conjunto de puntos en uno o más grupos se puede hacer con algoritmos que tienen en cuenta los aspectos geométricos de los puntos, así como las composiciones de materiales. Por ejemplo, una mano humana en contacto con un cubo de basura de aluminio podría agruparse como un objeto separado incluso si los objetos estuvieran en contacto, mientras que la cabeza y los cuartos traseros de un perro podrían agruparse incluso si el cuerpo del perro estuviera ocluido y los dos objetos parecían estar geométricamente separados.

En las realizaciones específicas de la invención, los puntos se agrupan utilizando varios enfoques. El conjunto de composiciones de materiales y el aspecto geométrico del conjunto de puntos se pueden combinar de diferentes maneras para agrupar el conjunto de puntos en uno o más grupos. En un conjunto de enfoques, los valores de las composiciones de materiales y la geometría se pueden tratar por separado y se puede utilizar un conjunto de datos para crear restricciones para analizar el otro conjunto. Por ejemplo, un enfoque podría implicar establecer un umbral para la variación de la composición de material a lo largo de una distancia determinada (es decir, un gran cambio en la composición de material en una distancia corta indica un cambio en los objetos). En otro conjunto de enfoques, los valores de las composiciones de materiales y la geometría se pueden combinar antes de la agrupación. Por ejemplo, se podría asignar un valor fijo a la respuesta de un punto a los diversos espectros y el conjunto de valores fijos se trataría como coordenadas en el espacio de dimensión X junto con las coordenadas de ubicación x, y, z. Se pueden aplicar varias técnicas de agrupación a un conjunto de datos combinado o con un conjunto de datos estableciendo las restricciones para agrupar el otro conjunto de datos. Estas técnicas pueden incluir, entre otras, umbrales, detección de aristas, vecinos más cercanos y algoritmos de ramificación. Por ejemplo, se pueden agrupar todos los puntos contiguos con la misma composición de material, o casi la misma composición de material dentro de un umbral determinado. Como otro ejemplo, se pueden agrupar todos los puntos que forman un contorno o límite de un objeto y que tienen la misma composición de material. Como otro ejemplo, puntos con la misma composición de material se pueden agrupar cuando son parte de ciertos aspectos geométricos (por ejemplo, cuando un objeto está en movimiento) pero no cuando son parte de otros aspectos geométricos (por ejemplo, cuando un objeto está en reposo). Los datos de espectros y aspectos geométricos se pueden normalizar antes de la ejecución de esas técnicas. En realizaciones específicas de la invención, un sistema de procesamiento de segmentación está programado para agrupar el conjunto de puntos en uno o más grupos.

En las realizaciones específicas de la invención, las definiciones de objetos de seguimiento identifican objetos específicos y únicos sin llevar a cabo una clasificación o reconocimiento del objeto. La una o más definiciones de objetos de seguimiento pueden ser una o más definiciones de objetos genéricas, y las etapas utilizadas para generar las definiciones de objetos de seguimiento no tienen que incluir ninguna clasificación de los objetos rastreados. De manera similar, la etapa de puntos de agrupación en el conjunto de puntos en uno o más grupos sólo puede utilizar el conjunto de composiciones de materiales y el conjunto de distancias, y la etapa de seguimiento de uno o más objetos físicos no incluye ninguna clasificación de uno o más objetos físicos. En estas realizaciones, la creación de definiciones de objetos de seguimiento y el uso de esas definiciones para rastrear objetos se pueden llevar a cabo a velocidades más altas, al menos en parte porque no hay necesidad de proporcionar los datos a un clasificador, y con un conjunto de datos más disperso en comparación con enfoques en los que los objetos se analizan y dividen en categorías específicas.

El diagrama 300 de flujo continúa con la etapa 307, en el que se crean definiciones de objetos de seguimiento utilizando el uno o más grupos de la etapa 306. Como se ha mencionado en el párrafo anterior, este proceso se puede ejecutar sin llevar a cabo una clasificación. Por ejemplo, la etapa 307 puede incluir la asignación de una cadena de caracteres genérica pero única a un grupo de puntos agrupados en la ejecución de la etapa 306 y guardar la asociación y definición resultante en la memoria con el fin de rastrear el objeto. Alternativamente, este proceso puede incluir una etapa de clasificación en la que se reconoce que un objeto pertenece a una clase específica de objetos (por ejemplo, humano, automóvil, animal, bicicleta, etc.). El proceso se puede llevar a cabo proporcionando la respuesta espectral y el aspecto geométrico de un grupo dado a un clasificador que haya sido configurado para identificar un conjunto de clases. Se puede programar un sistema de procesamiento de segmentación para crear la una o más definiciones de objetos de seguimiento incluyendo dicho clasificador o siendo una secuencia de comandos simple para asignar cadenas únicas a grupos.

El diagrama 300 de flujo continúa con la etapa 308, en la que un sistema de seguimiento de objetos transmite un segundo haz de luz multiespectral con un transmisor de haz de luz multiespectral. El segundo haz de luz multiespectral se transmite después de la transmisión del primer haz de luz multiespectral en la etapa 301. El transmisor puede ser el mismo transmisor utilizado para la etapa 301 o un transmisor diferente. El diagrama 300 de flujo termina con la etapa 309, en la que se rastrean uno o más objetos físicos utilizando (i) una respuesta de un fotodetector al segundo haz de luz multiespectral; y (ii) la una o más definiciones de objetos de seguimiento desde la etapa 307. Un objeto puede coincidir con una definición de objeto de seguimiento utilizando algoritmos de aprendizaje automático que incluyen, entre otros, lógica difusa, aproximadores de funciones y algoritmos de red profunda. El uno o más objetos pueden rastrearse a través de una serie de tramas de entrada (por ejemplo, vídeo) proporcionadas al sistema de seguimiento de objetos. La definición del objeto de seguimiento correspondiente a un objeto único y específico puede cambiar de una trama a otra a medida que cambia la geometría del objeto en relación con un sistema de detección. En estos enfoques, las definiciones de la etapa 307 pueden actualizarse periódica o continuamente al mismo tiempo que se realiza el seguimiento de los objetos asociados a través de la ejecución de la etapa 309. En las realizaciones específicas de la invención, un sistema de procesamiento de seguimiento está programado para rastrear el uno o más objetos físicos. El sistema de procesamiento de seguimiento puede obtener información de respuesta geométrica y espectral a partir de una respuesta al segundo haz de luz y analizar esa información a la luz de las definiciones de objetos de seguimiento que han sido generadas previamente por el sistema general. Por ejemplo, la información se puede aplicar como entrada a un clasificador donde las clases del clasificador son las definiciones del objeto de seguimiento generadas previamente por el sistema. Si el clasificador genera una probabilidad superior a un cierto umbral para una clase dada, el sistema reconocería que la respuesta del segundo haz de luz ilumina el objeto de seguimiento asociado con esa clase.

En las realizaciones específicas de la invención, el uso tanto de un aspecto geométrico como de una respuesta espectral de un conjunto de puntos con el fin de definir un objeto de seguimiento proporciona ciertos beneficios tales como la capacidad de distinguir y continuar rastreando objetos que se han fusionado u objetos que han sido ocluidos y, a continuación, se debe volver a rastrear después de emerger. La una o más definiciones de objetos de seguimiento pueden incluir dos definiciones de objetos de seguimiento diferentes correspondientes a dos objetos físicos únicos y específicos. El sistema de seguimiento puede rastrear los dos objetos por separado incluso si son contiguos en una nube de puntos iluminada por el sistema de detección, ya que los dos objetos tienen diferentes composiciones de materiales. El conjunto de composiciones de materiales también puede incluir dos composiciones de materiales diferentes correspondientes a los dos objetos. Por ejemplo, uno de los objetos puede tener una composición de material del 19% de material de piel, del 78% de material de algodón y del 3% de material desconocido, y el segundo de los objetos puede tener una composición de material del 93% de material plástico, del 2% de aluminio y del 5% de material desconocido. Cuando las nubes de puntos de los dos objetos se vuelven contiguas (es decir, los dos objetos se han fusionado o han entrado en contacto entre sí), el seguimiento de los dos objetos en la etapa 309 puede incluir el seguimiento por separado de cada uno de los objetos basándose en su definición de objeto de seguimiento y en una composición de material. En las realizaciones específicas de la invención, un sistema de procesamiento de seguimiento está programado para rastrear los dos objetos.

En las realizaciones específicas de la invención, se transmite un segundo haz de luz multiespectral después de la transmisión del primer haz de luz multiespectral en la etapa 301. El segundo haz de luz multiespectral se puede transmitir con un sistema LiDAR multiespectral. Utilizando una respuesta, de un fotodetector, a un retorno del segundo haz de luz multiespectral y la una o más definiciones de objetos de seguimiento, se puede determinar que uno o más objetos físicos están ocluidos. En las realizaciones específicas de la invención, un sistema de procesamiento de seguimiento está programado para transmitir, con el sistema LiDAR multiespectral, un segundo haz de luz multiespectral y para determinar que uno o más de los objetos físicos están ocluidos. Esto puede ocurrir si, por ejemplo, ninguno de los grupos de puntos iluminados por el segundo haz de luz resulta ser lo suficientemente similar a una de las definiciones de objetos de seguimiento almacenadas.

La Figura 6 presenta un diagrama de bloques de un sistema de seguimiento de objetos que se puede utilizar según las realizaciones específicas de la invención. La Figura 6 proporciona un sistema LiDAR multiespectral para el seguimiento 600 de objetos con un transmisor 601 de haz de luz multiespectral, un fotodetector 602, un sistema 603 de procesamiento de segmentación y un sistema 604 de procesamiento de seguimiento. El fotodetector 602 puede ser un detector de banda ancha configurado para detectar luz en respuesta a todas las diferentes longitudes de onda que pueden ser emitidas por el sistema 600 LiDAR multiespectral. Como se ilustra, tanto el sistema 603 de procesamiento de segmentación como el sistema 604 de procesamiento de seguimiento pueden configurarse para analizar una respuesta del fotodetector 602 a un retorno de un haz de luz multiespectral transmitido por el transmisor 601 de haz de luz multiespectral. El retorno puede ser el reflejo del haz de luz en un objeto 606. El sistema 604 de procesamiento de seguimiento también puede configurarse para transmitir un haz de luz con el transmisor 601 de haz de luz multiespectral. El sistema 600 LiDAR multiespectral también puede incluir una memoria 605 que es accesible para el sistema 603 de procesamiento de segmentación. El sistema de procesamiento de segmentación y el sistema de procesamiento de seguimiento pueden instanciarse en uno o más chips de procesador de propósito general, microcontroladores, conjuntos de chips o circuitos integrados de aplicación específica. La memoria 605 se puede utilizar para almacenar las definiciones de objetos de seguimiento y puede ser una memoria interna del mismo hardware en el que se crea una instancia del sistema 603 de procesamiento de segmentación o en una memoria externa separada tal como un chip de memoria flash.

En las realizaciones específicas de la invención, el sistema LiDAR multiespectral está integrado en un vehículo y los objetos físicos que se rastrean son obstáculos potenciales para el vehículo. Por ejemplo, los obstáculos podrían ser peatones, otros automóviles, señales de tráfico, escombros al borde de la carretera y otros elementos que se encuentren en las carreteras o cerca de ellas. Como se ha mencionado anteriormente, el sistema de seguimiento de objetos puede rastrear la posición de estos objetos en relación con el vehículo sin identificarlos como pertenecientes a ninguna de esas categorías utilizando un clasificador. En las realizaciones específicas de la invención, el sistema LiDAR multiespectral es un sistema de vigilancia, y los objetos físicos que se rastrean son objetos en movimiento en un área de vigilancia. Por ejemplo, los objetos físicos podrían ser animales, personal autorizado o intrusos no autorizados. Cualquier sistema en el que esté integrado el sistema de seguimiento de objetos podría diseñarse para actuar basándose en la detección de un objeto en una ubicación específica, el movimiento y la velocidad del objeto, o el tamaño del objeto. Como ninguna de estas fuentes de información requiere la clasificación del objeto, pueden llevarse a cabo rápidamente. Por ejemplo, el movimiento de un objeto hacia la región prevista de recorrido de un vehículo podría usarse para activar un sistema de frenado de emergencia, mientras que el movimiento de un objeto hacia una zona de interés en un sistema de vigilancia podría hacer que el sistema active un sistema de captura imagen de mayor resolución y de almacenamiento.

Claims

REIVINDICACIONES

1 Un método para el seguimiento (300) de objetos, en el que cada etapa se realiza mediante un sistema (600) lidar multiespectral, que comprende las etapas de:

transmisión (301), con el sistema lidar multiespectral, de un primer haz de luz multiespectral;

el análisis de una respuesta (302), de un fotodetector, a un retorno del primer haz de luz multiespectral; basándose en el análisis de la respuesta: (i) la generación de una nube (303) de puntos con un conjunto de puntos; y (ii) la determinación de un conjunto de respuestas (304) espectrales del conjunto de puntos;

basándose en el conjunto de respuestas espectrales del conjunto de puntos: la determinación de un conjunto de composiciones (305) de materiales para el conjunto de puntos;

basándose tanto en: (i) el conjunto de composiciones de materiales; y en (ii) un aspecto geométrico del conjunto de puntos: la agrupación de puntos (306) en el conjunto de puntos en uno o más grupos; y

la creación de una o más definiciones (307) de objetos de seguimiento utilizando uno o más grupos.
2. - El método de seguimiento de objetos de la reivindicación 1, que comprende además:

la transmisión (308), con el sistema lidar multiespectral y después de la transmisión del primer haz de luz multiespectral, de un segundo haz de luz multiespectral; y

el seguimiento de uno o más objetos (309) físicos utilizando: (i) una respuesta del fotodetector al segundo haz de luz multiespectral; y (ii) la una o más definiciones de objetos de seguimiento.
3. - El método de seguimiento de objetos de la reivindicación 2, en donde:

el sistema lidar multiespectral está integrado en un vehículo; y

uno o más objetos físicos son obstáculos potenciales para el vehículo.
4. - El método de seguimiento de objetos de la reivindicación 2, en donde:

el sistema lidar multiespectral es un sistema de vigilancia; y

el uno o más objetos físicos son objetos en movimiento en un área de vigilancia.
5. - El método de seguimiento de objetos de la reivindicación 2, en donde:

la una o más definiciones de objetos de seguimiento incluyen dos definiciones correspondientes a dos objetos físicos;

el conjunto de composiciones de materiales incluye dos composiciones de materiales diferentes correspondientes a los dos objetos físicos;

los dos objetos físicos son contiguos en la nube de puntos; y

el seguimiento de uno o más objetos físicos incluye el seguimiento separable de los dos objetos físicos.
6. - El método de seguimiento de objetos de la reivindicación 2, que comprende además:

la transmisión (308), con el sistema lidar multiespectral y después de la transmisión del primer haz de luz multiespectral, de un segundo haz de luz multiespectral; y

la determinación de que uno de uno o más objetos físicos está ocluido utilizando: (i) una respuesta del fotodetector al segundo haz de luz multiespectral; y (ii) la una o más definiciones de objetos de seguimiento.
7. - El método de seguimiento de objetos de la reivindicación 1, en donde:

el análisis de la respuesta comprende: la aplicación de un conjunto de filtros de longitud de onda a la respuesta; y el conjunto de filtros de longitud de onda incluye un filtro de paso de banda que deja pasar la luz infrarroja.
8. - El método de seguimiento de objetos de la reivindicación 1, que comprende además:

el almacenamiento de una biblioteca de respuestas espectrales; y

en donde la determinación del conjunto de composiciones de materiales para el conjunto de puntos utiliza la biblioteca de respuestas espectrales.
9. - El método de seguimiento de objetos de la reivindicación 8, en donde:

el conjunto de respuestas espectrales del conjunto de puntos es un conjunto de vectores de respuesta;

la biblioteca de respuestas espectrales es una biblioteca de vectores almacenados; y

la determinación del conjunto de composiciones de materiales para el conjunto de puntos comprende el análisis de la distancia mínima del conjunto de vectores de respuesta y la biblioteca de vectores almacenados.
10. - El método de seguimiento de objetos de la reivindicación 1, que comprende además:

la normalización, basándose en una distancia a los puntos en la nube de puntos, del conjunto de respuestas espectrales del conjunto de puntos en la nube de puntos en un conjunto de respuestas espectrales normalizadas; y en donde la determinación del conjunto de composiciones de materiales para el conjunto de puntos utiliza el conjunto de respuestas espectrales normalizadas.
11. - El método de seguimiento de objetos de la reivindicación 1, que comprende además:

la detección de una condición atmosférica;

la normalización, basándose en la condición atmosférica, del conjunto de respuestas espectrales del conjunto de puntos en la nube de puntos en un conjunto de respuestas espectrales normalizadas; y

en donde la determinación del conjunto de composiciones de materiales para el conjunto de puntos utiliza el conjunto de respuestas espectrales normalizadas.
12. - El método de seguimiento de objetos de la reivindicación 1, en donde:

la una o más definiciones de objetos de seguimiento son una o más definiciones de objetos genéricos; y las etapas utilizadas para generar una o más definiciones de objetos de seguimiento no incluyen ninguna clasificación de objetos.
13. - El método de seguimiento de objetos de la reivindicación 2, en donde:

la etapa de agrupación de puntos del conjunto de puntos en uno o más grupos sólo utiliza el conjunto de composiciones de materiales y un conjunto de distancias; y

la etapa de seguimiento de uno o más objetos físicos no incluye ninguna clasificación de uno o más objetos físicos.
14. - Un método (300) que comprende:

la transmisión (301) de un primer haz de luz multiespectral;

el análisis (302) de un retorno del primer haz de luz multiespectral;

basándose en el análisis de: (i) la generación (303) de un conjunto de puntos con coordenadas tridimensionales; y (ii) la determinación (304) de un conjunto de respuestas espectrales del conjunto de puntos;

basándose en el conjunto de respuestas espectrales del conjunto de puntos: la determinación (305) de un conjunto de composiciones de materiales para el conjunto de puntos; y

la creación (307) de una o más definiciones de objetos de seguimiento utilizando: (i) el conjunto de composiciones de materiales; y (ii) un aspecto geométrico del conjunto de puntos.
15. El método de la reivindicación 14, que comprende además:

la transmisión (308), después de transmitir el primer haz de luz multiespectral, de un segundo haz de luz multiespectral; y

el seguimiento (309) de uno o más objetos físicos utilizando: (i) un retorno del segundo haz de luz multiespectral; y (ii) la una o más definiciones de objetos de seguimiento.
16. Un sistema (600) lidar multiespectral para seguimiento de objetos, que comprende:

un transmisor (601) de haz de luz multiespectral que transmite un primer haz de luz multiespectral;

un fotodetector (602) dispuesto para recibir un retorno del primer haz de luz multiespectral; y

un sistema (603) de procesamiento de segmentación programado para:

analizar una respuesta, de un fotodetector, al retorno del haz de luz multiespectral;

basándose en el análisis de la respuesta: (i) generar una nube de puntos con un conjunto de puntos; y (ii) determinar un conjunto de respuestas espectrales del conjunto de puntos;

basándose en el conjunto de respuestas espectrales del conjunto de puntos: determinar un conjunto de composiciones de materiales para el conjunto de puntos;

basándose tanto en: (i) el conjunto de composiciones de materiales; y en (ii) un aspecto geométrico del conjunto de puntos: agrupar puntos del conjunto de puntos en uno o más grupos; y

crear una o más definiciones de objetos de seguimiento utilizando el uno o más grupos.