ES2686047T3 - Sistema de cámara multilente y método de telemetría ejecutado por el sistema de cámara multilente - Google Patents

Sistema de cámara multilente y método de telemetría ejecutado por el sistema de cámara multilente Download PDF

Info

Publication number
ES2686047T3
ES2686047T3 ES13158677.8T ES13158677T ES2686047T3 ES 2686047 T3 ES2686047 T3 ES 2686047T3 ES 13158677 T ES13158677 T ES 13158677T ES 2686047 T3 ES2686047 T3 ES 2686047T3
Authority
ES
Spain
Prior art keywords
image
region
filter
parallax
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES13158677.8T
Other languages
English (en)
Inventor
Soichiro Yokota
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Application granted granted Critical
Publication of ES2686047T3 publication Critical patent/ES2686047T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)
  • Studio Devices (AREA)

Abstract

Un sistema de cámara (1000) que comprende: dos unidades de cámara (10, 20) que incluyen unos filtros ópticos (12, 22) y unos sensores de imagen (11, 21) respectivos que obtienen imágenes capturadas (10A, 20A, 40) por medio de los filtros ópticos (12, 22), teniendo cada uno de los filtros ópticos (11, 21) múltiples regiones de filtro (12a, 12b, 12c; 22a, 22b, 22c) que incluyen una región de filtro de color, una región de filtro transparente y una región de filtro de densidad neutra, en donde la región de filtro de color está dispuesta en un área que se corresponde con una región superior de las imágenes capturadas, la región de filtro transparente está dispuesta en un área que se corresponde con una región central de las imágenes capturadas y el filtro de densidad neutra (12c; 22c) está dispuesto en un área que se corresponde con una región inferior de las imágenes capturadas (10A, 20A, 40); y en donde las imágenes capturadas se dividen en unas regiones de imagen (40a, 40b, 40c) que se corresponden, respectivamente, con la región de filtro de color, la región de filtro transparente y la región de filtro de densidad neutra; y un procesador de imágenes (30) que está conectado de forma operativa a las dos unidades de cámara (10, 20) y que está configurado para llevar a cabo un cálculo de paralaje en la región de imagen que se corresponde con la región de filtro transparente; llevar a cabo un reconocimiento de objetos basado en la información de color en la región de imagen que se corresponde con la región de filtro de color; y llevar a cabo una detección de gotas de lluvia en la región de imagen que se corresponde con el filtro de densidad neutra.

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Sistema de cámara multilente y método de telemetría ejecutado por el sistema de cámara multilente
Antecedentes
Campo técnico
La presente invención se refiere a un sistema de cámara multilente capaz de obtener una información de paralaje y a un vehículo en el que está montado el sistema de cámara multilente, y a un método de telemetría que se ejecuta por medio del sistema de cámara multilente.
Técnica relacionada
Se han generalizado los sistemas de evitación de colisiones que implican el uso de cámaras estereoscópicas montadas en un vehículo. Se genera una imagen estereoscópica del área situada delante del vehículo usando las cámaras estereoscópicas, y se detecta un obstáculo y se mide la distancia hasta el obstáculo basada en la imagen estereoscópica generada. A continuación, se puede dar una alerta al conductor para que emprenda una acción correctiva para evitar una colisión o para mantener una distancia mínima de seguridad entre vehículos. Como alternativa, el sistema puede accionar un dispositivo de control tal como los frenos y la dirección.
Además, con la mejora del rendimiento de los sensores, tal como mayores resoluciones de imagen, el foco de atención de la detección del entorno de vehículos se ha desplazado de la conducción en vías rápidas a la conducción en ciudad. En la ciudad, el entorno de detección de objetivos está mucho más diversificado en comparación con las vías rápidas. El mayor problema para un procesamiento de reconocimiento en un entorno de detección complejo es que tal diversidad complica el procesamiento, como resultado de lo cual se alarga el tiempo de procesamiento y aumenta el error de reconocimiento de objetos.
En un procesamiento de reconocimiento en la cámara estereoscópica convencional montada en un vehículo, en un primer momento, se detectan bordes sustancialmente en la totalidad de la imagen capturada y se calcula el paralaje para la posición de píxel de borde detectado. A continuación, mediante la ejecución de una agrupación usando la información de paralaje, que es el resultado de cálculo, y la adición de diversos tipos de información al resultado de agrupación, finalmente se detecta el objetivo de reconocimiento.
La figura 9 es un diagrama de flujo que ilustra un proceso general de reconocimiento de objetos usando una información de paralaje. En el presente caso, los objetivos de reconocimiento incluyen un vehículo situado por delante, un peatón, una motocicleta, una bicicleta, una señal de tráfico y un semáforo como un objeto sobre una carretera. Inicialmente, usando una cámara estereoscópica que incluye una unidad de cámara de referencia y una unidad de cámara de comparación como la que se muestra en la figura 1A, se obtiene en la etapa S201 una imagen capturada (una imagen estereoscópica) que incluye una imagen de referencia y una imagen de comparación. A continuación, usando la información de luminancia en la imagen de referencia, en la etapa S208 se reconoce sobre la carretera una línea divisoria (por ejemplo, líneas de color blanco y líneas de color amarillo, incluyendo una línea de parada o stop). Junto con este proceso, en la etapa S202 se calcula el paralaje basado en la imagen de referencia y la imagen de comparación, en la etapa S203 se ejecuta una agrupación usando la información de paralaje y en la etapa S204 se modifica el resultado de agrupación usando el tamaño del objeto tal como el vehículo, el peatón, la motocicleta, la bicicleta, la señal de tráfico y el semáforo.
La figura 10 es una imagen de objeto reconocido que se obtiene por medio de los procesos que se ejecutan en las etapas S201 a S204. En la figura 10, el número de referencia 100 representa el resultado de la agrupación reconocido como el tamaño del objeto vehículo, 101 representa el resultado de la agrupación reconocido como el tamaño de un peatón, de una motocicleta y de una bicicleta y 102 representa el resultado de la agrupación reconocido como el tamaño de una señal de tráfico y de un semáforo. Tal como es evidente a partir de la imagen de objeto reconocido de la figura 10, en particular, debido a que la señal de tráfico y el semáforo son pequeños, a menudo se los reconoce de forma errónea, tal como se indica por medio de las tramas 102'. Además, también se observa el error de reconocimiento de un peatón en una región superior de la imagen en la figura 10, que se indica por medio de la trama 101'.
En la etapa S205 se ejecutan diversos procesos ramificados condicionales sobre estos errores de reconocimiento de objetos y se muestran más adelante en la figura 9. Por ejemplo, en la etapa S205, se calcula la altura de la superficie de la carretera sobre la base de la línea divisoria (la línea de parada o stop) reconocida en la etapa S208, y el resultado de agrupación se modifica usando una información de modelo de objetivo para el peatón y el objeto caído. Además, en la etapa S206, sobre la base de la información de luminancia en la imagen de referencia, se realiza una determinación final relativa al objeto objetivo para la región para la cual se ejecuta la agrupación, usando un refuerzo adaptativo (AdaBoost, Adaptive Boosting). Por último, la posición tridimensional del objeto reconocido se emite en la etapa S207.
5
10
15
20
25
30
35
40
45
50
55
60
65
En los procesos de las etapas S201 a S204, si tiene lugar un error grave de reconocimiento de objetos o si no se puede reconocer el objeto objetivo por separado de forma correcta, se presentan muchos procesos complicados, por ejemplo, se necesitan varios procesamientos ramificados condicionales con posterioridad al procesamiento de reconocimiento, o se ha de volver a visitar el procesamiento de la fase anterior. Por consiguiente, es importante mejorar la tasa de éxito de reconocimiento del cálculo de paralaje y de la agrupación, y reducir al mínimo el error de reconocimiento.
Con el fin de reconocer los objetos en las imágenes, por ejemplo, el documento JP-2004-173195-A propone un sistema de cámara estereoscópica que captura el escenario en torno al vehículo, calcula datos de distancia que representan una distribución bidimensional de la distancia entre una cámara que emite imágenes de color y un objetivo en una región de supervisión, y reconoce otro vehículo que circula por delante en el mismo carril o en un carril adyacente. En el presente caso, se establece una región de luz intermitente que tiene una dimensión preseterminada sobre la base de la posición del vehículo en la imagen de objetivo reconocido y se detecta un píxel que constituye una componente de color de la luz intermitente basado en la imagen de color. Por consiguiente, la luz intermitente y el vehículo cercano se pueden reconocer de forma simultánea usando la información de color y la información de paralaje. Con esta configuración, usando una combinación de la información de color y la información de paralaje, se pueden reconocer de manera precisa y simultánea múltiples objetos.
En el método arriba descrito, al igual que para los objetos de reconocimiento cuya información de color se conoce por adelantado, mediante la detección de las componentes de color de los objetos de reconocimiento basada en la imagen de color obtenida por la cámara de color, se puede detectar el objeto con precisión. No obstante, es necesario proporcionar la cámara de color además de la cámara estereoscópica, establecer la región en la que se reconoce el objeto de color en la imagen y llevar a cabo un procesamiento de reconocimiento adicional usando un algoritmo diferente. Además, con el fin de calcular el paralaje en la totalidad de la imagen y el paralaje en la región de ajuste, respectivamente, se requiere conmutar el parámetro y el algoritmo de cálculo de paralaje. Esta operación complica el procesamiento de cálculo y no puede solucionar el problema antes descrito.
El documento US 2009/0174804 A1 divulga un aparato de captación de imágenes que comprende una pluralidad de porciones de lente y una pluralidad de regiones de captación de imágenes que se proporcionan para corresponderse con las porciones de lente, respectivamente, en donde diferentes filtros de color dan color, cada uno de los cuales permiten la transmisión de solo una longitud de onda característica, sobre una superficie superior de un cristal protector envolvente.
El documento US 6.822.563 B2 divulga un sistema de formación de imágenes de un vehículo para determinar si un objeto o una fuente de luz detectados se encuentran dentro de un límite de tolerancia predeterminado de un objeto designado como objetivo o de una fuente de luz tal como un faro delantero o una luz trasera típicos tanto en intensidad como en ubicación en relación con el vehículo.
El documento WO 2011/049149 A1 divulga un aparato de cámara de determinación de distancia que incluye dos unidades de formación de imágenes que están separadas la una de la otra una distancia previamente determinada y cada una de las cuales está equipada con un filtro de división de regiones, que tienen unas regiones específicamente asignadas a la transmisión de una componente de polarización S o una componente de polarización P de la luz que incide sobre el filtro respectivo.
Sumario
Un objetivo general de la presente invención es proporcionar un aparato de formación de imágenes mejorado y útil en el que se eliminen los problemas anteriormente mencionados. La invención se define por medio de la reivindicación 1. Las reivindicaciones dependientes se refieren a algunas formas de realización preferidas de la invención. Como ejemplo, se divulga un sistema de cámara multilente (1000) novedoso que incluye múltiples unidades de cámara (10, 20) y un procesador de imágenes (30). Las múltiples unidades de cámara (10, 20) incluyen unos filtros ópticos (12, 22) y unos sensores de imagen (11, 21) respectivos que obtienen imágenes capturadas (10A, 20A, 40) por medio de los filtros ópticos (12, 22). Cada uno de los filtros ópticos (12, 22) tiene múltiples regiones de filtro (12a, 12b, 12c; 22a, 22b, 22c) cuyas características ópticas difieren, respectivamente. El procesador de imágenes (30), que está conectado de forma operativa a las múltiples unidades de cámara (10, 20), ejecuta diferentes tipos de procesamiento de imágenes sobre la imagen capturada (10A, 20A, 40) para formar una imagen (40) que contiene múltiples regiones de imagen (40a, 40b, 40c) cuyas características difieren dependiendo de las características ópticas de las regiones de filtro (12a, 12b, 12c; 22a, 22b, 22c).
En otro aspecto a modo de ejemplo de la presente divulgación, se divulga un vehículo (50), que incluye el sistema de cámara multilente (1000) antes descrito para reconocer diversos tipos de objetivos (40b-0, 40b-1, 40a-2, 40c-4) que están colocados por delante del vehículo (50), y una unidad de control de conducción de vehículo (58) para controlar la dirección y el frenado del vehículo (50) basándose en el resultado de reconocimiento del procesador de imágenes (30).
5
10
15
20
25
30
35
40
45
50
55
60
65
De acuerdo con aún otro aspecto a modo de ejemplo de la presente divulgación, se proporciona un método de telemetría en un sistema de cámara multilente (1000) que tiene múltiples unidades de cámara (10), incluyendo respectivos filtros ópticos (12, 22) y sensores de imagen (11, 21) que obtienen imágenes capturadas (40) por medio de los filtros ópticos (12, 22), teniendo cada uno de los filtros ópticos (12, 22) múltiples regiones de filtro (12a, 12b, 12c; 22a, 22b, 22c) cuyas características ópticas difieren, respectivamente. Comprendiendo el método las etapas de: capturar imágenes (10A, 20A, 40); dividir cada una de las imágenes capturadas (10A, 20A, 40) en múltiples regiones (40a, 40b, 40c) que se corresponden con las regiones de filtro (12a, 12b, 12c; 22a, 22b, 22c) respectivas; calcular una información de paralaje para una primera región de imagen (40b) en la imagen capturada (40) en la que se encuentra presente un primer objeto objetivo (40b-0, 40b-1); llevar a cabo una agrupación usando la información de paralaje para la primera región de imagen (40b); reconocer un segundo objeto objetivo (40a-2) para una segunda región de imagen (40a) en la imagen capturada (40) al tiempo que se calcula la información de paralaje y se lleva a cabo una agrupación usando la información de paralaje para la primera región de imagen (40b); modificar el resultado de la agrupación; calcular una información de paralaje solo para el área en la que se reconoce el segundo objeto objetivo (40a-2) en la segunda región de imagen (40a), al tiempo que se modifica el resultado de la agrupación para la primera región de imagen (40b); y reconocer en tres dimensiones los objetivos (40n-0, 40b-1, 40a-2) en la primera región de imagen (40b) y la segunda región de imagen (40a) en la imagen capturada (40).
Breve descripción de los dibujos
Una apreciación más completa de la divulgación y de muchas de las ventajas concomitantes de la misma se conseguirá fácilmente a medida que se vaya entendiendo mejor por referencia a la siguiente descripción detallada cuando se considere en relación los dibujos adjuntos, en los que:
la figura 1A es una vista esquemática que ilustra una cámara estereoscópica en un sistema de cámara estereoscópica de acuerdo con una presente divulgación;
la figura 1B es un diagrama ampliado que ilustra un sensor de imagen y un filtro óptico en cada una de las unidades de cámara que se muestran en la figura 1A;
la figura 2 es una fotografía de una imagen obtenida por medio del sistema de cámara estereoscópica que se muestra en la figura 1B;
la figura 3 es un diagrama de bloques que ilustra una configuración de un procesador de imágenes en el sistema de cámara estereoscópica que se muestra en la figura 1A;
la figura 4 es una vista básica que ilustra la cámara estereoscópica que se muestra en la figura 1A;
la figura 5 es un diagrama de flujo que ilustra un proceso ejecutado por el sistema de cámara estereoscópica que
se muestra en la figura 1B;
la figura 6A es un diagrama de sincronismo que ilustra un ejemplo comparativo de un sistema de cámara estereoscópica en el que el paralaje se calcula para la totalidad de una imagen capturada; la figura 6B es un diagrama de sincronismo que ilustra el sistema de cámara estereoscópica que se muestra en la figura 1B, en el que el paralaje se calcula solo para una región predeterminada de la imagen capturada; la figura 7 es una imagen de paralaje después de que se haya calculado el paralaje y se haya ejecutado la agrupación en el ejemplo comparativo mostrado en la figura 6A;
la figura 8 es un diagrama esquemático que ilustra un vehículo en el que está montado el sistema de cámara estereoscópica que se muestra en la figura 1A;
la figura 9 es un diagrama de flujo que ilustra un proceso de la técnica relacionada de reconocimiento de objetos usando una información de paralaje; y
la figura 10 es una imagen de objeto reconocido obtenida mediante los procesos ejecutados en las etapas S201 a S204 que se muestran en la figura 9.
Descripción detallada
Al describir las formas de realización preferidas que se ilustran en los dibujos, se emplea una terminología específica por razones de claridad. No obstante, no se pretende que la divulgación de la presente memoria descriptiva de patente esté limitada a la terminología específica que se ha seleccionado de este modo, y se ha de entender que cada elemento específico incluye todos los equivalentes técnicos que tengan la misma función, funcionen de una forma similar y logren un resultado similar.
Haciendo referencia a continuación a los dibujos, en los que números de referencia semejantes designan partes idénticas o correspondientes en la totalidad de sus diversas vistas y, en particular, a las figuras 1A a 8, se describe un sistema de cámara estereoscópica de acuerdo con algunas formas de realización ilustrativas de la presente divulgación.
Las figuras 1A y 1B ilustran un ejemplo de un dispositivo de cámara estereoscópica 1 en un sistema de cámara estereoscópica (un sistema de telemetría) 1000. En la figura 1A, el sistema de telemetría 1000 incluye el dispositivo de cámara estereoscópica 1 y un procesador de imágenes 30 que está conectado de forma operativa al dispositivo de cámara estereoscópica 1. El dispositivo de cámara estereoscópica 1 incluye una unidad de cámara de referencia 10 y una unidad de cámara de comparación 20, que están dispuestas, cada una, sobre lados opuestos del dispositivo de cámara estereoscópica 1. La unidad de cámara de referencia 10 incluye un sensor de imagen (un
5
10
15
20
25
30
35
40
45
50
55
60
elemento de captación de imágenes) 11, un filtro óptico 12 que está dispuesto sobre el sensor de imagen 11, y una lente 13 que concentra la luz sobre el sensor de imagen 11. De forma similar, la unidad de cámara de comparación 20 incluye un sensor de imagen (un elemento de captación de imágenes) 21, un filtro óptico 22 que está dispuesto sobre el sensor de imagen 21, y una lente 23 que concentra la luz sobre el sensor de imagen 21.
En el sistema de telemetría 1000, el procesador de imágenes 30 lleva a cabo un cálculo de paralaje y un reconocimiento de imagen sobre la base de una imagen capturada (una imagen de sensor) obtenida por las unidades de cámara 10 y 20. El sistema de cámara estereoscópica 1000 funciona como un aparato de telemetría que captura el mismo objeto desde diferentes puntos de vista, y que mide una distancia hasta el objeto y calcula una posición del objeto, usando el hecho de que el foco sobre la imagen de sensor cambia dependiendo de la distancia hasta el objeto.
La figura 1B es un diagrama ampliado que ilustra el sensor de imagen (11) y el filtro óptico 12 (22) en las unidades de cámara 10 (20) respectivas. En la figura 1B, el filtro óptico 12 de la unidad de cámara de referencia 10 tiene una configuración idéntica a la del filtro óptico 22 de la unidad de cámara de comparación 20. Por lo tanto, las imágenes que se obtienen por medio de los sensores de imagen 11 y 21 tienen las mismas características básicas. Cada uno del filtro óptico 12 en la unidad de cámara de referencia 10 y el filtro óptico 22 en la unidad de cámara de comparación 20 es un tipo especial de filtro complejo, que está dividido en una región de filtro de color 12a (22a), una región de filtro transparente 12b (22b) y una región de filtro de densidad neutra (ND, neutral density) 12c (22c). Por consiguiente, la información de color se puede detectar usando la región de filtro de color 12a, y la información de luminancia se puede detectar mediante usando la región de filtro transparente 12b y la región de filtro de ND 12c.
La figura 2 es una fotografía de una imagen estereoscópica (una imagen capturada) 40 obtenida por el sistema de cámara estereoscópica 1000 que se muestra en la figura 1. La imagen estereoscópica 40 obtenida por el dispositivo de cámara estereoscópica 1 está dividida en regiones de imagen 40a, 40b y 40c, que reflejan las características de las regiones de filtro 12a (22a), 12b (22b) y 12c (22c) respectivas. Hay que señalar que, proporcionando la región de filtro transparente 12b (12b) en una región de imagen central 40b de la imagen 40, las otras regiones superiores e inferiores se pueden formar por medio de diferentes filtros y las regiones se pueden formar de forma apropiada dependiendo de la información que se va a detectar. Además, la división de la imagen capturada no se limita a la dirección horizontal; como alternativa, las regiones de la imagen se pueden dividir en una dirección vertical.
En la figura 2, la región de imagen 40a en la imagen estereoscópica 40, que sirve como una segunda región de imagen, es una región correspondiente de un filtro de color (una región de imagen de filtro de color) que se obtiene mediante la concentración de la luz sobre el sensor de imagen 11 (21) que pasa a través de la región de filtro de color 12a. La región de imagen 40b, que sirve como una primera región de imagen, es una región que se corresponde con un filtro transparente (región de imagen de filtro transparente) que se obtiene concentrando la luz sobre el sensor de imagen 11 (21) que pasa a través de la región de filtro transparente 12b (22b). La región de imagen 40c, que sirve como una tercera región de imagen, es una región correspondiente de un filtro de ND (región de imagen de filtro de ND) que se obtiene concentrando la luz sobre el sensor de imagen 11 (21) que pasa a través de la región de filtro de ND 12c (22c). En la imagen estereoscópica 40 que tiene múltiples características ópticas diferentes, el cálculo de paralaje se lleva a cabo para la región de imagen de filtro transparente 40b. La región de imagen de filtro transparente 40b es la región en la que se detectan los tamaños del objeto (primer objeto objetivo), tal como un vehículo de delante 40b-0, un peatón, una motocicleta y una bicicleta 40b-1. Cuando el sistema de cámara estereoscópica 1000 está montado en un vehículo, la región 40b que se corresponde con la región de filtro transparente 12b se determina en la imagen capturada 40 considerando una pendiente, las alturas del vehículo 40b- 0 y de un peatón 40b-1 en torno al punto de desvanecimiento en la imagen capturada 40 en una dirección vertical.
La información de paralaje es muy eficaz para reconocer el vehículo 40b-0 y el peatón 40b-1, y mediante el cálculo del paralaje (la distancia) con una resolución de imagen alta, el objeto se puede separar con un alto grado de precisión y se vuelve posible un reconocimiento de larga distancia. Además, con el fin de calcular la colisión con otro vehículo 40b-0, peatón o bicicleta 40b-1, es necesario calcular la distancia hasta el objeto. Por consiguiente, es preferible que el filtro transparente 12b se establezca para esta región (la región central) y que la información de paralaje se use de forma agresiva para un procesamiento de reconocimiento.
Por otro lado, los objetos (un segundo objeto objetivo) tales como una señal de tráfico y un semáforo 40a-2 en la región superior 40a en la imagen estereoscópica 40 son pequeños y, por esa razón, a menudo se reconocen erróneamente sobre la base de la información de paralaje. A la inversa, debido a que se determinan los colores del semáforo y de la señal de tráfico 40a-2, diferentes del color del vehículo, usando la información de color de forma más agresiva que la información de paralaje se puede reconocer eficazmente el objeto 40a-2. Por lo tanto, el filtro de color 12a se proporciona en la región superior y las unidades de cámara 10 (20) capturan esta región de imagen superior 40a como una imagen de color.
5
10
15
20
25
30
35
40
45
50
55
60
En el presente caso, cuando la información de paralaje se calcula usando la información de color, es necesario ejecutar un cálculo de paralaje multidimensional, usando RGB e YCRCR, y es necesario cambiar el tiempo de procesamiento y el algoritmo. Por consiguiente, en un primer momento, la señal de tráfico/el semáforo 40a-2 se reconoce sobre la base de la región de imagen superior de filtro de color 40a y, a continuación, si es necesario se ejecuta el proceso de cálculo de paralaje usando la imagen de color.
Además, para la región de imagen inferior 40c, como la región más estrecha que no se usa para el reconocimiento de imagen. En la figura 2, se observa un gancho en la región de imagen inferior 40c en la imagen estereoscópica 40. El filtro de ND 12c que designa como objetivo solo una longitud de onda de la luz (información de luminancia) emitiendo luz de LED está establecido en la región de imagen inferior 40c. Por lo tanto, las gotas de lluvia 40c-4 se pueden detectar usando la región de imagen innecesaria (la región de imagen de filtro de ND) 40c en la imagen estereoscópica 40. Como alternativa, si la región de imagen inferior 40c se usa como el reconocimiento de imagen, se establece un objetivo a un alcance muy corto. En este caso, debido a que el objeto en la fotografía (la imagen) es grande en esta región de imagen inferior 40c, el cálculo de paralaje se ejecuta al ajustar la imagen de manera aproximada.
Tal como se ha descrito anteriormente, en el dispositivo de cámara estereoscópica 1, el proceso de cálculo de paralaje y el método de uso son variables para las regiones divididas ópticamente 40a, 40b y 40c, y se usa de forma activa la otra información de imagen (información de color, información de luminancia). Por consiguiente, se puede mitigar el error de reconocimiento de objetos, se mejora la tasa de éxito de reconocimiento y se pueden disminuir el coste y el espacio del sistema de cámara estereoscópica 1000 y del sistema de control de vehículo.
La figura 3 es un diagrama que ilustra una configuración del procesador de imágenes 30 en el sistema de cámara estereoscópica 1000. Tal como se ilustra en la figura 3, el procesador de imágenes 30 incluye una unidad de cálculo de paralaje 31, una memoria de acceso aleatorio (RAM, random access memory) 32, una unidad de procesamiento central (CPU, central processing unit) 33 y una RAM 34. La RAM 32 funciona como una memoria intermedia de tramas en la que se introducen una imagen de referencia 10A obtenida por la unidad de cámara de referencia 10 y una imagen de comparación 20A obtenida por la unidad de cámara de comparación 20. La unidad de cálculo de paralaje 31 está constituido por una disposición de puertas programable en campo (FPGA, field programmable gate array) o un circuito integrado específico de la aplicación, ASIC (application specific integrated circuit). La CPU 33 ejecuta un procesamiento de reconocimiento basado en las componentes de píxeles color (componentes de píxeles de RGB) en la imagen de referencia 10A que se pasa a través de la región de filtro de color 12a y las componentes de píxeles de color en la imagen de comparación 20A que se pasa a través de la región de filtro de color 22a. La RAM 34 almacena, de forma temporal, datos y datos de proceso ejecutados por la CPU 33.
El proceso ejecutado por la unidad de cálculo de paralaje 31 lo puede ejecutar la CPU 33. No obstante, considerando la velocidad de procesamiento, es preferible que el proceso de cálculo de paralaje lo ejecute la configuración de soporte físico. En el proceso de la unidad de cálculo de paralaje 31, si se produce un error grave de reconocimiento de objetos y la unidad de cálculo de paralaje 31 no puede separar correctamente el objeto, se presentan muchos procesos complicados, por ejemplo, se necesita un procesamiento ramificado condicional con posterioridad a los procesos de reconocimiento, o se ha de volver a visitar el procesamiento de la fase anterior. Por lo tanto, la CPU de fase siguiente 33 se vuelve costosa y se alarga el tiempo de procesamiento. Con el fin de responder a este problema, es muy importante mantener un proceso simple en la unidad de cálculo de paralaje 31, mejorar la tasa de éxito de reconocimiento del proceso de cálculo de paralaje, reducir el error de reconocimiento de objetos y, a continuación, aliviar la carga de procesamiento sobre la cPu 33 posterior.
No obstante, la importancia de la unidad de cálculo de paralaje 31 se vuelve más significativa en la ciudad en la que se reconocen como objetivos el vehículo 40b-0, el peatón, la motocicleta y la bicicleta 40b-1 y el semáforo/la señal de tráfico 40a-2, que en la vía rápida en la que principalmente solo se detecta el vehículo de delante. Por consiguiente, el método del proceso de cálculo de paralaje se establece de modo variable, y usando de modo agrasivo otro método, la disminución en el error de reconocimiento de objetos y la mejora en la tasa de éxito de reconocimiento se vuelven factibles y se pueden disminuir el coste y el espacio del sistema de cámara estereoscópica 1000 y del sistema de control de vehículo.
La figura 4 es una vista básica que ilustra el dispositivo de cámara estereoscópica 1. El procesador de imágenes 30 computa una distancia hasta los objetos usando una longitud de referencia (la distancia entre la unidad de cámara de referencia 10 y la unidad de cámara de comparación 20) B, una longitud focal f, un paralaje (la diferencia en el punto focal desde el punto de vista) d y una distancia Z hasta el objeto. El paralaje (la disparidad) d se calcula basándose en la siguiente fórmula 1.
imagen1
5
10
15
20
25
30
35
40
45
50
55
60
En la fórmula 1, un número de referencia d representa una posición correspondiente entre la imagen de referencia 10A obtenida por la unidad de cámara de referencia 10 y la imagen de comparación 20A obtenida por la unidad de cámara de comparación 20. En general, la posición d se calcula mediante una puesta en correspondencia de bloques usando píxeles de proximidad en torno a un píxel de atención. Por ejemplo, suponiendo que el tamaño de bloque de una trama que contiene los píxeles de proximidad se establece a un bloque de 9 x 9, el paralaje d se calcula basándose en la suma de diferencias absolutas (SAD, sum of absolute differences) como la que se representa como la siguiente fórmula 2.
9 9
I -(2)
7=1 M
Al igual que para un método de puesta en correspondencia de bloques, que no sea SAD, se proponen diversos métodos, tales como Suma de Diferencias al Cuadrado (SSD, Sum of Squared Differences), Correlación Cruzada Normalizada (NCC, Normalized Cross Correlation) y Suma de Diferencias Absolutas de Media Nula (ASAD, Zero- mean Sum of Absolute Differences), y se puede usar cualquier método para la presente divulgación.
Usando este método de cálculo de paralaje de puesta en correspondencia de bloques, los píxeles en la imagen de comparación (o la imagen compuesta interpolada sub-píxel decimal) se calculan uno a uno para un píxel objetivo en la imagen de referencia, y la posición con una mayor correlación se computa como el paralaje “d”.
Tal como se ha descrito anteriormente, para buscar en el paralaje acerca de determinados píxeles, se necesita un proceso para los píxeles que se corresponden al menos iguales o por encima del paralaje d supuesto y, por lo tanto, se requiere una enorme cantidad de tiempo. Por ejemplo, suponiendo que una longitud (anchura) de búsqueda w en la que se busca el paralaje d mientras el píxel se desplaza por un píxel es de 64 píxeles, el tiempo de procesamiento para ejecutar un cálculo de paralaje para una determinada imagen lleva 64 veces más tiempo que el tiempo de procesamiento para un píxel, incluso si el periodo de tiempo en el que se busca el paralaje d para 1 píxel se establece a 1 ciclo de reloj. No obstante, en general, es imposible el ajuste de un período de tiempo a 1 ciclo de reloj en el que se busque un valor de correlación para 1 píxel, y el tiempo de procesamiento se aumenta exponencialmente sobre la base del tamaño de bloque que se usa para calcular el valor de correlación. Por lo tanto, la reducción del tiempo de cálculo de paralaje es una cuestión importante. El cálculo de paralaje se representa de forma general como la siguiente fórmula 3.
imagen2
En la fórmula, T representa un tiempo de cálculo de paralaje para una imagen, N representa el número de píxeles del cálculo de paralaje, t representa un tiempo de cálculo relacionado por píxel y w representa la anchura de búsqueda. Esta fórmula de cálculo 3 se corresponde con un proceso en la etapa S202 de la figura 9, y acortar este tiempo de procesamiento es una de las formas de dar solución a la cuestión. Con el fin de solucionar esta cuestión, en la presente realización, este cálculo de paralaje se ejecuta solo para la región de imagen de filtro transparente 40b.
La figura 5 es un diagrama de flujo que ilustra un proceso en el sistema de cámara estereoscópica 1 de la presente divulgación. Inicialmente, la unidad de cámara de referencia 10 y la unidad de cámara de comparación 20 capturan la imagen de referencia 10A y la imagen de comparación 20A como imágenes estereoscópicas (imágenes capturadas) en la etapa S100. A continuación, cada una de la imagen de referencia 10A y la imagen de comparación 20A se divide basándose en la componente de filtro de los filtros 12 y 22 que se muestran en la figura 1B en la etapa S101. Al pasar las regiones de filtro 12a, 12b y 12c respectivas, se ejecutan diferentes procesos para las regiones de imagen 40a, 40b y 40 cuyas características ópticas difieren, respectivamente.
< Proceso en la región de imagen de filtro transparente 40b >
En la imagen que se muestra en la figura 2, los dos elementos de información de luminancia de las regiones de imagen de filtro transparente 40b en la imagen de referencia 10A (40) y la imagen de comparación 20A (40) se introducen en la unidad de cálculo de paralaje 31 mostrada en la figura 3, y el cálculo de paralaje usando la imagen de luminancia (información de luminancia) que se describe con la figura 4 se ejecuta en la etapa S102. En particular, debido a que el proceso de cálculo de paralaje en la etapa S102 necesita mucho tiempo, a pesar de que el proceso es sencillo, es necesario ejecutar el proceso de cálculo de paralaje por medio de la configuración del soporte físico. A continuación, en la unidad de cálculo de paralaje 31, usando la región de imagen de filtro transparente 40b en la imagen de referencia 10A, para reconocer la línea divisoria (la línea de parada o stop) en la carretera en la etapa S103a y para ejecutar la agrupación en la etapa S103a, usando la información de paralaje calculada en la etapa S103b. Los resultados de agrupación se modifican en la etapa S104 basándose en el tamaño del propio vehículo y en los tamaños de los objetos tales como un vehículo 40b-0, un peatón, una motocicleta y una bicicleta 40b-1.
5
10
15
20
25
30
35
40
45
50
55
60
65
A continuación, usando la información de un modelo de objetivo, los resultados de agrupación se modifican en la etapa S105. Por ejemplo, la altura de la carretera se calcula sobre la base de los datos de la línea divisoria 40b-3 reconocida en la etapa S103a, y los objetos 40b-0 y 40b-1 sobre la línea divisoria 40b-3 se usan como el modelo de objetivo. A continuación, basándose en la información de luminancia de la imagen de referencia 10A, se realiza una determinación final en la etapa S107 en lo que respecta a los objetos objetivo 40b-0 y 40b-1 para la región para la que se ejecuta la agrupación, usando un refuerzo adaptativo (AdaBoost, Adaptive Boosting). Con estos procesos, la unidad de cálculo de paralaje 31 emite en la etapa S107 las posiciones tridimensionales de los objetos 40b-0 y 40b-1 reconocidos.
< Proceso en la región de imagen de filtro de color 40a >
En el presente caso, el proceso para la región de imagen de filtro de color (la región central) 40a no se ejecuta en la unidad de cálculo de paralaje 31, sino que los datos se transmiten a la CPU 33 y la CPU 33 ejecuta un procesamiento de reconocimiento del semáforo y de la señal de tráfico 40a-2 en la región de imagen de filtro de color 40a. Usando la región de imagen de filtro de color 40a de la imagen de referencia 10A (40) dividida en la etapa S101, la CPU 33 reconoce el semáforo y la señal de tráfico 40a-2 en la etapa S110. A continuación, la CPU 33 lleva a cabo en la etapa S111 el cálculo de paralaje solo para el área de resultado en la que se reconoce al menos uno del semáforo y de la señal de tráfico 40a-2, usando la información de color detectada tanto en la imagen de referencia 10A como en la imagen de comparación 20A. La CPU 33 emite en la etapa S112 las posiciones tridimensionales acerca de los objetos reconocidos del semáforo y de la señal de tráfico 40a-2.
Tal como se ha descrito anteriormente, la unidad de cálculo de paralaje 31 lleva a cabo el cálculo de paralaje para el área de resultado en la región de imagen de filtro de color 40a, reconocida por la CPU 33. En este instante se necesita la unidad de cálculo de paralaje 31 para llevar a cabo el cálculo de paralaje para la región de imagen de filtro de color 40a cuyo tipo es diferente del que se ejecuta para la región de imagen de filtro transparente 40b.
Debido a que la imagen de color se representa como R, G, B o YCnCr, la información de color que se usa para el cálculo de paralaje no es una dimensión, como la información de luminancia de la imagen monocroma. En general, se requiere que el cálculo de paralaje para la imagen de color lleve más de 3 veces más tiempo que el de la imagen de luminancia.
Además, en el cálculo de paralaje para la imagen de color, a pesar de que se puede mitigar el error de reconocimiento de objetos debido a que el proceso de puesta en correspondencia se lleva a cabo sobre la base de la información de multiplexación, el paralaje no se puede calcular para la totalidad de los píxeles, a diferencia de la región de imagen de filtro transparente 40b. Además, los puntos enfocados que se pasan a través de las lentes 11 y 21 no son uniformes en la totalidad de los píxeles, a diferencia de la imagen de luminancia y, por lo tanto, la medición de la distancia con un alto grado de precisión no resulta factible. Por lo tanto, esta lente de color no es adecuada para calcular el paralaje para los objetos lejanos. Por consiguiente, es preferible que el paralaje se calcule solo para el área reconocida en la región de imagen de filtro de color 40a en la que se reconocen los objetos del semáforo/la señal de tráfico 40a-2 mediante el uso de la información de color.
Además, cuando el paralaje se calcula para la porción reconocida de la región de imagen de filtro de color 40a, debido a que el fin en uso es diferente del cálculo de paralaje para la información de luminancia en la región de imagen de filtro transparente 40b, un algoritmo y un parámetro adecuados del cálculo de paralaje para la imagen de color son diferentes de los de la imagen de luminancia.
Por ejemplo, cuando se detectan los objetos de color 40a-2 en la imagen, es necesario calcular inicialmente el paralaje en la totalidad de la imagen y, a continuación, medir la distancia hasta el objeto 40a-2, considerando la dispersión del paralaje de color. Por consiguiente, es preferible que la puesta en correspondencia de bloques se aplique para la imagen en la que es grande la diferencia de imagen entre los píxeles o entre los píxeles adyacentes, usando un método más sencillo.
Por el contrario, cuando parece que un determinado objeto se obtiene en una determinada porción de la imagen de referencia 10A, la totalidad de esa porción se trata como un conglomerado individual y se busca en la imagen de comparación 20A un conglomerado que tenga unas características idénticas a las del conglomerado obtenido. Al igual que para estos métodos, para este cálculo de paralaje no es eficaz una puesta en correspondencia de bloques sino, por ejemplo, una correlación de limitación de fase usando unas características de frecuencia espacial.
< Proceso en la región de imagen de filtro de ND 40c >
Al igual que para la región de imagen de filtro de ND 40c, los datos no se ejecutan en la unidad de cálculo de paralaje 31 sino que se transmiten a la CPU 33, y la CPU 33 reconoce las gotas de lluvia 40c-4. La CPU 33 no ejecuta el cálculo de paralaje debido a que no es necesario que se halle la distancia hasta las gotas de lluvia 40c-4. En la etapa S120, la CPU 33 reconoce las gotas de lluvia 40c-4 usando la imagen de luminancia para la región de imagen de filtro de ND 40c en la imagen de referencia 10A en la etapa S120. A continuación, la CPU 33 emite en la etapa S121 los resultados de detección para las gotas de lluvia 40c-4.
5
10
15
20
25
30
35
40
45
50
55
60
65
Las figuras 6A y 6B son unos diagramas de sincronismo que ilustran los elementos del proceso de medición de distancia (determinación de distancia) en el sistema de cámara estereoscópica. La figura 6B ilustra unos flujos respectivos en el sistema de cámara estereoscópica 1000 en el que el paralaje se calcula solo para las regiones 40b y el área previamente determinada de la región 40a en la imagen capturada 40 que se muestra en la figura 1B.
La figura 6A es un diagrama de sincronismo que ilustra un ejemplo comparativo de un sistema de cámara estereoscópica en el que la unidad de cálculo de paralaje ejecuta en la etapa de proceso S300 el cálculo de paralaje y la agrupación para la totalidad de las imágenes sobre la base de la luminancia, ejecuta en la etapa S301 un procesamiento de reconocimiento para la imagen de color obtenida por la cámara de color establecida por separado, y modifica los resultados de proceso en el proceso en la etapa S303 sobre la base del resultado de reconocimiento del proceso en la etapa S301. En el flujo que se muestra en la figura 6A, el cálculo de paralaje y la agrupación se ejecutan para la totalidad de la imagen sobre la base de la luminancia, ocupando este proceso en la etapa 300 3 tramas. La imagen de paralaje ejecutada por el proceso en la etapa 300 se ilustra en la figura 7. La figura 7 es una imagen de paralaje después de que se haya calculado el paralaje y se haya ejecutado la agrupación en la figura 6A. Reconocer la imagen de color lleva un largo tiempo de procesamiento y da lugar a muchos errores de reconocimiento de objetos.
Por el contrario, en la presente realización, los filtros ópticos 12 y 22 están constituidos por un tipo especial del filtro óptico (un filtro óptico complejo) tal como se ilustra en la figura 1B, y se aplica convenientemente la lógica de cálculo de paralaje a las regiones respectivas. Por consiguiente, el proceso de reconocimiento del color y de cálculo del paralaje se puede ejecutar por medio de solo una imagen de cámara individual 40. Además, se cambia el método de proceso para la región correspondiente y, por lo tanto, se pueden usar de forma eficaz el proceso en la CPU 33 y la unidad de cálculo de paralaje 31, tal como se ilustra en la figura 6B. Es decir, en la presente realización, la región de imagen de filtro transparente 40b se establece a un tercio en la totalidad de la imagen 40, y el cálculo de paralaje en la unidad de cálculo de paralaje 31 se puede ejecutar dentro de 1 trama que es un tercio del tiempo del proceso de cálculo de paralaje que se muestra en la figura 6A. Con referencia a la figura 6B, después de que se hayan ejecutado los procesos en las etapas S102 y S103 dentro de 1 trama, el proceso en la etapa S112 se puede llevar a cabo en la trama siguiente en la etapa S111.
Junto con estos procesos, la CPU 33 puede llevar a cabo los procesos en las etapas S110 y S120 dentro de una trama y lleva a cabo los procesos en las etapas S101 a S106 dentro de la trama siguiente. En la presente realización, la eficiencia en el proceso es muy alta. Además, añadiendo el reconocimiento para la imagen de color, resulta posible la determinación de la distancia usando la información de color. Esta es la razón por la que la porción de imagen de color adecuada en la que se reconoce el objetivo de semáforo/señal de tráfico 40a-2 en la región de imagen de filtro de color 40a se detecta como la porción reconocida (área de objetivo reconocido) y, a continuación, el cálculo de paralaje se ejecuta solo para la porción reconocida. Cabe señalar que, para que este proceso sea posible, se necesitan una conmutación en el algoritmo de cálculo de paralaje, que se corresponde con la imagen capturada por filtro óptico y el método de reconocimiento, y una conmutación en el parámetro.
En general, cuando se aplican las lógicas de cálculo de paralaje completamente diferentes, se han de poner en práctica diferentes tipos de lógicas de cálculo de paralaje en el soporte físico de cálculo de paralaje (la unidad de cálculo de paralaje). Dependiendo de la precisión requerida de la porción reconocida, se puede usar un algoritmo de puesta en correspondencia de bloques general. En este caso, cuando el algoritmo de puesta en correspondencia de bloques general se aplica a las imágenes cuyas características ópticas son diferentes, el mero cambio del tamaño de bloque no es suficiente para calcular el paralaje.
Por ejemplo, en la región de imagen de color, debido a que la imagen se enfoca sobre los píxeles a través del filtro de color RGB, cuando se usa la imagen primaria cuyo color no se interpola, se cambian las anchuras de búsqueda de las regiones de imagen separada de filtro respectivas, o cuando se usa la imagen cuyo color se interpola, la cantidad de información de píxeles después de que se haya interpolado el color difiere entre las regiones respectivas.
Tal como se ha descrito anteriormente, dividiendo el filtro y la imagen formada en la región central 40b en la que se ejecuta el cálculo de paralaje basándose en la luminancia, la región superior 40a en la que se puede reconocer la imagen de forma bastante eficaz usando la imagen de color, dependiendo de la aplicación y del objetivo de reconocimiento, se puede mitigar el error de reconocimiento de objetos por medio de la unidad de cálculo de paralaje 31 y se puede mejorar la tasa de éxito de reconocimiento.
Además, la lógica del cálculo de paralaje se puede aplicar de manera efectiva para las respectivas regiones divididas, y se pueden reducir los cálculos innecesarios. Además, debido a que la región en la que se ejecuta el cálculo de paralaje usando la información de luminancia puede ser limitada, la carga de procesamiento sobre la unidad de cálculo de paralaje 31 se puede reducir al mínimo, reduciendo de ese modo el coste de la unidad de cálculo de paralaje 31 y de la CPU 33. Además, proporcionando un sensor adicional para detectar las gotas de lluvia 40c-4, se vuelve innecesaria una cámara de color adicional para reconocer la información de color y no es necesario constituir la cámara estereoscópica de color cuya carga de procesamiento es grande. Por consiguiente, la cámara
5
10
15
20
25
30
35
40
estereoscópica de utilidad puede ejecutar múltiples aplicaciones, dando como resultado un coste y un tamaño reducidos del sistema de cámara estereoscópica.
El sistema de cámara estereoscópica 1000 concibe ópticamente los filtros ópticos 12 y 22 de tal modo que la imagen estereoscópica (obtenida) se puede dividir en múltiples regiones que se corresponden con los objetivos de reconocimiento, y los sensores de imagen 11 y 21 pueden capturar la imagen en una forma conveniente para el procesamiento de reconocimiento.
Por consiguiente, organizando el objetivo reconocido, disponiendo las regiones para capturar el objetivo, construyendo el tipo especial de los filtros ópticos (filtros complejos) 12 y 22 adecuados para el reconocimiento, cambiando el algoritmo de la lógica de cálculo de paralaje y cambiando la tasa de imagen de adelgazamiento y el algoritmo de posición detectada de los píxeles ejecutados del cálculo de paralaje de acuerdo con las características de imagen del filtro de tipo especial y el método de reconocimiento, se puede mitigar el error de reconocimiento de objetos y se puede ampliar el objetivo de reconocimiento.
Además, con esta mejora de las características, se puede acelerar la totalidad del proceso. En la forma de realización descrita anteriormente, el sistema de cámara estereoscópica incluye dos lentes de cámara, se pueden aplicar una configuración y un fundamento similares y el sistema de cámara estereoscópica se puede instalar en dos cámaras de medición de distancia (telemetría).
< Vehículo >
La figura 8 es un diagrama esquemático que ilustra un vehículo 50 en el que está montado el presente sistema de cámara estereoscópica 1000 (dispositivo de telemetría). Un sistema de procesamiento de imágenes en el vehículo 50 incluye una unidad de captación 51 para obtener la imagen hacia delante del vehículo 50 y una unidad de análisis de imágenes 52 que calcula la distancia con respecto a otro vehículo que circula delante del vehículo 50 basándose en la imagen capturada en la unidad de captación 51. La unidad de captación de imágenes 51 está situada cerca de un espejo retrovisor del vehículo 50 de tal modo que la unidad de captación de imágenes 51 puede capturar la imagen hacia delante del vehículo 50 que contiene otro vehículo que circula delante del vehículo 50 y calcular una distancia hasta otro vehículo con respecto al vehículo 50. La imagen del vehículo de delante obtenida por la unidad de captación de imágenes 51 es introducida y convertida en la señal de imagen para su emisión a la unidad de análisis de imágenes 52. La unidad de análisis de imágenes 52 analiza la señal de imagen de salida procedente de la unidad de captación de imágenes 51. Al igual que con la unidad de captación de imágenes 51, se puede usar el dispositivo de cámara estereoscópica 1 de la presente realización compuesto por la unidad de cámara de referencia 10 y la unidad de cámara de comparación 20. Como parte de la función de la unidad de análisis de imágenes 52, se pueden aplicar la unidad de cálculo de paralaje 31 y la CPU 33.
Una unidad de control de conducción de vehículo 58 puede controlar la dirección y el freno del vehículo 50 basándose en la distancia con respecto al vehículo de delante calculada por la unidad de análisis de imágenes 52.

Claims (5)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    REIVINDICACIONES
    1. Un sistema de cámara (1000) que comprende:
    dos unidades de cámara (10, 20) que incluyen unos filtros ópticos (12, 22) y unos sensores de imagen (11, 21) respectivos que obtienen imágenes capturadas (10A, 20A, 40) por medio de los filtros ópticos (12, 22), teniendo cada uno de los filtros ópticos (11, 21) múltiples regiones de filtro (12a, 12b, 12c; 22a, 22b, 22c) que incluyen una región de filtro de color, una región de filtro transparente y una región de filtro de densidad neutra, en donde la región de filtro de color está dispuesta en un área que se corresponde con una región superior de las imágenes capturadas, la región de filtro transparente está dispuesta en un área que se corresponde con una región central de las imágenes capturadas y el filtro de densidad neutra (12c; 22c) está dispuesto en un área que se corresponde con una región inferior de las imágenes capturadas (10A, 20A, 40); y
    en donde las imágenes capturadas se dividen en unas regiones de imagen (40a, 40b, 40c) que se corresponden, respectivamente, con la región de filtro de color, la región de filtro transparente y la región de filtro de densidad neutra;
    y un procesador de imágenes (30) que está conectado de forma operativa a las dos unidades de cámara (10, 20) y que está configurado para
    llevar a cabo un cálculo de paralaje en la región de imagen que se corresponde con la región de filtro transparente;
    llevar a cabo un reconocimiento de objetos basado en la información de color en la región de imagen que se corresponde con la región de filtro de color; y
    llevar a cabo una detección de gotas de lluvia en la región de imagen que se corresponde con el filtro de densidad neutra.
  2. 2. El sistema de cámara (1000) de acuerdo con la reivindicación 1, en donde el procesador de imágenes (30) está configurado para llevar a cabo el cálculo de paralaje para múltiples regiones de imagen (40a, 40b) y lleva a cabo el cálculo de paralaje basado en diferentes informaciones de imagen dependiendo de las regiones de imagen (40a, 40b).
  3. 3. El sistema de cámara (1000) de acuerdo con las reivindicaciones 1 o 2, en donde el procesador de imágenes (30) está configurado para reconocer objetos (40a-2, 40b-0, 40b-1, 40c-4) en las imágenes capturadas (40) por medio de múltiples métodos de reconocimiento de imagen diferentes que difieren dependiendo de las regiones de imagen (40a, 40b, 40c).
  4. 4. El sistema de cámara (1000) de acuerdo con la reivindicación 3, en donde el procesador de imágenes (30) está configurado para reconocer los objetos (40a-2, 40b-0, 40b-1, 40b-3) en la imagen capturada (40) usando una información de paralaje, obtenida entre unas primeras regiones de imagen (40b) en las imágenes capturadas (40) en las unidades de cámara (10, 20) respectivas, y una información de color en una segunda región de imagen (40a).
  5. 5. El sistema de cámara (1000) de acuerdo con las reivindicaciones 3 o 4, en donde el procesador de imágenes (30) está configurado para reconocer los objetos (40b-0, 40b-1, 40b-3, 40c-4) en la imagen capturada (40) usando una información de paralaje, obtenida entre unas primeras regiones de imagen (40b) en las imágenes capturadas (40) en las unidades de cámara (10, 20) respectivas, y una información de luminancia en una tercera región de imagen (40c).
ES13158677.8T 2012-03-21 2013-03-12 Sistema de cámara multilente y método de telemetría ejecutado por el sistema de cámara multilente Active ES2686047T3 (es)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012063660 2012-03-21
JP2012063660 2012-03-21
JP2013001370A JP6197291B2 (ja) 2012-03-21 2013-01-08 複眼カメラ装置、及びそれを備えた車両
JP2013001370 2013-01-08

Publications (1)

Publication Number Publication Date
ES2686047T3 true ES2686047T3 (es) 2018-10-16

Family

ID=48013721

Family Applications (1)

Application Number Title Priority Date Filing Date
ES13158677.8T Active ES2686047T3 (es) 2012-03-21 2013-03-12 Sistema de cámara multilente y método de telemetría ejecutado por el sistema de cámara multilente

Country Status (5)

Country Link
US (1) US9420151B2 (es)
EP (1) EP2642429B1 (es)
JP (1) JP6197291B2 (es)
CN (1) CN103322974B (es)
ES (1) ES2686047T3 (es)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5701785B2 (ja) * 2012-02-03 2015-04-15 株式会社東芝 カメラモジュール
US9137517B2 (en) * 2012-10-05 2015-09-15 Blackberry Limited Methods and devices for generating a stereoscopic image
CN105659304B (zh) * 2013-06-13 2020-01-03 移动眼视力科技有限公司 车辆、导航系统及生成并递送导航信息的方法
JP5883833B2 (ja) * 2013-08-05 2016-03-15 富士重工業株式会社 車外環境認識装置
KR20150042574A (ko) * 2013-10-11 2015-04-21 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101611261B1 (ko) * 2013-12-12 2016-04-12 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
WO2015145543A1 (ja) * 2014-03-24 2015-10-01 株式会社日立製作所 物体検出装置、物体検出方法、および移動ロボット
US20150334371A1 (en) * 2014-05-19 2015-11-19 Rockwell Automation Technologies, Inc. Optical safety monitoring with selective pixel array analysis
US9921300B2 (en) 2014-05-19 2018-03-20 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9696424B2 (en) 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US11243294B2 (en) 2014-05-19 2022-02-08 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
EP3150961B1 (en) * 2014-05-28 2023-01-04 Kyocera Corporation Stereo camera device and vehicle provided with stereo camera device
WO2016051981A1 (ja) 2014-09-30 2016-04-07 日立オートモティブシステムズ株式会社 車載画像認識装置
JP2016102733A (ja) * 2014-11-28 2016-06-02 株式会社東芝 レンズ及び撮影装置
JP2018510373A (ja) * 2015-02-10 2018-04-12 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションのための疎な地図
JP6562648B2 (ja) * 2015-02-16 2019-08-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9794543B2 (en) 2015-03-02 2017-10-17 Ricoh Company, Ltd. Information processing apparatus, image capturing apparatus, control system applicable to moveable apparatus, information processing method, and storage medium of program of method
JP6519355B2 (ja) * 2015-06-30 2019-05-29 株式会社デンソー カメラ装置及び車載システム
JP6516012B2 (ja) 2015-09-15 2019-05-22 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US9948857B2 (en) * 2015-10-22 2018-04-17 Samsung Electronics Co., Ltd. Method and device for generating images
EP3382639B1 (en) 2015-11-27 2024-02-21 Ricoh Company, Ltd. Image processing device, image pickup device, apparatus control system, distribution data generation method, and program
WO2017094300A1 (ja) 2015-11-30 2017-06-08 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US10635909B2 (en) * 2015-12-30 2020-04-28 Texas Instruments Incorporated Vehicle control with efficient iterative triangulation
JP6544257B2 (ja) * 2016-02-09 2019-07-17 株式会社リコー 情報処理システム、情報処理方法及び情報処理プログラム
JP6800628B2 (ja) * 2016-06-22 2020-12-16 キヤノン株式会社 追跡装置、追跡方法、及びプログラム
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
CN106355906B (zh) * 2016-11-11 2018-12-11 安徽理工大学 利用凹镜成像聚焦原理调控红绿灯的方法
US10453208B2 (en) 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
JP6922705B2 (ja) * 2017-12-06 2021-08-18 トヨタ自動車株式会社 センサー搭載構造
WO2019119452A1 (zh) * 2017-12-22 2019-06-27 深圳配天智能技术研究院有限公司 图像传感器及其获取图像的方法、智能设备
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
CN111868784B (zh) * 2018-03-22 2023-09-01 日立安斯泰莫株式会社 车载立体摄像机
CN111829484B (zh) * 2020-06-03 2022-05-03 江西江铃集团新能源汽车有限公司 基于视觉的目标距离测算方法
US20220100193A1 (en) * 2020-09-25 2022-03-31 Ford Global Technologies, Llc Vehicle wheelchair loading system
US11790665B2 (en) 2021-04-29 2023-10-17 Hitachi Astemo, Ltd. Data driven dynamically reconfigured disparity map
JP7364269B2 (ja) 2022-03-15 2023-10-18 Ｎｅｃプラットフォームズ株式会社 物体検知装置、画像処理表示方法及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396397B1 (en) * 1993-02-26 2002-05-28 Donnelly Corporation Vehicle imaging system with stereo imaging
US6822563B2 (en) * 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
DE19524936C1 (de) * 1995-07-08 1996-11-21 Leica Ag Vorrichtung zur Darstellung einer rotationssymmetrischen, gaußförmigen Intensitätsverteilung im Strahlenquerschnitt eines Strahlenbündels
JP3691124B2 (ja) 1995-08-23 2005-08-31 フジノン株式会社 測距装置
JP4391624B2 (ja) * 1999-06-16 2009-12-24 本田技研工業株式会社 物体認識装置
JP4641601B2 (ja) * 2000-09-08 2011-03-02 富士通テン株式会社 画像処理装置および画像処理システム
AU2002349455A1 (en) * 2001-12-05 2003-06-17 Hamamatsu Photonics K.K. Light detection device, imaging device and distant image acquisition device
JP4275378B2 (ja) 2002-09-27 2009-06-10 富士重工業株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP4151890B2 (ja) 2002-11-22 2008-09-17 富士重工業株式会社 車両監視装置および車両監視方法
JP2004239886A (ja) * 2002-12-11 2004-08-26 Fuji Xerox Co Ltd 三次元画像撮像装置および方法
JP2005241340A (ja) * 2004-02-25 2005-09-08 Sharp Corp マルチ測距装置
GB0405014D0 (en) * 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
JP2006318059A (ja) * 2005-05-10 2006-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理用プログラム
CN101449574B (zh) * 2006-05-16 2012-01-25 松下电器产业株式会社 摄像装置和半导体电路元件
JP4258539B2 (ja) * 2006-08-31 2009-04-30 株式会社日立製作所 複数画角カメラ
US8423003B2 (en) * 2007-07-11 2013-04-16 Yahoo! Inc. System for serving targeted advertisements over mobile messaging services
JP2009284188A (ja) * 2008-05-22 2009-12-03 Panasonic Corp カラー撮像装置
JP5278819B2 (ja) * 2009-05-11 2013-09-04 株式会社リコー ステレオカメラ装置及びそれを用いた車外監視装置
JP2010276469A (ja) * 2009-05-28 2010-12-09 Konica Minolta Holdings Inc 画像処理装置及び測距装置の画像処理方法
JP5440927B2 (ja) * 2009-10-19 2014-03-12 株式会社リコー 測距カメラ装置
JP5776173B2 (ja) 2010-03-01 2015-09-09 株式会社リコー 撮像装置及び距離測定装置

Also Published As

Publication number Publication date
EP2642429B1 (en) 2018-07-11
EP2642429A2 (en) 2013-09-25
CN103322974B (zh) 2017-09-22
US9420151B2 (en) 2016-08-16
EP2642429A3 (en) 2015-09-02
JP6197291B2 (ja) 2017-09-20
JP2013225289A (ja) 2013-10-31
US20130250109A1 (en) 2013-09-26
CN103322974A (zh) 2013-09-25

Similar Documents

Publication Publication Date Title
ES2686047T3 (es) Sistema de cámara multilente y método de telemetría ejecutado por el sistema de cámara multilente
US10600193B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method and program
JP6833630B2 (ja) 物体検出装置、物体検出方法およびプログラム
US11002537B2 (en) Distance sensor including adjustable focus imaging sensor
US20190205668A1 (en) Object detecting apparatus, object detecting method, and computer program product
EP2919197B1 (en) Object detection device and object detection method
US8908924B2 (en) Exterior environment recognition device and exterior environment recognition method
EP3089442B1 (en) Vehicle-mounted image recognition device
KR20210066025A (ko) 구조화된 광 조명기가 있는 비행-시간 센서
CN107092857B (zh) 图像处理装置
EP3070641B1 (en) Vehicle body with imaging system and object detection method
JP2013206380A (ja) 車外監視装置
JP6704607B2 (ja) 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
KR20150022076A (ko) 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치
US20170116488A1 (en) Method for identifying an incoming vehicle and corresponding system
US20180151154A1 (en) Method and apparatus to prevent glare
US20190102642A1 (en) Method and apparatus for monitoring region around vehicle
CN113748313A (zh) 三维测量系统及三维测量方法
US11200688B2 (en) Imaging apparatus and solid-state imaging device used therein
JP7252755B2 (ja) アクティブセンサ、物体識別システム、車両、車両用灯具
JP2013257244A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
EP3067826A1 (en) Imaging system, image processing system, and object detection method
JP2015195489A (ja) 衝突防止システム、衝突防止方法およびコンピュータプログラム
JP5870266B2 (ja) キャリブレーション装置及びキャリブレーション方法
WO2014054124A1 (ja) 路面標示検出装置及び路面標示検出方法