ES2894728T3

ES2894728T3 - Sistemas y métodos para la regularización de profundidad híbrida

Info

Publication number: ES2894728T3
Application number: ES18756418T
Authority: ES
Inventors: Ankit Jain; Priyam Chatterjee; Kartik Venkataraman
Original assignee: Fotonation Ireland Ltd
Current assignee: Fotonation Ltd
Priority date: 2017-08-21
Filing date: 2018-08-17
Publication date: 2022-02-15
Anticipated expiration: 2038-08-17
Also published as: US11983893B2; US20230334687A1; US20190057513A1; EP3971825A1; WO2019038193A1; US10818026B2; CN111066065B; US10482618B2; US20200151894A1; US20210042952A1; US11562498B2; EP3673461B1; CN118212141A; EP3971825B1; CN111066065A; EP3673461A1

Abstract

Sistema de detección de profundidad, que comprende: una pluralidad de cámaras; un procesador; una memoria que contiene una aplicación de procesamiento de imágenes; en el que la aplicación de procesamiento de imágenes dirige el procesador para: obtener datos de imagen para una pluralidad de imágenes desde múltiples puntos de vista utilizando la pluralidad de cámaras, comprendiendo los datos de imagen para la pluralidad de imágenes una imagen de referencia y por lo menos una imagen de vista alternativa; generar un mapa de profundidad en crudo que contiene estimaciones de profundidad para píxeles dentro de la imagen de referencia utilizando los datos de imagen de la imagen de referencia y los datos de imagen de dicha por lo menos una imagen de vista alternativa utilizando un primer proceso de estimación de profundidad y un mapa de confianza que describa la fiabilidad de las estimaciones de profundidad contenidas dentro del mapa de profundidad en crudo; y generar un mapa de profundidad regularizado mediante: el cálculo de un mapa de profundidad secundario que contiene estimaciones de profundidad para píxeles dentro de la imagen de referencia utilizando un segundo proceso de estimación de profundidad, en el que el segundo proceso de estimación de profundidad calcula la profundidad utilizando los datos de imagen de la imagen de referencia y los datos de imagen de dicha por lo menos una imagen de vista alternativa, mediante la utilización de una técnica de estimación distinta a la del primer proceso de estimación de profundidad; y el cálculo de un mapa de profundidad compuesto mediante la selección de estimaciones de profundidad del mapa de profundidad en crudo y del mapa de profundidad secundario, siendo una estimación de profundidad seleccionada para un píxel de la imagen de referencia del mapa de profundidad en crudo cuando la estimación de profundidad es indicada como fiable por el mapa de confianza.

Description

DESCRIPCIÓN

Sistemas y métodos para la regularización de profundidad híbrida

Campo de la invención

La presente invención se refiere generalmente a la estimación de profundidad de las imágenes y, más concretamente, a sistemas y métodos para la regularización de profundidad híbrida.

Antecedentes

La visión estéreo por ordenador se utiliza en una variedad de contextos para obtener información tridimensional (3D) de una escena utilizando datos de imagen desde dos puntos de vista diferentes. Las aplicaciones de la visión estéreo incluyen elementos de visualización en 3D en entretenimiento, robótica, realidad aumentada y otros contextos para distinguir entre las posiciones de los objetos. Utilizando los principios de paralaje o comparando las posiciones de los objetos dentro de dos vistas diferentes de una escena, puede extraerse información de profundidad relativa para formar un mapa de profundidad que indique las distancias de los objetos de una escena desde un punto de vista.

El documento US 2015/254868 divulga la realización de regularización de profundidad y matificación interactiva semiautomática utilizando imágenes. La aplicación de canalización de procesamiento de imágenes dirige a un procesador para recibir (i) una imagen y (ii) un mapa de profundidad inicial correspondiente a las profundidades de píxeles dentro de la imagen, para regularizar el mapa de profundidad inicial para dar un mapa de profundidad denso que utiliza valores de profundidad de píxeles conocidos para calcular los valores de profundidad de píxeles desconocidos, para determinar un objeto de interés que va a extraerse de la imagen, para generar un trimapa inicial utilizando el mapa de profundidad denso y el objeto de interés que va a extraerse de la imagen y para aplicar matificación de imagen en color a regiones desconocidas del trimapa inicial para generar un mate para la matificación de la imagen.

El documento US 2014/079336 A1 analiza una corrección jerárquica computarizada de artefactos para estéreo multivisión como parte de imágenes de campo luminoso utilizando coincidencia sobre un volumen de coste. Se refinan los valores de profundidad menos seguros. La restauración de imagen de profundidad se realiza en las proximidades, incluido el filtrado bilateral.

Sumario de la invención

Se divulgan sistemas y métodos para la regularización de profundidad híbrida según diversas formas de realización de la invención.

En un aspecto de la invención, se proporciona un sistema de detección de profundidad según la reivindicación 1.

En una forma de realización, el mapa de profundidad compuesto es un primer mapa de profundidad compuesto y la aplicación de procesamiento de imágenes dirige adicionalmente el procesador para generar un mapa de profundidad regularizado calculando un segundo mapa de profundidad compuesto. El segundo mapa de profundidad compuesto se calcula aplicando un filtro de suavizado a las estimaciones de profundidad en el primer mapa de profundidad compuesto; calcular un mapa de bordes utilizando el primer mapa de profundidad compuesto filtrado, en donde el mapa de bordes indica píxeles dentro de la imagen de referencia que forman parte de un borde; y calcular un segundo mapa de profundidad compuesto mediante la selección de estimaciones de profundidad del mapa de profundidad en crudo y el primer mapa de profundidad compuesto filtrado, en donde se selecciona una estimación de profundidad para un píxel de la imagen de referencia del mapa de profundidad en crudo cuando el mapa de bordes indica que la estimación de profundidad se refiere a un píxel de la imagen de referencia que forma parte de un borde.

En otra forma de realización, el filtro de suavizado es un filtro de mediana.

En todavía otra forma de realización, la aplicación de procesamiento de imágenes dirige adicionalmente el procesador para generar un mapa de profundidad regularizado aplicando un filtro de conservación de bordes al segundo mapa de profundidad compuesto.

En todavía otra realización, la aplicación de procesamiento de imágenes dirige adicionalmente el procesador para aplicar un filtro de conservación de bordes a al menos una región del segundo mapa de profundidad compuesto indicado como que contiene una discontinuidad de profundidad por parte del mapa de bordes.

En todavía otra forma de realización, el filtro de conservación de bordes es un filtro bilateral con pesos determinados utilizando el mapa de profundidad en crudo y la imagen de referencia.

En todavía otra forma de realización, la aplicación de procesamiento de imágenes dirige adicionalmente el procesador para calcular el segundo mapa de profundidad compuesto aplicando la detección de bordes al primer mapa de profundidad compuesto filtrado para dar como resultado un mapa de profundidad de bordes detectados; y dilatar el mapa de profundidad de bordes detectados para dar como resultado el mapa de bordes.

En otra forma de realización adicional, la aplicación de procesamiento de imágenes dirige adicionalmente el procesador para generar un mapa de profundidad regularizado identificando un primer conjunto de bordes en la imagen de referencia; identificar un segundo conjunto de bordes en el mapa de bordes, indicando los conjuntos de bordes primero y segundo regiones con discontinuidades de profundidad; calcular un conjunto de pesos para las zonas del segundo mapa de profundidad compuesto sobre la base de los conjuntos de bordes primero y segundo; y aplicar el filtro de conservación de bordes al segundo mapa de profundidad compuesto utilizando el conjunto de pesos.

En otra forma de realización adicional, la aplicación de procesamiento de imágenes también dirige el procesador para generar un mapa de profundidad en crudo que contiene estimaciones de profundidad para píxeles dentro de la imagen de referencia utilizando los datos de imagen de la imagen de referencia y los datos de imagen para dicha por lo menos una imagen de vista alternativa, y un mapa de confianza que describe la fiabilidad de las estimaciones de profundidad contenidas dentro del mapa de profundidad, midiendo el paralaje observable entre la imagen de referencia y dicha por lo menos una imagen de vista alternativa.

En otra forma de realización adicional, la aplicación de procesamiento de imágenes también dirige el procesador para estimar la profundidad sobre la base del paralaje medido observable entre la imagen de referencia y al menos una imagen de vista alternativa midiendo el paralaje comparando la similitud de un píxel en la imagen de referencia con píxeles en dicha por lo menos una imagen de vista alternativa determinada sobre la base de una pluralidad de muestras de profundidad utilizando una función de coste; estimar la profundidad del píxel de la imagen de referencia mediante la identificación de la profundidad muestreada a la que la función de coste de un píxel de la imagen de referencia indica que la coincidencia más fuerte es la profundidad estimada del píxel.

En todavía otra forma de realización adicional, la aplicación de procesamiento de imágenes dirige adicionalmente el procesador para construir un volumen de coste en la memoria utilizando costes determinados utilizando la función de coste en cada profundidad muestreada.

En todavía otra forma de realización adicional, la aplicación de procesamiento de imágenes dirige adicionalmente el procesador para calcular el mapa de profundidad secundario sobre la base del volumen de coste.

En todavía otra forma de realización, la aplicación de procesamiento de imágenes dirige adicionalmente el procesador para calcular el mapa de profundidad secundario utilizando un segundo proceso de estimación de profundidad que comprende el submuestreo de la imagen de referencia y el volumen de coste; y estimar las profundidades para forzar transiciones de profundidad suaves dentro del mapa de profundidad secundario en regiones sin textura de la imagen de referencia utilizando el volumen de coste.

En una forma de realización adicional de nuevo, la aplicación de procesamiento de imágenes dirige adicionalmente el procesador para calcular el mapa de profundidad compuesto determinando que una estimación de profundidad para un píxel del mapa de profundidad en crudo es fiable cuando un valor de confianza para el píxel del mapa de confianza se encuentra por encima de un umbral.

En otra forma de realización de nuevo, la aplicación de procesamiento de imágenes dirige adicionalmente el procesador para identificar al menos una región correspondiente dentro de la imagen de referencia y dicha por lo menos una imagen de vista alternativa utilizando al menos un criterio; generar imágenes binarias con respecto a la imagen de referencia y dicha por lo menos una imagen de vista alternativa sobre la base de la identificación de al menos una región correspondiente; sustraer versiones desplazadas de la imagen de referencia y dicha por lo menos una imagen de vista alternativa cuando los desplazamientos corresponden a una pluralidad de muestras de profundidad para producir una imagen desplazada y sustraída para cada una de entre la pluralidad de muestras de profundidad; identificar los límites dentro de las imágenes desplazadas y sustraídas; identificar zonas de los límites dentro de las imágenes desplazadas y sustraídas; y determinar las estimaciones de profundidad para píxeles en un límite de una región identificada de la imagen de referencia sobre la base de la muestra de profundidad en la que se minimiza la zona del límite de la imagen desplazada y sustraída.

Según un segundo aspecto, se proporciona un método de detección de profundidad según la reivindicación 11.

En todavía otra forma de realización, el mapa de profundidad compuesto es un primer mapa de profundidad compuesto y generar un mapa de profundidad regularizado comprende además calcular un segundo mapa de profundidad compuesto mediante la aplicación de un filtro de suavizado a las estimaciones de profundidad en el primer mapa de profundidad compuesto; calcular un mapa de bordes utilizando el primer mapa de profundidad compuesto filtrado, donde el mapa de bordes indica píxeles dentro de la imagen de referencia que forman parte de un borde; y calcular un segundo mapa de profundidad compuesto mediante la selección de estimaciones de profundidad del mapa de profundidad en crudo y el primer mapa de profundidad compuesto filtrado, donde se selecciona una estimación de profundidad para un píxel de la imagen de referencia del mapa de profundidad en crudo cuando el mapa de bordes indica que la estimación de profundidad se refiere a un píxel de la imagen de referencia que forma parte de un borde.

En todavía una forma de realización adicional de nuevo, el filtro de suavizado es un filtro de mediana.

En todavía otra forma de realización de nuevo, generar un mapa de profundidad regularizado comprende además la aplicación de un filtro de conservación de bordes al segundo mapa de profundidad compuesto.

En otra forma de realización adicional de nuevo, el método de detección de profundidad comprende además la aplicación de un filtro de conservación de bordes a al menos una región del segundo mapa de profundidad compuesto indicado como que contiene una discontinuidad de profundidad por parte del mapa de bordes.

En otra forma de realización adicional de nuevo, el filtro de conservación de bordes es un filtro bilateral con pesos determinados utilizando el mapa de profundidad en crudo y la imagen de referencia.

En otra forma de realización adicional de nuevo, la generación de un mapa de profundidad regularizado comprende además la identificación de un primer conjunto de bordes en la imagen de referencia; identificar un segundo conjunto de bordes en el mapa de bordes, indicando los conjuntos de bordes primero y segundo regiones con discontinuidades de profundidad; calcular un conjunto de pesos para las zonas del segundo mapa de profundidad compuesto sobre la base de los conjuntos de bordes primero y segundo; y aplicar el filtro de conservación de bordes al segundo mapa de profundidad compuesto utilizando el conjunto de pesos.

En todavía otra forma de realización adicional de nuevo, generar un mapa de profundidad en crudo que contenga estimaciones de profundidad para píxeles dentro de la imagen de referencia utilizando los datos de imagen de la imagen de referencia y los datos de imagen para al menos una imagen de vista alternativa, y un mapa de confianza que describe la fiabilidad de las estimaciones de profundidad contenidas dentro del mapa de profundidad, comprende además la medición del paralaje observable entre la imagen de referencia y al menos una imagen de vista alternativa.

En todavía otra forma de realización adicional de nuevo, el método de detección de profundidad comprende además la estimación de profundidad sobre la base del paralaje medido observable entre la imagen de referencia y dicha por lo menos una imagen de vista alternativa midiendo el paralaje comparando la similitud de un píxel en la imagen de referencia con los píxeles en dicha por lo menos una imagen de vista alternativa determinada sobre la base de una pluralidad de muestras de profundidad utilizando una función de coste; y estimar la profundidad del píxel de la imagen de referencia identificando la profundidad muestreada a la que la función de coste de un píxel de la imagen de referencia indica que la coincidencia más fuerte es la profundidad estimada del píxel.

En todavía otra forma de realización de nuevo, el método de detección de profundidad comprende además la generación de volúmenes de coste utilizando los costes determinados utilizando la función de coste en cada profundidad muestreada.

En una forma de realización adicional, el método de detección de profundidad comprende además calcular el mapa de profundidad secundario sobre la base del volumen de coste.

En otra forma de realización, calcular el mapa de profundidad secundario utilizando un segundo proceso de estimación de profundidad comprende submuestrear la imagen de referencia y el volumen de coste; y estimar las profundidades para forzar transiciones de profundidad suaves dentro del mapa de profundidad secundario en regiones sin textura de la imagen de referencia utilizando el volumen de coste.

En todavía una forma de realización adicional, calcular el mapa de profundidad compuesto comprende además determinar que una estimación de profundidad para un píxel del mapa de profundidad en crudo es fiable cuando un valor de confianza para el píxel del mapa de confianza se encuentra por encima de un umbral.

En todavía otra forma de realización, el cálculo del segundo mapa de profundidad compuesto comprende además la aplicación de detección de bordes al primer mapa de profundidad compuesto filtrado para dar como resultado un mapa de profundidad de bordes detectados; y dilatar el mapa de profundidad de bordes detectados para dar como resultado el mapa de bordes.

En todavía otra forma de realización adicional, el método de detección de profundidad comprende además la identificación de al menos una región correspondiente dentro de la imagen de referencia y dicha por lo menos una imagen de vista alternativa utilizando al menos un criterio; generar imágenes binarias con respecto a la imagen de referencia y dicha por lo menos una imagen de vista alternativa sobre la base de la identificación de al menos una región correspondiente; sustraer versiones desplazadas de la imagen de referencia y dicha por lo menos una imagen de vista alternativa cuando los desplazamientos corresponden a una pluralidad de muestras de profundidad para producir una imagen desplazada y sustraída para cada una de la pluralidad de muestras de profundidad; identificar límites dentro de las imágenes desplazadas y sustraídas; identificar zonas de los límites dentro de las imágenes desplazadas y sustraídas; y determinar las estimaciones de profundidad para píxeles en un límite de una región identificada de la imagen de referencia sobre la base de la muestra de profundidad en la que se minimiza la zona del límite de la imagen desplazada y sustraída.

Breve descripción de los dibujos

Las figuras 1A-B ilustran una imagen y un mapa de profundidad correspondiente.

La figura 2 ilustra un diagrama conceptual de un método de regularización de profundidad híbrida según una forma de realización de la invención.

La figura 3 es un diagrama de flujo que ilustra un proceso de regularización de profundidad híbrida según una forma de realización de la invención.

La figura 4A muestra una imagen de referencia después de las fases de normalización en una implementación de un proceso de regularización de profundidad híbrida según una forma de realización de la invención. La figura 4B muestra un mapa de profundidad en crudo desde una fase de paralaje en una implementación de un proceso de regularización de profundidad híbrida según una forma de realización de la invención.

La figura 4C muestra un mapa de confianza binario desde una fase de paralaje en un proceso de regularización de profundidad híbrida según una forma de realización de la invención.

La figura 4D muestra un mapa de profundidad con estimaciones de profundidad secundarias que utiliza la coincidencia semiglobal (SGM) en un proceso de regularización de profundidad híbrida según una forma de realización de la invención.

La figura 4E muestra un primer mapa de profundidad compuesto en un proceso de regularización de profundidad híbrida según una forma de realización de la invención.

La figura 4F muestra un mapa de profundidad con filtrado de mediana en un proceso de regularización de profundidad híbrida según una forma de realización de la invención.

La figura 4G muestra un mapa de bordes binario de las discontinuidades de profundidad en un proceso de regularización de profundidad híbrida según una forma de realización de la invención.

La figura 4H muestra un segundo mapa de profundidad compuesto en un proceso de regularización de profundidad híbrida según una forma de realización de la invención.

La figura 4I muestra un mapa de profundidad regularizado final en un proceso de regularización de profundidad híbrida según una forma de realización de la invención.

La figura 5A es un diagrama de flujo que ilustra un proceso para calcular un primer mapa de profundidad compuesto según una forma de realización de la invención.

La figura 5B es un diagrama de flujo que ilustra un proceso para obtener estimaciones de profundidad fiables en los límites de las regiones planas que pueden estar parcialmente ocluidas según una forma de realización de la invención.

La figura 5C es un diagrama de flujo que ilustra un proceso para obtener estimaciones de profundidad fiables en regiones ocluidas de datos de imágenes a partir de un conjunto de cámaras según una forma de realización de la invención.

La figura 5D muestra un ejemplo de división de dirección según una forma de realización de la invención. La figura 5E muestra una imagen captada según una forma de realización de la invención.

La figura 5F muestra un mapa de profundidad en crudo y un mapa de profundidad regularizado para la imagen captada de la figura 5E, utilizando una técnica de SGM genérica según una forma de realización de la invención. La figura 5G muestra un mapa de profundidad en crudo y un mapa de profundidad regularizado para la imagen captada de la figura 5E, utilizando SGM con manipulación de oclusión según una forma de realización de la invención.

La figura 6 es un diagrama de flujo que ilustra un proceso para calcular un segundo mapa de profundidad compuesto según una forma de realización de la invención.

La figura 7 es un diagrama de flujo que ilustra otro proceso para calcular un segundo mapa de profundidad compuesto según una forma de realización de la invención.

La figura 8 es un diagrama de flujo que ilustra un proceso para crear un mapa de profundidad regularizado según una forma de realización de la invención.

La figura 9 ilustra conceptualmente un sistema que incluye sistemas de procesamiento de imágenes configurados para llevar a cabo la regularización de profundidad híbrida según una forma de realización de la invención.

La figura 10 ilustra conceptualmente un sistema de procesamiento de imágenes configurado para llevar a cabo la regularización de profundidad híbrida según una forma de realización de la invención.

Descripción detallada

Ahora, haciendo referencia a los dibujos, se ilustran sistemas y métodos para la regularización de profundidad híbrida según diversas formas de realización de la invención. En varias aplicaciones, es conveniente que los elementos de visualización en 3D se compongan en tiempo real. Como ejemplo y no a modo de limitación, la realidad aumentada (RA) puede utilizarse para proporcionar vídeo, gráficos y/o sonido generados por ordenador en el contexto de un entorno físico del mundo real. La RA puede utilizarse para entretenimiento, tal como, pero sin limitarse a juegos, y puede emplear una o diversas tecnologías de visualización, tales como elementos de visualización montados en la cabeza, monitores y/o dispositivos de mano. A efectos de RA en directo, los datos de profundidad correspondientes para una escena también deben calcularse en tiempo real para proporcionar la información pertinente para componer elementos de visualización en 3D. Sin embargo, los datos de profundidad utilizados para aplicaciones en tiempo real suelen ser ruidosos y menos que precisos.

La regularización es una técnica mediante la cual se imponen restricciones a un modelo computacional, sobre la base de información secundaria o anterior, para resolver una variable en el modelo a partir de un conjunto de mediciones ruidosas o incompletas. En concreto, en el caso de la estimación de profundidad a partir de un sistema estéreo pasivo, las mediciones de paralaje solo pueden estar bien definidas en presencia de características inequívocas. Los patrones periódicos de manera espacial o las regiones sin textura están mal planteados porque un número posiblemente grande de disparidades podría producir la reducción del coste de una búsqueda de correspondencia local. Las superficies no lambertianas, las oclusiones y las características de lente que varían de manera espacial, entre muchos otros factores, también pueden introducir errores en las estimaciones de profundidad obtenidas observando el paralaje evidente en múltiples imágenes de una escena. La regularización de profundidad busca mitigar el ruido y los errores en la estimación de paralaje resultante tanto de las características de la escena como del sistema.

En muchas formas de realización de la invención, los procesos para mejorar la calidad del mapa de profundidad son capaces de realizarse en tiempo real y, por ejemplo, pueden ejecutarse a velocidades de hasta y superando 25 fotogramas/segundo en un procesador móvil en modo de baja potencia. En una serie de formas de realización de la invención, los procesos de regularización de profundidad emplean un híbrido de regularización de profundidad (que tradicionalmente optimiza todos los píxeles simultáneamente) y diversas técnicas de filtrado adicionales basadas en las características de diferentes regiones de una escena para aumentar la eficacia computacional. En una serie de formas de realización, las regiones dentro de una escena se clasifican en diferentes tipos de regiones y se tratan utilizando técnicas específicas de región, y solo procesándose determinadas regiones utilizando técnicas de regularización de profundidad computacionalmente intensivas. Las funciones de coste, filtros y parámetros analizados en la presente memoria son ejemplos particulares, y el alcance de la invención no se limita a estas limitaciones particulares. Los sistemas y métodos para realizar la regularización de profundidad híbrida según diversas formas de realización de la invención se comentan a continuación.

Procesos para realizar la regularización de profundidad híbrida

Un mapa de profundidad es un canal de imagen o una imagen que contiene información relativa a las distancias desde un punto de vista hasta las superficies de objetos visibles dentro de una escena. A modo de ejemplo, se muestra una imagen en la figura 1A con su mapa de profundidad correspondiente que se muestra en la figura 1B. Si bien gran parte del siguiente análisis implica correspondencia entre una imagen en color y un mapa de profundidad, los datos de imagen pueden adquirirse con el único fin de obtener datos de profundidad. Por consiguiente, los procesos de regularización de profundidad híbrida según muchas formas de realización de la invención generan mapas de profundidad para los que no se genera ninguna imagen en color correspondiente. El mapa de profundidad de la figura 1B indica las distancias a diversos objetos de la escena y del fondo. Existen diversos sistemas de obtención de imágenes que emplean conjuntos de dos o más cámaras que son capaces de captar datos de imagen de la luz visible y/o del espectro infrarrojo cercano y producir un mapa de profundidad correspondiente que incluye (pero no se limita a) los sistemas de conjuntos de cámaras descritos en la publicación de patente estadounidense n.° 2016/0309134 titulada “Multi-Baseline Camera Array System Architecture for Depth Augmentation in VR/AR Applications”, de Venkataraman et al., y la publicación de patente estadounidense n.° 2011/0069189 titulada “Capturing and Processing of Images Using Monolithic Camera Array with Heterogeneous Imagers”, de Venkataraman et al.

Se utilizan procesos para la regularización de profundidad híbrida según muchas formas de realización de la invención para mejorar la precisión de los mapas de profundidad. En muchas formas de realización, los procesos de regularización de profundidad híbrida son capaces de ejecutarse en tiempo real para proporcionar información de profundidad con una variedad de fines, que incluyen (pero no se limitan a) la vista previa de imágenes generadas mediante fusión y/u otras técnicas de obtención de imágenes computacionales, y/o la generación de interfaces de usuario para elementos de visualización de realidad aumentada y realidad mixta. Los procesos de regularización de profundidad similares a los descritos en la publicación de patente estadounidense n.° 2015/0091900 titulada “Systems and Methods for Depth-Assisted Perspective Distortion Correction”, de Yang et al., estiman la profundidad globalmente, aumentando una función de coste de correlación con una homogeneidad previa y otras restricciones, y resolviendo el problema de optimización resultante para todos los píxeles simultáneamente. En situaciones con determinadas limitaciones de ancho de banda y memoria computacionales, este enfoque puede no resultar práctico. Además, los diferentes componentes de un conjunto de chips móvil, tal como el procesador de señal digital/de imagen (DSP/ISP), la unidad central de procesamiento (CpU) o la unidad de procesamiento gráfico (GPU), pueden ser más adecuados para diferentes tareas y disponer de diversos recursos para realizar distintos módulos de un proceso general.

La figura 2 ilustra un diagrama conceptual de un método de regularización de profundidad híbrida 200 con entradas y salidas, según una forma de realización de la invención. Cada una de las tres fases 210, 220 y 230, representadas por una hilera en el diagrama, trata los píxeles de una escena con características similares. Según determinadas formas de realización de la invención, la primera fase 210 determina profundidades para regiones sin textura en una imagen (es decir, regiones que no poseen rasgos distintivos). En la segunda fase 220, se elimina el ruido del mapa de profundidad resultante y se detectan discontinuidades de profundidad. Finalmente, en la tercera fase 230, los bordes detectados en profundidad se procesan para que sean coherentes con los bordes de imagen.

En una serie de formas de realización de la invención, las fases pueden ejecutarse secuencialmente en lugar de en paralelo para una calidad de mapa de profundidad relativamente mejor. A modo de ejemplo y no a modo de limitación, la utilización de la salida de la primera fase 210 en la segunda fase 220 puede dar como resultado un mejor rendimiento que requiera menos etapas, menos parametrización y reducción de la tasa de falsas alarmas de detección de discontinuidad de profundidad. Estos beneficios, a su vez, pueden reducir los cálculos requeridos en la tercera fase 230, que puede considerarse una parte computacionalmente intensiva del proceso.

En la figura 3, se muestra un diagrama de flujo que ilustra un proceso de regularización de profundidad híbrida 300 según otra forma de realización de la invención. El proceso 300 incluye la obtención (302) de datos de imagen que describen una imagen captada desde múltiples puntos de vista, tal como mediante una configuración estéreo de cámaras. Los datos de imagen pueden incluir una imagen de referencia, un mapa de profundidad en crudo y un mapa de confianza. Habitualmente, la imagen de referencia es una imagen captada desde uno de los múltiples puntos de vista (a diferencia de una imagen sintetizada desde un punto de vista virtual), calculándose el mapa de profundidad en crudo y el mapa de confianza basándose en los principios del paralaje. El mapa de profundidad describe la distancia desde un punto de vista dado hasta superficies de objetos visibles dentro de los datos de imagen y el mapa de confianza describe la intensidad de las predicciones de profundidad en el mapa de profundidad en crudo. En diversas formas de realización, los datos de imagen pueden estar contenidos dentro de un archivo de imagen similar a cualquiera de los formatos de archivo de imagen descritos en la patente estadounidense 8.542.933 titulada “Systems and Methods for Decoding Light Field Image Files” de Venkataraman et al. En otras formas de realización, puede utilizarse cualquiera de las diversas técnicas para almacenar datos de imágenes según sea apropiado en función de los requisitos de aplicaciones específicas. En las figuras 4a-c se muestran ejemplos de una imagen de referencia 400, un mapa de profundidad en crudo 410 y un mapa de confianza 420.

En la primera fase del proceso 300, pueden obtenerse estimaciones de profundidad para las regiones sin textura de la imagen. Puede calcularse (304) un primer mapa de profundidad compuesto 440 tal como el que se muestra en la figura 4E sobre la base del mapa de profundidad en crudo 410 y en las estimaciones de profundidad secundarias, tal como en el mapa 430 que se muestra en la figura 4D para la imagen de referencia 400, utilizando el mapa de confianza 420. En muchas formas de realización, las estimaciones de profundidad secundarias se generan utilizando los costes de coincidencia utilizados en la generación del primer mapa de profundidad (a menudo denominado volumen de coste) para generar estimaciones de profundidad sometidas a una restricción de coherencia. En una serie de formas de realización, las estimaciones de profundidad secundarias priorizan la homogeneidad en las transiciones de disparidad. En otras formas de realización, puede utilizarse cualquiera de una variedad de procesos para generar estimaciones de profundidad secundarias que han aumentado la confianza en las regiones sin textura. En la segunda fase del proceso 300, puede calcularse (306) un segundo mapa de profundidad compuesto 470 tal como el que se muestra en la figura 4H sobre la base del primer mapa de profundidad compuesto 440. Esto puede realizarse utilizando un filtro de mediana que da como resultado un mapa con filtrado de mediana 450, tal como el que se muestra en la figura 4F, y un mapa de bordes 460 tal como el que se muestra en la figura 4G sobre la base de la detección de bordes. Por último, en la tercera fase del proceso 300, puede crearse (308) un mapa de profundidad regularizado 480 tal como el que se muestra en la figura 4I aplicando un filtro bilateral al segundo mapa de profundidad compuesto 470 en regiones con discontinuidades de profundidad identificadas utilizando la imagen de referencia 400 y el mapa de bordes 460. Las figuras 4A-I muestran posibles entradas y salidas para un proceso de regularización de profundidad híbrida según una forma de realización de la invención, pero actúan simplemente como ejemplo y no pretenden limitar el alcance de la invención. Tal como se indicó anteriormente, puede utilizarse una imagen de referencia durante la regularización de profundidad híbrida y luego descartarse antes de emitir un mapa de profundidad regularizado. Los resultados específicos de los procesos de regularización de profundidad híbrida según diversas formas de realización de la invención dependen en gran medida de los requisitos de una aplicación dada. En las siguientes secciones se describen más detalles de los procesos que pueden realizarse en diversas fases según una serie de formas de realización.

Aunque los procesos específicos se describen anteriormente para la regularización de profundidad híbrida con referencia a las figuras 1A-B a 4A-I, puede utilizarse cualquiera de una variedad de procesos para mejorar la calidad de mapa de profundidad en tiempo real según las formas de realización de la invención. Los procesos para la primera fase de un proceso de regularización de profundidad híbrida según formas de realización de la invención se comentan a continuación.

Fase 1: Regiones planas

La responsabilidad de la primera fase del proceso de regularización de profundidad híbrida según muchas formas de realización de la invención es obtener estimaciones de profundidad para las grandes regiones sin textura de la imagen. En muchas regiones, en donde faltan datos fiables y proximidad a estimaciones de profundidad fiables, un enfoque global puede resultar muy adecuado para esta fase.

En la primera fase de regularización de profundidad híbrida según una forma de realización de la invención, puede calcularse un primer mapa de profundidad compuesto utilizando el proceso 500 que se muestra en la figura 5A. Cuando el mapa de profundidad en crudo incluye estimaciones de profundidad iniciales y el mapa de confianza incluye valores de confianza para las estimaciones de profundidad iniciales, puede determinarse (502) si el valor de confianza para la estimación de profundidad inicial de un píxel se encuentra por encima de un umbral. El umbral puede estar predeterminado y puede ajustarse según los requisitos específicos de una aplicación. Cuando el valor de confianza se encuentra por encima del umbral, puede seleccionarse (504) la estimación de profundidad inicial para el píxel. Cuando el valor de confianza no se encuentra por encima del umbral, puede seleccionarse (506), en su lugar, una estimación de profundidad secundaria para el píxel.

Las estimaciones de profundidad secundarias pueden calcularse utilizando uno o más de una variedad de procesos. En algunas formas de realización de la invención, los datos de imagen incluyen un volumen de coste que indica valores de coste coincidentes de píxeles durante la etapa de paralaje, y las estimaciones de profundidad secundarias pueden calcularse sobre la base de la imagen de referencia y el volumen de coste. En este contexto, el término volumen de coste hace referencia a las métricas de similitud (también denominadas costes) de cada píxel en cada muestra de profundidad tenida en consideración para ese píxel. Se genera un mapa de profundidad habitual sobre la base del coste de cada píxel que indica la mejor coincidencia. El volumen de coste proporciona información sobre otras profundidades para las que un píxel tenía funciones de coste similares. En una región plana, es probable que el volumen de coste indique una serie de profundidades a las que se observan píxeles similares desde un punto de vista alternativo. Es probable que una ubicación de píxel para la que se determina la profundidad con alta confianza tenga una única profundidad a la que la métrica coincidente sea significativamente más fuerte que en otras profundidades muestreadas durante el proceso de estimación de profundidad inicial.

En determinadas formas de realización, las estimaciones de profundidad secundarias se obtienen utilizando versiones submuestreadas de los datos de imagen para aumentar la eficacia. Pueden emplearse diversos enfoques para calcular las estimaciones de profundidad secundarias. A modo de ejemplo y no a modo de limitación, uno de tales enfoques es la técnica de coincidencia semiglobal (SGM), tal como se comenta en H. Hirschmuller, “Accurate and efficient stereo processing by semi-global matching and mutual information”, en Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), (Washington, DC, EE. UU.), páginas 807-814, IEEE Computer Society, 2005. Este método utiliza una serie de optimizaciones unidimensionales en lugar de resolver un problema bidimensional totalmente global con el fin de economizar el cálculo.

Con el fin de rellenar las regiones planas de la escena, en algunas formas de realización de la invención, puede realizarse SGM con submuestreo, tal como (pero no limitado a) 1/16 de la resolución de la cámara (submuestreo 4x en cada dirección), para reducir adicionalmente la cantidad de cálculo que implica rellenar estas regiones. El volumen de coste de la etapa de paralaje de la tubería y la imagen de referencia normalizada pueden someterse a submuestreo y procesarse mediante la técnica SGM. El mapa de profundidad resultante puede ampliarse utilizando interpolación próxima más cercana. La salida de SGM resultante puede actuar como un conjunto de estimaciones de profundidad secundarias. Tal como se señaló anteriormente, el proceso forma un mapa de profundidad compuesto al determinar si se utiliza una estimación de profundidad secundaria producida a través de un proceso tal como (pero no limitado a) SGM o la estimación de profundidad original a partir del mapa de profundidad en crudo sobre la base de un criterio que incluye (pero no se limita a) el valor de confianza de la estimación de profundidad que supera un nivel de confianza umbral. Cuando una estimación de profundidad en crudo para un píxel particular presenta una alta medida de confianza asociada, normalmente, se utiliza ese valor inicial. En otras regiones, las estimaciones de SGM pueden considerarse más fiables. Este primer mapa de profundidad compuesto puede actuar como una entrada a la segunda fase del proceso de regularización de profundidad híbrida. Aunque la utilización de SGM para generar estimaciones secundarias puede ser eficaz para lograr regularización de profundidad en tiempo real a altas velocidades de fotograma, puede utilizarse cualquiera de una variedad de técnicas para producir estimaciones de profundidad para píxeles en el mapa de profundidad en crudo que presentan estimaciones de profundidad en crudo determinadas con un bajo nivel de confianza. Por ejemplo, los procesos de regularización de profundidad híbrida según muchas formas de realización de la invención utilizan un enfoque con base en laplaciano similar al enfoque descrito en la publicación de patente estadounidense n.° 2015/0254868 titulada “System and Methods for Depth Regularization and Semiautomatic Interactive Matting Using RGB-D Images”, de Srikanth et al.

Un problema que puede encontrarse al intentar determinar estimaciones de profundidad fiables para regiones planas o sin textura es que enfoques tales como SGM y/o enfoques laplacianos se basan en estimaciones de profundidad fiables en los bordes de las regiones sin textura. Cuando una región sin textura forma parte del primer plano de una imagen, las estimaciones de profundidad en los bordes de la región sin textura suelen ser suficientemente fiables. Cuando una región sin textura se ubica detrás de un objeto de primer plano, entonces una parte de la región sin textura puede no ser visible en todas las imágenes de la escena utilizadas para generar una estimación de profundidad. El problema puede ser particularmente grave cuando el mapa de profundidad en crudo se estima a partir de un pequeño número de cámaras, tal como un par estéreo. Cuando se estima la profundidad utilizando un único par de imágenes, una parte de la región sin textura que es visible en la imagen de referencia puede no ser visible en la segunda imagen (a menudo denominada imagen de vista alternativa) debido a la oclusión de un objeto de primer plano. Cuando una región de la imagen de referencia se ocluye en la imagen de vista alternativa, las estimaciones de profundidad para esa región de la imagen de referencia no son fiables, ya que una región correspondiente no existe en la imagen de vista alternativa. Por consiguiente, un proceso que intenta estimar la profundidad en regiones planas utilizando estimaciones de profundidad de una región ocluida (es decir, una región que no es visible en una imagen/imágenes de vista alternativa) probablemente propague los errores de la región ocluida a al menos algunas de las estimaciones de profundidad generadas para el resto de la región plana. En diversas formas de realización, las regiones ocluidas se identifican y las estimaciones de profundidad de las regiones ocluidas se excluyen del proceso utilizado para generar las estimaciones de profundidad secundarias. De este modo, pueden ignorarse las estimaciones de profundidad muy poco fiables, aumentando la precisión de un mapa de profundidad compuesto producido utilizando las estimaciones de profundidad fiables a partir del mapa de profundidad en crudo y las estimaciones de profundidad secundarias.

En diversas formas de realización, pueden identificarse partes de regiones planas que se ocluyen y pueden obtenerse estimaciones de profundidad fiables para las partes de las regiones planas que se ocluyen mediante la forma de realización de un proceso de estimación de profundidad adicional tal como el que se muestra en la figura 5B. En una serie de formas de realización, el proceso de estimación de profundidad implica identificar regiones planas y entonces determinar la disparidad entre las regiones planas identificadas comparando las ubicaciones de las regiones planas en la imagen de referencia y al menos una imagen de vista alternativa. Tal como se señaló anteriormente, las regiones planas que son superficies de objetos de primer plano presentarán formas similares en imágenes de referencia y de vista alternativa (las fuentes de variación pueden incluir, pero no se limitan a la curvatura de las superficies, lo que da como resultado diferentes cascos visuales). Cuando un objeto de primer plano ocluye parcialmente una región plana, las regiones planas presentarán formas diferentes en cada una de las imágenes. En muchas formas de realización, los píxeles que forman una región plana ocluida pueden utilizarse para generar una máscara binaria para cada una de las imágenes de referencia y de vista alternativa. Sustraer la imagen de referencia y una imagen de vista alternativa con distintos desplazamientos de disparidad producirá una imagen binaria que muestra la medida en que las regiones planas no se superponen en cada desplazamiento de disparidad (es decir, cada profundidad que se muestrea). Cuando el desplazamiento (es decir, la profundidad que se muestrea) corresponde a la profundidad real de la región plana dentro de la escena, se reducirán las regiones que no se superponen. La presencia de oclusiones significa que las regiones planas presentan formas diferentes. Por tanto, las regiones no superpuestas se reducirán al mínimo a la profundidad real de la región plana, pero probablemente no se eliminarán por completo. Al aproximarse a la profundidad real de la región plana, las regiones no superpuestas formarán límites en los bordes de las regiones planas. En diversas formas de realización, las estimaciones de profundidad en múltiples límites de una región plana se obtienen determinando los desplazamientos de disparidad que minimizan las partes no superpuestas del límite en cada uno de los bordes. Los bordes pueden determinarse explorando a lo largo de la dirección del desplazamiento para identificar distintas regiones no superpuestas separadas por una región superpuesta dentro de la imagen sustraída. De esta forma, el proceso puede determinar estimaciones de profundidad fiables en los límites de las regiones planas que no presentan profundidades uniformes.

En la figura 5B se ilustra un proceso para determinar estimaciones de profundidad fiables en los bordes de una región plana visible en una imagen de referencia y que puede estar parcialmente ocluida en una imagen de vista alternativa. El proceso 550 incluye identificar (555) la(s) región/regiones plana(s) de cada una de la imagen de referencia y la imagen de vista alternativa y, a continuación, generar (557) máscaras binarias para las regiones planas identificadas en cada una de las imágenes de referencia y de vista alternativa. Se realiza una comparación en cada una de una pluralidad de desplazamientos de disparidad (correspondientes a muestras de profundidad discretas) que implican sustraer (560) las máscaras binarias desplazadas de las imágenes de referencia y de vista alternativa. El número de píxeles que no se superponen en cada límite puede entonces determinarse (565) en cada desplazamiento de disparidad.

En diversas formas de realización, las imágenes de referencia y de vista alternativa se rectifican de modo que las hileras de las imágenes de referencia y de vista alternativa correspondan a líneas epipolares entre las dos cámaras que captaron las imágenes. Cuando se rectifica de esta forma, el número de píxeles no superpuestos asociados con un límite puede determinarse sumando los píxeles no superpuestos de cada columna. Los bordes pueden identificarse sobre la base de las columnas que incluyen un número de píxeles por debajo de un umbral. Por consiguiente, puede sumarse el número total de píxeles no superpuestos en columnas adyacentes que constituyen un borde. El desplazamiento de disparidad en el que se minimiza la suma puede utilizarse como una estimación de profundidad fiable para los píxeles situados en el borde de la región plana. En otras formas de realización, el número de píxeles no superpuestos correspondientes a un borde de una región plana puede determinarse de una variedad de formas apropiadas a los requisitos de una aplicación dada.

Haciendo referencia de nuevo al proceso 550 que se muestra en la figura 5B, las estimaciones de profundidad para los píxeles en los bordes de la región plana de la imagen de referencia pueden determinarse sobre la base del desplazamiento de disparidad que produce la suma más pequeña de los píxeles no superpuestos en el borde de la región plana. Estas estimaciones de profundidad pueden utilizarse entonces para modificar (570) estimaciones de profundidad del mapa de profundidad en crudo antes de generar (575) las estimaciones de profundidad secundarias de una manera similar a los procesos descritos anteriormente.

Aunque los procesos específicos para obtener estimaciones de profundidad fiables en los bordes de las regiones planas se describen anteriormente con referencia a la figura 5B, cualquiera de una variedad de procesos que determinan estimaciones de profundidad fiables pueden utilizarse entonces como semillas para determinar estimaciones de profundidad para otros píxeles dentro de una región plana (incluidos los procesos que implican la utilización de imágenes de reducción de muestra) pueden utilizarse según sea apropiado en función de los requisitos de una aplicación dada.

En diversas formas de realización de la invención, la técnica de SGM puede modificarse para manipular oclusiones con conjuntos de cámaras, que incluyen tres o más cámaras, dividiendo el conjunto en grupos de cámaras y calculando un volumen de coste independiente para cada grupo, en donde se incluye una cámara de referencia en todos los grupos. Para cada grupo, puede calcularse un volumen de coste con respecto a la medida en que coinciden los píxeles de diferentes imágenes a diferentes profundidades desde el punto de vista de la cámara de referencia. Mediante la utilización de SGM, los costes pueden agregarse para cada volumen de coste en un subconjunto de direcciones sobre la base de la disposición de las cámaras de cada grupo de cámaras. Por ejemplo, si la mitad izquierda de un conjunto se utiliza como un grupo de cámaras, entonces los costes pueden agregarse a partir de direcciones que se originan en el lado izquierdo de un píxel. Una vez agregados los costes para cada grupo de cámaras, pueden combinarse los volúmenes de coste agregados. Esto puede realizarse utilizando diversos métodos, tales como (pero no limitados a) determinar el coste mínimo de cada grupo de cámaras para cada píxel y nivel de profundidad, o de manera no lineal sumando los costes coincidentes de cada grupo de cámaras si se encuentran por debajo de un umbral determinado y tomando el mínimo de lo contrario.

En SGM, cuando el término de datos o el volumen de coste coincidente de paralaje para el píxel x a la profundidad d (siendo x el índice posicional en 2D de un píxel y siendo d el índice de profundidad o disparidad), puede indicarse mediante

C(x, d)

y el término anterior, u homogeneidad de profundidad en píxeles con intensidades similares, puede indicarse mediante

en donde yeN(x) indica la proximidad de x, y

( í ,q es verdadero

T(q) = {0,q es falso

el término de función de coste global se indica mediante

La figura 5C muestra un proceso para obtener estimaciones de profundidad fiables en regiones ocluidas de datos de imágenes a partir de un conjunto de cámaras según una forma de realización de la invención. El proceso 580 incluye el procesamiento de oclusión realizado en dos etapas principales, que incluyen el cálculo de coste de coincidencia de paralaje y la estimación de profundidad densa a través de SGM. En la primera etapa, para aumentar la probabilidad de que el volumen de coste de coincidencia de paralaje proporcione información útil en zonas de oclusión, el conjunto de cámaras puede subdividirse (582) en dos grupos Gi y G2 con respecto a una cámara de referencia. Entonces, pueden calcularse (584) dos costes de coincidencia respectivos (C1 y C2), en donde

en donde 5n(d) indica el desplazamiento inducido por paralaje para la cámara n a la profundidad d.

Pueden determinarse (586) los pesos para cada profundidad como

Ci(x,d) < y ( / re/(x)),V i

C¿(x, d) = min(C,(x,d))

i 1

0, de lo contrario

en donde bi es la línea base más grande del subgrupo Gi e y es un umbral basado en la intensidad Iref(x) del píxel de referencia en x.

Entonces, puede obtenerse (588) el volumen de coste final como

en donde a 1 a2 = 1.

En muchas formas de realización de la invención, SGM puede emplearse entonces para manipular oclusiones utilizando división de dirección. En la versión genérica de SGM, se suman las energías de todas las direcciones. A modo de ejemplo y no a modo de limitación, suponiendo que existen ocho direcciones 0-7,

7

E(x,d) = ^ Ek(x,d)

k = 0

en donde

d(x) = argm d in£'(x,d).

Con la división de dirección según algunas formas de realización de la invención, la técnica de SGM puede modificarse para agregar (590) costes para un subconjunto de direcciones correspondientes a grupos de cámaras, y entonces combinar (592) los volúmenes de coste agregados. A modo de ejemplo y no a modo de limitación, suponiendo que existen ocho divisiones de dirección 0-7 tales como las que se muestran en la figura 5D, en donde D0 = {0 ,1 ,2 ,3 ,4 }

Di = {0,4,5, 6,7}

la energía mínima puede elegirse entre D0y D1. Por tanto,

El(x,d) = ^ Ek(x,d)

kED ¿

en donde

E(x,d) = m in£í(x,(i)

i

d(x) = argmin£'(xJíi)

d

Aunque el análisis anterior supone la utilización de SGM en 8 direcciones, tal como puede apreciarse fácilmente, puede utilizarse cualquier número de direcciones y las direcciones divididas de una manera apropiada con respecto a las ubicaciones relativas de las cámaras dentro de un conjunto de cámaras. En una serie de formas de realización de la invención, el método anterior puede proporcionar estimaciones de profundidad mejoradas en regiones ocluidas con una pequeña sobrecarga de memoria para realizar la comparación de costes. Los altos costes debidos a las oclusiones pueden producirse en una dirección predecible desde un borde de profundidad sobre la base de la disposición de cámara, de modo que este conocimiento puede utilizarse en la agregación de costes con SGM u otros métodos de optimización. Además, el volumen de coste puede incorporar automáticamente los mejores costes de correspondencia para todas las regiones ocluidas. En muchas formas de realización, métodos similares a los descritos anteriormente pueden utilizar vectorización, y, por tanto, es posible realizar la optimización utilizando instrucciones vectoriales en una CPU.

En una forma de realización alternativa de la invención, pueden conservarse costes independientes (por ejemplo, C1 y C2) para cada subgrupo, y pueden obtenerse dos términos energéticos utilizando C sobre la base de una división de dirección. En otras formas de realización de la invención, las alternativas para manipular la visibilidad en coincidencias de paralaje pueden incluir, por ejemplo, pero no a modo de limitación, aceptar solo el coste mínimo en cada profundidad, aceptar todo el cubo de coste ci (x) para el subgrupo con el menor coste mínimo en cada x, o aceptar el cubo de costes completo para un subgrupo que estima una profundidad de fondo. Los procesos para determinar subgrupos con costes mínimos que pueden utilizarse según diversas formas de realización de la invención se describen en la patente estadounidense 8.619.082.

La figura 5G ilustra ejemplos de un mapa de profundidad en crudo 595d y un mapa de profundidad regularizado 595e para una imagen captada 595a (que se muestra en la figura 5E) utilizando SGM con manipulación de oclusión según una forma de realización de la invención. En comparación con el mapa de profundidad en crudo 595b y el mapa de profundidad regularizado 595c de la figura 5F creado utilizando una implementación de SGM genérica para la misma imagen captada 595a, puede observarse que la estimación de profundidad en las regiones ocluidas mejora considerablemente con la reducción de la sangría de profundidad utilizando manipulación de oclusión.

Aunque los procesos específicos para manipular oclusiones en los datos de imágenes de un conjunto de cámaras se describen anteriormente con referencia a las figuras 5C-5G, puede utilizarse cualquiera de una variedad de procesos que proporcionan estimaciones de profundidad en regiones ocluidas a partir de una configuración de un conjunto de cámaras según sea apropiado en función de los requisitos de una aplicación dada. Además, aunque los procesos específicos se han descrito anteriormente para una primera fase de un proceso de regularización de profundidad híbrida con referencia a la figura 5A, puede utilizarse cualquiera de una variedad de procesos de manera apropiada a los requisitos de una aplicación específica según formas de realización de la invención. Los procesos para la segunda fase de un proceso de regularización de profundidad híbrida según diversas formas de realización de la invención se comentan adicionalmente a continuación.

Fase 2: Regiones con textura

En una segunda fase de procesos de regularización de profundidad híbrida según diversas formas de realización de la invención, el ruido puede eliminarse del mapa de profundidad y posteriormente detectarse discontinuidades de profundidad. El ruido puede provenir de errores de paralaje, tal como se mencionó anteriormente, artefactos del proceso de estimación de profundidad secundario tal como, pero no limitado al proceso utilizado para generar las estimaciones de profundidad secundarias (por ejemplo, SGM) y la composición inconexa en la primera fase. Las estimaciones de profundidad seguras también pueden ser ruidosas debido a errores en la propia estimación de confianza. Además, a efectos de la detección de bordes de profundidad, puede ser deseable eliminar el ruido para evitar detecciones falsas. Dado que la información de profundidad a menudo es de muy baja frecuencia, excepto para discontinuidades de profundidad, algunas formas de realización de la invención pueden suavizar demasiado con el fin de mejorar el rendimiento, tratándose las discontinuidades de profundidad de manera independiente.

Al recibir un primer mapa de profundidad compuesto como entrada de la primera fase, la segunda fase puede calcular un segundo mapa de profundidad compuesto utilizando un proceso similar al proceso 600 que se muestra en la figura 6. Puede aplicarse (602) un filtro de mediana al primer mapa de profundidad compuesto, lo que da como resultado un mapa de profundidad con filtrado de mediana. A continuación, puede aplicarse (604) la detección de bordes a este mapa de profundidad con filtrado de mediana para dar como resultado un mapa de profundidad de bordes detectados. Este mapa de profundidad de bordes detectados puede dilatarse (606) para formar un mapa de bordes. El proceso de dilatación puede implicar determinar una región que rodea los bordes del mapa de bordes. En muchos casos, las estimaciones de profundidad de los bordes próximos de los objetos de primer plano pueden ser poco fiables debido a que la parte de la escena visible junto al borde de la imagen de referencia está ocluida en una imagen de vista alternativa. Tal como se comenta más adelante, la falta de fiabilidad de estas estimaciones de profundidad puede provocar una sangría de profundidad a partir de las estimaciones de profundidad fiables del objeto de primer plano. Por tanto, dilatar el mapa de bordes permite identificar píxeles próximos a un borde que pueden sufrir una sangría de bordes de estimaciones de profundidad de alta confianza y evitar que se procesen durante el filtrado de mediana del primer mapa de profundidad compuesto. En muchas formas de realización, el mapa de bordes se utiliza para formar (608) un segundo mapa de profundidad compuesto sobre la base del mapa de profundidad con filtrado de mediana y el mapa de profundidad en crudo, utilizando el mapa de bordes.

Cuando el mapa de profundidad en crudo incluye estimaciones de profundidad iniciales y el mapa de profundidad con filtrado de mediana incluye estimaciones de profundidad filtradas por mediana, el segundo mapa de profundidad compuesto puede formarse adicionalmente utilizando un proceso 700 que se muestra en la figura 7 según determinadas formas de realización de la invención. Puede determinarse (702) si un píxel se encuentra dentro de un borde sobre la base del mapa de bordes. Si es así, puede seleccionarse (704) la estimación de profundidad inicial para el píxel; si no, puede seleccionarse (706) la estimación de profundidad filtrada por mediana para el píxel.

A modo de ejemplo y no a modo de limitación, el primer mapa de profundidad compuesto de entrada de la fase anterior puede filtrarse con un filtro tal como (pero no limitado a) un filtro de mediana 9 * 9. Puede aplicarse la detección de bordes de Sobel, seguida de dilatación con un elemento estructural de caja de 5 * 5. La máscara binaria resultante puede indicar píxeles que deben procesarse en la tercera y última fase del proceso de regularización. Según algunas formas de realización de la invención, dilatar el mapa de bordes para obtener la máscara binaria puede permitir la corrección de la sangría de profundidad, o la desalineación de la profundidad y los bordes de imagen. Tal como se señaló anteriormente, la sangría de profundidad a menudo se manifiesta como la asignación de profundidad de primer plano a píxeles en el fondo más allá del límite del objeto de oclusión. La sangría de profundidad puede producirse debido a la agregación de coste en la fase de paralaje y al filtrado de mediana en la fase actual de regularización de profundidad. Por tanto, el mapa de bordes puede dilatarse con el fin de asignar píxeles en las proximidades de un borde, cuyas estimaciones no son necesariamente fiables, para procesarse utilizando filtrado bilateral en una fase posterior.

En determinadas formas de realización de la invención, el elemento de dilatación puede establecerse en la mitad del tamaño de ventana de mediana, de modo que se tenga en cuenta la sangría a cada lado del borde de profundidad detectado. El aumento del tamaño de ventana de mediana puede reducir el número de aristas que se detectan, pero el tamaño aumentado del elemento de dilatación requerido puede equilibrar este efecto ampliando la región de cada borde detectado. Por tanto, el número total de píxeles de la máscara permanece aproximadamente constante con el tamaño de ventana de mediana. Tal como puede apreciarse fácilmente, puede utilizarse cualquiera de una variedad de técnicas para detectar bordes y para dilatar una máscara de borde a cada lado de un borde según sea apropiado en función de los requisitos de una aplicación dada según diversas formas de realización de la invención.

Una vez obtenida la máscara binaria que indica los bordes de profundidad, el segundo mapa de profundidad compuesto puede formarse a partir de los mapas de profundidad en crudo y con filtrado de mediana, utilizando la máscara binaria de borde de profundidad para seleccionar el origen de la estimación de profundidad que va a utilizarse dentro del segundo mapa de profundidad compuesto. Esta composición pinta en las estimaciones en crudo en zonas que aún no se han regularizado en la siguiente fase, y utiliza los valores filtrados por mediana (de las estimaciones de profundidad iniciales secundarias y seguras) en el resto de lugares.

Aunque los procesos específicos se describen anteriormente para una segunda fase de un proceso de regularización de profundidad híbrida con referencia a las figuras 6-7, puede utilizarse cualquiera de una variedad de procesos de manera adecuada en función de los requisitos de una aplicación específica según formas de realización de la invención. Los procesos para regularizar las profundidades alrededor de los bordes (es decir, discontinuidades de profundidad en mapas de profundidad) utilizados en el proceso de regularización de profundidad híbrida según diversas formas de realización de la invención se comentan adicionalmente a continuación.

Fase 3: Discontinuidades de profundidad

En muchas formas de realización, el proceso de regularización de profundidad híbrida procesa por separado regiones de la imagen que contienen cambios relativamente grandes en profundidad (a menudo denominadas discontinuidades de profundidad). En general, estas zonas contienen el contenido de alta frecuencia del mapa de profundidad y pueden requerir un gran procesamiento para forzar la correlación de borde de luminancia y profundidad en el mismo.

En una serie de formas de realización, puede utilizarse un mapa de profundidad que ya se ha procesado para regularizar las estimaciones de profundidad en diversas regiones del mapa de profundidad tales como (pero no se limitan a) el segundo mapa de profundidad compuesto generado utilizando procesos similares a los procesos descritos anteriormente con referencia a las figuras 7 y 8 como entrada para un proceso 800 que realiza la regularización de profundidad en regiones que rodean discontinuidades de profundidad. Tal como se muestra en la figura 8, puede identificarse (802) un primer conjunto de bordes en la imagen de referencia y se identifica (804) un segundo conjunto de bordes en el mapa de bordes. Estos conjuntos de bordes primero y segundo pueden indicar regiones con discontinuidades de profundidad. A continuación, puede calcularse (806) un conjunto de pesos para las zonas del segundo mapa de profundidad compuesto sobre la base del conjunto de bordes primero y segundo. Estos pesos indican la similitud de profundidad e intensidad y/o información de color entre un píxel y sus píxeles circundantes. Mediante la utilización del conjunto calculado de pesos, puede aplicarse (808) un filtro de conservación de bordes tal como (pero no limitado a) un filtro bilateral al segundo mapa de profundidad compuesto, para crear el mapa de profundidad regularizado final.

A modo de ejemplo, y no a modo de limitación, para lograr la alineación de bordes, puede utilizarse un filtro de mediana ponderado bilateral conjunto. Los pesos bilaterales calculados a partir de la imagen pueden permitir el filtrado guiado por bordes de dominio de imágenes en el mapa de profundidad. La elección del valor de mediana sobre la base de estos pesos puede proporcionar robustez al ruido de las estimaciones de profundidad en crudo subyacentes y conservar adicionalmente los bordes. Pueden emplearse técnicas de Z. Ma, K. He, Y. Wei, J. Sun y E. Wu, “Constant time weighted median filtering for stereo matching and beyond”, en la IEEE International Conference on Computer Vision de 2013, páginas 49-56, diciembre de 2013.

El tamaño de ventana de filtro bilateral puede establecerse en, por ejemplo, 17 * 17, aproximadamente el doble del tamaño de ventana de mediana del ejemplo de la sección anterior. Esto puede realizarse de modo que cuando la ventana esté centrada en el borde de profundidad, su región de soporte siga incluyendo aproximadamente el 50% de los datos filtrados previamente, no ruidosos. Otros parámetros, tales como las desviaciones estándar de rango y dominio utilizados en las ponderaciones gaussianas, pueden determinarse empíricamente.

En algunas formas de realización de la invención, la mediana y/u otras estadísticas se calculan a una resolución inferior para reducir el cálculo. Es posible que las estadísticas de la medición de profundidad en una ventana dada no cambien significativamente con la resolución, de modo que es posible calcular una estimación de alta resolución en píxeles de borde de profundidad sin analizar cada píxel de la ventana. Por ejemplo, en una ventana de 17x17, la mediana puede calcularse sobre la base de % de los 289 píxeles de la ventana. Esto puede permitir un aumento significativo de la velocidad de cálculo al tiempo que se sacrifica poca calidad de profundidad.

En muchos casos, el 10-20% de los píxeles se procesan en esta fase. Sin embargo, debido a los grandes tamaños de ventanas, el cálculo del peso de píxeles y el número de accesos de memoria, los cálculos de esta fase pueden ser una parte costosa del proceso de regularización de profundidad general. La alineación de los bordes de imagen y profundidad proporcionados por esta fase puede ser significativa para aplicaciones tales como agregar efectos bokeh e insertar objetos virtuales en una escena.

Aunque los procesos específicos que implican tipos específicos de filtros de conservación de bordes se describen anteriormente para una fase final de un proceso de regularización de profundidad híbrida con referencia a la figura 8, puede utilizarse cualquiera de una variedad de procesos, que incluyen cualquiera de una variedad de técnicas para suavizar el ruido al tiempo que se conservan las discontinuidades de profundidad según sea apropiado en función de los requisitos de aplicaciones específicas según diversas formas de realización de la invención. Los resultados de diversos procesos de regularización de profundidad híbrida según formas de realización de la invención se comentan más adelante.

Resultados

En las figuras 4A-4I se ilustra un ejemplo de los resultados obtenidos mediante la forma de realización del proceso de regularización de profundidad híbrida según una forma de realización de la invención que muestran diversos productos computacionales intermedios obtenidos durante diversas fases del proceso de regularización de profundidad híbrida. Las figuras 4A-4I muestran las entradas, los resultados intermedios y la salida final de la regularización de profundidad híbrida en tiempo real para el conjunto de datos. La escena consiste en una mesa texturizada que retrocede en profundidad, tres cajas frontales paralelas encima de la misma diferentes distancias y un fondo en gran medida sin textura. La imagen de referencia normalizada 400 también revela que se proyectó un patrón infrarrojo (IR) por toda la escena, aunque parece tenue en el fondo. En este ejemplo particular, puede ignorarse la parte inferior aproximadamente el 10% de las imágenes de las figuras 4A-I. Se trata de una región que carece de superposición de campo visual entre las cámaras del conjunto, de modo que los datos en este caso pueden considerarse carentes de sentido.

El mapa de profundidad en crudo 410 de la etapa de paralaje de la tubería es el mapa de profundidad inicial sobre el que la regularización de la profundidad híbrida busca mejorar. Puede observar que las estimaciones en las regiones texturizadas parecen plausibles, mientras que las estimaciones en la mayoría de los demás lugares son ruidosas y la profundidad en la gran región de fondo es errónea. El mapa de confianza 420, también de la etapa de paralaje de la tubería, marca píxeles en los que se cree que la estimación de profundidad en crudo es fiable. Las tres imágenes de las figuras 4A-4C, junto con el volumen de coste de la etapa de paralaje (no se representa), forman entradas para una primera fase de la regularización de profundidad híbrida.

La figura 4D muestra un ejemplo de un conjunto de estimaciones de profundidad secundarias 430 como salida (y con aumento de la muestra) del procesamiento utilizando una técnica de SGM similar a los procesos de SGM descritos anteriormente. Aunque la profundidad puede considerarse insuficientemente formada alrededor de las cajas y las partes distantes de la mesa, ha logrado su fin de proporcionar estimaciones coherentes en la región de fondo plano. En el fondo se han introducido algunos artefactos de imagen espuria, lo que es típico de SGM en regiones planas. El resultado de la primera fase, el primer mapa de profundidad compuesto 440, es más coherente que el mapa de profundidad en crudo 410.

El resultado del filtrado de mediana de la salida de la primera fase se muestra en la figura 4F. En este mapa de profundidad de filtrado de mediana 450, se ha eliminado gran parte del ruido y se han mitigado los artefactos de SGM. El mapa binario de los bordes de profundidad 460, obtenido mediante la detección de bordes en el mapa de profundidad de filtrado de mediana seguido por una dilatación, se muestra en la figura 4G. En este ejemplo, la mayoría de los bordes de profundidad se han detectado de manera fiable con pocos falsos positivos. Se han marcado los bordes de las cajas y la mesa, y se ha ignorado la recesión gradual de la mesa. En este caso, puede observarse la importancia del filtro de mediana para la reducción del ruido, ya que la detección de bordes en la figura 4E (antes del filtrado de mediana) suele contener más falsos positivos. El resultado de la segunda fase, un segundo mapa de profundidad compuesto 470 formado a partir de las figuras 4B, 4F y 4G, se muestra en la figura 4H. Este resultado presenta mucho menos ruido que el primer mapa de profundidad compuesto 440 de la figura 4E.

En la fase final, la segunda salida de mapa de profundidad compuesto de la segunda fase se filtra en ubicaciones de píxeles definidas por valores positivos en el mapa de borde 460. El mapa de profundidad regularizado final 480 se muestra en la figura 4I. El filtro bilateral fuerza principalmente la coherencia de bordes entre la imagen y el mapa de profundidad, lo que puede considerarse una diferencia principal entre el mapa de profundidad con filtrado de mediana 450 y la salida final 480. También puede corregir errores debidos a falsos positivos en la detección de bordes de profundidad, tal como puede observarse al comparar la salida final 480 con la del segundo mapa de profundidad compuesto 470, el primer mapa de profundidad compuesto 440 y el mapa de profundidad en crudo original 410.

Aunque las entradas específicas, los resultados intermedios y las salidas finales se han descrito anteriormente para una implementación particular de un proceso de regularización de profundidad híbrida con referencia a las figuras 4A-4I, puede observarse cualquiera de una variedad de resultados en la implementación de procesos apropiados en función de los requisitos de una aplicación específica según formas de realización de la invención. Los sistemas para realizar la regularización de profundidad híbrida según formas de realización de la invención se comentan más adelante.

Sistemas para realizar la regularización de profundidad híbrida

Los sistemas para realizar la regularización de profundidad híbrida según diversas formas de realización de la invención pueden ubicarse en cualquier lugar dentro de una red. Tal como se señaló anteriormente, las técnicas para realizar la regularización de profundidad híbrida son particularmente eficaces con respecto a la mejora de la calidad del mapa de profundidad y, por tanto, los elementos de visualización en 3D, en contextos de RA con configuraciones de cámara estéreo. Por consiguiente, las propias cámaras que captan las imágenes pueden configurarse mediante software como sistemas de procesamiento de imágenes capaces de realizar una regularización de profundidad híbrida en las imágenes captadas o bien automáticamente y/o en la dirección del usuario. En una serie de formas de realización, las imágenes y/o entornos en 3D pueden compartirse a través de redes utilizando una serie de técnicas de comunicación diferentes, que incluyen (pero no se limitan a) un sistema de gestión de contenido sincronizado (es decir, un servidor que coordina automáticamente la copia de imágenes de un dispositivo a otro) en el contexto de, por ejemplo, juegos de múltiples jugadores en línea. En muchas formas de realización, un servidor que recibe imágenes estéreo captadas por cámaras puede configurarse mediante software para realizar la regularización de profundidad híbrida. Tal como puede apreciarse fácilmente, casi cualquier dispositivo informático dentro de una red puede configurarse para realizar la corrección de distorsión de perspectiva según sea apropiado en función de los requisitos de aplicaciones específicas según diversas formas de realización de la invención.

Los dispositivos informáticos configurados para captar imágenes y realizar regularización de profundidad híbrida según diversas formas de realización de la invención se ilustran en la figura 9. El sistema 900 incluye varias cámaras 906 y 908 configuradas para captar datos de imagen y datos de mapas de profundidad correspondientes. Aunque se ilustran cámaras independientes, puede apreciarse fácilmente que puede utilizarse cualquier dispositivo para captar dos o más imágenes de una escena desde diferentes puntos de vista, tal como, pero no limitándose a, un teléfono móvil, una cámara web y/o un auricular o gafas con dos cámaras para captar, transmitir y/o procesar imágenes según diversas formas de realización de la invención. Las cámaras 906 y 908 pueden incluir dos cámaras similares, una cámara en color y una cámara en blanco y negro; la cámara en blanco y negro también puede obtener imágenes dentro de al menos una parte del espectro infrarrojo cercano, dos cámaras similares con diferentes campos de visión y/o cualquier otra configuración de cámaras capaces de captar imágenes estéreo. Además, los procesos de regularización de profundidad similares a los descritos anteriormente pueden aplicarse a mapas de profundidad que utilizan una única cámara móvil y/o cualquiera de una variedad de sistemas de cámaras que puedan captar información de profundidad y datos de imágenes.

Las cámaras 907 y 908 pueden transmitir los datos de imagen y los datos del mapa de profundidad a un servidor de procesamiento de imágenes 904 a través de una red 902. Cualquiera de los dispositivos informáticos dentro del sistema 900 posiblemente puede utilizarse para realizar una regularización de profundidad híbrida. En una serie de formas de realización, las cámaras 906 y 908 (o dispositivo que abarca ambas cámaras) incluyen software que configura las cámaras para realizar la regularización de profundidad híbrida en imágenes captadas o almacenadas por las cámaras. En diversas formas de realización, el servidor de procesamiento de imágenes 904 puede realizar regularización de profundidad híbrida en imágenes recibidas de cámaras. El mapa de profundidad regularizado final, y/o el elemento de visualización creado utilizando el mapa de profundidad regularizado, pueden transmitirse directa o indirectamente a un elemento de visualización del servidor 904, o de manera remota a otros dispositivos, tales como, pero no limitados a, auriculares u otro dispositivo, incluido el conjunto de cámaras.

En la figura 10, se ilustra un sistema de procesamiento de imágenes que puede utilizarse para realizar automáticamente la regularización de profundidad híbrida según una forma de realización de la invención. El sistema de procesamiento de imágenes 1000 incluye un procesador 1010, una memoria 1020, una interfaz de red 1030, una interfaz de visualización (opcional) 1040 y una interfaz de cámara (opcional) 1050. Normalmente, los servidores no requieren una interfaz de visualización ni una interfaz de cámara y muchos dispositivos informáticos que incluyen elementos de visualización no incluyen interfaces de cámara. La memoria 1020 incluye una aplicación de procesamiento de imágenes 1060, datos de mapas de imagen y profundidad 1070, resultados de regularización intermedios 1075 y un mapa de profundidad regularizado final 1080. La aplicación de procesamiento de imágenes puede configurar el procesador para realizar la regularización de profundidad híbrida utilizando cualquiera de las técnicas descritas anteriormente para producir un mapa de profundidad regularizado para su utilización en elementos de visualización en 3D.

Aunque se han descrito sistemas específicos para compartir imágenes y sistemas de procesamiento de imágenes anteriormente con referencia a las figuras 9 y 10, puede utilizarse cualquiera de una variedad de dispositivos informáticos para adquirir, compartir y/o realizar una regularización de profundidad híbrida en imágenes según sea apropiado en función de los requisitos de aplicaciones específicas según formas de realización de la invención.

Claims

REIVINDICACIONES

1. Sistema de detección de profundidad, que comprende:

una pluralidad de cámaras;

un procesador;

una memoria que contiene una aplicación de procesamiento de imágenes;

en el que la aplicación de procesamiento de imágenes dirige el procesador para:

obtener datos de imagen para una pluralidad de imágenes desde múltiples puntos de vista utilizando la pluralidad de cámaras, comprendiendo los datos de imagen para la pluralidad de imágenes una imagen de referencia y por lo menos una imagen de vista alternativa;

generar un mapa de profundidad en crudo que contiene estimaciones de profundidad para píxeles dentro de la imagen de referencia utilizando los datos de imagen de la imagen de referencia y los datos de imagen de dicha por lo menos una imagen de vista alternativa utilizando un primer proceso de estimación de profundidad y un mapa de confianza que describa la fiabilidad de las estimaciones de profundidad contenidas dentro del mapa de profundidad en crudo; y

generar un mapa de profundidad regularizado mediante:

el cálculo de un mapa de profundidad secundario que contiene estimaciones de profundidad para píxeles dentro de la imagen de referencia utilizando un segundo proceso de estimación de profundidad, en el que el segundo proceso de estimación de profundidad calcula la profundidad utilizando los datos de imagen de la imagen de referencia y los datos de imagen de dicha por lo menos una imagen de vista alternativa, mediante la utilización de una técnica de estimación distinta a la del primer proceso de estimación de profundidad; y

el cálculo de un mapa de profundidad compuesto mediante la selección de estimaciones de profundidad del mapa de profundidad en crudo y del mapa de profundidad secundario, siendo una estimación de profundidad seleccionada para un píxel de la imagen de referencia del mapa de profundidad en crudo cuando la estimación de profundidad es indicada como fiable por el mapa de confianza.

2. Sistema de detección de profundidad según la reivindicación 1, en el que el mapa de profundidad compuesto es un primer mapa de profundidad compuesto y la aplicación de procesamiento de imágenes dirige adicionalmente el procesador para generar un mapa de profundidad regularizado mediante:

el cálculo de un segundo mapa de profundidad compuesto mediante:

la aplicación de un filtro de suavizado a las estimaciones de profundidad en el primer mapa de profundidad compuesto;

el cálculo de un mapa de bordes utilizando el primer mapa de profundidad compuesto filtrado, donde el mapa de bordes indica unos píxeles dentro de la imagen de referencia que forman parte de un borde; y el cálculo de un segundo mapa de profundidad compuesto mediante la selección de estimaciones de profundidad del mapa de profundidad en crudo y el primer mapa de profundidad compuesto filtrado, siendo una estimación de profundidad seleccionada para un píxel en la imagen de referencia del mapa de profundidad en crudo cuando el mapa de bordes indica que la estimación de profundidad es con respecto a un píxel de la imagen de referencia que forma parte de un borde.

3. Sistema de detección de profundidad según la reivindicación 2, en el que la aplicación de procesamiento de imágenes dirige asimismo el procesador para aplicar un filtro de conservación de bordes a por lo menos una región del segundo mapa de profundidad compuesto indicado como conteniendo una discontinuidad de profundidad por parte del mapa de bordes.

4. Sistema de detección de profundidad según la reivindicación 2, en el que la aplicación de procesamiento de imágenes dirige asimismo el procesador para calcular el segundo mapa de profundidad compuesto mediante: la aplicación de detección de bordes al primer mapa de profundidad compuesto filtrado para dar como resultado un mapa de profundidad de bordes detectados; y

la dilatación del mapa de profundidad de bordes detectados para dar como resultado el mapa de bordes.

5. Sistema de detección de profundidad según la reivindicación 1, en el que la aplicación de procesamiento de imágenes dirige asimismo el procesador para generar un mapa de profundidad en crudo que contiene estimaciones de profundidad para píxeles dentro de la imagen de referencia utilizando los datos de imagen de la imagen de referencia y los datos de imagen para dicha por lo menos una imagen de vista alternativa, y un mapa de confianza que describe la fiabilidad de las estimaciones de profundidad contenidas dentro del mapa de profundidad, midiendo el paralaje observable entre la imagen de referencia y dicha por lo menos una imagen de vista alternativa.

6. Sistema de detección de profundidad según la reivindicación 5, en el que la aplicación de procesamiento de imágenes dirige asimismo el procesador para estimar la profundidad sobre la base del paralaje medido observable entre la imagen de referencia y dicha por lo menos una imagen de vista alternativa mediante:

la medición del paralaje comparando la similitud de un píxel de la imagen de referencia con los píxeles de dicha por lo menos una imagen de vista alternativa determinada sobre la base de una pluralidad de muestras de profundidad utilizando una función de coste; y

la estimación de la profundidad para el píxel en la imagen de referencia mediante la identificación de la profundidad muestreada a la que la función de coste para un píxel de la imagen de referencia indica que la coincidencia más fuerte es la profundidad estimada del píxel.

7. Sistema de detección de profundidad según la reivindicación 6, en el que la aplicación de procesamiento de imágenes dirige asimismo el procesador para:

construir un volumen de coste en la memoria utilizando los costes determinados utilizando la función de coste en cada profundidad muestreada; y

calcular el mapa de profundidad secundario sobre la base del volumen de coste.

8. Sistema de detección de profundidad según la reivindicación 7, en el que la aplicación de procesamiento de imágenes dirige asimismo el procesador para calcular el mapa de profundidad secundario utilizando un segundo proceso de estimación de profundidad que comprende:

submuestrear la imagen de referencia y el volumen de coste; y

estimar profundidades para forzar transiciones de profundidad suaves dentro del mapa de profundidad secundario en regiones sin textura de la imagen de referencia utilizando el volumen de coste.

9. Sistema de detección de profundidad según la reivindicación 1, en el que la aplicación de procesamiento de imágenes dirige asimismo el procesador para calcular el mapa de profundidad compuesto mediante la determinación de que una estimación de profundidad para un píxel del mapa de profundidad en crudo es fiable cuando un valor de confianza para el píxel del mapa de confianza está por encima de un umbral.

10. Sistema de detección de profundidad según la reivindicación 1, en el que la aplicación de procesamiento de imágenes dirige asimismo el procesador para:

identificar por lo menos una región correspondiente dentro de la imagen de referencia y dicha por lo menos una imagen de vista alternativa utilizando por lo menos un criterio;

generar imágenes binarias con respecto a la imagen de referencia y dicha por lo menos una imagen de vista alternativa sobre la base de la identificada de entre por lo menos una región correspondiente;

sustraer versiones desplazadas de la imagen de referencia y dicha por lo menos una imagen de vista alternativa cuando los desplazamientos corresponden a una pluralidad de muestras de profundidad para producir una imagen desplazada y sustraída para cada una de entre la pluralidad de muestras de profundidad; identificar los límites dentro de las imágenes desplazadas y sustraídas;

identificar zonas de los límites dentro de las imágenes desplazadas y sustraídas; y

determinar las estimaciones de profundidad para píxeles en un límite de una región identificada en la imagen de referencia sobre la base de la muestra de profundidad en la que se minimiza la zona del límite en la imagen desplazada y sustraída.

11. Método de detección de profundidad implementado por ordenador, que comprende:

generar un mapa de profundidad en crudo que contiene estimaciones de profundidad para píxeles dentro de la imagen de referencia utilizando los datos de imagen de la imagen de referencia y los datos de imagen para dicha por lo menos una imagen de vista alternativa utilizando un primer proceso de estimación de profundidad y un mapa de confianza que describe la fiabilidad de las estimaciones de profundidad contenidas dentro del mapa de profundidad en crudo; y

generar un mapa de profundidad regularizado mediante:

el cálculo de un mapa de profundidad compuesto mediante la selección de estimaciones de profundidad del mapa de profundidad en crudo y del mapa de profundidad secundario, siendo una estimación de profundidad para un píxel en la imagen de referencia seleccionada del mapa de profundidad en crudo cuando la estimación de profundidad es indicada como fiable por el mapa de confianza.

12. Método de detección de profundidad según la reivindicación 11, en el que el mapa de profundidad compuesto es un primer mapa de profundidad compuesto y generar un mapa de profundidad regularizado comprende asimismo:

el cálculo de un segundo mapa de profundidad compuesto mediante:

el cálculo de un mapa de bordes utilizando el primer mapa de profundidad compuesto filtrado, indicando el mapa de bordes píxeles dentro de la imagen de referencia que forman parte de un borde; y

el cálculo de un segundo mapa de profundidad compuesto mediante la selección de estimaciones de profundidad del mapa de profundidad en crudo y el primer mapa de profundidad compuesto filtrado, siendo una estimación de profundidad seleccionada para un píxel de la imagen de referencia del mapa de profundidad en crudo cuando el mapa de bordes indica que la estimación de profundidad es con respecto a un píxel de la imagen de referencia que forma parte de un borde.

13. Método de detección de profundidad según la reivindicación 12, que comprende asimismo la aplicación de un filtro de conservación de bordes a dicha por lo menos una región del segundo mapa de profundidad compuesto indicado como que contiene una discontinuidad de profundidad por parte del mapa de bordes.

14. Método de detección de profundidad según la reivindicación 12, en el que el cálculo del segundo mapa de profundidad compuesto comprende asimismo:

la aplicación de una detección de bordes al primer mapa de profundidad compuesto filtrado para dar como resultado un mapa de profundidad de bordes detectados; y

15. Método de detección de profundidad según la reivindicación 11, en el que la generación de un mapa de profundidad en crudo que contiene estimaciones de profundidad para píxeles dentro de la imagen de referencia utilizando los datos de imagen para la imagen de referencia y los datos de imagen de dicha por lo menos una imagen de vista alternativa, y un mapa de confianza que describe la fiabilidad de las estimaciones de profundidad contenidas dentro del mapa de profundidad, comprende asimismo la medición del paralaje observable entre la imagen de referencia y dicha por lo menos una imagen de vista alternativa.