ES2714172T5

ES2714172T5 - Procedimiento y dispositivo, así como programa de ordenador para determinar una representación de un borde de lente de gafas

Info

Publication number: ES2714172T5
Application number: ES17153651T
Authority: ES
Inventors: Claudia Nieuwenhuis; Oliver Schwarz
Original assignee: Carl Zeiss Vision International GmbH; Carl Zeiss AG
Current assignee: Carl Zeiss Vision International GmbH; Carl Zeiss AG
Priority date: 2017-01-27
Filing date: 2017-01-27
Publication date: 2022-09-07
Anticipated expiration: 2037-01-27
Also published as: CA3039116A1; KR20190088524A; EP3355104B1; EP3542211A1; CN109804302B; BR112019006165A2; ES2714172T3; WO2018137863A1; CN109804302A; US10564446B2; CA3039116C; US20190271858A1; EP3355104A1; EP3542211B1; KR102056333B1; EP3355104B2; BR112019006165B1

Description

DESCRIPCIÓN

Procedimiento y dispositivo, así como programa de ordenador para determinar una representación de un borde de lente de gafas

La invención se refiere a un procedimiento implementado por ordenador y a un dispositivo para la determinación automática de una representación del borde de al menos una lente de gafas para un usuario de gafas. Además de ello, la invención se refiere a un programa de ordenador con el que se puede llevar a cabo el procedimiento antes mencionado.

Por la representación del borde de una lente de gafas, la invención entiende una representación del borde de apoyo de la lente de gafas recogida en la norma EN ISO 13666:2012 (D/E) en el párrafo 13.1.

Una representación del borde de una lente de gafas es un conjunto de datos, a partir del cual se puede determinar de manera inequívoca el recorrido tridimensional del borde de apoyo de la lente de gafas, alejado del usuario de gafas sobre la base de magnitudes adicionales que describen la lente de gafas. Una representación del borde de una lente de gafas puede ser, p. ej., la superficie rodeada por la proyección del borde de la lente de gafas en el plano de la imagen de un sensor de imágenes de un dispositivo de captación de imágenes en la que se representa la lente de gafas para la captación de imágenes.

En el caso de una gafa de borde completo, el borde de apoyo de una lente de gafas corresponde a un borde interno de la montura de gafas. En el caso de una gafa de borde parcial, por el borde de apoyo de una lente de gafas se ha de entender, por una parte, el borde de una lente de gafas correspondiente al borde interno de la montura de gafas y el borde externo de la lente no unido a la montura de gafas. El borde de apoyo de una lente de gafas en una gafa sin borde es el borde externo de la lente.

Con el fin de adaptar correctamente las lentes de gafas en una montura de gafas es necesario, por una parte, determinar los denominados parámetros de centrado, con el fin de que los centros ópticos de las lentes puedan coincidir con los ejes visuales de los ojos correspondientes con el fin de conocer así, p. ej., la información sobre la distancia de la pupila y la información sobre la altura de las pupilas en relación con la montura de gafas. Por otra parte, es necesario conocer el borde de apoyo de la lente de gafas, predeterminado por la montura de gafas en el que se haya de alojar la lente de gafas.

Junto a la información de la distancia de la pupila y la información sobre la altura de las pupilas en relación con la montura de gafas, por la expresión parámetros de centrado se sub-suman, en particular, las siguientes magnitudes: distancia monocular de la pupila PD, distancia del vértice de la córnea HS tras el requisito del punto de referencia y/o tras el requisito del punto de giro del ojo, distancia monocular del punto de centrado, coordenadas del punto de centrado, distancia del disco, descentrado del punto de centrado, altura y anchura del disco, distancia media del disco, inclinación de la lente de gafas a, ángulo del disco de la montura p, altura de esmerilado.

Los parámetros de centrado son determinados regularmente por un óptico. Parámetros de centrado importantes se definen, p. ej., en la norma EN ISO 13666:2012 (D/E) y pueden determinarse al estar de pie o sentados uno frente a otro un óptico y un sujeto de estudio, en donde el sujeto de estudio se coloca la montura de su elección con un disco de lente incorporado en la misma. Se ruega al voluntario mirar en la lejanía, y el óptico dibuja entonces a simple vista sobre el disco o sobre una lámina de contacto con una cruz la visión de conjunto tal como la reconoce en el caso de la mirada mutua. Esta cruz (cruz de centrado) determina entonces la posición del punto medio óptico de la lente de gafas a incorporar en la montura. Este procedimiento se lleva a cabo individualmente para cada uno de los ojos de un sujeto de estudio. La distancia de la cruz de centrado determinada de esta manera es la distancia de la pupila PD.

Sin embargo, entretanto, para la determinación de los parámetros de centrado se emplean también sistemas de medición automatizados. Un sistema de medición de este tipo se describe, p. ej., en el documento WO 01/84222 A1. Este sistema contiene una videocámara digital dispuesta de manera desplazable en altura en una columna, cuyo objetivo está dispuesto, junto con un espejo y una fuente de luz, en la zona de la superficie frontal de la carcasa. El sistema posibilita, en particular, la medición de distancias y la detección de medidas que se han de tener en cuenta para el esmerilado de lentes de gafas. En el sistema existe un ordenador unido con la videocámara digital, el cual, a partir de la imagen de un usuario de gafas con una montura de gafas y con un arco del micrómetro ajustado a la montura de gafas, determina parámetros de centrado para la montura de gafas por medio de la evaluación de la imagen.

Para un óptico que asesora al cliente final es importante que la determinación de los parámetros de centrado se pueda llevar a cabo de modo lo más sencillo, rápido y fiable posible. Con el fin de que el óptico pueda asesorar de forma altamente cualitativa a los clientes finales son de interés, por lo tanto, flujos de trabajo que sean inherentemente inequívocos y que se puedan llevar a cabo de forma rápida.

En D. Borza et al., Eyeglasses Lens Contour Extraction from Facial Images Using an Efficient Shape Description”, Sensors, Tomo 13, N° 14, Págs. 13638-13658 (2013) se describe un procedimiento implementado por ordenador del tipo mencionado al comienzo para la determinación del borde de lentes de gafas en una primera imagen de un usuario de gafas, en el que la cantidad de puntos de los puntos de imágenes situados en el borde de las lentes de gafas se modela como una transposición de funciones matemáticas basadas en la definición de los denominados descriptores de Fourier. Estas funciones matemáticas describen diferentes formas del borde de la gafa. Las fracciones utilizadas aquí para la modelación del borde de las lentes de gafas se eligen de forma estocástica, es decir, según un principio aleatorio, a partir de una cantidad finita de posibles funciones. El modelo descrito con ayuda de las funciones elegidas para el borde de las lentes de gafas se compara y evalúa entonces con un borde de lente de gafas determinado en un primer procedimiento de detección de los cantos.

En C. Nieuwenhuis et al., Spatially Varying Color Distributions for Interactive Multilabel Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE Comüuter Society, EE.UU. Tomo 35, N° 5, Págs.

1234 - 1247 (2013) se describe un procedimiento para la segmentación de diferentes zonas en imágenes digitales. Aquí, se evalúa el color de los puntos de imagen en las imágenes digitales. Para ello, una persona de servicio marca en un ordenador diferentes zonas de la imagen que han de ser segmentadas, manualmente, p. ej., con un ratón de ordenador. Las diferentes zonas de la imagen se segmentan entonces mediante optimización de una función de costos basada en las probabilidades condicionadas. Para ello, para cada uno de los puntos de imagen de las imágenes se maximiza, con ayuda de la información del color a las zonas de imágenes marcadas manualmente la probabilidad condicionada de que el punto de la imagen se encuentre en una zona de la imagen determinada.

En A. Fernandez et al., Glasses detection on real images based on robust alignment” Machine Vision and Applications, Springer Verlag, Tomo 26, N° 4, Págs. 519-531 (2015) se da a conocer un procedimiento para la evaluación de fotografías de personas, con el fin de reconocer si las personas son usuarios de gafas. Este procedimiento evalúa diferentes características faciales de personas utilizando datos de ejemplos de un banco de datos en el que están almacenados datos característicos de personas con y sin gafas.

De C. Wu et al., Automatic Eyeglasses removal from Face Images, IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE Comüuter Society, EE.UU. Tomo 26, N° 3, Págs. 332 - 336 (2004) se da a conocer un procedimiento, el cual sirve para la retirada de gafas y lentes de gafas a partir de fotografías digitales de personas. El procedimiento utiliza en este caso modelos estudiados, elegidos estocásticamente, para una montura de gafas.

El documento DE 10 2011 115 239 A1 5 describe determinar, en una imagen digital de un usuario de gafas, el contorno del borde de las lentes de gafas recurriendo a un conjunto de datos de trazador específicos para la lente de gafas, que contiene la información del borde de la lente de gafas.

Misión de la invención es indicar una representación exacta del borde de una lente de gafas que pueda ser incorporada en una montura de gafas, p. ej., con el fin de tener en cuenta esta información en la determinación de parámetros de centrado.

Para la solución de este problema se proponen las combinaciones de características indicadas en la reivindicación 1 y la reivindicación 15. Ejecuciones ventajosas y perfeccionamientos de la invención resultan de las reivindicaciones dependientes.

Para un óptico es importante tener, en el caso de la determinación de parámetros de centrado, un flujo de trabajo lo más rápido e inequívoco posible con el fin de conseguir una elevada calidad de asesoramiento que tiene como foco al cliente final y que no esté dominado por procesos técnicos. A este respecto, es necesario un modo de funcionamiento (robustez) lo más exento de perturbaciones posible de los procedimientos automáticos. Esto se puede conseguir con métodos del análisis digital de imágenes y del aprendizaje mecánico.

Los autores de la invención han reconocido que con métodos del análisis digital de imágenes se puede conseguir determinar el borde de lentes de gafas adaptado a una montura de gafas predeterminada, no solo con una elevada exactitud, sino también con una gran fiabilidad de un modo muy robusto frente a influencias erróneas.

De acuerdo con la invención, para determinar la representación del borde de una lente de gafas o de una lente de gafas izquierda y una lente de gafas derecha para un usuario de gafas se realizan los siguientes pasos:

Se proporcionan datos de imágenes b(x) del usuario de gafas con una montura de gafas puesta.

Se calculan datos de información I(x) derivados de los datos de imágenes b(x).

Se calcula una función de costos E(u) que enlaza los datos de información I(x) con datos de la lente de gafas u(x), describiendo los datos de la lente de gafas u(x) la extensión en el espacio de al menos una lente de gafas sujeta en la montura de gafas, y luego se establece el recorrido de un borde de la lente de gafas o de la lente de gafas izquierda y de la lente de gafas derecha mediante la optimización de la función de costos E(u).

De acuerdo con la invención, la función de costos E(u) puede ser una suma de términos de energía ponderados. Al optimizar la función de costos E(u) bajo la condición obligatoria de que se penalizan desviaciones de un modelo de color o de un modelo de lente de gafas y que se tienen en cuenta reflejos en una lente de gafas o en una montura de gafas, puede alcanzarse una elevada precisión para una representación del borde de una lente de gafas adaptada a una montura de gafas. Condiciones obligatorias en la optimización de la función de costos pueden ser también condiciones de simetría en 2D o 3D establecidas a una representación del borde de una lente de gafas. Es ventajoso que la optimización de la función de costos E(u) tenga lugar solo dentro de una sección de interés (región de interés) que está establecida por las características faciales detectadas.

Se ha de observar que una función de costos E(u) puede ser minimizada a varios tipos, p. ej., a través de métodos continuos (enfoques primales-duales), métodos de corte de gráficos discretos, modelos de contorno activo o similares. Métodos continuos se definen debido a que describen a la imagen como una función continua y, con ello, la función de costos está definida en un espacio matemático continuo. La discretización de la función de costos sobre la base de puntos de imágenes en datos de imágenes u(x) (base de pixeles) tiene lugar preferiblemente solo en una última etapa antes de la optimización. A diferencia de ello, los denominados métodos de optimización discretos definen la función de optimización directamente en el plano de puntos de imágenes (plano de pixeles). Los métodos continuos tienen la ventaja, frente a los métodos discretos, de que evitan artefactos en los cantos y son mucho más fácilmente paralelizables, lo cual posibilita rápidos cálculos en una tarjeta gráfica.

Los datos de información I(x) calculados, derivados de los datos de imágenes b(x), pueden comprender una imagen de información de cantos g(x) determinada a partir de los datos de imágenes b(x) detectados mediante un algoritmo de detección de cantos. De este modo, en una imagen de la cara de un usuario de gafas se pueden reconocer monturas de gafas. El algoritmo de detección de cantos puede contener, p. ej., un detector de cantos. Un detector de cantos de este tipo posibilita detectar en los datos de imágenes b(x) puntos de imágenes que corresponden a pixeles fotosensibles en el plano de la imagen del sensor de imágenes de un dispositivo de captación de imágenes y se encuentran en los cantos de la montura de gafas. En este caso, para cada uno de los puntos de imágenes se indica un valor que representa la probabilidad de que un canto pertenezca al canto de la gafa. El detector de cantos puede ser también un denominado detector de cantos general, el cual detecta cualquier tipo de canto de imagen o puede haber sido entrenado especialmente a los cantos de gafas. De este modo se puede diferenciar, p. ej., entre cantos de monturas de gafas y cantos de no monturas de gafas o entre un canto de la montura de gafas externo y el canto de la montura de gafas interno.

El detector de cantos en el algoritmo de detección de cantos puede ser, en particular, un detector de cantos del grupo gradiente, gradiente de color, detector del borde de Canny, filtro orientado, filtro Sobel. Es posible que el algoritmo de detección de cantos para la detección de cantos recurra a un banco de filtros con una cantidad de filtros tales como, p. ej., filtros de Gabor o filtros estudiados. También es ventajoso que el algoritmo de detección de cantos esté configurado como un algoritmo autodidacta.

Los autores de la invención han encontrado que con ayuda del denominado aprendizaje mecánico se puede conseguir que la determinación del borde de una lente de gafas que está adaptado para una montura de gafas, se pueda garantizar no solo con una elevada precisión, sino también con una gran fiabilidad de una manera que es muy robusta frente a influencias de errores.

Una idea de la invención es que los datos de información I(x) calculados, derivados de los datos de imágenes b(x), comprendan una imagen de información de color f(x) determinada a partir de los datos de imágenes b(x) detectados mediante un algoritmo de evaluación del color que evalúa el color de datos de imágenes b(x). La función de costos E(u) puede ser, en particular, una suma ponderada de un término de costos de detección de cantos E^borde(u) y un término de costos de evaluación del color E^color(u).

Un algoritmo de evaluación del color de este tipo sirve para diferenciar puntos de imágenes, que corresponden a puntos situados en una lente de gafas, de puntos de imágenes que corresponden a puntos situados en la montura de gafas o a puntos situados en el fondo de la montura de gafas. El algoritmo de evaluación del color puede utilizar para ello un modelo de color, p. ej., un modelo del color de la piel, que separa puntos de imágenes, que corresponden a puntos en la cara del usuario de gafas, de puntos de imágenes que corresponden a puntos situados en la montura de gafas. También es ventajoso alisar fuertemente en el algoritmo la imagen con un filtro de paso bajo, con el fin de obtener de este modo una aproximación a la cara del usuario de gafas sin montura de gafas. Esta aproximación puede formar entonces un modelo de color para puntos de imágenes situados dentro de la lente de gafas. Con el fin de obtener una aproximación a la cara del usuario de gafas sin montura de gafas, es también posible que el algoritmo contenga una rutina para el aprendizaje mecánico a base de datos de ejemplos de personas sin una montura de gafas, o una rutina que, a partir de los datos de imágenes b(x) del usuario de gafas con la montura de gafas, genera, mediante el denominado Análisis de Componentes Principales, un conjunto de datos que corresponden a una imagen de la cara del usuario de gafas o bien a una imagen de una sección de la cara del usuario de gafas sin la montura de gafas.

En el marco del algoritmo de evaluación del color puede estar previsto también un cambio del espacio de color del espacio de color RGB a un espacio de color que separa la claridad y el color, p. ej., un cambio en el espacio YCbCr o el espacio de color HSV. Esta medida posibilita trabajar de forma relativamente independiente de la iluminación. Se ha de observar que en el marco de la invención, un espacio de color puede ser aprendido también a partir de datos de imágenes b(x) que corresponden a una pluralidad de varias imágenes. Además, se ha de observar que en el marco de la invención puede estar previsto definir un espacio del color de la piel adecuado con ayuda de puntos de color de la piel conocidos en datos de imágenes b(x), p. ej., con ayuda de puntos de imágenes que corresponden al puntos del dorso de una nariz. De manera favorable, en el caso del algoritmo de evaluación del color con un modelo de color de este tipo está previsto entonces evaluar la información de la distancia de puntos de imágenes en los datos de imágenes detectados de los ojos del usuario de gafas, con el fin de tener en cuenta que puntos de imágenes que se encuentran próximos a los ojos del usuario de gafas se encuentran en la zona de lentes de gafas incorporados en la montura de gafas con una mayor probabilidad que los puntos de imágenes en los datos de imágenes b(x) que tienen una gran distancia de los ojos del usuario de gafas. En el algoritmo de evaluación de color puede estar previsto para ello, p. ej., una rutina de la función de la distancia que calcula para cualquier punto de imagen, es decir, cualquier pixel de un sensor de imágenes 15 de un dispositivo de captación de imágenes, la distancia más corta a un punto de imagen, es decir, un pixel del correspondiente sensor de imágenes, que se encuentra en los ojos del usuario de gafas. Cuanto mayor sea esta distancia más corta determinada, tanto mayores costos se acercarán entonces al término de color de la función de costos.

Una forma de realización preferida de la invención prevé que como función de costos E(u) para encontrar los datos de la lente de gafas u(x) buscados, se elija una función convexa.

Por una función convexa se entiende en este caso, al igual que en el análisis de una función de valor real, cuyo gráfico se encuentra por debajo de cualquier tramo de unión de dos de sus puntos. Esto tiene el mismo significado a que el epígrafe de la función, es decir, la cantidad de los puntos por encima del gráfico, sea una denominada cantidad convexa.

La convexidad de la función de costos E(u) alcanza la invención particularmente debido a que ésta es una suma de términos de función de costos convexos. P. ej., la función de costos puede estar formada a base de un término de costos de color convexo E ^coior (u(x)), que correlaciona el color de los datos de imágenes b(x) con datos de la lente de gafas u(x) y los evalúa mediante un modelo de color y un término de costos de cantos convexo E^borde(u(x)), que es una correlación de cantos de imágenes en los datos de imágenes b(x) con los datos de la lente de gafas u(x) o con el borde 26 de una lente de gafas 28 o de dos lentes de gafas 28, 29 representado por una derivada de los datos de la lente de gafas b(x).

La convexidad de la función de costos conlleva tres grandes ventajas: en general, las funciones tienen óptimos globales y locales. Por lo tanto, los procedimientos de optimización garantizan solo el hallazgo de un óptimo local, no del óptimo global. En el caso de funciones convexas se encuentra, por el contrario, siempre el óptimo global, dado que no existen óptimos locales. En el caso de funciones de costos convexas puede utilizarse un valor de partida arbitrario (p. ej. u(x) = 0 = superficie negra sin lente de gafas), dado que el procedimiento converge siempre a un óptimo global. En el caso de funciones no convexas es necesario un buen valor de partida que se encuentra próximo al óptimo global, con el fin de obtener buenos resultados. En el caso de funciones de costos convexas, incluso procedimientos de optimización muy sencillos, tales como la disminución del gradiente, conducen siempre a un óptimo global.

Es ventajoso que el cálculo de datos de información I(x) derivados de los datos de imágenes comprenda la determinación de datos de información de reflexiones s(x) con un algoritmo para el reconocimiento de reflexiones en la montura de gafas y/o de una lente de gafas incorporada en la montura de gafas. En este caso, es ventajoso que este algoritmo esté diseñado de modo que se puedan diferenciar reflexiones en una lente de gafas de reflexiones en la montura de gafas. De este modo, se puede aumentar asimismo la precisión de la representación determinada del borde de una lente de gafas. Ventajoso para la exactitud del procedimiento es también el hecho de que cuando el algoritmo de evaluación del color y el detector de los cantos tenga en cuenta los datos de información de reflexiones s(x) calculados a partir de los datos de imágenes b(x), dado que las reflexiones tienen en una imagen fuertes cantos perturbadores que pueden confundirse fácilmente con el borde de la lente.

El cálculo de datos de información I(x) derivados de los datos de imágenes b(x) puede comprender la determinación de datos de información de características faciales m(x) con un algoritmo para el reconocimiento de características faciales.

Una idea de la invención es también que el algoritmo para el reconocimiento de características faciales esté diseñado para el reconocimiento de una o varias características faciales del grupo de ojo, pupila, ceja, nariz o boca. En particular, es posible que el algoritmo de evaluación del color y/o el algoritmo de detección de los cantos tengan en cuenta los datos de información de características faciales m(x) calculados a partir de los datos de imágenes b(x). Dado que también los ojos de un usuario de gafas en las imágenes, que se basan en los datos de imágenes b(x) detectados, provocan cantos que perturban la determinación del borde de lentes de gafas, es ventajoso que también el algoritmo de detección de cantos tenga en cuenta cantos provocados por los ojos del usuario de gafas en imágenes que se basan en datos de imágenes b(x) detectados, evaluándose a partir de los datos de imágenes b(x) datos de información de características faciales m(x) calculados.

Con el fin de determinar la cara y la denominada región de interés en la que se encuentra la montura de gafas, es decir, la gafa en la imagen, puede ser de ayuda la detección de características faciales. Características faciales son en este caso, p. ej., una o varias características del grupo ojos, posición de las pupilas, cejas, nariz y/o boca de una cara. Basándose en una o varias características, se puede calcular en qué zona se buscan los cantos de las gafas. Además, con los ojos se conocen puntos que se encuentran en cualquier caso dentro de la lente.

Para el cálculo de datos de información I(x) derivados de los datos de imágenes b(x), la determinación de datos de información de lentes de gafas di(x) puede estar provista de un algoritmo que, con ayuda de un modelo de lente de gafas aportado al algoritmo o con ayuda de una pluralidad de modelos de lentes de gafas aportados al algoritmo como datos de información de lente de gafas di(x) indique un modelo paramétrico o un mapa que represente las probabilidades sobre la probabilidad de que los datos de imágenes detectados se encuentren en una lente de gafas. En particular, puede estar previsto que el cálculo de datos de información I(x) derivados de los datos de imágenes comprenda la determinación de datos de información de la forma de la lente de gafas di(x) con un algoritmo que, con ayuda de una pluralidad de modelos de lentes de gafas aportados al algoritmo como datos de información de forma de lente de gafas di(x) indique una forma en 2D o una forma en 3D de una lente de gafas incorporable en la montura de gafas.

Una idea de la invención es, p. ej., determinar, mediante ejemplos previamente segmentados a mano para lentes de gafas, un modelo para la forma de una lente de gafas. Un modelo de este tipo puede ser un mapa de probabilidades que para cada uno de los puntos de imágenes indica en los datos de imágenes b(x) detectados, la probabilidad de que el punto que corresponde a este punto de imagen se encuentre dentro de la lente de gafas. No obstante, también es posible estimar la forma de lentes de gafas en modelos paramétricos, p. ej., a partir de la lente de gafas como superficie en la vista de la imagen o a partir de puntos correspondientes a un contorno de la lente de gafas. Los parámetros de estos modelos pueden entonces optimizarse. Además de ello, se ha de observar que un modelo puede utilizarse también como una condición secundaria en la optimización, p. ej., como condición secundaria de que el contorno final se encuentre dentro del espacio del modelo previamente estudiado. Se entiende que en lugar de estudiar modelos a partir de ejemplos, en el marco de la invención se pueden definir también correspondientes modelos, p. ej., modelos que se basan en los denominados datos de trazador, p. ej., en forma de coordenadas en 3D o en forma de coordenadas en 2D que se proporcionan mediante un aparato trazador que palpa el recorrido de los bordes internos de la montura en una montura de gafas.

Es ventajoso que el algoritmo de evaluación del color tenga en cuenta los datos de información de la forma de la lente de gafas di(x) calculados a partir de los datos de imágenes b(x). Los datos de información I(x) calculados, derivados de los datos de imágenes b(x), pueden comprender también un centro M del puente determinado mediante un algoritmo de detección del centro del puente. Además de ello, es posible que los datos de imágenes b(x) proporcionados al usuario de gafas se basen en imágenes tomadas a partir de al menos dos ángulos de visión diferentes.

Los datos de información I(x) calculados, derivados a partir de los datos de imágenes b(x), pueden comprender, además, datos de mapas de profundidad t(x) calculados mediante un algoritmo de triangulación a partir de los datos de imágenes b(x) o partir de los datos de la lente de gafas u(x). En este caso, es ventajoso que la función de costos E(u) en un término de función de costos tenga en consideración, como una condición obligatoria, que una lente de gafas izquierda y una derecha incorporadas en una montura de gafas sean simétricas entre sí. Esto puede suceder, p. ej., debido a que la función de costos se evalúa con una condición estéreo de puntos representados consecutivamente en datos de lente de gafas u(x) para imágenes que corresponden a diferentes direcciones de captación de los dispositivos de captación de imágenes, p. ej., al representar un punto en 3D en la cara del usuario de gafas, es decir, un punto con información de la profundidad en varias imágenes, de modo que puntos correspondientes en imágenes basadas en los datos de imágenes b(x) en cada imagen, sean asociados en cada una de las imágenes a una lente de gafas o a un fondo situado detrás de una lente de gafas.

Se ha de observar que la función de costos para encontrar los datos de la lente de gafas u(x) buscados puede contener también un término de costos de simetría E ^sim (u(x)) que correlaciona simetrías contenidas en los datos de imágenes b(x) con datos de la lente de gafas u(x).

Una idea de la invención es recurrir para ello a la información del centro M del puente de una montura de gafas, con el fin de definir un plano especular en 3D para las lentes de gafas. En el caso de fotografías frontales, el centro M del puente posibilita también adaptar los datos de lentes de gafas u(x) para una lente de gafas izquierda y una derecha entre sí y para la adaptación formular una condición obligatoria de simetría (restricción de simetría). El centro M del puente puede también estimarse calculando el centro del borde de la lente interna izquierda y la derecha de lentes de gafas.

Inicialmente, el centro M del puente puede determinarse, p. ej., con ayuda de los puntos centrales entre los centros de la pupila detectados, la posición del dorso de la nariz o una combinación ponderada de ambas características.

Al detectar datos de imágenes b(x) con dispositivos de detección de imágenes, que captan la cara del usuario de gafas con ángulos de visión diferentes de una montura de gafas portada por éste y al ser conocidas informaciones de calibración con respecto a estos dispositivos de detección de imágenes, es posible mediante la triangulación en la cara del sujeto de estudio con la montura de gafas calcular el mapa de profundidad t(x) precedentemente mencionado en forma de una nube de puntos. A partir de esta nube de puntos se puede estimar luego la forma de las lentes de gafas en 3D, p. ej., como planos en una aproximación al contorno real de las lentes de gafas. A partir de estos planos puede garantizarse entonces, mediante una condición obligatoria de los planos especulares que se establece a la función de costos, una simetría de la montura de gafas en tres dimensiones. En el marco de la invención, estas informaciones en 3D pueden también utilizarse para calcular parámetros de centrado.

Un algoritmo de acuerdo con la invención para el cálculo del borde de lentes de gafas, es decir, el contorno de gafas mediante minimización de una función de costos mediante una rutina de optimización puede contener, por lo tanto, una o varias rutinas del grupo de rutina de detección de cantos, rutina de evaluación del color, rutina de reflexiones, rutina de la posición de la lente de gafas, rutina de triangulación, rutina de reconocimiento del centro del puente, rutina de reconocimiento de la característica facial, rutina para la estimación del recorrido en 3D de lentes de gafas.

La invención se extiende también a un programa de ordenador con un código de programa que se carga y se ejecuta en un sistema de ordenador para llevar a cabo un procedimiento según se establece en una de las reivindicaciones precedentes.

Un dispositivo de acuerdo con la invención para determinar el recorrido del borde de una lente de gafas para un usuario de gafas contiene al menos un dispositivo de detección de imágenes para la provisión de datos de imágenes b(x) del usuario de gafas que porta una montura de gafas y tiene medios para calcular datos de información I(x) derivados de los datos de imágenes b(x), medios para calcular una función de costos E(u) que enlaza los datos de información I(x) con datos de las lentes de gafas u(x), en donde los datos de lentes de gafas u(x) describen la extensión en el espacio de al menos una lente de gafas sujetada en la montura de gafas y medios para establecer el recorrido de un borde de la lente de gafas mediante la optimización de la función de costos E(u).

En lo que sigue se explica con mayor detalle la invención con ayuda de un ejemplo de realización representado de manera esquemática en el dibujo. Muestran

La Fig. 1, un dispositivo para determinar una representación del borde de las dos lentes de gafas en una montura de gafas;

la Fig. 2, una representación del borde de una lente de gafas izquierda y de una derecha ajustado a la montura de gafas;

la Fig. 3a a

la Fig. 3f, diferentes parámetros de centrado para una lente de gafas;

la Fig. 4, un algoritmo de un programa de ordenador para determinar una representación del borde de las lentes de gafas incorporadas en una montura de gafas;

la Fig. 5, datos de imágenes de un usuario de gafas con una montura de gafas;

la Fig. 6, características faciales de un usuario de gafas con una montura de gafas;

la Fig. 7, datos de imágenes elegidos de un usuario de gafas con una montura de gafas;

la Fig. 8, una imagen de información de los cantos;

la Fig. 9, una imagen de información del color;

la Fig. 10, una imagen de información de primeras reflexiones;

la Fig. 11, una imagen de información de segundas reflexiones;

la Fig. 12, un mapa de probabilidades del modelo de lentes;

la Fig. 13, datos de imágenes con un centro del puente;

la Fig. 14, datos de información de mapas de profundidad;

la Fig. 15, una primera representación de datos de lentes de gafas;

la Fig. 16, valores de una función de costos para diferentes datos de lentes de gafas; y

la Fig. 17 a

la Fig. 22, otras representaciones de datos de lentes de gafas.

El dispositivo 10 mostrado en la Fig. 1 es un sistema de centrado basado en cámara y posibilita la determinación de una representación del borde de las dos lentes de gafas en una montura de gafas. El dispositivo 10 tiene una columna 12 que porta dispositivos de captación de imágenes 14, 16, 18 referenciados con relación entre sí con sensores de imágenes 15 para la detección de datos de imágenes de un usuario de gafas 20. Contiene una unidad de ordenador 21 unida con los dispositivos de captación de imágenes 14, 16, 18 con un teclado como interfaz de entrada 22 y una interfaz de salida 23 en forma de un monitor.

Para la detección de datos de imágenes mediante los dispositivos de captación de imágenes 14, 16, 18, el usuario de gafas 20 se sitúa, p. ej., en una óptica, con una montura de gafas 24 elegida a una distancia de grabación A = 30 cm de la columna 12. Mediante los dispositivos de captación de imágenes 14, 16, 18 la cara 25 del usuario de gafas 20 puede ser detectada en diferentes direcciones de grabación 19.

El dispositivo 10 permite la determinación de una representación del borde de las lentes de gafas que deben ser recibidos y mantenidos en una montura de gafas 24 elegida por el usuario de gafas 20, con el fin de corregir su vista defectuosa y, en lo posible, compensarla. Para ello, mediante los dispositivos de captación de imágenes 14, 16, 18 se graba un conjunto de datos de imágenes b(x) que muestra la cara 25 del usuario de gafas 20 con la montura de gafas 24 colocada. Con el fin de determinar la representación del borde de las lentes de gafas ajustados a la montura de gafas 24, puede grabarse el conjunto de datos de imágenes b(x) sin que la montura de gafas 24 portada por el usuario de gafas 20 contenga lentes de gafas. Sin embargo, también es posible grabar un correspondiente conjunto de datos de imágenes b(x), cuando el usuario de gafas 20 porte una montura de gafas 24, en la que están montadas lentes de apoyo o lentes de gafas.

La Fig. 2 muestra una lente de gafas izquierda 28 y una lente de gafas derecha 29 con el sector de una montura de gafas 24 que sujeta a la lente de gafas 28. Por el borde 26 del lente de gafas 28 se entiende en el presente caso el borde de apoyo de una lente de gafas definido en la norma DIN EN ISO 13666:2013-10 en el párrafo 13.4. El borde de apoyo rodea y limita a la parte lenticular de una lente de gafas, es decir, aquella parte que, de acuerdo con la definición en el párrafo 13.2 de la norma DIN EN ISO 13666:2013-10, tiene el efecto dióptrico descrito de la lente de gafas 28, 29. El borde de apoyo de una lente de gafas puede coincidir, en el caso de gafas sin borde, con el borde alejado del usuario de gafas 20 de la superficie lateral 30 de una lente de gafas 28, 29, el denominado borde externo de la lente. El borde externo de la lente está oculto en parte por la montura de gafas 24 portada por el usuario de gafas 20.

Como representación del borde 26 de un lente de gafas 28 ajustado a la montura de gafas 24, el dispositivo 10 determina como conjunto de datos una cantidad de puntos situada en el plano de la imagen del sensor de imágenes 15 del dispositivo de captación de imágenes 16, que describe la proyección del borde de apoyo 26 de la lente de gafas 28 en este plano de la imagen.

El conocimiento exacto del recorrido del borde 26 de una lente de gafas 28 ajustado a una montura de gafas 24 posibilita, teniendo en cuenta otras magnitudes que describen la lente de gafas 28, una determinación precisa de los denominados parámetros de centrado.

La Fig. 3a muestra el parámetro de centrado de la distancia de la pupila PD para lentes de gafas 28 en una montura de gafas 24 que porta un usuario de gafas 20. En la Fig. 3b se puede ver, como otro parámetro de centrado, la altura de esmerilado E. La Fig. 3c muestra el parámetro de centrado de la distancia del vértice de la córnea HS. En la Fig. 3d se puede ver como parámetro de centrado el ángulo de inclinación a referido a la vertical 31. La Fig. 3e muestra como parámetro de centrado el ángulo del disco de la montura p, es decir, el ángulo entre el plano de la montura y el plano del disco izquierdo o bien derecho, y la Fig. 3f muestra los parámetros de centrado de medida de la caja, es decir, la anchura del disco sb, la altura del disco sh, así como la distancia bw entre las lentes de gafas 28 en una montura de gafas 24.

La unidad de ordenador 21 en el dispositivo 10 contiene un programa de ordenador que determina, a partir de los datos de imágenes b(x) proporcionados mediante los dispositivos de captación de imágenes 14, 16, 18, una representación del borde 26 de las lentes de gafas 28 incorporados en la montura de gafas 24. Este programa de ordenador posibilita que características, tales como los centros de las pupilas y el borde de la montura, se puedan detectar automáticamente con ayuda de los datos de imágenes b(x) proporcionados y se pueda determinar con una precisión inferior al pixel su posición en un sistema de coordenadas 32 referenciado con respecto a la montura de gafas 24. El programa de ordenador determina en este caso, mediante triangulación, también las posiciones de los planos de imágenes de los sensores de imágenes 15 de los dispositivos de captación de imágenes 14, 16, 18 referenciadas con respecto al sistema de coordenadas 32 de la montura de gafas 24.

Con ayuda de la Fig. 4 se describe en lo que sigue el algoritmo 34 realizado para determinar la representación del borde 26 de una lente de gafas 28.

En un primer paso, el algoritmo 34 determina, a partir de los datos de imágenes b(x) proporcionados por el dispositivo de captación de imágenes 16 de una imagen 36 mostrada en la Fig. 5 del usuario de gafas 20 con una montura de gafas 24, tal como lo muestra en la Fig. 4, un segmento de imagen 38 relevante.

Para la determinación del segmento de imagen 38 relevante, los datos de imágenes b(x) se elaboran en una rutina de reconocimiento de las características faciales 40. La rutina de reconocimiento de las características faciales 40 determina, a parir de los datos de imágenes b(x), la posición de la parte de la nariz, de los ojos, de la parte del mentón y de la parte de los labios mediante una comparación con modelos de datos 42 que se muestran en la Fig. 6 y que son característicos para correspondientes fotografías de la cara de un usuario 20 con una montura de gafas 24 colocada.

Basándose en una característica facial o en varias características faciales del usuario de gafas 20 es posible calcular en qué región se encuentran habitualmente los cantos de la montura de gafas 24 de una montura de gafas portada por un usuario de gafas 20. Se ha de señalar que, p. ej., puntos de imágenes correspondientes a los ojos del usuario de gafas 20 son puntos de imágenes situados sobre una lente de gafas 28.

La Fig. 7 muestra mediante la rutina de reconocimiento de características faciales 40 de los datos de imágenes del segmento bA(x) determinados a partir de los datos de imagen b(x) en el segmento de imagen 38 buscado con la montura de gafas 24. En el algoritmo 34 se calcula entonces, a partir de los datos de imagen del segmento bA(x) en una rutina de detección de cantos 44 mediante un algoritmo de detección de los cantos, una imagen de formación de los cantos g(x) con datos de información de los cantos 46. La Fig. 8 muestra la imagen de información de los cantos g(x) con datos de información de los cantos 46 como puntos de imagen en una imagen de tono gris 48.

En el algoritmo 34 se calcula además, a partir de los datos de imágenes b(x), en una rutina de evaluación del color 50 mediante un algoritmo de evaluación del color una imagen de información del color f(x).

El algoritmo de evaluación del color f(x) sirve para diferenciar puntos de imágenes en regiones de imágenes, en las que está presente una lente de gafas 28, de puntos de imágenes que se encuentran en las regiones de imágenes correspondientes a la montura de gafas 24. El algoritmo de evaluación del color utiliza para ello un modelo de color, p. ej., un modelo de color de la piel, mediante el cual puntos de imágenes en la cara 25 del usuario de gafas 20 pueden ser separados de puntos de imágenes situados en una montura de gafas o una montura de gafas 24. El algoritmo de evaluación del color contiene una rutina de filtro de paso bajo, mediante la cual se alisan los datos de imágenes b(x) detectados con uno o varios dispositivos de captación de imágenes 14, 16, 18, con el fin de obtener de este modo datos que corresponden a una representación aproximada de la cara 25 del usuario de gafas 20 sin la montura de gafas 24 portada por él. Los datos de esta representación aproximada se consultan entonces como un modelo de color para los puntos de imágenes situados dentro de una lente de gafas 28. En el algoritmo de evaluación del color f(x) puede tener lugar, p. ej., también un cambio del espacio de color del espacio de color RGB al espacio de color YCbCr o el espacio de color HSV, con el fin de separar de este modo la información de la claridad de puntos de imágenes de la información del color de puntos de imágenes. Se ha de observar también que el algoritmo de evaluación del color puede posibilitar que se estudie un espacio de color adecuado a base de una pluralidad de imágenes, o que se estudie un espacio de color, p. ej., un espacio del color de la piel con ayuda de determinados puntos de imágenes en la imagen de un usuario de gafas 20 detectada mediante un dispositivo de captación de imágenes 14, 16, 18, por ejemplo sobre la base de puntos de imágenes que corresponden a puntos situados en el dorso de la nariz en la cara 25 del usuario de gafas 20.

La Fig. 9 muestra datos de información del color 52 determinados en el marco del algoritmo de evaluación del color como puntos de imágenes en una imagen de tonos grises 48 adicional. Reflexiones o reflejos 54 que son visibles en las lentes de gafas 28 y/o la montura de gafas 24, generan fuertes cantos que se pueden confundir fácilmente con el borde de las gafas. Puntos de imagen a reflexiones o reflejos tienen además colores que son diferentes del color de la piel del usuario de gafas 20 y del color de muchas monturas de gafas o bien monturas de gafas 24.

Con el fin de reconocer puntos de imágenes en los datos de imágenes b(x) que, por una parte, se remiten a reflexiones y reflejos de la luz en la montura de gafas o bien la montura de gafas 24 y, por otra parte, en reflexiones y reflejos de la luz en las lentes de gafas 28, en el algoritmo 34 existe una rutina de detección de reflexiones 58. La rutina de detección de reflexiones 58 reconoce en los datos de imágenes b(x) puntos de imágenes, cuya claridad se encuentra por encima de un valor umbral y proporciona esta información en forma de datos de información de reflexiones s(x).

Alternativa o adicionalmente es también posible, no obstante, para el reconocimiento de correspondientes reflexiones y reflejos de la luz, transformar los datos de imágenes b(x) en otro espacio de color, p. ej., el espacio de color CMYK, y establecer entonces en éste adecuados valores umbrales para los tres canales de color, en los que al rebasarles se califica un punto de imagen como un punto de imagen situado en una reflexión o en un reflejo. Con el fin de reconocer puntos de imágenes en los datos de imágenes b(x), que se remiten por un lado a reflexiones y reflejos de la luz en la montura de gafas o bien la montura de gafas 24 es además posible evaluar la forma de reflexiones y reflejos de la luz en las lentes de gafas 28 y la montura de gafas 24. Así, p. ej., reflexiones en la montura de gafas tienen, por norma general, una forma alargada. En la rutina de reflexión, para el reconocimiento de reflexiones y reflejos en virtud de la forma pueden utilizarse, por lo tanto, también factores de forma o una relación de las longitudes de los ejes principales de una elipse inscribible en una cantidad de puntos de imágenes correspondientes a un reflejo o una reflexión. Se ha de tener en cuenta que, de manera ventajosa para el reconocimiento de reflexiones y reflejos de la luz correspondientes en los datos de imágenes b(x) también se evalúan distancias de primeros puntos de imágenes a segundos puntos de imágenes que corresponden a puntos que se encuentran en los ojos del usuario de las gafas.

La Fig. 10 muestra los puntos de imágenes de datos de imágenes b(x) determinados mediante la rutina de detección de reflexiones 58 que se encuentran en un reflejo 54 o bien una reflexión sobre las lentes de gafas 28, en una imagen en blanco y negro 56. En la Fig. 11 los puntos de imágenes de los datos de imágenes b(x) determinados mediante la rutina de detección de reflexiones 58 que se encuentran en un reflejo 54 o bien una reflexión sobre la montura de gafas 24, en una imagen de blanco y negro 56.

Con el fin de simplificar el reconocimiento de puntos de imágenes en los datos de imágenes b(x) que se encuentran en lentes de gafas 28 montadas en una montura de gafas 24, el algoritmo 34 contiene una rutina de la posición de la lente de gafas 60.

La rutina de la posición de la lente de gafas 60 determina, con ayuda de una pluralidad de datos de información de lentes de gafas en forma de modelos de lentes de gafas, un mapa de probabilidades sobre la probabilidad de que los datos de imágenes detectados se encuentren en una lente de gafas 28, 29. La Fig. 12 muestra los valores de probabilidad w(x) del mapa de probabilidades como datos de información de probabilidades 62 en una imagen de tono gris 48.

Se ha de tener en cuenta que, alternativamente a ello, también se pueden estimar modelos paramétricos de la forma de lentes de gafas 28, p. ej., en virtud de la información contenida en los datos de imágenes b(x) sobre las superficies de lentes de gafas 28 o de la información contenida en los datos de imágenes b(x) con respecto a los puntos de imágenes situados en el contorno de lentes de gafas 28. En este caso, se pueden optimizar entonces los parámetros de estos modelos.

Con el fin de simplificar el reconocimiento de puntos de imágenes en los datos de imágenes b(x) que se encuentran en lentes de gafas 28 montados en una montura de gafas 24, el algoritmo 34 contiene una rutina de reconocimiento del centro del puente 64 que, a partir de los datos de imágenes b(x), determina un centro M del puente 27 de la montura de gafas 24 que se reconoce en la Fig. 13. La rutina de reconocimiento del centro del puente 64 calcula, mediante un tratamiento de la imagen, el centro del puente 25 de la montura de gafas 24 mediante la determinación del centro del borde de las lentes de gafas 28 izquierda y derecha a partir de los datos de imágenes b(x) detectados con un dispositivo de detección de imágenes 14, 16, 18. La Fig. 13 muestra los datos de imágenes determinados mediante la rutina de reconocimiento de características faciales 40 a partir de los datos de imágenes b(x) en la sección de imagen 38 buscada (región de interés) con la montura de gafas 24 y un centro del puente 66 determinado a partir de los datos de imágenes b(x). Se ha de tener en cuenta que el centro del puente 66 puede determinarse también, p. ej., con ayuda de los puntos centrales entre centros de pupilas detectados, con ayuda de la posición del dorso de la nariz o con ayuda de una combinación ponderada de estas dos características.

La rutina de reconocimiento del centro del puente 64 en el algoritmo 34 transmite la información del centro del puente 66 a una rutina de simetría 68.

El algoritmo 34 presenta, además, una rutina de triangulación 69 que a partir de la información de los datos de imágenes b(x) de una imagen 37 adicional que es detectada con otro dispositivo de detección de imágenes 14, 16, 18, calcula con ayuda de informaciones de calibración conocidas como constante del aparato en una rutina de calibración 39, con respecto a dispositivos de detección de imágenes 14, 16, 18 mediante triangulación en los datos de información de mapas de profundidad t(x) mostrados en la Fig. 14.

Por las informaciones de calibración respecto a un dispositivo de detección de imágenes 14, 16, 18 se entienden en este caso tanto propiedades extrínsecas, tales como la orientación relativa del dispositivo de captación 19 en el espacio de un dispositivo de captación de imágenes, es decir, la orientación relativa del eje óptico del dispositivo de grabación 19, como también las propiedades intrínsecas del dispositivo de detección de imágenes 14, 16, 18, es decir, las propiedades del dispositivo de detección de imágenes 14, 16, 18 que definen la forma en que las coordenadas de un punto en el espacio en un sistema de coordenadas referenciado con respecto al dispositivo de detección de imágenes 14, 16, 18 correspondiente, que es representado en el plano de la imagen del sensor de imágenes 15 del dispositivo de detección de imágenes 14, 16, 18, se transforma en las coordenadas del punto de la imagen de este punto situado en el plano de la imagen del sensor de imágenes 15. Una descripción amplia de la calibración de dispositivos de detección de imágenes en forma de cámaras se encuentra, p. ej., en la página 8 en el libro de texto “Multiple View Geometry in Computer Vision” de Richard Hartley y Andrew Zisserman 2a edición, Cambridge University Press 2004, al que se hace con ello referencia y cuya divulgación se incluye en la presente descripción de la invención.

La información de los datos de información de mapas de profundidad corresponde a un mapa de profundidad en forma de una nube de puntos que posibilita estimar la extensión en el espacio de lentes de gafas en 3D, p. ej., en forma de planos como aproximación al contorno de la lente real.

Los datos de información de mapas de profundidad t(x) se aportan a una rutina de supuestos estéreo 71.

El algoritmo 34 contiene una rutina de función de costos 70. En la rutina de función de costos 70, los datos de información de los cantos g(x) de una imagen de información de los cantos g(x) mostrada en la Fig. 8 como imagen de tono gris 48 y los datos de información de color f(x) corregidos en reflexiones y reflejos, así como con ayuda de modelos de lentes para gafas, mostrados en la Fig. 9 como una imagen de tono gris 48, así como datos de evaluación de simetría r(x) y datos de evaluación de estéreo d(x), que también contienen la información de los datos de información de mapas de profundidad t(x), se enlazan con datos de lentes de gafas u(x) para formar una función de costos E(u). Esta función de costos E(u) se optimiza entonces en una rutina de optimización 75 del algoritmo 34.

La Fig. 15 es una representación de datos de lentes de gafas u(x) como datos iniciales para una rutina de optimización 75 en el algoritmo 34 mostrado en la Fig. 4. La Fig. 15 muestra los datos de lentes de gafas u(x) como una imagen en blanco y negro 56 en forma de los valores de una función binaria u: D ^ {0,1} que, dentro de la superficie de los lentes de gafas, adopta el valor 1 y fuera adopta el valor 0.

J3c 12

es en este caso las coordenadas de imagen de la imagen en la que se han de detectar los lentes de gafas. La denominada derivada distributiva de esta función binaria corresponde entonces al borde 26 buscado de una lente de gafas 28 mostrado en la Fig. 2.

La función de costos E(u) generada en la rutina de función de costos 70 del algoritmo 34, se reproduce en lo que sigue. Se cumple:

con el término de costos de color

en donde los datos de las lentes de gafas u(x) describen la expansión en el espacio de al menos una lente de gafas 28 soportado en la montura de gafas 24, y en donde f(x) son los datos de información de color determinados a partir de los datos de imágenes b(x), y con el término de costos de los cantos

en donde D es el gradiente de u en sentido distributivo y el término calcula la longitud del contorno de las lentes de gafas ponderado con los datos de información de los cantos g(x), que es mínima cuando los cantos de datos de la lente de gafas coinciden con los cantos detectados a partir de los datos de imágenes b(x),

y con el término de costos de simetría

que evalúa la simetría de una lente de gafas 28 izquierda y una derecha en relación con un plano central en la montura de gafas 24.

En el término de costos de color E ^coior (u(x)) se correlaciona y evalúa el color de los datos de imágenes b(x) con datos de lentes de gafas u(x). El término de costos de cantos E ^borde (u(x)) es una correlación de cantos de imágenes en los datos de imágenes b(x) con los datos de lentes de gafas u(x). El término de costos de simetría E ^sm (u(x)) se correlaciona en las simetrías contenidas en los datos de imágenes b(x) con datos de lentes de gafas u(x), al reflejar los datos de lentes de gafas u(x) en el plano central a través del centro del puente y evaluar desviaciones de los datos de lentes de gafas u(x) de los datos reflejados.

En el término de costos de simetría E ^sm (u(x)) se calcula una hipótesis de simetría en 3D basada en los datos de información del mapa de profundidad t(x), según el cual una lente de gafas izquierda y una lente de gafas derecha en la montura de gafas 24 son simétricas a un plano en 3D que se define por el centro 66 del puente en forma de línea, determinado en la rutina de reconocimiento del centro del puente 64 y mediante informaciones de calibración de uno de los dispositivos de detección de imágenes 14, 16, 18 en el dispositivo 10.

Al plano en 3D determinado se le reconoce en el sistema de costos de simetría E ^sim (u(x)) la función de un plano de reflexión que representa sucesivamente los puntos situados en el espacio tridimensional en una lente de gafas izquierda y una derecha, evaluándose en el término de costes de simetría E ^sm (u(x)) desviaciones r(x) de valores reales a nominales de esta representación. El término de simetría E ^sm (u(x)) presenta entonces datos de lentes de gafas u(x) que corresponden a dos lentes de gafas que no son simétricas entre sí, valores de costos que son tanto mayores cuanto mayores sean las desviaciones de las dos lentes de gafas que funcionan en el algoritmo 34 como datos de evaluación de simetría r(x). De este modo se garantiza que datos de lentes de gafas u(x) encontrados en la optimización de la función de costos, describan entre sí lentes de gafas simétricas. Alternativamente a ello, es también posible predeterminar en una condición obligatoria que los datos de lentes de gafas u(x) encontrados mediante la optimización de la función de costos sean simétricos.

Se ha de observar que es posible calcular hipótesis de simetría en 2D en el sistema de costos de simetría E ^sm (u(x)), aun cuando no estén presentes datos de información de mapas de profundidad, p. ej., reflejando los datos de lentes de gafas u(x) de una lente de gafas 28 izquierda en la línea central 66 del puente en el plano de la imagen del sensor de imágenes 15 de un dispositivo de detección de imágenes 14, 16, 18 sobre los datos de lentes de gafas u(x) de una lente de gafas 29 derecha y calcular entonces de nuevo desviaciones r(x) de valores reales con respecto a valores nominales que acompañan a la función de costos.

Se ha de observar que informaciones de calibración de varios dispositivos de detección de imágenes sobre la base de datos de imágenes u(x), que corresponden al menos a dos imágenes detectadas mediante el dispositivo de detección de imágenes, posibilitan aumentar la robustez del algoritmo. En particular, informaciones de calibración de este tipo posibilitan que, con ayuda de los datos de imágenes b(x), pueda utilizarse con respecto a estas imágenes un borde interno de la montura de gafas o bien un borde de las lentes de gafas al mismo tiempo y pueda referirse entre sí datos del borde del cristal uⁱ(x),...., uⁿ(x) para en cada caso dos imágenes durante la optimización. Con ello, los datos de los bordes de las lentes pueden influirse mutuamente en las distintas imágenes.

Con el fin de relacionar entre sí los datos del borde de lentes determinados a partir de dos imágenes uⁱ(x) y u²(x), en la función de costos E(u) puede introducirse también un término de costos adicional o para la optimización de la función de costos puede predeterminarse una condición obligatoria que se base en el cálculo de informaciones estéreo. Informaciones estéreo de este tipo pueden incluir el que en cada punto de imagen en una imagen detectada con un primer dispositivo de detección de imágenes se encuentre aquel punto de imagen en una segunda imagen sobre el que se representa el mismo punto en 3D. Sobre la base de estas informaciones puede entonces predeterminarse una condición obligatoria o un término de costos, que calcula una desviación que funciona como datos de evaluación estéreo d(x) de datos de lentes de gafas uⁱ(x) de los estereopuntos asociados en los datos de lentes de gafas u²(x). Estos datos de evaluación estéreo d(x) pueden calcularse, en particular, para cada uno de los pares de imágenes.

Los datos de evaluación estéreo d(x) pueden también tenerse en cuenta como un término de costos adicional E ^estéreo (u ⁱ (x), U ² (x)) en la función de costos E(u), o como una condición obligatoria en la optimización de la función de costos E(u), que garantiza que entre los datos de las lentes de gafas u(x), en los que se fundamentan diferentes imágenes, se detectan con uno o varios dispositivos de detección de imágenes, no deban existir diferencias.

La Fig. 16 muestra los valores de la función de costos E(u) para diferentes resultados intermedios i = 0, 1, 2, 3 . de la rutina de optimización para conjuntos de datos de lentes de gafas con datos de lentes de gafas u(x). Mediante la variación de los datos de lentes de gafas u(x), la función de costos E(u) se puede optimizar a un mínimo 72. Esta medida posibilita entonces el hallazgo de aquellos datos de lentes de gafas u(x) que describen de manera precisa el borde de una lente de gafas 28 adaptado a la montura de gafas 24 portada por el usuario de gafas 20.

El algoritmo 34 contiene una rutina de optimización 75 que, con respecto a la función de costos de la rutina de función de costos 70, determina aquellos datos de gafas u(x) para los que la función de costos E(u) es mínima.

Las Fig. 17 a Fig. 22 muestran como imágenes en blanco y negro 56 representaciones 74, 76, 78, 80 y 82 de diferentes conjuntos de datos de lentes de gafas i, i = 74, i = 76, i = 78, i = 80 e i = 82 correspondientes a datos de lentes de gafas u(x) que corresponden a los valores 84, 86, 88, 90 expuestos en la Fig. 15 y que corresponden al mínimo 72 de la función de costos E(u). Los datos de lentes de gafas u(x) representados en la Fig. 15 son un conjunto de datos inicial, con ayuda del cual se optimiza la función de costos E(u). Los datos de lentes de gafas u(x) representados en la Fig. 22 son los encontrados mediante la optimización de la función de costos E(u). Contienen en forma del borde de las dos superficies 94, 96 la información del borde buscado de lentes de gafas 28 que son adecuadas para la montura en la montura de gafas 24 portada por el usuario de gafas 20 mostrado en la Fig. 1. En el algoritmo 34 se determina el borde buscado de una lente de gafas 28 a partir de los datos de lentes de gafas u(x) encontrados mediante optimización de la función de costos E(u) en una rutina del cálculo del borde 77. Esta rutina del cálculo del borde 77 puede también prever que a partir del borde de apoyo buscado de una lente de gafas se calcule un borde exterior de la lente, p. ej., predeterminando que el borde externo de la lente tenga una distancia fija del borde de apoyo determinado de la lente de gafas 28 correspondiente.

La función de costos E(u) es, por consiguiente, una suma de términos de energía y se somete a condiciones obligatorias. A los datos de lentes de gafas se establecen condiciones de simetría en 2D y/o 3D. La optimización de la función de costos u(x) tiene lugar solo dentro de los datos de imágenes b(x) situados en el segmento de imagen 38 relevante.

Se ha de observar que es posible ponderar el término de energía en la función de costos E(u). En particular, es posible ponderar términos de energía individuales en la función de costos E(u) con el factor 0, es decir, omitir términos de energía individuales en la función de costos E(u) y, por consiguiente, no tenerlos en cuenta. Además, es posible minimizar la longitud del borde de las lentes de gafas 28, en particular a través de la primera derivada de esta curva. También es posible penalizar desviaciones del modelo de color teniendo en cuenta un modelo de cristal y las informaciones generadas en la detección de reflexiones y/o reflejos. Finalmente, se ha de observar que las condiciones de simetría en 2D y en 3D tenidas en cuenta en el algoritmo 34 y determinadas a partir de planos de las lentes, pueden basarse en informaciones en 3D que también posibilitan la determinación de parámetros de centrado.

Básicamente, la función de costos E(u) se puede minimizar de diferente manera. En particular, es posible minimizar la función de costos E(u), p. ej., a través de métodos continuos (enfoques primales-duales), métodos de corte de gráfico discretos, modelos de contorno activos o similares.

Métodos continuos se definen debido a que describen la imagen en forma de una función continua y, con ello, la función de costos se define en un espacio matemático continuo. La discretización de la función de costos a base de puntos de imágenes tiene lugar entonces solo en un último paso antes de la optimización. A diferencia de ello, métodos de optimización discretos definen la función de optimización directamente en el plano de los pixeles.

Se ha de tener en cuenta también que, tal como se describe en la publicación C. Niewenhuis et al. Spatially Varying Color Distributions for Interactive Multilabel Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 35, 1 (2013), métodos continuos tienen la ventaja frente a los discretos de que evitan artefactos en cantos y son mucho más fácilmente paralelizables. La paralelización posibilita, en particular, rápidos cálculos sobre un mapa gráfico de un ordenador.

A este respecto, se ha de tener en cuenta, en particular, que las condiciones de simetría en 2D y 3D, tenidas en cuenta en el algoritmo 34, determinadas a partir de planos de la lente se basan en informaciones en 3D que posibilitan también la determinación de parámetros de centrado.

Se ha de tener en cuenta, además, que a los modelos de la forma de lentes de gafas 28 precedentemente descritos puede recurrirse también como una condición obligatoria o bien secundaria en la optimización de la función de costos E(u). Una condición obligatoria o bien secundaria de este tipo puede ser, p. ej., que el borde final determinado de una lente de gafas 28 se encuentre dentro del espacio del modelo previamente estudiado. Se entiende que en lugar de aprender de los ejemplos modelo, estos también se pueden definir.

El algoritmo 34 precedentemente descrito puede llevarse a cabo básicamente también sin que se lleven a cabo una o varias rutinas de las rutinas precedentemente descritas del grupo de rutina de reconocimiento de la característica facial 40, rutina de detección de reflexiones 58, rutina de posición de los lentes para gafas 60, rutina de reconocimiento del centro del puente 64 o rutina de triangulación 69. También puede llevarse a cabo el algoritmo 34 precedentemente descrito sin que la función de costos E(u) a optimizar contenga un término de costos de simetría E ^sim (u(x)) o se optimice teniendo en cuenta una condición obligatoria de simetría. La función de costos E(u) a optimizar tampoco debe contener obligatoriamente al mismo tiempo un término de costos de color E ^coior (u(x)) y un término de costos de cantos E ^borde (u(x)).

En particular, el algoritmo 34 puede llevarse a cabo también con datos de imágenes b(x) que contienen la información únicamente de una imagen detectada con un único dispositivo de captación de imágenes 16 del usuario de gafas 20 mostrado en la Fig. 1. En el marco de la invención deben proporcionarse como no obligatorios datos de imágenes b(x) que se basen en diferentes dispositivos de detección de imágenes 14, 16, 18 a partir de datos de imágenes b(x) detectados de diferentes dispositivos de captación con respecto a la cara 25 del usuario de gafas 20 con una montura para gafas 24 portada por éste.

En resumen, se han de retener las siguientes características preferidas de la invención: la invención se refiere a un procedimiento para determinar la representación del borde 26 de una lente de gafas 28 o de una lente de gafas izquierda 28 y una lente de gafas 29 derecha para un usuario de gafas 20. De acuerdo con la invención, para ello se llevan a cabo los siguientes pasos:

proporcionar datos de imágenes b(x) al usuario de gafas 20 con una montura de gafas 24 puesta,

calcular datos de información I(x) derivados de los datos de imágenes b(x),

calcular una función de costos E(u) que enlaza los datos de información I(x) con datos de las lentes de gafas u(x), describiendo los datos de lentes de gafas u(x) la extensión en el espacio de al menos una lente de gafas 28 incorporada en la montura de gafas 24, y

establecer un recorrido de un borde 26 de la lente de gafas 28 o de la lente de gafas izquierda y de la lente de gafas 29 derecha mediante la optimización de la función de costos E(u).

Lista de símbolos de referencia

10 dispositivo

12 columna

14, 16, 18 dispositivo de detección de imágenes

15 sensor de imágenes

19 dispositivo de grabación

20 usuario de gafas

21 unidad de ordenador

22 interfaz de entrada

interfaz de salida

montura de gafas

puente de la montura de gafas

borde

lente de gafas izquierda

lente de gafas derecha

superficie lateral

vertical

sistema de coordenadas

algoritmo

imagen

imagen adicional

segmento de imagen

rutina de calibración

rutina de reconocimiento de las características faciales

modelo de datos

rutina de detección de cantos

datos de información de los cantos

imagen de tono gris

rutina de evaluación del color

datos de información del color

reflexiones/reflejos

imagen en blanco y negro

rutina de detección de reflexiones

rutina de la posición de la lente de gafas

datos de información de probabilidades

rutina de reconocimiento del centro del puente

centro del puente

rutina de simetría

rutina de triangulación

rutina de función de costos

supuesto estéreo

mínimo

representación

rutina de optimización

rutina del cálculo del borde

, 78, 80, 82 representaciones de conjuntos de datos de lentes de gafas a través de datos de la lente de gafas u(x)

, 86, 88, 90, 92 valores de la función de costos E(u)

, 96 superficie

A distancia de grabación

bw distancia de lentes de gafas

b(x) conjunto de datos de imágenes / datos de imágenes

E altura de esmerilado

E(u) función de costos

f(x) datos de información de color

g(x) datos de información de cantos

HS distancia del vértice de la córnea

sb anchura del disco

sh altura del disco

d(x) datos de evaluación de estéreo

di(x) datos de información de lentes de gafas

r(x) datos de evaluación de simetría

s(x) datos de información de reflexiones

t(x) datos de información de mapas de profundidad

u(x) datos de la lente de gafas

w(x) valores de probabilidad

a ángulo de inclinación

_Pángulo del disco de la montura

Claims

REIVINDICACIONES

1. Procedimiento implementado por ordenador para la determinación automática de la representación del borde (26) de una lente de gafas (28) o de una lente de gafas izquierda (28) y de una lente de gafas derecha (29) para un usuario de gafas (20), que comprende

proporcionar una imagen (36) del usuario de gafas (20) con datos de imágenes b(x) al usuario de gafas (20) con una montura de gafas puesta (24), y

calcular datos de información I(x) derivados de los datos de imágenes b(x), comprendiendo los siguientes pasos:

determinar un segmento de imagen (38) de la imagen (36) del usuario de gafas (20) a partir de sus características faciales,

en donde los datos de información I(x) son datos de información de los cantos (46) calculados a partir de datos de imágenes del segmento b^A(x) del segmento de imagen (38);

calcular una función de costos E(u) que enlaza los datos de información I(x) con datos de la lente de gafas u(x), describiendo los datos de la lente de gafas u(x) la extensión en el espacio de al menos una lente de gafas (28) sujeta en la montura de gafas (24) como función binaria u: Q ^ {0,1} y f i e l 2 las coordenadas de imagen, adoptando la función binaria u: Q ^ {0,1} dentro de la superficie de la lente de gafas el valor 1 y fuera el valor 0, correspondiendo la derivada distributiva a la función binaria u: Q —> {0,1} y Í1 c R2al borde (26) de la lente de gafas (28), y siendo las coordenadas de imagen las coordenadas de imagen del segmento de imagen (38) de la imagen (36) del usuario de gafas (20) con la montura de gafas (24), y establecer un recorrido de un borde (26) de la lente de gafas (28) o de la lente de gafas izquierda (28) y de la lente de gafas derecha (29) mediante la optimización de la función de costos E(u).

2. Procedimiento según la reivindicación 1, caracterizado por que los datos de información I(x) calculados, derivados de los datos de imágenes b(x), comprenden una imagen de información de cantos g(x) determinada a partir de los datos de imágenes b(x) detectados mediante un algoritmo de detección de cantos.

3. Procedimiento según la reivindicación 2, caracterizado por que el algoritmo de detección de cantos contiene un detector de cantos del grupo gradiente, gradiente de color, detector del borde de Canny, filtro orientado, en particular filtro Sobel o por que el algoritmo de detección de cantos recurre para la detección de los cantos a un banco de filtros con detectores de cantos estudiados, o por que el algoritmo de detección de cantos esté configurado como un algoritmo autodidacta con procedimientos del aprendizaje mecánico.

4. Procedimiento según la reivindicación 1, caracterizado por que los datos de información I(x) calculados, derivados de los datos de imágenes b(x), comprenden una imagen de información de color f(x) determinada a partir de los datos de imágenes b(x) detectados mediante un algoritmo de evaluación del color que evalúa el color de datos de imágenes b(x).

5. Procedimiento según una de las reivindicaciones 2 o 3, caracterizado por que los datos de información I(x) calculados, derivados de los datos de imágenes b(x), comprenden una imagen de información de color f(x) determinada a partir de los datos de imágenes b(x) detectados mediante un algoritmo de evaluación del color que evalúa el color de datos de imágenes.

6. Procedimiento según la reivindicación 4 o 5, caracterizado por que la función de costos E(u) es una suma ponderada de un término de costos de detección de cantos E^g(u) y un término de costos de evaluación del color E^f(u).

7. Procedimiento según la reivindicación 6, caracterizado por que el cálculo de datos de información I(x) derivados de los datos de imágenes comprende la determinación de datos de información de reflexiones s(x) con un algoritmo para el reconocimiento de reflexiones en la montura de gafas y/o de una lente de gafas incorporada en la montura de gafas.

8. Procedimiento según la reivindicación 7, caracterizado por que el algoritmo de evaluación del color y/o el algoritmo de detección de cantos tiene en cuenta los datos de información de reflexiones s(x) calculados a partir de los datos de imágenes b(x).

9. Procedimiento según una de las reivindicaciones 6 a 8, caracterizado por que el cálculo de datos de información I(x) derivados de los datos de imágenes b(x) comprende la determinación de datos de información de características faciales m(x) con un algoritmo para el reconocimiento de características faciales, en particular un algoritmo para el reconocimiento de características faciales que está diseñado para el reconocimiento de una o varias características faciales del grupo de ojo, pupila, ceja, nariz o boca.

10. Procedimiento según la reivindicación 8 o 9, caracterizado por que el algoritmo de evaluación del color y/o el algoritmo de detección de los cantos tiene en cuenta los datos de información de características faciales m(x) calculados a partir de los datos de imágenes b(x).

11. Procedimiento según una de las reivindicaciones 1 a 9, caracterizado por que la función de costos E(u) para la determinación del borde de una lente de gafas izquierda (28) y de una lente de gafas derecha (29) para un usuario de gafas (20) evalúa una simetría de datos de lente de gafas u(x) y/o por que la función de costos E(u) para la determinación del borde (26) de una lente de gafas izquierda (28) y de una lente de gafas derecha (29) para un usuario de gafas (20) evalúa con una condición estéreo puntos representados consecutivamente en datos de lente de gafas u(x) para imágenes que corresponden a diferentes direcciones de captación (19) de los dispositivos de captación de imágenes (14, 16, 18).

12. Procedimiento según una de las reivindicaciones 6 a 10, caracterizado por que el cálculo de datos de información I(x) derivados de los datos de imágenes b(x) comprende la determinación de datos de información de lentes de gafas di(x) con un algoritmo que, con ayuda de un modelo de lente de gafas aportado al algoritmo o con ayuda de una pluralidad de modelos de lentes de gafas aportados al algoritmo como datos de información de lente de gafas di(x) indica un modelo paramétrico o un mapa que representa las probabilidades sobre la probabilidad de que los datos de imágenes b(x) detectados se encuentren en una lente de gafas (28, 29)

y/o

por que el cálculo de datos de información I(x) derivados de los datos de imágenes b(x) comprende la determinación de datos de información de la forma de la lente de gafas di(x) con un algoritmo (34) que, con ayuda de una pluralidad de modelos de lentes de gafas aportados al algoritmo como datos de información de forma de lente de gafas di(x) indica una forma en 2D o una forma en 3D de una lente de gafas (28, 29) incorporable en la montura de gafas (24),

y/o

por que el algoritmo de evaluación del color tiene en cuenta los datos de información de la forma de la lente de gafas di(x) calculados a partir de los datos de imágenes b(x).

13. Procedimiento según una de las reivindicaciones 1 a 12, caracterizado por que los datos de información I(x) calculados, derivados de los datos de imágenes b(x), comprenden un centro M del puente determinado mediante un algoritmo de detección del centro del puente,

y/o por que los datos de imágenes b(x) proporcionados al usuario de gafas (20) se basan en imágenes tomadas a partir de al menos dos ángulos de visión diferentes.

14. Programa de ordenador que comprende un código del programa que, cuando está cargado y realizado en un sistema de ordenador, está diseñado para llevar a cabo un procedimiento según una de las reivindicaciones precedentes.

15. Dispositivo para la determinación automática del recorrido del borde de una lente de gafas (28) o de una lente de gafas izquierda (28) y de una lente de gafas derecha (29) para un usuario de gafas (20),

comprendiendo

al menos un dispositivo de detección de imágenes (14, 16, 18) para la provisión de una imagen (36) del usuario de gafas (20) con datos de imágenes b(x) del usuario de gafas (20) que porta una montura de gafas (24),

medios para determinar un segmento de imagen (38) de la imagen (36) del usuario de gafas (20) a partir de sus características faciales;

medios para calcular datos de información I(x) derivados de los datos de imágenes b(x), en donde los datos de información I(x) son datos de información de los cantos (46) calculados a partir de datos de imágenes del segmento bA(x) del segmento de imagen (38);

medios para calcular una función de costos E(u) que enlaza los datos de información I(x) con datos de las lentes de gafas u(x), en donde los datos de lentes de gafas u(x) describen la extensión en el espacio de al menos una lente de gafas (28) sujeta en la montura de gafas (24) como función binaria u: O —> {0,1} y y Í1 c R2 las coordenadas de imagen, adoptando la función binaria u: D —> {0,1} dentro de la superficie de la lente de gafas el valor 1 y fuera el valor 0, correspondiendo la derivada distributiva de la función binaria u: O ^ {0,1} y Í1 cz ]R2 al borde (26) de la lente de gafas (28), y siendo las coordenadas de imagen las coordenadas de imagen del segmento de imagen (38) de la imagen (36) del usuario de gafas (20) con la montura de gafas (24) y

medios para establecer el recorrido de un borde (26) de la lente de gafas (28) o de la lente de gafas izquierda (28) y de la lente de gafas derecha (29) mediante la optimización de la función de costos E(u).