ES2389987T3

ES2389987T3 - Sistema y método de ayuda al enfoque

Info

Publication number: ES2389987T3
Application number: ES07844578T
Authority: ES
Inventors: Thomas Graeme Nattress
Original assignee: Red com LLC
Current assignee: Red com LLC
Priority date: 2006-11-20
Filing date: 2007-10-24
Publication date: 2012-11-05
Anticipated expiration: 2027-10-24
Also published as: KR20090090333A; AU2007324081B2; CA2669580A1; HK1137518A1; EP2100188A1; JP5099529B2; US20130177254A1; US20090245677A1; US7544919B2; CA2669580C; US20080116353A1; TW200833094A; BRPI0719084A2; CN101558355A; EP2100188B1; US8274026B2; CN101558355B; US20150215519A1; WO2008063811A1; KR101417169B1

Abstract

Un aparato que ayuda al ajuste de un enfoque de una imagen, que comprende:una lente (926) que tiene una longitud focal variable, produciendo esa lente una imagen de datos visuales apartir de la luz que entra en la lente;un ajuste del enfoque que ajusta la longitud focal de la lente;un sensor óptico que convierte unos datos visuales de la imagen de la lente en una matriz numérica de píxeles,bidimensional, dispuesta la matriz de píxeles en filas y columnas;un procesador (928) configurado para determinar los datos del nivel de enfoque (932) para una pluralidad depíxeles en la matriz de píxeles yuna pantalla (930), controlada por el procesador, en la que la pantalla muestra la imagen de datos visuales apartir de la lente caracterizada por que el procesador se configura para determinar un grado respectivo deenfoque de cada una de la pluralidad de zonas de la imagen, correspondiendo cada zona de la imagen a unobjeto en dicha imagen de datos visuales, mediante el cálculo de los datos del nivel de enfoque para al menosun píxel dentro de cada zona de imagen y por que el procesador se configura de modo que la pantalla muestreal menos una forma de onda (300, 400), actualizada al mismo tiempo que la imagen, en la que puntos en laforma de onda proporcionan una correlación gráfica de los datos de nivel de enfoque determinados con el almenos un píxel correspondiente, asociando de ese modo visualmente en la pantalla cada zona de imagen (306,310, 714) de la pluralidad de zonas de imagen con una indicación visual (304, 308, 818, 822) del grado deenfoque de cada zona de imagen proporcionada por dicha al menos una forma de onda (300, 400).

Description

Sistema y método de ayuda al enfoque

5 Antecedentes Campo de la invención

La invención se refiere a proporcionar información del enfoque.

Descripción de la técnica relacionada

Hay dos métodos básicos para enfocar una cámara o instrumento óptico.

15 En un sistema de enfoque automático, la cámara fija el nivel de enfoque con poca o ninguna colaboración del usuario. La cámara recoge datos sobre el nivel de enfoque relativo de los objetos en la lente de la cámara. Usa un algoritmo para interpretar esos datos y fija un nivel de enfoque óptimo. Sin embargo, este algoritmo no ejecuta necesariamente las intenciones del fotógrafo. Muchos algoritmos de enfoque automático priorizan los objetos que están próximos al centro del cuadro o que están brillantemente iluminados. Si el objeto de interés para el fotógrafo está fuera del centro o débilmente iluminado, el algoritmo de enfoque automático puede calibrar un nivel de enfoque basado en objetos en los que el fotógrafo no tiene interés.

Las cámaras de enfoque manual requieren más esfuerzo por parte del usuario. Aunque, también da al fotógrafo más control sobre el nivel de enfoque. Debido a que las cámaras de enfoque manual son más sensibles a los deseos del

25 usuario y potencialmente más precisas, los profesionales usan frecuentemente cámaras de enfoque manual. Se han realizado intentos para proporcionar al usuario información sobre el enfoque de la imagen. El documento JP 2006 108973 describe la extracción de un componente de alta frecuencia de una señal de captura de imagen para crear un histograma indicativo de un nivel de enfoque de una imagen. El documento JP 2004 072297 tiene circuitos de ayuda al enfoque y la pantalla correspondiente. La pantalla incluye un gráfico de barras que muestra un valor numérico o nivel correspondiente al nivel de enfoque de la imagen.

Cualquiera que sea el sistema que emplee la cámara —enfoque automático o enfoque manual— la capacidad del sistema para producir resultados deseables depende de la habilidad del usuario para confirmar qué objetos están en

o fuera del enfoque. En un sistema de enfoque automático, no está claro qué objetos están en o fuera del enfoque,

35 el usuario no puede confirmar que el algoritmo de enfoque automático ha identificado los objetos de interés principal del usuario y ajustado el nivel de enfoque en consecuencia. En el sistema de enfoque manual, si el usuario no puede confirmar qué objetos están en o fuera de enfoque, el usuario no puede confirmar la precisión de los ajustes del enfoque.

Las pantallas de las cámaras pueden ser demasiado pequeñas o imprecisas para transmitir fiablemente al usuario si un objeto está enfocado o no o, si está fuera de enfoque, justamente en qué medida está desenfocado. Frecuentemente no permiten al usuario distinguir entre graduaciones en el nivel de enfoque o el equilibrio del nivel de enfoque entre múltiples objetos en el visor.

45 Sumario

De acuerdo con un aspecto de la invención, se proporciona un aparato que ayuda en el ajuste de un enfoque de una imagen como se define en la reivindicación independiente 1.

De acuerdo con otro aspecto, la invención proporciona un método para suministrar una realimentación que permita el enfoque de una imagen en tiempo real como se define en la reivindicación independiente 9.

Se usa una lente óptica que tiene una longitud focal variable para detectar una imagen. La lente enfoca la imagen en un sensor y el sensor captura la información correspondiente a los elementos de imagen individuales (píxeles). Una

55 pantalla muestra la imagen detectada.

Para ayudar a un usuario a ajustar el enfoque de la imagen, una forma de onda indica un grado de enfoque de una zona de la imagen. La forma de onda se puede superponer sobre la imagen o se puede mostrar adyacente a la imagen. Alternativamente, la forma de onda se puede visualizar en una pantalla separada. La forma de onda se actualiza en tiempo real, permitiendo al usuario ajustar el enfoque al mismo tiempo. La pantalla del grado de enfoque se podía usar, por ejemplo, para cámaras fijas y cámaras de imágenes en movimiento. La zona puede ser, por ejemplo, una línea o un patrón geométrico regular. En una realización, el grado de enfoque de una zona se puede indicar mediante la variación del color de la zona. En otra realización, el grado de enfoque de una zona se puede indicar mediante la variación del brillo de la zona. Las zonas se pueden describir mediante bordes de detección y el 65 grado de enfoque de cada zona se puede indicar mediante la variación, por ejemplo, del brillo o el color de un borde.

El sensor óptico convierte la imagen de la lente en una matriz numérica de píxeles en dos dimensiones, con la matriz de píxeles dispuesta en filas y columnas. En una realización, un procesador opera sobre una fila de píxeles para determinar los datos del nivel de enfoque para la pluralidad de píxeles en esa fila.

5 La forma de onda puede indicar el grado de enfoque a través de variaciones de color, variaciones de intensidad, variaciones de densidad, variaciones de amplitud u otros indicadores visuales. Se puede usar una combinación de diferentes tipos de indicadores.

Los datos del nivel de enfoque se pueden determinar, por ejemplo, con un algoritmo de detección de bordes. En una realización, los datos del nivel de enfoque se determinan comparando al menos una parte de la matriz digital de píxeles con una representación difuminada de la misma parte de la matriz.

Breve descripción de los dibujos

15 Estas y otras características se describirán ahora con referencia a los dibujos resumidos a continuación. Estos dibujos y la descripción asociada se proporcionan para ilustrar una realización preferida de la invención y no para limitar el alcance de la invención.

La FIG. 1 muestra un gráfico de una línea horizontal que transmite datos del nivel de enfoque.

La FIG. 2 muestra un gráfico de una línea vertical que transmite datos del nivel de enfoque.

La FIG. 3 muestra un gráfico de una línea horizontal que transmite datos del nivel de enfoque con tres líneas separadas.

25 La FIG. 4 muestra una rejilla superpuesta sobre la imagen, mediante cuya rejilla, se pueden calcular o visualizar los datos del nivel de enfoque.

La FIG. 5 muestra resaltes alrededor de objetos, resaltes que transmiten datos del nivel de enfoque.

La FIG. 6 muestra un diagrama de alto nivel del sistema de ayuda al enfoque.

La FIG. 7 muestra un gráfico de una línea horizontal que transmite datos del nivel de enfoque a partir de una línea de barrido horizontal.

35 La FIG. 8 muestra un gráfico de una línea horizontal que transmite datos del nivel de enfoque a partir de una línea de barrido, en el que los datos del nivel de enfoque se han calculado usando un algoritmo de detección de bordes.

FIG. 9 muestra un gráfico de una línea vertical que transmite datos del nivel de enfoque a partir de una línea de barrido vertical.

La FIG. 10 muestra gráficos de líneas horizontal y vertical que transmiten datos del nivel de enfoque a partir de líneas de barrido horizontal y vertical, respectivamente.

45 La FIG. 11 muestra un gráfico de una línea horizontal que transmite datos del nivel de enfoque a partir de una línea de barrido inclinada.

La FIG. 12 muestra un gráfico de una línea horizontal que transmite datos del nivel de enfoque promediados a partir de tres líneas de escaneado.

La FIG. 13 muestra un gráfico de una línea horizontal que transmite los datos del nivel de enfoque promediados a partir de una línea de barrido de un ancho mayor que un píxel.

La FIG. 14 muestra un gráfico de una línea horizontal que transmite datos del nivel de enfoque con tres líneas 55 separadas. Cada una de las cuales corresponde a una línea de barrido horizontal diferente.

Descripción detallada

La siguiente descripción de diferentes implementaciones se ha presentado solamente a modo de ejemplo y no se debería leer en un sentido limitativo. El alcance de la presente invención se define solamente por las reivindicaciones.

En una realización, una cámara visualiza datos del nivel de enfoque al usuario. Los datos del nivel de enfoque se pueden superponer en la pantalla del visor primario o se pueden visualizar en una pantalla secundaria. Varios 65 sistemas de generación de imágenes ópticas —tal como de una cámara de imágenes en movimiento o la cámara de foto— podrían generar y visualizar datos del nivel de enfoque. Sin embargo, la invención no se limita a cámaras.

Cualquier sistema de generación de imágenes ópticas puede visualizar la información del nivel de enfoque para el usuario. Los ejemplos incluyen microscopios ópticos, telescopios o binoculares. De modo similar, instrumentos no ópticos que producen una imagen pueden visualizar también la información del nivel de enfoque al usuario. Un ejemplo es un microscopio electrónico. Adicionalmente, un algoritmo puede generar y visualizar datos del nivel de 5 enfoque al usuario para imágenes o vídeos después de que se hallan grabado. En la realización descrita, se detecta una imagen usando una matriz bidimensional de sensores ópticos. La imagen detectada se convierte en una estructura de datos que representan la imagen detectada como una matriz bidimensional de valores de píxeles, en la que los valores de los píxeles son representativos de la cantidad de luz detectada por los sensores ópticos. Se genera una imagen difuminada mediante la combinación de un valor de píxel seleccionado con una pluralidad de valores de los píxeles en la proximidad del valor de píxel seleccionado. Se determina entonces el grado de enfoque mediante la comparación del valor del píxel seleccionado con un valor del píxel de la imagen difuminada correspondiente. Se proporciona entonces una indicación visual del grado de enfoque en la forma de una forma de onda. En una realización, la indicación visual del grado de enfoque se puede superponer sobre una representación de la imagen detectada. En otra realización, la indicación visual del grado de enfoque está adyacente a la

15 representación de la imagen detectada. Un punto en la forma de onda puede corresponder a un grado de enfoque promedio para una pluralidad de píxeles alineados verticalmente. En otra realización, un punto de la forma de onda puede corresponder a un grado de enfoque promedio para una pluralidad de píxeles alineados horizontalmente. En otra realización más, un punto en la forma de onda puede corresponder a un grado de enfoque promedio para una pluralidad de píxeles en un bloque. En una realización adicional, un punto en la forma de onda corresponde a un grado de enfoque promedio para una pluralidad de píxeles no adyacentes.

Una amplia variedad de diferentes técnicas de visualización transmiten los datos del nivel de enfoque al usuario. Por ejemplo, la FIG. 1 muestra una línea gráfica 300 orientada por debajo de la imagen 302. Alternativamente la cámara

o pantalla podría mostrar el gráfico de la línea sobrepuesto sobre la imagen. El gráfico de la línea 300 muestra

25 valores más altos 304 para objetos con un mayor enfoque 306. Y muestra valores más bajos 308 para objetos no tan bien enfocados 310. El eje x 312 representa un nivel de línea base del enfoque, por debajo del cual no se muestra ningún dato de nivel de enfoque. El umbral del eje x 312 se puede fijar de acuerdo con un cierto número de criterios diferentes. Podría reflejar algún valor numérico absoluto relativo a la pendiente del gradiente —siendo calculado el gradiente mediante un algoritmo de detección de bordes cómo se explica a continuación—. O el umbral podría estar ligado dinámicamente a un nivel de enfoque promedio de la imagen completa. De ese modo, el umbral se podría establecer en 150% o en 200% del nivel de enfoque promedio. Este mecanismo se podría usar para eliminar los valores bajos, de “ruido” de la pantalla para visualizar datos solamente para aquellos objetos de la pantalla que se considera que están enfocados o relativamente enfocados.

35 En una realización, los datos del nivel de enfoque mostrados en la línea gráfica 300 cubren un intervalo continuo de valores de nivel de enfoque —o al menos continuos en un sentido digital, discreto—, limitados por píxeles y la velocidad de muestreo. Esto no significa necesariamente que los valores de la línea gráfica 300 se correspondan uno por uno con los valores del nivel de enfoque en un punto dado de la imagen 302. La línea gráfica 300 puede ser continua y representar una función ajustada de los datos de nivel de enfoque en bruto que sean mejor percibidos por el usuario.

Una línea gráfica única, horizontal 300 como la de la FIG. 1 podría no transmitir con precisión la información del nivel de enfoque para objetos orientados verticalmente en la imagen. Debido a que la línea gráfica muestra solamente un valor para cada punto de la línea horizontal, podría oscurecer diferentes niveles de enfoque orientados verticalmente

45 con respecto a ese punto.

La FIG. 2 muestra una pantalla de línea gráfica vertical 400. Muestra información del nivel de enfoque más preciso para objetos orientados verticalmente, pero podría oscurecer niveles de enfoque diferentes para los objetos orientados horizontalmente. Otra pantalla podría combinar las líneas gráficas vertical y horizontal. Tal pantalla supera alguna de las desventajas de las pantallas solamente horizontales o verticales. Sin embargo, dependiendo de cómo se presenten los datos, puede requerir que el usuario mire en dos localizaciones diferentes para tener información del nivel de enfoque en la que podría ser una imagen fugaz.

La FIG. 3 muestra otra línea gráfica horizontal. Sin embargo, esta línea gráfica horizontal comprende varias líneas.

55 Cada línea representa información del nivel de enfoque para un área diferente de la imagen 302. Por ejemplo, una o más líneas 3001 representan información del nivel de enfoque para la parte superior de la imagen 302. Una o más líneas 3002 representan información del nivel de enfoque para la parte media de la imagen 302. Una o más líneas 3003 representan información del nivel de enfoque para la parte inferior de la imagen 302. En donde el nivel de enfoque es muy similar en las partes superior, media e inferior de la imagen, las líneas comienzan a solaparse y se intensifican.

Otras realizaciones no usan una pantalla gráfica. Por ejemplo, la FIG. 4 muestra una rejilla 712 sobrepuesta sobre la imagen 302. La rejilla 712 en sí misma no necesita ser visible para el usuario. Aunque, las zonas de la rejilla 714 indica cada una un nivel de enfoque. Un método de indicar el nivel de enfoque es una tinta de color en la región 714. 65 Así, una región muy bien enfocada 714 podía tener un primer color tal como un tinte rojo. Una región pobremente enfocada 714 podía tener un segundo color tal como un tinte violeta. La región 714 con niveles de enfoque ni muy

bien ni muy pobremente enfocados podría llevar una tinción a lo largo de los colores del espectro, que corresponda a sus niveles de enfoque respectivos.

Otro método para indicar el nivel de enfoque dentro de una zona de la rejilla 714 es variar el nivel de brillo de cada

5 zona 714. Una zona muy bien enfocada 714 podría tener un primer brillo, relativamente alto. Una zona muy pobremente enfocada 714 podría tener un segundo brillo, relativamente bajo (oscura). Las zonas 714 con niveles de enfoque intermedios podían llevar un nivel de brillo que corresponda a sus niveles de enfoque respectivos.

Otras realizaciones de pantallas resaltan los objetos en sí mismos en lugar de usar rejillas o gráficos para visualizar los datos del nivel de enfoque para un área general. En la FIG. 5, el objeto más enfocado 306 tiene un resalte brillante 818 que traza los bordos del objeto. Los objetos menos enfocados 310 tienen resaltes muy oscurecidos

822. El brillo del resalte varía con el nivel de enfoque del objeto.

Alternativamente, la pantalla podría dibujar una tinta de color alrededor de los bordos de los objetos para indicar sus

15 niveles de enfoque respectivos. Por ejemplo, los objetos que estén enfocados muy bien 306 tendrían un primer color tal como una tinta roja en su borde. Objetos muy pobremente enfocados 310 tienen un segundo color tal como una tinta violeta en su borde. Los objetos que no estén ni bien ni pobremente enfocados tendrían una tinta a lo largo de su borde que corresponda a sus niveles de enfoque respectivos.

Más que simplemente resaltar los alrededores de cada objeto, una realización realza el relieve de un objeto completo cuando está enfocado. Los objetos que no están enfocados 310 aparecen o bien planos o bien en un relieve negativo. Los objetos enfocados 306 sobresalen de la imagen, mientras que los objetos no enfocados 310 se rebajan. El relieve de cada objeto corresponde a su nivel de enfoque. Esta implementación tiene la ventaja de que el usuario puede concentrarse en los objetos en el visor para recoger los datos del nivel de enfoque. Debido a que esta

25 realización es altamente intuitiva, el usuario no necesita interpretar mucho los datos de la pantalla para determinar los niveles de enfoque relativos de los objetos en la pantalla.

La FIG. 6 muestra una realización de la arquitectura de la cámara. La cámara recoge los datos visuales 924 de la lente de la cámara 926. La cámara registra los datos visuales 924 y muestra una representación de los datos visuales 924 en el visor 930. La cámara envía también los datos visuales 924 a un procesador 928. El procesador usa un algoritmo para calcular los datos del nivel de enfoque 932 para los datos visuales 924. El procesador envía esos datos de nivel de enfoque 932 al visor, en donde el usuario 934 los ve sobrepuestos sobre los datos visuales

924. El visor 930 muestra los datos de nivel de enfoque 932 procedentes del procesador 928 y visualiza los datos 924 de la lente 926 al mismo tiempo.

35 En una realización alternativa (no mostrada), en una cámara de enfoque automático, el procesador que acepta los datos visuales y calcula los datos de nivel de enfoque es también el procesador que calcula los datos del nivel de enfoque para el sistema de enfoque automático. Un sistema de enfoque automático genera automáticamente datos del nivel de enfoque para determinar los ajustes de nivel de enfoque apropiados. En esta realización, esos datos se reutilizan. La cámara no solamente utiliza los datos de nivel de enfoque para conseguir un ajuste de enfoque óptimo, sino que los datos se envían también al usuario a través del visor. El usuario puede entonces confirmar que el sistema de enfoque automático ha identificado y fijado el nivel de enfoque para el objeto u objetos en los que el usuario esté interesado.

45 El procesador usa un algoritmo para calcular los datos de nivel de enfoque visualizados para el usuario.

En una realización, el procesador difumina los datos de la imagen para crear una imagen de comparación. Por ejemplo, el procesador podría usar una aproximación de difusión gaussiana o de rectángulo rápido o convolucionar la imagen. La imagen difuminada difiere de la imagen original principalmente en los bordes de los objetos enfocados

306. En los objetos enfocados 306, el proceso de difuminado elimina el agudo contraste entre el borde del objeto 306 y su entorno. El proceso de difuminado crea un cambio menor en los bordes de los objetos no enfocados 310. El contraste suave entre un objeto no enfocado 310 y su entorno permanece un contraste suave en la imagen difuminada, de comparación. Debido a que los bordes se componen típicamente de los píxeles que más cambian durante el proceso de difuminado, es posible encontrar los bordes de los objetos enfocados.

55 Existen varios algoritmos alternativos para detectar si una imagen está o no enfocada. Muchos de estos son algoritmos de “detección de bordes”. Ejemplos de los algoritmos de detección de bordes se pueden hallar en Fundamentals of Digital Image Processing por Anil K. Jain.

Un algoritmo usa operadores de gradiente para detectar los bordes. Los operadores de gradiente son máscaras, o simplemente matrices, usadas para generar un mapa de gradientes. Los operadores de gradiente, cuando se convolucionan con los píxeles en una imagen, producen un mapa de gradientes en dos direcciones ortogonales. De modo similar, los operadores de orientación producen un mapa de gradientes en un número seleccionado de direcciones que corresponden a las direcciones de la orientación. Una vez que se ha calculado el gradiente, se

65 identifica un borde buscando los puntos en donde el gradiente supera algún umbral. El nivel de enfoque, en general, corresponde a la intensidad del gradiente.

Otros algoritmos de detección de bordes aplican una derivada de segundo orden a la imagen. La derivada detecta tasas de cambio en la intensidad de los píxeles a lo largo de la imagen. De nuevo, el algoritmo convoluciona normalmente la imagen con un operador. Los bordes se identifican mediante localizaciones en las que el gradiente supera algún umbral o, más comúnmente, buscando puntos en los que la forma de onda de la segunda derivada

5 cruza por cero. Mientras que los cruces por cero son útiles para detectar los bordes, sólo devuelven un valor binario y por lo tanto no transmiten datos de nivel de enfoque precisos. De nuevo en este caso, el nivel de enfoque corresponde en general a la intensidad del gradiente en los bordes de los objetos

Las mediciones de gradiente cambian en la intensidad de los píxeles adyacentes. La intensidad se puede medir de acuerdo con uno o más de varios elementos diferentes de cada píxel. La intensidad se puede referir al contenido de rojo, verde o azul de un píxel o a cualquier combinación de los mismos. En sistemas YCbCr, se puede referir al componente de luminancia o crominancia de cada píxel o a una combinación de los mismos. En sistemas HSV, se puede referir a los componentes del tono, de la saturación o del brillo del píxel o cualquier combinación de los mismos. Dependiendo del espacio de color de los sistemas de procesamiento y visualización, el procesador puede

15 usar cualquiera de los componentes de los valores de los píxeles que obtienen el mapa de gradientes óptimos o datos de nivel de enfoque óptimo.

Una forma de usar un algoritmo de detección de bordes para deducir los datos del nivel de enfoque para una imagen completa —en lugar de solamente los bordes— es utilizar una extracción de límites. Mediante la conexión de los bordes, los límites definen la forma del objeto. Suponiendo que el objeto completo está enfocado y sus bordes están enfocados, la cámara puede usar la detección de límites para determinar la forma del objeto e adjudicar el nivel de enfoque en el borde del objeto al resto de la forma.

Un algoritmo de seguimiento del contorno es un algoritmo de extracción de límites que usa una serie de etapas

25 horizontales o verticales elegidas mediante prueba y error. La etapa correcta se determina tanto cuando la etapa llega al interior como al exterior de un límite.

Otro algoritmo de extracción de límites usa el principio de programación dinámica de la ciencia de ordenadores. En la programación dinámica la solución a un problema grande es función de las soluciones a sus subproblemas. En el contexto de la extracción de límites, esto significa que los subrrecorridos óptimos conducirán al límite óptimo.

El algoritmo de detección del nivel de enfoque mide el nivel de enfoque para una selección de píxeles. El número y localización de los píxeles para los que el algoritmo calcula los datos de nivel de enfoque es función de la velocidad de cálculo, detalle de los datos del nivel de enfoque y tipo de los datos de enfoque que se desean presentar al

35 usuario.

En una realización, el algoritmo del nivel de enfoque calcula los datos de nivel de enfoque para una o más “líneas de barrido”. El ejemplo más simple de una realización de línea de barrido se representa en la FIG. 7. En esa figura, una línea de barrido simple 1144 se extiende horizontalmente a través de la imagen 302. La línea de barrido 1144 no necesita estar centrada verticalmente. El usuario puede ajustar la posición de la línea de barrido 1144. El algoritmo de nivel de enfoque calcula un valor del nivel de enfoque para cada píxel a lo largo de la línea de barrido 1144 y lo visualiza como un punto a lo largo de la línea gráfica 300. En otra realización, para ahorrar tiempo de procesamiento, el algoritmo de nivel de enfoque podría medir no más de aproximadamente el 50% o no más de aproximadamente el 25% de los píxeles, tal como medir solamente uno cada dos píxeles o solamente uno cada varios píxeles en la línea

45 de barrido 1144. La línea gráfica 300 muestra cómo la pantalla de nivel de enfoque se corresponde al nivel de enfoque medido en cada píxel a lo largo de la línea de barrido 1144.

En la FIG. 8, la línea de barrido 1144 y la técnica de visualización son idénticas a las de la FIG. 11. Pero, en lugar de una forma de onda suave, la línea gráfica 300 tiene picos. Esta forma de onda de picos representa los datos producidos por un algoritmo de detección de bordes. Los datos de nivel de enfoque son más precisos en los bordes de los objetos. En los bordes de las barras que están enfocadas 306, el gráfico 300 muestra un alto valor. De la misma forma, en los bordes de las barras que no están enfocadas 310, el gráfico 300 muestra valores bajos. Pero el gráfico 300 no muestra valores altos o bajos para las partes medias de los objetos. En las partes medias de los objetos, la correspondencia entre el elevado contraste —en el que se basan los algoritmos de detección de bordes—

55 y el enfoque elevado, es menos fiable. Esto se debe a que es menos probable que las partes medias de los objetos tengan elevados valores de contraste tanto si están enfocados como si no.

La línea de barrido 1344 podría estar orientada verticalmente, como en la FIG. 9, en lugar de orientada horizontalmente. Una línea de barrido vertical 1344 da unos datos de nivel de enfoque mejores para series de objetos orientados verticalmente en el visor. Como el gráfico horizontal para una línea de barrido horizontal, una gráfico vertical 400 visualiza los datos de nivel de enfoque para una línea de barrido vertical. Otra realización, más detallada, representada en la FIG. 10 emplea tanto líneas de barrido vertical 1344 como horizontal 1114 y tanto un gráfico vertical 400 como horizontal 300.

65 La línea de barrido no necesita transcurrir precisamente de modo horizontal (o vertical) a través de la imagen. La línea de barrido 1144 podría transcurrir en una pendiente, como en la FIG. 11.

En la FIG. 12, la pantalla consiste de nuevo en una única línea gráfica 300. Y el algoritmo usa de nuevo líneas de barrido para identificar los píxeles para los que calculará los datos de nivel de enfoque. Pero en lugar de usar solamente una única línea de barrido, el algoritmo promedia los datos de múltiples líneas de barrido 1144, tal como al menos dos, en algunas realizaciones al menos cinco y en otras realizaciones al menos 10 líneas de barrido.

5 Dependiendo de la localización de las líneas de barrido y de los objetos en la imagen, esta técnica puede mejorar la precisión de la visualización del nivel de enfoque. Cuantas más líneas de barrido 1144 emplee el procesador, más datos del nivel de enfoque recogerá y más preciso será. Pero cuantas más líneas de barrido 1144 emplee el procesador más cálculos deberá ejecutar y más lentamente generará los datos de nivel de enfoque. De nuevo, la cámara podía usar líneas de barrido verticales 1344 en lugar de o junto con líneas de barrido horizontales 1144 para ésta o cualquier otra técnica de líneas de barrido.

En la FIG. 13 se muestra otra realización más basada en líneas de barrido. Sin embargo, en esta realización, la línea de barrido 1144 tiene un ancho mayor de un píxel. El ancho de la línea de barrido 1746 se puede fijar en tantos píxeles o tan pocos como se desee. De hecho, ésta es una variación de la realización de múltiples líneas de barrido

15 representada en la FIG. 12. Una línea de barrido 1144 de un número de píxeles de ancho 1746 es la misma que esas mismas líneas de barrido adyacentes, cada una de un píxel de ancho. Por ejemplo, el nivel de enfoque promedio de una línea de barrido 1144 de cinco píxeles de ancho 1746 es idéntico al nivel de enfoque promedio de cinco líneas de barrido 1144, cada una adyacente a la siguiente. Para limitar el consumo de potencia y disminuir el tiempo de cálculo, el procesador podría calcular los datos de nivel de enfoque solamente para cada dos líneas de barrido adyacentes 1144 o una de cada varias líneas de barrido adyacentes 1144.

El procesador no necesita generar un nivel promedio de enfoque para múltiples líneas de barrido. La FIG. 14 muestra una pantalla gráfica con una línea gráfica 3001-03 que corresponde a cada línea de barrido 1144. Alternativamente, cada línea gráfica podría transmitir datos de los niveles de enfoque promedio a partir de múltiples

25 líneas de barrido como ayuda para el usuario.

Además, el procesador 928 podría aplicar un algoritmo de filtrado secundario a los datos de nivel de enfoque a partir de una o más líneas de barrido. Por ejemplo, el procesador 928 podría aplicar un algoritmo que convierte en cero todos los valores de nivel de enfoque por debajo de un cierto umbral. Tal algoritmo se puede usar para eliminar el ruido de la pantalla, para evitar la distracción del usuario. El umbral podría o no establecerse en el mismo punto que el eje x 312 de línea base en la pantalla, dependiendo de la altura deseada de la línea gráfica 300 en la pantalla. Realmente, la cámara podría permitir que el usuario fijara este umbral. Como el eje x 312 de línea base, este umbral del algoritmo se podría fijar de acuerdo con o bien un valor absoluto en relación a la pendiente del gradiente, tal como se calcula por un algoritmo de detección de borde, o bien podría ser una función del nivel de enfoque

35 promedio de la imagen. Por ejemplo, el algoritmo podría eliminar los valores de nivel de enfoque para objetos que tengan menos que un umbral tal como aproximadamente el 150% del nivel de enfoque promedio de la imagen. Se podría usar también un segundo algoritmo para suavizar los datos de nivel de enfoque, de nuevo para presentar una forma de onda simplificada, fácilmente percibida por el usuario. Esta técnica podría ser útil con algoritmos de detección de borde, que tienden a producir picos.

Brevemente, las realizaciones de línea de barrido no están limitadas a ninguna línea de barrido particular o elección de píxeles dentro de esas líneas de barrido. Por el contrario, las líneas de barrido se podrían implementar en cualquier permutación que satisfaga un deseado equilibrio entre la velocidad de cálculo, detalle de la información y método de visualización para el usuario.

45 Las líneas de barrido son simplemente un método de aplicación de un algoritmo de detección de nivel de enfoque. El algoritmo podría calcular la información de nivel de enfoque para la imagen completa o para algún subconjunto alternativo de esa imagen. Ese subconjunto alternativo podría ser un área geométrica. El área geométrica se podría definir por el usuario o se podría fijar mediante un algoritmo, por ejemplo, para seguir un objeto en movimiento en el visor. El subconjunto alternativo podría ser también un patrón de píxeles, diseñado como una muestra representativa de la imagen, pero a un nivel más bajo de detalle y por lo tanto requiriendo menores cálculos.

Para visualizar los datos de nivel de enfoque en el patrón de una rejilla, el algoritmo debe calcular los datos de nivel de enfoque para al menos una parte de cada zona dentro de la rejilla. El algoritmo podría calcular los datos del nivel

55 de enfoque solamente para un píxel dentro de cada zona. El algoritmo podría calcular los datos del nivel de enfoque para la zona completa y promediar los datos para visualizar una indicación del nivel de enfoque.

Si el algoritmo calcula datos de nivel de enfoque suficientes —al menos suficientes para una muestra representativa de la imagen— es posible visualizar para el usuario información del nivel de enfoque en base a los bordes sobrepuestos sobre la imagen. Debido a que el algoritmo de detección de bordes devuelve datos que corresponden a los bordes de cada objeto, la pantalla podría usar esos datos para resaltar los bordes de los objetos en el visor en tiempo real. Esto se podría realizar variando el brillo de los bordes de los objetos o dibujando un color alrededor de los objetos, cuya sombra o ancho debería corresponder al grado de enfoque.

65 Los algoritmos que generan datos de nivel de enfoque fiables para los objetos completos permiten otras técnicas de visualización. Una pantalla varía el relieve de un objeto de acuerdo con su nivel de enfoque. De ese modo, los objetos enfocados resaltarían fuera de la imagen y se harían más prominentes que los sujetos no enfocados. De modo similar, otra pantalla representa los objetos en tres dimensiones cuando están enfocados. Cuanto más desenfocados queden los objetos, más planos quedarán en la pantalla.

5 Se debería entender que las realizaciones descritas en el presente documento se pueden implementar en una variedad de formas. Otras realizaciones que sean evidentes para los expertos en la materia, incluyendo realizaciones que no proporcionen todos los beneficios y características expuestas en el presente documento, están también dentro del alcance de esta invención. Por ejemplo, la cámara podía tener una interfaz con un dispositivo de procesamiento de imágenes físicamente separado, tal como un ordenador, o las capacidades de procesamiento de

10 imágenes se podrían implementar dentro de la cámara. Adicionalmente, los algoritmos se pueden implementar en una variedad de formas, tal como en hardware, software una combinación de hardware y software. Mientras que algunas de las realizaciones descritas en el presente documento proporcionan detalles específicos para su implementación, el alcance de la descripción se pretende que sea amplio y no limitado a las realizaciones específicas descritas. En consecuencia, los detalles descritos en la especificación no se deberían interpretar como

15 limitaciones de la invención reivindicada. Por el contrario, el alcance de las reivindicaciones se debería determinar a partir del lenguaje de las reivindicaciones.

Claims

REIVINDICACIONES

1. Un aparato que ayuda al ajuste de un enfoque de una imagen, que comprende:

5 una lente (926) que tiene una longitud focal variable, produciendo esa lente una imagen de datos visuales a partir de la luz que entra en la lente; un ajuste del enfoque que ajusta la longitud focal de la lente; un sensor óptico que convierte unos datos visuales de la imagen de la lente en una matriz numérica de píxeles, bidimensional, dispuesta la matriz de píxeles en filas y columnas; un procesador (928) configurado para determinar los datos del nivel de enfoque (932) para una pluralidad de píxeles en la matriz de píxeles y una pantalla (930), controlada por el procesador, en la que la pantalla muestra la imagen de datos visuales a partir de la lente caracterizada por que el procesador se configura para determinar un grado respectivo de enfoque de cada una de la pluralidad de zonas de la imagen, correspondiendo cada zona de la imagen a un

15 objeto en dicha imagen de datos visuales, mediante el cálculo de los datos del nivel de enfoque para al menos un píxel dentro de cada zona de imagen y por que el procesador se configura de modo que la pantalla muestre al menos una forma de onda (300, 400), actualizada al mismo tiempo que la imagen, en la que puntos en la forma de onda proporcionan una correlación gráfica de los datos de nivel de enfoque determinados con el al menos un píxel correspondiente, asociando de ese modo visualmente en la pantalla cada zona de imagen (306, 310, 714) de la pluralidad de zonas de imagen con una indicación visual (304, 308, 818, 822) del grado de enfoque de cada zona de imagen proporcionada por dicha al menos una forma de onda (300, 400).
2. El aparato de la reivindicación 1, en el que el aparato se incorpora en una cámara de imágenes en movimiento.

25 3. El aparato de la reivindicación 1, en el que la al menos una forma de onda tiene un color variable, siendo indicativas las variaciones de color de un punto en la forma de onda, de los datos del nivel de enfoque para al menos un píxel correspondiente en la matriz de píxeles.
4.

El aparato de la reivindicación 1, en el que la al menos una forma de onda tiene una intensidad variable, siendo indicativas las variaciones de intensidad de un punto en la forma de onda, de los datos del nivel de enfoque para al menos un píxel correspondiente en la matriz de píxeles.
5.

El aparato de la reivindicación 1, en el que la al menos una forma de onda tiene una densidad variable, siendo

indicativas las variaciones de densidad, de los datos del nivel de enfoque para al menos un píxel correspondiente en 35 la matriz de píxeles.
6.

El aparato de la reivindicación 1, en el que la al menos una forma de onda tiene una amplitud variable, siendo indicativas las variaciones de amplitud de un punto en la forma de onda, de los datos del nivel de enfoque para al menos un píxel correspondiente en la matriz de píxeles.
7.

El aparato de la reivindicación 1, en el que se usa un algoritmo de detección de bordes para determinar los datos del nivel de enfoque.
8.

El aparato de la reivindicación 1, en el que los datos de nivel de enfoque se determinan mediante la comparación

45 de al menos una parte de la matriz digital de píxeles con una representación difuminada de la misma parte de la matriz.
9. Un método para proporcionar realimentación para permitir el enfoque de una imagen en tiempo real, que comprende las etapas de:

la detección de una imagen usando una matriz bidimensional de sensores ópticos; la conversión de las señales de la imagen detectadas en una estructura de datos que representan la imagen detectada como una matriz bidimensional de valores de píxeles, en la que los valores de píxeles son representativos de la cantidad de luz detectada por los sensores ópticos;

55 caracterizada por las etapas de:

el uso de un algoritmo programado para determinar un grado respectivo de enfoque de cada una de una pluralidad de zonas de imagen mediante el cálculo de los datos de nivel de enfoque para al menos un píxel dentro de cada zona de imagen y la asociación visualmente sobre una pantalla, de cada zona de imagen (306, 310, 714) de la pluralidad de zonas de imagen, con una indicación visual (304, 308, 818, 822) del grado de enfoque de esa zona de imagen, en la forma de al menos una forma de onda.
10. El método de la reivindicación 9, en el que la etapa del uso de un algoritmo programado para determinar un 65 grado de enfoque de una pluralidad de zonas comprende las etapas de: la generación de una imagen difuminada mediante la combinación de un valor del píxel seleccionado con una pluralidad de valores de píxeles en la proximidad al valor del píxel seleccionado y la comparación del valor del píxel seleccionado con un valor del píxel correspondiente en la imagen difuminada para determinar un grado de enfoque.
11.

El método de la reivindicación 9, en el que al menos una forma de onda tiene una intensidad variable.
12.

El método de la reivindicación 9, en el que al menos una forma de onda se superpone sobre una imagen.

10 13. El método de la reivindicación 9, en el que el grado de enfoque de una zona se indica mediante la variación del relieve de esa zona.
14. El método de la reivindicación 9, en el que cada zona comprende al menos un píxel. 15 15. El método de la reivindicación 9, en el que cada zona comprende una línea.
16. El método de la reivindicación 9, en el que un punto en la forma de onda corresponde a un grado de enfoque promedio para una pluralidad de píxeles alineados verticalmente.