ES2914037T3 - Sistemas y procedimientos para súper resolver una región de interés seleccionada por el usuario - Google Patents

Abstract

Un procedimiento para mejorar la calidad de la imagen para una región de interés seleccionada por el usuario (120) que comprende: recibir (S204), en un teléfono móvil (101, 400, 602), una entrada de usuario que identifica una región de interés (120) en una imagen (118) de una escena actualmente a la vista de un módulo de cámara (430) del teléfono móvil (101, 400, 602), en el que la región de interés (120) identifica una porción de la imagen (118) de la escena que es menos que un área completa de la imagen (118); capturar (S202), usando el módulo de cámara (430) del teléfono móvil (101, 400, 602), una pluralidad de imágenes (118) de la escena; y crear (S206) una imagen de mayor resolución de la región de interés (120) usando la pluralidad de imágenes (118) de la escena, incluyendo las etapas de: crear (S208) una rejilla de alta resolución (322) asociada con la imagen de mayor resolución de la región de interés (120); extraer, para cada una de las imágenes de la pluralidad de imágenes, una región de interés correspondiente a la región de interés de la escena; identificar (S210), para cada una de la pluralidad de regiones de interés correspondientes extraídas, una rejilla de baja resolución (312) asociada con la porción de la imagen (118) de la escena, en la que cada punto de cada rejilla de baja resolución (312) comprende información captada por el módulo de cámara (430); determinar (S211) una alineación entre la rejilla de alta resolución (322) y cada una de las rejillas de baja resolución (312), en la que las rejillas de baja resolución (312) se fusionan en un número de rejillas más grandes cuyo número es mayor o igual a uno y menor que el número de la pluralidad de rejillas de baja resolución (312); y poblar (S212) puntos de la rejilla de alta resolución (322) con información de un píxel alineado correspondiente de la pluralidad de rejillas de baja resolución (312) dentro de las respectivas regiones de interés extraídas de cada una de la pluralidad de imágenes.

Description

DESCRIPCIÓN

Sistemas y procedimientos para súper resolver una región de interés seleccionada por el usuario Antecedentes

Los aspectos de la divulgación se relacionan con el procesamiento de imágenes y, en particular, con los sistemas y métodos para súper resolver porciones de una escena. En las últimas décadas, el uso de dispositivos electrónicos se ha vuelto común. En particular, los avances en tecnología electrónica han reducido el costo de dispositivos electrónicos cada vez más complejos y útiles. La reducción de costos y la demanda de los consumidores han proliferado el uso de dispositivos electrónicos de tal manera que son prácticamente omnipresentes en la sociedad moderna. A medida que se ha expandido el uso de dispositivos electrónicos, también lo ha hecho la demanda de características nuevas y mejoradas de dispositivos electrónicos. Más específicamente, a menudo se buscan dispositivos electrónicos que realicen funciones más rápido, más eficientemente o con mayor calidad.

Se pueden usar dispositivos como cámaras digitales, teléfonos con cámaras integradas u otros dispositivos de cámara o sensor para crear y almacenar imágenes de una escena. En muchas circunstancias, existen numerosos factores que limitan y degradan la calidad de las imágenes capturadas, como el desenfoque atmosférico, los efectos de movimiento, los efectos de desenfoque de la cámara y los efectos de muestreo. La súper resolución se refiere a generar una imagen con una resolución más alta que la resolución que puede capturar el sensor de la cámara dada. La súper resolución es un procedimiento que consume muchos recursos, y la súper resolución de una escena completa puede requerir una mayor cantidad de tiempo o recursos del dispositivo de lo que es preferible para un usuario del dispositivo. Por lo tanto, pueden ser deseables sistemas y procedimientos para mejorar la eficiencia en un procedimiento de súper resolución.

El documento de Toufeeq Ahmad y otros.: "An Integrated Interpolation-based Super Resolution Reconstruction Algorithm for Video Surveillance", Journal of Communications, vol. 7, núm. 6, pág. 464-472, divulga un algoritmo para integrar la reconstrucción de súper resolución en la videovigilancia. El algoritmo está en base a la interpolación de fotogramas recortados de baja resolución extraídos de una secuencia de videovigilancia de baja calidad para la reconstrucción eficaz y eficiente de una imagen de reconocimiento de matrículas de alta resolución. La imagen súper resuelta que usa varios cuadros proporciona mucha más información detallada que cualquier imagen interpolada de un solo cuadro. El algoritmo propuesto requiere un número relativamente pequeño de fotogramas de baja resolución autoextraídos de una secuencia de entrada de baja calidad.

Todavía existe la necesidad de mejorar aún más la eficiencia en un procedimiento de súper resolución.

La presente invención proporciona una solución de acuerdo con el objeto de las reivindicaciones independientes. Breve sumario

Se describen procedimientos, dispositivos, sistemas y medios legibles por ordenador para mejorar la calidad de la imagen para una región de interés seleccionada por el usuario. El procedimiento se define de acuerdo con el objeto de la reivindicación 1.

Las realizaciones adicionales de dicho procedimiento pueden funcionar donde al menos una imagen de la escena se captura antes de recibir la entrada del usuario que identifica la región de interés; y en el que la entrada del usuario que identifica la región de interés es una entrada de pantalla táctil en una salida de visualización que identifica la porción de al menos una imagen cuando la escena se muestra en la salida de visualización.

Las realizaciones adicionales de tal procedimiento pueden funcionar donde al menos una imagen de la escena se captura después de recibir la entrada del usuario que identifica la región de interés.

Las realizaciones adicionales de dicho procedimiento pueden funcionar donde al menos una imagen de la escena consiste en una sola imagen de la escena, y en el que la creación de la imagen de mayor resolución de la región de interés comprende el uso de redundancias de parche identificadas en la imagen única de la escena para crear la imagen de mayor resolución de la región de interés a partir de la imagen única de la escena.

Las realizaciones adicionales de dicho procedimiento pueden comprender además recibir en el dispositivo, antes de la captura de al menos una imagen de la escena, una entrada del usuario seleccionando un número de imágenes para capturar para su uso en la creación de la imagen de mayor resolución de la región de interés, en el que capturar la al menos una imagen comprende capturar automáticamente el número de imágenes de la escena; y en el que crear la imagen de mayor resolución de la región de interés comprende usar cada imagen del número de imágenes en un procedimiento de súper resolución de múltiples fotogramas para crear la imagen de mayor resolución de la región de interés sin crear porciones de imagen de mayor resolución de la escena exterior de la región de interés.

Las realizaciones adicionales de dicho procedimiento pueden comprender además visualizar la imagen de mayor resolución de la región de interés en una salida de visualización del dispositivo.

Las realizaciones adicionales de dicho procedimiento pueden comprender además la identificación de ciclos libres de unidades de procesamiento de ordenador disponibles en el dispositivo mientras la imagen de mayor resolución de la región de interés se muestra en la salida de visualización del dispositivo; y crear una segunda imagen de mayor resolución de al menos una porción de la al menos una imagen fuera de la región de interés mientras la imagen de mayor resolución de la región de interés se visualiza en la salida de visualización.

Las realizaciones adicionales de dicho procedimiento pueden comprender además capturar datos de sensores para al menos un sensor en el dispositivo; y asociar los datos del sensor con la al menos una imagen, en el que los datos del sensor se usan para crear la imagen de mayor resolución de la región de interés.

Pueden funcionar realizaciones adicionales de dicho procedimiento cuando los datos del sensor comprenden datos de movimiento de un acelerómetro del dispositivo.

Las realizaciones adicionales de dicho procedimiento pueden comprender además visualizar la imagen de mayor resolución de la región de interés como una imagen de vista previa; recibir una entrada de usuario en respuesta a la visualización de la imagen de vista previa solicitando un aumento adicional en la resolución de la imagen de mayor resolución de la región de interés; y crear una imagen adicional de mayor resolución de la región de interés usando al menos una imagen de la escena mediante: la creación de una rejilla adicional de mayor resolución asociada con la imagen adicional de mayor resolución de la región de interés; la identificación de una o más rejillas de alta resolución que comprenden la rejilla de alta resolución; la determinación de una alineación entre la rejilla adicional de mayor resolución y cada una o más rejillas de alta resolución; y la población de cada punto de la rejilla adicional de mayor resolución con información del correspondiente píxel alineado de una o más rejillas de alta resolución. El dispositivo es un teléfono móvil como se define en la reivindicación 12.

Las realizaciones adicionales de dicho dispositivo pueden comprender además una salida de visualización; en el que la al menos una imagen de la escena se captura antes de recibir la entrada del usuario que identifica la región de interés; y en el que el módulo de entrada de usuario es una entrada de pantalla táctil de la salida de visualización. Las realizaciones adicionales de tal dispositivo pueden funcionar donde el procesador está además configurado para: visualizar la imagen de mayor resolución de la región de interés en la salida de visualización del dispositivo. Las realizaciones adicionales de tal dispositivo pueden funcionar donde el procesador está configurado además para: identificar ciclos libres de unidades de procesamiento de ordenador disponibles en el procesador mientras la imagen de mayor resolución de la región de interés se muestra en la salida de visualización del dispositivo; y crear una segunda imagen de mayor resolución de al menos una porción de la al menos una imagen fuera de la región de interés usando al menos una imagen de la escena mientras se muestra la imagen de mayor resolución de la región de interés en la salida de la visualización.

Las realizaciones adicionales de dicho dispositivo pueden funcionar donde al menos una imagen de la escena consiste en una sola imagen de la escena, y en el que la creación de la imagen de mayor resolución de la región de interés comprende el uso de redundancias de parche identificadas en la imagen única de la escena para crear la imagen de mayor resolución de la región de interés a partir de la imagen única de la escena.

Las realizaciones adicionales de dicho dispositivo pueden funcionar donde el procesador está configurado además para: recibir en el dispositivo, antes de la captura de al menos una imagen de la escena, una entrada del usuario seleccionando una cantidad de imágenes para capturar para su uso en la creación de la imagen de mayor resolución de la región de interés.

Las realizaciones adicionales de dicho dispositivo pueden comprender además un acelerómetro acoplado al procesador, en el que el procesador está además configurado para: capturar datos de movimiento del acelerómetro; asociar los datos de movimiento con la al menos una imagen; y crear la imagen de mayor resolución de la región de interés usando los datos de movimiento.

El almacenamiento legible por ordenador no transitorio se define en la reivindicación 11.

Pueden funcionar realizaciones adicionales en las que las instrucciones comprendan además: identificar ciclos libres de unidades de procesamiento informático disponibles en el dispositivo mientras la imagen de mayor resolución de la región de interés se muestra en una salida de visualización del dispositivo; y crear una segunda imagen de mayor resolución de al menos una porción de la al menos una imagen que está fuera de la región de interés mientras la imagen de mayor resolución de la región de interés se muestra en la salida de visualización.

Pueden funcionar realizaciones adicionales donde las instrucciones comprendan además: visualizar la imagen de mayor resolución de la región de interés como una imagen de vista previa; recibir una entrada de usuario en respuesta a la visualización de la imagen de vista previa solicitando un aumento adicional en la resolución de la imagen de mayor resolución de la región de interés; y crear una imagen adicional de mayor resolución de la región de interés usando al menos una imagen de la escena mediante: la creación de una rejilla adicional de mayor resolución asociada con la imagen adicional de mayor resolución de la región de interés; la identificación de una o más rejillas de alta resolución que comprenden la rejilla de alta resolución; la determinación de una alineación entre la rejilla adicional de mayor resolución y cada una o más rejillas de alta resolución; y la población de cada punto de la rejilla adicional de mayor resolución con información del correspondiente píxel alineado de una o más rejillas de alta resolución.

Otras realizaciones serán evidentes a partir de la descripción detallada proporcionada a continuación.

Breve descripción de los dibujos

Una mayor comprensión de la naturaleza y las ventajas de varias realizaciones puede realizarse mediante la referencia a las siguientes figuras. En las figuras adjuntas, componentes o características similares pueden tener la misma etiqueta de referencia. Además, diversos componentes del mismo tipo pueden distinguirse mediante el seguimiento de la etiqueta de referencia por un guion y una segunda etiqueta que distinga entre los componentes similares. Si solo se usa la primera etiqueta de referencia en la memoria descriptiva, la descripción es aplicable a cualquiera de los componentes similares que tienen la misma primera etiqueta de referencia sin considerar la segunda etiqueta de referencia.

La Figura 1A ilustra aspectos de un dispositivo que comprende una cámara que puede realizar súper resolución de acuerdo con las realizaciones descritas en la presente memoria;

La Figura 1B ilustra aspectos de un dispositivo que comprende una cámara que puede realizar súper resolución de acuerdo con las realizaciones descritas en la presente memoria;

La Figura 2 describe un procedimiento para realizar súper resolución de acuerdo con las realizaciones descritas en la presente memoria;

La Figura 3 ilustra aspectos de sistemas y procedimientos para realizar súper resolución usando rejillas de baja y alta resolución de acuerdo con realizaciones descritas en la presente memoria;

La Figura 4 ilustra un ejemplo de un dispositivo para su uso con varias realizaciones;

La Figura 5 describe un procedimiento para realizar súper resolución de acuerdo con ciertas realizaciones descritas en la presente memoria;

La Figura 6 es una implementación de un dispositivo informático que puede usarse de acuerdo con ciertas realizaciones; y

La Figura 7 es una implementación de un sistema informático en red de acuerdo con ciertas realizaciones. Descripción detallada

Como se mencionó anteriormente, las realizaciones descritas en la presente memoria se refieren a la súper resolución, que es un procedimiento de creación de una imagen que tiene una resolución más alta que la resolución de una o más imágenes fuente a partir de las cuales se crea la imagen súper resuelta. Las realizaciones descritas en la presente memoria pueden proporcionar un uso eficiente de los recursos del dispositivo cuando se desea una súper resolución al permitir que un usuario de un dispositivo identifique una región de interés en una imagen y use recursos de procesamiento para crear una imagen de súper resolución solo de la región de interés, conservando así los recursos de procesamiento y permitiendo una presentación más rápida de la imagen de súper resolución.

Por ejemplo, con una imagen de un escritorio con varias hojas de papel, un usuario de teléfono inteligente puede activar un módulo de súper resolución que presenta una vista previa de la imagen en la pantalla de un teléfono con una interfaz para permitir la selección de una porción de la imagen, incluida una sola hoja de papel. Esto puede permitir que un usuario identifique la escritura en la hoja de papel dentro de la imagen súper resuelta que no habría sido legible con la resolución de la imagen original.

Son posibles varios tipos de súper resolución y, tal como se menciona en la presente memoria, la súper resolución puede implicar procedimientos para obtener una imagen súper resuelta a partir de una única imagen de origen o a partir de múltiples imágenes de origen. Los ejemplos de procedimientos de súper resolución que se pueden usar de acuerdo con las realizaciones discutidas en la presente memoria incluyen la reducción de ruido de múltiples imágenes, el filtrado de subpíxeles de múltiples imágenes o la inducción bayesiana usando una sola imagen.

Una "escena" como se menciona en la presente memoria es un lugar o vista de un área que es capturada por un módulo de cámara de un dispositivo en una o más imágenes relacionadas. Por lo tanto, las imágenes relacionadas de una película capturada por un dispositivo pueden ser imágenes de la misma escena, incluso si cada una de las imágenes no cubre exactamente el mismo espacio. En ciertas realizaciones, una escena o porción de una escena también puede referirse a un lugar o vista que comprende solo una porción del área o campo de visión capturado por el dispositivo. Los ejemplos de sensores en un módulo o dispositivo de cámara pueden incluir dispositivos semiconductores de carga acoplada (CCD) y sensores de píxeles activos en semiconductores de óxido de metal complementarios (CMOS) o semiconductores de óxido de metal tipo N (NMOS).

La Figura 1A ilustra un dispositivo 101 que incluye una pantalla 103. Como se muestra en la Figura 1A, la pantalla 103 se llena con una imagen 118 de una escena que puede ser capturada por un módulo de cámara del dispositivo 101. El dispositivo 101 puede ser simplemente un dispositivo de cámara dedicado o puede ser un dispositivo multifunción como un teléfono inteligente con un módulo de cámara integrado que comprende un sensor. En otras realizaciones, el dispositivo 101 puede ser cualquier dispositivo tal como un ordenador portátil, teléfono, tableta, phablet, un ordenador de escritorio con un dispositivo de cámara enchufable o cualquier otro dispositivo informático. En la pantalla 103, se muestra una línea discontinua que indica una región de interés 120 que incluye una porción de la imagen 122a que es una porción de la imagen 118 de la escena completa que se muestra en la pantalla 103. La región de interés 120 se puede crear cuando un usuario arrastra un dedo por una pantalla táctil capacitiva del dispositivo 101 para crear un rectángulo alineado con los bordes de la pantalla 103, donde las esquinas de la región de interés 120 están definidas por las entradas táctiles iniciales y finales de la pantalla táctil capacitiva como una entrada de usuario. En realizaciones alternativas, se puede configurar un módulo de súper resolución para identificar automáticamente partes de una imagen o escena con detalles tales como escritura que el usuario ha seleccionado para súper resolución automática.

La Figura 1B luego muestra otra realización potencial de un dispositivo 101 donde la región de interés identificada 120 se ha usado junto con una o más imágenes que incluyen la imagen 118 para crear una imagen súper resuelta 122b para la región de interés 120. La imagen súper resuelta 122b se expande para proporcionar el máximo detalle en la pantalla 103 del dispositivo 101. En ciertas realizaciones, esto puede permitir a un usuario determinar si la calidad es aceptable y capturar imágenes adicionales o seleccionar ajustes de súper resolución alternativos para la creación de otra imagen de súper resolución de la región de interés 120. En realizaciones alternativas, esto puede permitir que un usuario inspeccione partes clave de una escena mientras que las partes adicionales de la escena capturadas en las imágenes que están fuera de la región de interés 120 se resuelven usando recursos de procesamiento adicionales disponibles en el dispositivo 101. En aún otras realizaciones, en lugar de que se expanda el área de interés, la porción súper resuelta de la escena puede mostrarse en su lugar como una porción de mayor resolución de la imagen completa, dejando en su lugar las porciones de menor resolución.

La Figura 2 describe un procedimiento para súper resolver una porción de una imagen seleccionada por el usuario. En esta realización, el procedimiento comienza con S202 por capturar, usando un módulo de cámara de un dispositivo, al menos una imagen de una escena. Como se describió anteriormente, la escena se refiere al área o imagen capturada en una o más imágenes fijas o de video. Este procedimiento de captura puede ser parte de una configuración de cámara o una configuración de video del dispositivo. S204 luego describe recibir, en el dispositivo, una entrada de usuario que identifica una región de interés, en el que la región de interés identifica una porción de al menos una imagen de la escena que es menor que la imagen completa. Como se describió anteriormente, esto puede ser una selección de pantalla táctil seguida de dibujar una forma alrededor de la porción de la imagen que se súper resolverá. En ciertas realizaciones, la entrada del usuario puede aceptarse antes de que se capture al menos una imagen. En otras realizaciones, la entrada del usuario se acepta después de capturar al menos una imagen. En aún otras realizaciones, se pueden capturar una o más imágenes antes de que se reciba la entrada del usuario, mientras que se pueden capturar imágenes adicionales después de que se reciba la entrada del usuario, y todas las imágenes se pueden usar para súper resolver el área de interés.

S206 luego describe crear, mediante el dispositivo, de una imagen de mayor resolución de la región de interés usando al menos una imagen de la escena. Este procedimiento, como se detalla en la realización de la Figura 2 se detalla más en S208 hasta S212. S208 implica crear una rejilla de alta resolución asociada con la imagen de mayor resolución de la región de interés. Una "rejilla" aquí puede referirse a cualquier matriz, estructura de datos o información que pueda usarse para representar la información en una resolución particular de una imagen. Por ejemplo, en una imagen que tiene 1028 píxeles por 1028 píxeles, la "rejilla" de esta imagen puede corresponder a la rejilla creada por los 1028 por 1028 píxeles para esta imagen con esta resolución. La rejilla de alta resolución de S208 corresponde esencialmente a la imagen súper resuelta de la región de interés identificada por el usuario en S204. En S210, una o más rejillas de baja resolución asociadas con la porción de al menos una imagen de la escena se identifican siguiendo el procedimiento anterior para identificar la rejilla correspondiente a la rejilla de píxeles de cada porción de imagen que se usa en el procedimiento. Cada rejilla de baja resolución está asociada con una imagen, y cada punto de cada rejilla de baja resolución comprende información capturada por el módulo de cámara. Cada rejilla de baja resolución puede considerarse una imagen de resolución estándar. En S211, se identifica una alineación entre la rejilla de alta resolución y cada una de las rejillas de baja resolución. Esto permite identificar y usar cualquier diferencia de fase entre las imágenes de múltiples cámaras para crear la imagen súper resuelta de la región de interés. En S212, cada punto de la rejilla de alta resolución se puebla con información de un píxel alineado correspondiente de una o más rejillas de baja resolución si existe un píxel correspondiente en las rejillas de baja resolución. En ciertas realizaciones, esto puede permitir la creación de la imagen de alta resolución del área de interés sin procesar el procesamiento intensivo de imágenes del área de interés. En realizaciones adicionales, esto puede ser simplemente un primer paso al que luego le sigue un procesamiento de imagen adicional para crear una imagen súper resuelta de alta calidad de la región de interés.

Una vez que se crea la imagen de súper resolución de la región de interés, entonces en S214, una pantalla del dispositivo puede visualizar la imagen de súper resolución de la región de interés. Como se mencionó anteriormente, esto se puede presentar en un zoom de pantalla completa de la pantalla, o se puede visualizar en lugar de la porción de interés de la región de resolución más baja original con las porciones circundantes de la escena presentadas en la resolución más baja original. En aún otras realizaciones, la imagen de súper resolución de la región de interés puede mostrarse en un panel de vista previa que forma parte de un módulo de súper resolución. En dicho módulo, la pantalla de vista previa puede incluir además opciones de interfaz de usuario para aumentar aún más la resolución de la imagen de la región de interés. Por lo tanto, la rejilla de alta resolución puede presentar simplemente una imagen de resolución intermedia y se puede realizar una mejora adicional de la imagen. Como parte de esta mejora adicional opcional, el procedimiento de S206 puede repetirse esencialmente en S216. Como se ha descrito, S216 puede implicar la creación opcional de una imagen adicional con una resolución superior a la imagen de alta resolución creada originalmente de la región de interés. Esto se puede hacer creando una rejilla adicional de mayor resolución asociada con una imagen adicional de mayor resolución de la región de interés. El sistema puede identificar una o más de las rejillas de alta resolución, incluida la rejilla de alta resolución de S206. S216 implica además determinar una alineación entre la rejilla adicional de mayor resolución y cada una de las una o más rejillas de alta resolución. Finalmente, la rejilla adicional de mayor resolución se puebla con información de los píxeles correspondientes de una o más rejillas de alta resolución, de la misma manera que se pobló la rejilla de alta resolución en S212. Este procedimiento puede repetirse cualquier número de veces para proporcionar imágenes cada vez más súper resueltas de la región de interés. Este procedimiento solo puede verse limitado por la calidad de la visualización de salida y el ruido de la imagen que no se compensa con el procedimiento de súper resolución.

Como ilustración adicional, la Figura 3 ilustra un ejemplo de una rejilla de baja resolución 312 que está alineada con una rejilla de alta resolución 322. Cada punto 310 de la rejilla de baja resolución está ilustrado por un triángulo, y cada punto 320 de la rejilla de alta resolución 322 está ilustrado por un círculo en la Figura 3. Como se describe en el procedimiento de la Figura 2, cada punto 320 de la rejilla de alta resolución 322 puede estar inicialmente vacío y separado de los puntos 310. Los puntos 310 pueden considerarse datos de píxeles o información de una imagen o un cuadro de un video. Estos puntos o píxeles de cada imagen de baja resolución pueden usarse para la rejilla de baja resolución asociada con cada imagen. Como parte del procedimiento de súper resolución, los puntos 310 de la rejilla de baja resolución 312 se alinean con los puntos 320 de la rejilla de alta resolución 322. Como se muestra en la Figura 3, la rejilla de baja resolución 312 cubrirá la misma área que la rejilla de alta resolución 322, pero tendrá una menor densidad de puntos en la misma área. Como parte del procedimiento de súper resolución, los puntos 310 que coincidan con los puntos 320 se usarán para proporcionar información para los puntos 320 correspondientes de la rejilla de alta resolución 322. Esto se muestra en la Figura 3 como puntos que tienen un círculo y un triángulo. El uso directo de información de puntos correspondientes alineados requiere menos carga de procesamiento que otros procedimientos más intensivos en procesamiento para poblar la rejilla de alta resolución 322 para crear una imagen de alta resolución para un área de interés. Si se usan múltiples imágenes, se pueden usar puntos adicionales de rejillas adicionales de baja resolución para proporcionar información para los puntos 320 de la rejilla de alta resolución 322 que se muestran en la Figura 3 como no tener puntos asociados 310. En ciertas realizaciones, todos los datos para la rejilla de alta resolución 322 pueden crearse de esta manera. En otras realizaciones, los puntos 320 que no tienen puntos correspondientes directos de la rejilla de baja resolución 312 u otra rejilla de baja resolución pueden poblarse usando datos creados a partir de los puntos circundantes que sí tienen información, usando interpolación u otros procedimientos de súper resolución. Esto puede incluir el uso de reducción de ruido de múltiples imágenes, filtrado de subpíxeles de múltiples imágenes o inducción bayesiana para complementar la información tomada directamente de las imágenes de la cámara como puntos en una o más rejillas de baja resolución, como la rejilla de baja resolución 312.

La súper resolución, tal como se describe, se refiere a generar una imagen con una resolución más alta que la resolución que puede capturar el sensor de la cámara dada. En términos generales, la súper resolución logra esto al capturar una o varias imágenes de menor resolución y luego fusionar estas imágenes para generar una imagen de mayor resolución. Sin embargo, la naturaleza computacionalmente intensiva de este problema impide que sea una función interactiva en los dispositivos con recursos de procesamiento insuficientes. Esto a menudo significa que el usuario captura las imágenes con el dispositivo móvil y luego las procesa fuera de línea en otros recursos.

A menudo, un usuario está interesado en los detalles de alta resolución de solo una parte de la imagen. Por lo tanto, ciertas realizaciones pueden abordar el problema mencionado anteriormente al permitir que el usuario seleccione una región de interés (ROI), durante la vista previa o después de capturar la imagen, y luego súper resolver la ROI seleccionado. Esto se logra al permitir que el usuario seleccione la región que le interesa súper resolver. Esto se puede hacer en el modo de vista previa o después de tomar la primera imagen. Se leen varias imágenes (N) de la canalización de la cámara. Las ROI correspondientes se seleccionan de todas las imágenes de menor resolución. Estas ROI de menor resolución alimentan al algoritmo de súper resolución. El algoritmo de súper resolución produce una resolución más alta de la ROI seleccionada por el usuario. Al usuario se le presenta una imagen de mayor resolución de la ROI. Esta imagen de mayor resolución puede tener una calidad mucho mejor que una solución alternativa de mostrar una imagen interpolada digitalmente. Un número de imágenes N es proporcional al factor de súper resolución que le interesa al usuario.

Para optimizar la velocidad y la memoria de la aplicación de súper resolución, un sistema puede fusionar las imágenes de baja resolución capturadas N (>1) en unas pocas imágenes M (<N) sin modificar los valores de píxeles observados. Por ejemplo, N aquí podría ser 16 y M podría ser 4. Esto se puede lograr de la siguiente manera: si Z1, Z2, ...., Zn son las imágenes de baja resolución observadas, el objetivo es obtener la imagen de mayor resolución Y súper resolviendo Z1 por un factor de s en cada eje. Específicamente, si Z1 es Ancho (W) x alto (H) en dimensiones, entonces Y tiene dimensiones sW x sH. Aquí, Z2, ..., Zn son observaciones desplazadas en subpíxeles de la misma escena con dimensiones W x H. La rejilla de la imagen correspondiente a la imagen súper resuelta Y tiene s2muestras WH que son iguales al número de píxeles súper resueltos. Por otro lado, una rejilla de imágenes correspondiente a la imagen Z1 tiene píxeles WH. Cuando la rejilla de imagen de Z1 se escala para que coincida con la rejilla de imagen más grande de Y sin interpolar las observaciones, la rejilla de imagen tiene el número WH de puntos de rejilla llenos. En otras palabras, (s2-1) los puntos de la rejilla WH están vacíos en esta rejilla mejorada de alta resolución de Z1. De manera similar, cuando otras imágenes de baja resolución se amplían individualmente para que coincidan con el tamaño de la rejilla de imágenes de Y, también tienen ubicaciones de rejilla WH ocupadas y (s2-1) las ubicaciones de la rejilla WH están vacías. Estas rejillas de imágenes individuales correspondientes a Zi mejoradas son versiones ligeramente cambiadas de la misma escena. Para obtener Y, estas rejillas de imágenes deben estar alineadas. Una forma de alinearlas sería usar homografías. Alternativamente, se podría calcular el movimiento de los píxeles individuales (por ejemplo, el flujo óptico) para alinear estas rejillas.

Durante la alineación, el número total de valores de píxeles observados, que es igual a n * W * H, se puede acumular en rejillas de imágenes M de tamaño sW x sH cada una. En una realización, esto se puede lograr mediante el siguiente procedimiento. Se calcula la ubicación de la rejilla a la que el késimo píxel de la imagen Zi se debe copiar. Este píxel en una de las rejillas de imágenes combinadas se copia donde esta ubicación está vacía. Esto fusiona las imágenes N de baja resolución en m rejillas de imágenes más grandes sin modificar ninguna de las observaciones.

En realizaciones en las que el usuario está interesado en súper resolver una ROI específica, la experiencia del usuario se puede mejorar de dos maneras. Mientras el usuario selecciona la ROI, puede haber ciclos de CPU libres. Estos ciclos de CPU se pueden usar para estimar la transformación necesaria para alinear las imágenes de baja resolución. Dos ejemplos de tal transformación serían la homografía entre las imágenes de baja resolución y el flujo óptico como se mencionó anteriormente. Una vez seleccionada la ROI, el sistema puede súper resolver la rOi seleccionada por el usuario. Mientras el usuario analiza los detalles de la imagen súper resuelta, nuevamente puede haber ciclos de CPU libres. Estos ciclos gratuitos se pueden usar para súper resolver la región cercana sin afectar la interacción del usuario con la imagen. Esto permite varias realizaciones para súper resolver progresivamente la imagen completa sin que un usuario espere la súper resolución progresiva completa, ya que al menos una parte de la porción progresiva se ha completado mientras el usuario estaba observando una imagen súper resuelta inicial de la ROI y determinando si va a aceptar o rechazar la imagen súper resuelta inicial. Si el usuario solicita una súper resolución adicional después de observar la imagen súper resuelta inicial, la porción progresivamente resuelta puede presentarse por solicitud instantáneamente al usuario sin demora de procesamiento. El usuario puede entonces analizar partes vecinas de la ROI. Esto proporciona una experiencia fluida para el usuario durante al menos una parte del análisis vecino, aunque si el usuario solicita un área más grande que el área súper resuelta progresivamente, es posible que se produzca un retraso en el procesamiento.

Las realizaciones descritas en la presente memoria pueden permitir a los usuarios interactuar con una escena y una imagen y, por lo tanto, proporcionar a los usuarios detalles de mayor resolución de la región en la que están interesados. Ciertas realizaciones pueden reducir significativamente el tiempo de súper resolución para un dispositivo móvil con recursos de procesamiento limitados, permitiendo que la súper resolución sea una función interactiva en un dispositivo móvil como un teléfono móvil. Las realizaciones pueden permitir una retroalimentación inmediata para los usuarios de la resolución alcanzable de la ROI. Esto puede permitir a los usuarios volver a capturar las imágenes si el usuario no está satisfecho con la versión anterior, en lugar de esperar hasta un momento posterior cuando los recursos de procesamiento adicionales estén disponibles, pero cuando no sea posible tomar imágenes de baja resolución adicionales o alternativas. Las realizaciones en la presente memoria permiten que un dispositivo móvil súper resuelva una imagen poco después de que se toman las imágenes originales y, por lo tanto, permite tomar imágenes adicionales o alternativas si la imagen súper resuelta no es aceptable.

La Figura 4 ahora describe una implementación de un dispositivo móvil 400 de acuerdo con ciertas realizaciones. Como se describió anteriormente, los dispositivos como el dispositivo móvil 400 pueden incluir un ordenador portátil, un teléfono móvil, una tableta, un tabléfono, una pantalla montada en la cabeza, un dispositivo de cámara dedicado, una grabadora de video digital, un ordenador de escritorio con un dispositivo de cámara enchufable o cualquier otro dispositivo informático similar. El dispositivo móvil 400 de la Figura 4 puede usarse para súper resolver una parte de una imagen usando el módulo de súper resolución 421, el módulo de cámara 430, el procesador 410 y cualquier otra funcionalidad de hardware, software y/o microprograma que pueda ser parte del dispositivo móvil 400. El dispositivo móvil 400 también puede visualizar la imagen súper resuelta junto con una interfaz de usuario. En ciertas realizaciones, la súper resolución como se describe en la presente memoria puede implementarse usando un procesador 410 junto con instrucciones legibles por ordenador que pueden almacenarse en la memoria 420. El módulo de súper resolución 421 puede incluir un conjunto de selecciones, configuraciones o umbrales del usuario para las características aceptables de una imagen súper resuelta de salida, así como procedimientos para seleccionar entradas y resoluciones de imagen y medir las características de la imagen y la escena para lograr las características aceptables para una imagen súper resuelta de salida.

En ciertas realizaciones, donde un dispositivo como el dispositivo móvil 400 debe implementar una súper resolución de acuerdo con las realizaciones descritas en la presente memoria, se pueden recibir una o más piezas de información relevantes de los enlaces 416 o 446 además de la información del módulo de cámara 430 o súper módulo de resolución 421, y cualquier información relevante puede almacenarse en la memoria 420, ya sea como parte de una aplicación 424, o en un almacenamiento no transitorio de la memoria 420.

En la realización mostrada en la Figura 4, el dispositivo móvil 400 incluye un procesador 410 configurado para ejecutar instrucciones para realizar operaciones en una serie de componentes y puede ser, por ejemplo, un procesador o microprocesador de propósito general adecuado para la implementación dentro de un dispositivo electrónico portátil. El procesador 410 está acoplado comunicativamente con una pluralidad de componentes dentro del dispositivo móvil 400. Para realizar este acoplamiento comunicativo, el procesador 410 puede comunicarse con los otros componentes ilustrados a través de un bus 440. El bus 440 puede ser cualquier subsistema adaptado para transferir datos dentro del dispositivo móvil 400. El bus 440 puede ser una pluralidad de buses informáticos e incluir circuitos adicionales para transferir datos.

La memoria 420 puede estar acoplada al procesador 410. En algunas realizaciones, la memoria 420 ofrece almacenamiento tanto a corto como a largo plazo y, de hecho, puede dividirse en varias unidades. La memoria 420 puede ser volátil, como la memoria estática de acceso aleatorio (SRAM) y/o la memoria dinámica de acceso aleatorio (DRAM), y/o no volátil, como la memoria de solo lectura (ROM), la memoria flash y similares. Además, la memoria 420 puede incluir dispositivos de almacenamiento extraíbles, como tarjetas digitales seguras (SD). Por lo tanto, la memoria 420 proporciona almacenamiento de instrucciones legibles por ordenador, estructuras de datos, módulos de programa y otros datos para el dispositivo móvil 400. En algunas realizaciones, la memoria 420 se puede distribuir en diferentes módulos de hardware 401.

En algunas realizaciones, la memoria 420 almacena una pluralidad de módulos de aplicaciones, que pueden ser cualquier número de aplicaciones 424. Los módulos de aplicación contienen instrucciones particulares para ser ejecutadas por el procesador 410. En realizaciones alternativas, otros módulos de hardware 401 pueden ejecutar adicionalmente ciertas aplicaciones 424 o partes de aplicaciones 424. En ciertas realizaciones, la memoria 420 puede incluir además una memoria segura, que puede incluir controles de seguridad adicionales para evitar la copia u otro acceso no autorizado a información segura, como fotografías privadas o seguras.

En algunas realizaciones, la memoria 420 incluye un sistema operativo 423. El sistema operativo 423 puede funcionar para iniciar la ejecución de las instrucciones proporcionadas por los módulos de aplicación y/o administrar otros módulos de hardware 401, así como interfaces con módulos de comunicación que pueden usar el transceptor inalámbrico WAN 412 y el transceptor inalámbrico LAN 442 para recibir información del enlace 416 vía antena 414 y/o enlace 446 vía antena 444, respectivamente. El sistema operativo 423 se puede adaptar para realizar otras operaciones a través de los componentes del dispositivo móvil 400, incluido hilos de ejecución, la gestión de recursos, el control de almacenamiento de datos y otras funciones similares.

En algunas realizaciones, el dispositivo móvil 400 incluye una pluralidad de otros módulos de hardware 401. Cada uno de los otros módulos de hardware 401 es un módulo físico dentro del dispositivo móvil 400. Sin embargo, mientras que cada uno de los módulos 401 de hardware está configurado permanentemente como una estructura, uno de los módulos 401 de hardware respectivos puede configurarse temporalmente para realizar funciones específicas o activarse temporalmente. Un ejemplo común es un módulo de aplicación que puede programar el módulo de cámara 430 para disparar el obturador y capturar imágenes. Uno respectivo de los módulos de hardware 401 puede ser, por ejemplo, un acelerómetro, un transceptor Wi-Fi, un receptor del sistema de navegación por satélite (por ejemplo, un módulo GPS), un módulo de presión, un módulo de temperatura, una salida y/o entrada de audio (por ejemplo, un micrófono), un módulo de cámara, un sensor de proximidad, un módulo de servicio de línea alternativa (ALS), un sensor táctil capacitivo, un módulo de comunicación de campo cercano (NFC), un transceptor Bluetooth®1, un transceptor celular, un magnetómetro, un giroscopio, un sensor de inercia (por ejemplo, un módulo que combina un acelerómetro y un giroscopio), un sensor de luz ambiental, un sensor de humedad relativa o cualquier otro módulo similar operable para proporcionar salida sensorial y/o recibir información sensorial. En algunas realizaciones, una o más funciones de los módulos de hardware 401 pueden implementarse en el software. En varias realizaciones, la información de cualquiera de dichos módulos de hardware 401 puede integrarse con la información del módulo de cámara 430 mediante el módulo de súper resolución 421 para generar una imagen súper resuelta a la unidad de visualización 403.

El dispositivo móvil 400 puede incluir un componente como un módulo de comunicación inalámbrica que puede integrar la antena 414 y la antena 444 y los transceptores inalámbricos 412 y 442 con cualquier otro hardware, microprograma o software necesario para las comunicaciones inalámbricas para permitir las comunicaciones a través del enlace 416 y el enlace 446. Dicho módulo de comunicación inalámbrica puede configurarse para recibir señales de varios dispositivos, como fuentes de datos, a través de redes y puntos de acceso. Además de otros módulos de hardware 401 y aplicaciones 424 en la memoria 420, el dispositivo móvil 400 puede tener una salida de visualización 403 y un módulo de entrada de usuario 404. La salida de visualización 403 presenta gráficamente información desde el dispositivo móvil 400 al usuario. Esta información puede derivarse de una o más aplicaciones 424, uno o más módulos de hardware 401, una combinación de los mismos o cualquier otro medio adecuado para resolver el contenido gráfico para el usuario (por ejemplo, mediante el sistema operativo 423). Por ejemplo, el módulo de súper resolución 421 puede interactuar con el módulo de cámara 430 y el sistema operativo 423 para presentar una imagen y una interfaz de usuario en la salida de visualización 403. La interfaz de usuario puede describir qué entradas en el módulo de entrada de usuario 404 puede seleccionar un usuario para súper resolver una porción de la imagen. En cierta realización, partes de la interfaz de usuario pueden aparecer en respuesta a una entrada táctil en una pantalla táctil que describe un ROI. La interfaz de usuario puede describir adicionalmente las posibles entradas del usuario para aumentar gradualmente la súper resolución mientras se muestran las actualizaciones de la imagen en la salida de visualización 403. La salida de visualización 403 puede ser tecnología de pantalla de cristal líquido (LCD), tecnología de pantalla de polímero emisor de luz (LPD), o alguna otra tecnología de pantalla. En algunas realizaciones, la salida de visualización 403 es una pantalla táctil capacitiva o resistiva y puede ser sensible al contacto háptico y/o táctil con un usuario. En tales realizaciones, la salida de visualización 403 puede comprender una pantalla multisensible al tacto. En tales realizaciones, el módulo de entrada de usuario 404 y la salida de visualización 403 pueden ser el mismo módulo. El módulo de entrada de usuario 404 puede recibir selecciones de entrada de usuario para entradas tales como un número de imágenes de baja resolución que se usarán para crear una imagen de súper resolución, o comentarios sobre si una imagen de súper resolución mostrada tiene suficiente calidad o si se debe realizar una súper resolución adicional. La salida de visualización 403 se puede usar entonces para visualizar la imagen final que comprende la imagen súper resuelta emitida por el módulo de súper resolución 421 para visualizar en la salida de visualización 403.

Realizaciones adicionales de un dispositivo móvil pueden comprender además varias partes de dispositivos informáticos como se detalla a continuación con respecto a la Figura 6 y las redes como se detalla en la Figura 7.

La Figura 5 describe un procedimiento detallado mediante el cual un dispositivo tal como un dispositivo móvil puede implementar una súper resolución parcial de una imagen. En S502 se ejecuta un módulo de súper resolución en un dispositivo móvil. Esto puede ser en respuesta directa a una selección del usuario, o puede ser una ejecución automática en respuesta a una opción seleccionada por el usuario o en respuesta a la determinación de que una imagen capturada por un módulo de cámara cumple ciertos criterios para iniciar la súper resolución. En S504, el dispositivo recibe una selección de usuario para una o más imágenes que se usarán en la creación de una imagen de súper resolución de una porción de una escena. Esto corresponde al número de imágenes de entrada de baja resolución y las rejillas de baja resolución correspondientes que pueden usarse como parte del procedimiento de súper resolución. Esto puede ser nuevamente una selección directa por parte del usuario, o una selección automática en respuesta a criterios previamente seleccionados.

En S506, se puede visualizar una vista previa de la imagen en una salida de visualización del dispositivo. En ciertas realizaciones, esto puede comprender una o más imágenes que han sido capturadas por un módulo de cámara y almacenadas en una memoria, o puede comprender una imagen directa actualmente a la vista del módulo de cámara antes de que cualquier imagen se almacene en una memoria del dispositivo.

En S508, se recibe una entrada de usuario que identifica una región de interés que es una porción de la vista previa de la imagen. Esto puede ser: un dibujo en la vista previa cuando la entrada del usuario es una pantalla táctil; una entrada de texto que identifica las coordenadas de la imagen; o un conjunto de criterios previamente seleccionados a los que se accede para identificar la región de interés. La región de interés se selecciona para reducir los recursos del procesador necesarios para crear una imagen de súper resolución de la región de interés en comparación con los recursos necesarios para crear una imagen de súper resolución de toda la escena o la imagen completa que se muestra en la vista previa de la imagen.

En S510, la cantidad seleccionada de imágenes de S504 se capturan y se almacenan para que el módulo de súper resolución pueda acceder a ellas. En S512, se crea una imagen súper resuelta de la región de interés usando al menos una porción de cada una del número seleccionado de imágenes. Este procedimiento puede ser similar o idéntico al procedimiento descrito en la Figura 3. En S514, la imagen de súper resolución de la región de interés se visualiza en la salida de visualización del dispositivo, con una interfaz de usuario para aceptar o rechazar la imagen. En S516, si se acepta la imagen, el procedimiento pasa a S518. Si se rechaza la imagen, el procedimiento vuelve a S504 y se pueden seleccionar imágenes u opciones de procesamiento adicionales para mejorar la calidad potencial de la imagen para la región de interés. Si el procedimiento continúa, entonces en S518, la imagen de súper resolución de la región de interés se almacena en la memoria del dispositivo. Entonces puede ser emitido o mostrado por el dispositivo.

En realizaciones adicionales, un dispositivo puede usar un área seleccionada para priorizar la súper resolución de una parte de una imagen, y puede comenzar a súper resolver automáticamente la parte restante de la imagen después de que la parte seleccionada se muestre en un formato súper resuelto al usuario. En aún otras realizaciones, se puede usar una red para acceder a recursos informáticos remotos para parte o la totalidad del procedimiento de súper resolución. En aún otras realizaciones, si hay recursos de procesamiento adicionales disponibles durante un paso de vista previa de la imagen, entonces el dispositivo puede estimar el tiempo o los recursos necesarios para la súper resolución de la imagen y/o partes de la imagen antes de que la región de interés sea seleccionada por el usuario. Esta información se puede presentar al usuario o se puede usar para mejorar el procesamiento de la súper resolución para la región de interés o la imagen completa.

La Figura 6 ilustra varios componentes que pueden usarse en un dispositivo electrónico 602. El dispositivo 602 o cualquier componente del dispositivo 602 puede usarse como parte de un dispositivo que implementa súper resolución de acuerdo con las realizaciones descritas en la presente memoria, o puede describir un dispositivo que está conectado en red con un dispositivo que implementa súper resolución de acuerdo con dichas realizaciones. Los componentes ilustrados pueden estar ubicados dentro de la misma estructura física o en estructuras o alojamientos separados. El dispositivo electrónico 602 descrito en relación con la Figura 6 puede implementarse de acuerdo con al menos uno de los dispositivos electrónicos y el dispositivo de comunicación inalámbrica descritos en la presente memoria. El dispositivo electrónico 602 incluye un procesador 611. El procesador 611 puede ser un microprocesador de uso general de uno o varios chips (por ejemplo, un ARM), un microprocesador de propósito especial (por ejemplo, un procesador de señales digitales (DSP)), un microcontrolador, una matriz de compuertas programables, etc. El procesador 611 también se puede denominar como unidad central de procesamiento (CPU). Aunque solo se muestra un único procesador 611 en el dispositivo electrónico 602 de la Figura 6, en una configuración alternativa, podría usarse una combinación de procesadores (por ejemplo, un ARM y DSP). Cualquier procesador capaz de determinar rejillas a partir de los píxeles de una imagen de baja resolución y crear una porción súper resuelta de una imagen puede usarse en diferentes realizaciones, o para realizar los elementos de la Figura 2, la Figura 5, o de cualquier otro procedimiento de súper resolución que funcione de acuerdo con las implementaciones descritas en la presente memoria.

El dispositivo electrónico 602 también incluye una memoria 605 en comunicación electrónica con el procesador 611. Es decir, el procesador 611 puede leer información y/o escribir información en la memoria 605. La memoria 605 puede ser cualquier componente electrónico capaz de almacenar información electrónica. La memoria 605 puede ser una memoria de acceso aleatorio (RAM), una memoria de solo lectura (ROM), un medio de almacenamiento en disco magnético, un medio de almacenamiento óptico, dispositivos de memoria flash en RAM, una memoria integrada incluida con el procesador, una memoria programable de solo lectura (PROM), una memoria de solo lectura programable borrable (EPROM), una PROM borrable eléctricamente (EEPROM), registros, etc., incluido combinaciones de las mismas.

Los datos 609a y las instrucciones 607a pueden almacenarse en la memoria 605. Las instrucciones 607a pueden incluir al menos un programa, rutina, subrutina, función, procedimiento, etc. En varias realizaciones, estos pueden comprender un producto de programa de ordenador que está almacenando instrucciones en la memoria 605, donde las instrucciones pueden ser ejecutadas por el procesador 611 para hacer que un dispositivo realice una súper resolución como se describe en la Figura 2, la Figura 5, o cualquier otro procedimiento de súper resolución que funcione de acuerdo con las implementaciones descritas en la presente memoria. Las instrucciones 607a pueden incluir una sola declaración legible por ordenador o muchas declaraciones legibles por ordenador. Las instrucciones 607a pueden ser ejecutables por el procesador 611 para implementar al menos uno de los procedimientos descritos anteriormente. La ejecución de las instrucciones 607a puede implicar el uso de los datos 609a que están almacenados en la memoria 605. La Figura 6 muestra algunas instrucciones 607b y datos 609b que se cargan en el procesador 611 (que pueden provenir de las instrucciones 607a y los datos 609a).

El dispositivo electrónico 602 también puede incluir al menos una interfaz de comunicación 613 para comunicarse con otros dispositivos electrónicos. La interfaz de comunicación 613 puede estar en base a tecnología de comunicación por cable, tecnología de comunicación inalámbrica o ambas. Los ejemplos de diferentes tipos de interfaces de comunicación 613 incluyen un puerto serie, un puerto paralelo, un bus serie universal (USB), un adaptador Ethernet, una interfaz de bus IEEE 1394, una interfaz de bus de la interfaz de sistema de ordenador pequeño (SCSI), un puerto de comunicación infrarrojo (IR), un adaptador de comunicación inalámbrica Bluetooth, etc. En ciertas realizaciones, la interfaz de comunicación 613 puede usarse para recibir actualizaciones para un módulo de súper resolución que opera en el dispositivo electrónico 602, o para comunicar información sobre regiones de interés o selecciones de usuarios a un servidor que proporciona servicios relacionados con la súper resolución. En aún otras realizaciones, las imágenes, porciones de imágenes o porciones súper resueltas de imágenes pueden comunicarse a través de la interfaz de comunicación 613.

El dispositivo electrónico 602 también puede incluir al menos un dispositivo de entrada 686 y al menos un dispositivo de salida 684. Los ejemplos de diferentes tipos de dispositivos de entrada 686 incluyen un teclado, un mouse, un micrófono, un dispositivo de control remoto, un botón, una palanca de mando, una bola de seguimiento, un panel táctil, un lápiz óptico, etc. Por ejemplo, el dispositivo electrónico 602 puede incluir al menos un micrófono 606 para captar señales acústicas. En una configuración, un micrófono 606 puede ser un transductor que convierte señales acústicas (por ejemplo, voz, el habla) en señales eléctricas o electrónicas. Los ejemplos de diferentes tipos de dispositivos de salida 684 incluyen un altavoz, una impresora, etc. Por ejemplo, el dispositivo electrónico 602 puede incluir al menos un altavoz 668. En una configuración, un altavoz 668 puede ser un transductor que convierte señales eléctricas o electrónicas en señales acústicas. Un tipo específico de dispositivo de salida que normalmente se puede incluir en un dispositivo electrónico 602 es un dispositivo de visualización 692. Los dispositivos de visualización 692 usados con las configuraciones divulgadas en la presente memoria pueden usar cualquier tecnología de proyección de imágenes adecuada, como un tubo de rayos catódicos (CRT), pantalla de cristal líquido (LCD), diodo emisor de luz (LED), plasma de gas, electroluminiscencia o similares. También se puede proporcionar un controlador de visualización 690 para convertir los datos almacenados en la memoria 605 en texto, gráficos y/o imágenes en movimiento (según corresponda) que se muestran en el dispositivo de visualización 692. En varias realizaciones, el dispositivo de visualización 692 puede visualizar tanto imágenes de baja resolución como imágenes de súper resolución o una combinación de ambas, junto con una interfaz de usuario, como se describe con respecto a la salida de visualización 403. El dispositivo de entrada 686 puede usarse para aceptar comandos de usuario relacionados con la selección de regiones de interés y configuraciones de súper resolución como se describe con respecto al módulo de entrada de usuario 404.

Los diversos componentes del dispositivo electrónico 602 se pueden acoplar entre sí mediante al menos un bus, el cual puede incluir un bus de potencia, un bus de señales de control y un bus de señales de estado, un bus de datos, etc. Para simplificar, los diversos buses se ilustran en la Figura 6 como sistema de bus 615. Cabe señalar que la Figura 6 ilustra solo una posible configuración de un dispositivo electrónico 602. Pueden usarse varias otras arquitecturas y componentes.

En diversas realizaciones, como se describe en la presente memoria, los dispositivos informáticos pueden conectarse en red para comunicar información. Por ejemplo, los dispositivos móviles 100 y 300 pueden conectarse en red para recibir información como se describe anteriormente. Además, la red 930 puede ser más compleja e involucrar muchos dispositivos diferentes. Además, cada uno de estos elementos puede participar en comunicaciones en red con otros dispositivos, como servidores web, bases de datos u ordenadores que brindan acceso a la información para mejorar el rendimiento del audio, como se describe en la presente memoria.

La Figura 7 ilustra un diagrama esquemático de un sistema 700 de dispositivos informáticos en red que se puede usar de acuerdo con diversas realizaciones para habilitar cierta funcionalidad para un dispositivo que puede implementar una súper resolución de acuerdo con las realizaciones descritas en la presente memoria. En varias realizaciones, los elementos del sistema 700 pueden funcionar para recoger información de imagen o de selección de usuario, para procesar partes de una imagen o para proporcionar cualquier soporte potencial al procedimiento de súper resolución implementado en un dispositivo. Por ejemplo, en ciertas realizaciones, una región de interés se puede súper resolver en un dispositivo móvil, y las partes restantes de una escena se pueden súper resolver usando recursos en red.

El sistema 700 puede incluir uno o más dispositivos informáticos de usuario 705. Los dispositivos informáticos de usuario 705 pueden ser ordenadores personales de uso general similares al dispositivo de la Figura 6 (incluyendo, meramente a modo de ejemplo, ordenadores personales y/u ordenadores portátiles que ejecutan cualquier versión apropiada de Microsoft® Windows®2 y/o sistemas operativos Mac OS®3) y/o ordenadores de estación de trabajo que ejecutan cualquiera de una variedad de UNIX®4 disponibles comercialmente o sistemas operativos tipo UNIX. Estos dispositivos informáticos de usuario 705 también pueden tener cualquiera de una variedad de aplicaciones, incluidas una o más aplicaciones configuradas para realizar los procedimientos de la invención, así como una o más aplicaciones de oficina, aplicaciones de cliente y/o servidor de base de datos y aplicaciones de navegador web. Alternativamente, los dispositivos informáticos de usuario 705 pueden ser cualquier otro dispositivo electrónico, como un ordenador de cliente ligero, un teléfono móvil con acceso a Internet y/o un asistente digital personal (PDA), capaz de comunicarse a través de una red (por ejemplo, la red 710 descrito a continuación) y/o visualizar y navegar páginas web u otros tipos de documentos electrónicos. Aunque el sistema ejemplar 700 se muestra con tres dispositivos informáticos de usuario 705a hasta c, se puede soportar cualquier número de dispositivos informáticos de usuario.

Ciertas realizaciones de la invención funcionan en un entorno en red, que puede incluir una red 710. La red 710 puede ser cualquier tipo de red familiar para los expertos en la técnica que pueda admitir comunicaciones de datos usando cualquiera de una variedad de protocolos disponibles comercialmente, incluidos, entre otros, TCP/IP, SNA, IPX, AppleTalk®3, y similares. Simplemente a modo de ejemplo, la red 710 puede ser una red de área local ("LAN"), incluyendo, sin limitación, una red Ethernet, una red Token-Ring y/o similares; una red de área amplia (WAN); una red virtual, que incluye, entre otros, una red privada virtual ("VPN"); La Internet; una intranet; una extranet; una red telefónica pública conmutada ("PSTN"); una red de infrarrojos; una red inalámbrica, que incluye, sin limitación, una red que opera bajo cualquiera de los protocolos IEEE 702,11, el protocolo Bluetooth conocido en la técnica y/o cualquier otro protocolo inalámbrico; y/o cualquier combinación de estas y/u otras redes. La red 710 puede incluir puntos de acceso para habilitar el acceso a la red 710 por varios dispositivos informáticos.

En ciertas realizaciones, las implementaciones pueden incluir módulos que pueden conectarse en red a través de una red como la red 710. Por ejemplo, en ciertas realizaciones, una cámara como el módulo de cámara 430 puede ser parte de un dispositivo diferente al procesador 410. Los datos de imagen para una imagen de baja resolución se pueden comunicar desde un módulo de cámara como un módulo de cámara a un procesador en un dispositivo separado como el procesador 410 en tales realizaciones. En tal realización que implementa el procedimiento de la Figura 2, S202 sería realizado por un primer dispositivo, posiblemente en respuesta a una comunicación en red desde un segundo dispositivo. El segundo dispositivo entonces realizaría S204 hasta S212. En otras realizaciones, cualquier número de dispositivos diferentes puede estar involucrado en dicho procedimiento.

Las realizaciones de la invención pueden incluir uno o más servidores 760. Cada uno de los servidores 760 puede configurarse con un sistema operativo, incluidos, entre otros, cualquiera de los mencionados anteriormente, así como cualquier sistema operativo de servidor comercial (o gratuito). Cada uno de los servidores 760 también puede ejecutar una o más aplicaciones, que pueden configurarse para brindar servicios a uno o más dispositivos informáticos de usuario 705 y/u otros servidores 760. En ciertas realizaciones, el servidor 760 puede proporcionar un módulo de súper resolución como el módulo de súper resolución 421 a un dispositivo como el dispositivo móvil 400 a través de una red 710.

Solo a modo de ejemplo, uno de los servidores 760 puede ser un servidor web, que puede usarse, solo a modo de ejemplo, para procesar solicitudes de páginas web u otros documentos electrónicos desde los dispositivos informáticos de los usuarios 705. El servidor web también puede ejecutar una variedad de aplicaciones de servidor, incluidos servidores HTTP, servidores FTP, servidores CGI, servidores de bases de datos, servidores Java®5, y similares. En algunas realizaciones de la invención, el servidor web se puede configurar para servir páginas web que se pueden operar dentro de un navegador web en uno o más de los dispositivos informáticos de usuario 705 para realizar los procedimientos de la invención. Dichos servidores pueden estar asociados con direcciones IP particulares, o pueden estar asociados con módulos que tienen una URL particular y, por lo tanto, pueden almacenar módulos de navegación seguros que pueden interactuar con un dispositivo móvil como el dispositivo móvil 400 para proporcionar indicaciones seguras de puntos geográficos como parte de servicios de localización proporcionados al dispositivo móvil 400. En ciertas realizaciones, dicho servidor web puede proporcionar un módulo de súper resolución o actualizaciones de un módulo de súper resolución a un dispositivo móvil para permitir que el dispositivo móvil implemente la súper resolución de acuerdo con las realizaciones descritas en la presente memoria.

De acuerdo con realizaciones adicionales, uno o más servidores 760 pueden funcionar como un servidor de archivos y/o pueden incluir uno o más de los archivos (por ejemplo, código de aplicación, archivos de datos, etc.) necesarios para implementar procedimientos de varias realizaciones incorporados por una aplicación que se ejecuta en un dispositivo informático de usuario 705 y/u otro servidor 760. Alternativamente, como apreciarán los expertos en la técnica, un servidor de archivos puede incluir todos los archivos necesarios, lo que permite que un dispositivo informático de usuario 705 y/o un servidor 760 invoquen dicha aplicación de forma remota. Cabe señalar que las funciones descritas con respecto a varios servidores en la presente memoria (por ejemplo, servidor de aplicaciones, servidor de base de datos, servidor web, servidor de archivos, etc.) pueden ser realizadas por un solo servidor y/o una pluralidad de servidores especializados, en función de necesidades y parámetros específicos de la implementación.

En ciertas realizaciones, el sistema puede incluir una o más bases de datos 720. En una realización, una base de datos 720 puede almacenar selecciones de usuario o criterios de usuario para súper resolución. Cuando se descarga un módulo de súper resolución a un dispositivo móvil, se pueden incluir criterios de usuario previamente seleccionados específicos para el dispositivo móvil o usuario. La ubicación de la(s) base(s) de datos 720 es discrecional: simplemente a modo de ejemplo, una base de datos 720a podría residir en un medio de almacenamiento local (y/o residente en) un servidor 760a (y/o un dispositivo informático de usuario 705). Alternativamente, una base de datos 720b puede estar remota desde cualquiera o todos los dispositivos informáticos de usuario 705 o servidores 760, siempre que la base de datos 720b pueda estar en comunicación (por ejemplo, a través de la red 710) con uno o más de estos. En un conjunto particular de realizaciones, una base de datos 720 puede residir en una red de área de almacenamiento ("SAN") familiar para los expertos en la técnica. (Del mismo modo, cualquier archivo necesario para realizar las funciones atribuidas a los dispositivos informáticos de usuario 705 o servidores 760 puede almacenarse localmente en el ordenador respectivo y/o remotamente, según corresponda). En un conjunto de realizaciones, la base de datos 720 puede ser una base de datos relacional, como base de datos Oracle®5 que está adaptada para almacenar, actualizar y recuperar datos en respuesta a comandos con formato SQL. La base de datos puede ser controlada y/o mantenida por un servidor de base de datos, por ejemplo, como el descrito anteriormente.

Los procedimientos, sistemas y dispositivos discutidos anteriormente son ejemplos. Varias realizaciones pueden omitir, sustituir o añadir varios procedimientos o componentes según convenga. Por ejemplo, en configuraciones alternativas, los procedimientos descritos pueden realizarse en un orden diferente al descrito y/o pueden añadirse, omitirse y/o combinarse diversas etapas. Además, las características descritas con respecto a ciertas realizaciones pueden combinarse en varias otras realizaciones. Pueden combinarse diferentes aspectos y elementos de las realizaciones de manera similar.

En la descripción anterior, a veces se han usado números de referencia en relación con varios términos. Cuando se usa un término en relación con un número de referencia, puede significar que se refiere a un elemento específico que se muestra en al menos una de las Figuras. Cuando un término se usa sin un número de referencia, puede significar que se refiere en general al término sin limitación a ninguna figura en particular.

Los términos "acople" o "vínculo" y cualquier variación de los mismos pueden indicar una conexión directa o indirecta entre los elementos. Por ejemplo, un primer elemento acoplado a un segundo elemento puede estar conectado directamente al segundo elemento, o conectado indirectamente al segundo elemento a través de otro elemento. El término "procesador" debe interpretarse en sentido amplio para abarcar un procesador de uso general, una unidad central de procesamiento (CPU), un microprocesador, un procesador de señales digitales (DSP), un controlador, un microcontrolador, una máquina de estado, etc. En algunas circunstancias, un "procesador" puede referirse a un circuito integrado de aplicación específica (ASIC), un dispositivo lógico programable (PLD), una matriz de compuertas programables en campo (FPGA), etc. El término "procesador" puede referirse a una combinación de dispositivos de procesamiento, por ejemplo, una combinación de un procesador de señal digital (DSP) y un microprocesador, una pluralidad de microprocesadores, al menos un microprocesador junto con un núcleo de procesador de señales digitales (DSP), o cualquier otra configuración similar.

El término "memoria" debe interpretarse en sentido amplio para abarcar cualquier componente electrónico capaz de almacenar información electrónica. El término memoria puede referirse a varios tipos de medios legibles por el procesador, como la memoria de acceso aleatorio (RAM), la memoria de solo lectura (ROM), la memoria de acceso aleatorio no volátil (NVRAM), la memoria de solo lectura programable (PROM), la memoria de solo lectura programable borrable (EPROM), PROM borrable eléctricamente (EEPROM), memoria flash, almacenamiento de datos magnéticos u ópticos, registros, etc. Se dice que la memoria está en comunicación electrónica con un procesador si el procesador puede leer información y/o escribir información en la memoria. La memoria que es parte integral de un procesador está en comunicación electrónica con el procesador.

Los términos "instrucciones" y "código" deben interpretarse en sentido amplio para incluir cualquier tipo de declaración(es) legible(s) por ordenador. Por ejemplo, los términos "instrucciones" y "código" pueden referirse al menos a uno de los programas, rutinas, subrutinas, funciones, procedimientos, etc. Las "instrucciones" y el "código" pueden comprender una sola declaración legible por ordenador o muchas declaraciones legibles por ordenador. Cabe señalar que al menos una de las características, funciones, procedimientos, componentes, elementos, estructuras, etc., descritas en relación con cualquiera de las configuraciones descritas en la presente memoria puede combinarse con al menos una de las funciones, procedimientos, componentes, elementos, estructuras, etc., descritos en relación con cualquiera de las otras configuraciones descritas en la presente memoria, cuando sean compatibles. En otras palabras, cualquier combinación compatible de las funciones, procedimientos, componentes, elementos, etc., descritos en la presente memoria puede implementarse de acuerdo con los sistemas y procedimientos divulgados en la presente memoria.

La presentación de las configuraciones descritas se proporciona para permitir que cualquier experto en la técnica haga o use los procedimientos y otras estructuras divulgadas en la presente memoria. Los diagramas de flujo, diagramas de bloque y otras estructuras mostradas y descritas en la presente memoria son solo ejemplos, y otras variantes de estas estructuras también están dentro del ámbito de la divulgación. Son posibles varias modificaciones a estas configuraciones, y los principios genéricos presentados en la presente memoria también pueden aplicarse a otras configuraciones. Por lo tanto, la presente divulgación no pretende limitarse a las configuraciones que se muestran arriba, sino que se le debe otorgar el ámbito más amplio de acuerdo con los principios y las características novedosas divulgadas de cualquier manera en la presente memoria, incluidas las reivindicaciones adjuntas tal como se presentaron, que forman parte de la revelación original.

Los expertos en la técnica entenderán que la información y las señales se pueden representar mediante el uso de cualquiera de una variedad de tecnologías y técnicas diferentes. Por ejemplo, los datos, las instrucciones, los comandos, la información, las señales, los bits y los símbolos que se pueden referenciar a lo largo de la descripción anterior se pueden representar por tensiones, corrientes, ondas electromagnéticas, campos o partículas magnéticos, campos o partículas ópticos o cualquier combinación de los mismos.

Los requisitos de diseño importantes para la implementación de una configuración divulgados en la presente memoria pueden incluir la minimización de la demora en el procesamiento y/o la complejidad computacional (típicamente medida en millones de instrucciones por segundo o MIPS), especialmente para aplicaciones de computación intensiva, tal como la reproducción de audio comprimido o información audiovisual (por ejemplo, un archivo o flujo codificado de acuerdo con un formato de compresión, tal como uno de los ejemplos identificados en la presente memoria) o aplicaciones para comunicaciones de banda ancha (por ejemplo, comunicaciones de voz a velocidades de muestreo superiores a 8 kilohertz, como 6, 16, 32, 44,1, 48, o 192 kHz).

Un aparato como el divulgado en la presente memoria (por ejemplo, cualquier dispositivo configurado para realizar una técnica según se describe en la presente memoria) puede implementarse en cualquier combinación de hardware con software y/o con microprograma que se considere adecuada para la aplicación prevista. Por ejemplo, los elementos de dicho aparato pueden fabricarse como dispositivos electrónicos y/u ópticos que residen, por ejemplo, en el mismo chip o entre dos o más chips en un conjunto de chips. Un ejemplo de dicho dispositivo es una matriz fija o programable de elementos lógicos, tales como transistores o compuertas lógicas, y cualquiera de estos elementos puede implementarse como una o más de tales matrices. Dos o más, o incluso todos, de estos elementos pueden implementarse dentro de la misma matriz o matrices. Tal matriz o matrices pueden implementarse dentro de uno o más chips (por ejemplo, dentro de un conjunto de chips que incluye dos o más chips).

Uno o más elementos de las diversas implementaciones del aparato divulgado en la presente memoria pueden implementarse en su totalidad o en parte como uno o más conjuntos de instrucciones dispuestas para ejecutarse en una o más matrices fijas o programables de elementos lógicos, como microprocesadores, procesadores integrados, núcleos de propiedad intelectual (IP), procesadores de señales digitales, FPGA (matrices de compuertas programables en campo), ASSP (productos estándares de aplicación específica) y ASIC (circuitos integrados de aplicación específica). Cualquiera de los diversos elementos de una implementación de un aparato divulgado en la presente memoria también puede incorporarse como uno o más ordenadores (por ejemplo, máquinas que incluyen una o más matrices programadas para ejecutar uno o más conjuntos o secuencias de instrucciones, también llamados "procesadores"), y dos o más, o incluso todos estos elementos pueden implementarse dentro del mismo ordenador u ordenadores.

Un procesador u otro medio de procesamiento divulgado en la presente memoria puede fabricarse como uno o más dispositivos electrónicos y/u ópticos que residen, por ejemplo, en el mismo chip o entre dos o más chips en un conjunto de chips. Un ejemplo de dicho dispositivo es una matriz fija o programable de elementos lógicos, tales como transistores o compuertas lógicas, y cualquiera de estos elementos puede implementarse como una o más de tales matrices. Tal matriz o matrices pueden implementarse dentro de uno o más chips (por ejemplo, dentro de un conjunto de chips que incluye dos o más chips). Los ejemplos de tales matrices incluyen matrices fijas o programables de elementos lógicos, como microprocesadores, procesadores integrados, núcleos IP, DSP, FPGA, ASSP y ASIC. Un procesador u otro medio de procesamiento divulgado en la presente memoria también puede incorporarse como uno o más ordenadores (por ejemplo, máquinas que incluyen una o más matrices programadas para ejecutar uno o más conjuntos o secuencias de instrucciones) u otros procesadores. Es posible que un procesador como se describe en la presente memoria se use para realizar tareas o ejecutar otros conjuntos de instrucciones que no están directamente relacionados con una rutina de una implementación del procedimiento divulgado en la presente memoria, tal como una tarea relacionada con otra operación de un dispositivo o sistema en que está integrado el procesador (por ejemplo, un dispositivo de detección de audio). También es posible que parte de un procedimiento divulgado en la presente memoria se realice por un procesador del dispositivo de detección de audio y que otra parte del procedimiento se realice bajo el control de uno o más procesadores.

Los expertos apreciarán que los diversos módulos ilustrativos, bloques lógicos, circuitos y pruebas y otras operaciones descritas en relación con las configuraciones divulgadas en la presente memoria pueden implementarse como hardware electrónico, software informático o combinaciones de ambos. Dichos módulos, bloques lógicos, circuitos y operaciones pueden implementarse o realizarse con un procesador de propósito general, un procesador de señales digitales (DSP), un ASIc o ASSP, un FPGA u otro dispositivo lógico programable, lógica de transistor o compuerta discreta, componentes de hardware discretos, o cualquier combinación de los mismos diseñados para producir la configuración divulgada en la presente memoria. Por ejemplo, dicha configuración puede implementarse, al menos en parte, como un circuito cableado, como una configuración de circuito fabricada en un circuito integrado de aplicación específica, o como un programa de microprograma cargado en un almacenamiento no volátil o un programa de software cargado desde o en un medio de almacenamiento de datos como código legible por máquina, tal código es ejecutable por instrucciones por una matriz de elementos lógicos tal como un procesador de propósito general u otra unidad de procesamiento de señales digitales. Un procesador de propósito general puede ser un microprocesador, pero en la alternativa, el procesador puede ser cualquier procesador convencional, controlador, microcontrolador o máquina de estado. Un procesador puede implementarse además como una combinación de dispositivos informáticos, por ejemplo, una combinación de un DSP y un microprocesador, una pluralidad de microprocesadores, uno o más microprocesadores junto con un núcleo de DSP, o cualquier otra configuración. Un módulo de software puede residir en un medio de almacenamiento no transitorio como RAM (memoria de acceso aleatorio), ROM (memoria de solo lectura), RAM no volátil (NVRAM) como flash RAM, ROM programable y borrable (EPROM), ROM eléctricamente programable y borrable (EEPROM), registros, disco duro, disco extraíble o CD-ROM, o en cualquier otra forma de medio de almacenamiento conocido en la técnica. Un medio de almacenamiento ilustrativo se acopla al procesador de manera que el procesador pueda leer la información desde, y escribir la información en, el medio de almacenamiento. Como alternativa, el medio de almacenamiento puede integrarse al procesador. El procesador y el medio de almacenamiento pueden residir en un ASIC y el ASIC puede residir en un terminal de usuario. Como alternativa, el procesador y el medio de almacenamiento pueden encontrarse como componentes discretos en un terminal de usuario. El término "producto de programa de informático" se refiere a un dispositivo informático o procesador en combinación con código o instrucciones (por ejemplo, un "programa") que se puede ejecutar, procesar o calcular mediante el dispositivo informático o el procesador.

Se observa que los diversos procedimientos divulgados en la presente memoria pueden realizarse mediante una matriz de elementos lógicos, tal como un procesador, y que los diversos elementos de un aparato descrito en la presente memoria pueden implementarse como módulos diseñados para ejecutarse en tal matriz. Tal como se usa en la presente memoria, el término "módulo" o "submódulo" puede hacer referencia a cualquier procedimiento, aparato, dispositivo, unidad o medio de almacenamiento de datos legibles por ordenador que incluya instrucciones de ordenador (por ejemplo, expresiones lógicas) en forma de software, hardware o microprograma. Debe entenderse que múltiples módulos o sistemas pueden combinarse en un módulo o sistema y un módulo o sistema puede separarse en múltiples módulos o sistemas para realizar las mismas funciones. Cuando se implementan en software u otras instrucciones ejecutables por ordenador, los elementos de un procedimiento son esencialmente los segmentos de código para realizar las tareas relacionadas, tales como rutinas, programas, objetos, componentes, estructuras de datos y similares. Debe entenderse que el término "software" incluye código fuente, código de lenguaje ensamblador, código de máquina, código binario, microprograma, macrocódigo, microcódigo, uno o más conjuntos o secuencias de instrucciones ejecutables por una matriz de elementos lógicos y cualquier combinación de tales ejemplos. Los segmentos de programa o código pueden almacenarse en un medio legible por procesador o transmitirse mediante una señal de datos de ordenador incorporada en una onda portadora sobre un medio de transmisión o enlace de comunicación.

Las implementaciones de procedimientos, esquemas y técnicas divulgadas en la presente memoria también pueden incorporarse tangiblemente (por ejemplo, en características legibles por ordenador tangibles de uno o más medios de almacenamiento legibles por ordenador como se enumeran en la presente memoria) como uno o más conjuntos de instrucciones ejecutables por una máquina que incluye una matriz de elementos lógicos (por ejemplo, un procesador, microprocesador, microcontrolador u otra máquina de estados finitos). El término "medio legible por ordenador" puede incluir cualquier medio que pueda almacenar o transferir información, que incluye medios de almacenamiento volátiles, no volátiles, extraíbles y no extraíbles. Los ejemplos de un medio legible por ordenador incluyen un circuito electrónico, un dispositivo de memoria semiconductor, una ROM, una memoria flash, una ROM borrable (EROM), un disquete u otro almacenamiento magnético, un CD-ROM/DVD u otro almacenamiento óptico, un disco duro o cualquier otro medio que pueda usarse para almacenar la información deseada, un medio de fibra óptica, un enlace de radiofrecuencia (Rf) o cualquier otro medio que pueda usarse para transportar la información deseada y al que se pueda acceder. La señal de datos del ordenador puede incluir cualquier señal que pueda propagarse a través de un medio de transmisión, tales como canales de redes electrónicas, fibras ópticas, aire, electromagnética, enlaces de RF, etc. Los segmentos de código pueden descargarse a través de redes informáticas tales como Internet o una intranet. En cualquier caso, el ámbito de la presente divulgación no debe interpretarse como limitado por tales realizaciones. Cada una de las tareas de los procedimientos descritos en la presente memoria pueden incorporarse directamente en el hardware, en un módulo de software ejecutado por un procesador, o en una combinación de los dos. En una aplicación típica de una implementación de un procedimiento divulgado en la presente memoria, se configura una matriz de elementos lógicos (por ejemplo, compuertas lógicas) para realizar una, más de una o incluso todas las diversas tareas del procedimiento. Una o más (posiblemente todas) de las tareas también pueden implementarse como código (por ejemplo, uno o más conjuntos de instrucciones), incorporadas en un producto de programa informático (por ejemplo, uno o más medios de almacenamiento de datos, como discos, flash u otras tarjetas de memoria no volátiles, chips de memoria semiconductores, etc.), que es legible y/o ejecutable por una máquina (por ejemplo, un ordenador) que incluye una matriz de elementos lógicos (por ejemplo, un procesador, microprocesador, microcontrolador u otra máquina de estados finitos). Las tareas de una implementación de un procedimiento divulgadas en la presente memoria también pueden realizarse por más de una matriz o máquina. En estas u otras implementaciones, las tareas pueden realizarse dentro de un dispositivo para comunicaciones inalámbricas tal como un teléfono celular u otro dispositivo que tenga dicha capacidad de comunicaciones. Tal dispositivo puede configurarse para comunicarse con redes conmutadas por circuitos y/o conmutadas por paquetes (por ejemplo, usando uno o más protocolos tales como VoIP). Por ejemplo, dicho dispositivo puede incluir circuitos de RF configurados para recibir y/o transmitir tramas codificadas.

Se divulga expresamente que los diversos procedimientos divulgados en la presente memoria pueden realizarse por un dispositivo de comunicaciones portátil, como un teléfono, un auricular o un asistente digital portátil (PDA), y que los diversos aparatos descritos en la presente memoria pueden incluirse dentro de tal dispositivo. Una aplicación típica en tiempo real (por ejemplo, en línea) es una conversación telefónica realizada usando un dispositivo móvil de este tipo.

En uno o más diseños ilustrativos, las funciones descritas en la presente memoria pueden implementarse en hardware, software, microprograma o cualquiera de sus combinaciones. Si se implementan en software, tales operaciones pueden almacenarse o transmitirse a través de un medio legible por ordenador como una o más instrucciones o código. El término "medios legibles por ordenador" incluye tanto medios de almacenamiento legibles por ordenador como medios de comunicación (por ejemplo, transmisión). A modo de ejemplo, y no limitativo, los medios de almacenamiento legibles por ordenador pueden comprender una matriz de elementos de almacenamiento, como memoria de semiconductores (que puede incluir, sin limitación, RAM, ROM, EEPROM y/o flash RAM dinámicos o estáticos), o memoria ferroeléctrica, magnetorresistiva, ovónica, polimérica o de cambio de fase; CD-ROM u otro almacenamiento de disco óptico; y/o almacenamiento de disco magnético u otros dispositivos de almacenamiento magnético. Dichos medios de almacenamiento pueden almacenar información en forma de instrucciones o estructuras de datos a las que puede acceder un ordenador. Los medios de comunicación pueden comprender cualquier medio que pueda usarse para transportar el código de programa deseado en forma de instrucciones o estructuras de datos y al que pueda acceder un ordenador, que incluye cualquier medio que facilite la transferencia de un programa informático de un lugar a otro. Además, cualquier conexión se denomina apropiadamente como un medio legible por ordenador. Por ejemplo, si el software se transmite desde un sitio web, servidor u otra fuente remota mediante el uso de un cable coaxial, un cable de fibra óptica, un par trenzado, una línea de suscriptor digital (DSL) o las tecnologías inalámbricas tales como infrarrojos, radio y/o microondas, entonces el cable coaxial, el cable de fibra óptica, el par trenzado, la DSL o las tecnologías inalámbricas tales como infrarrojos, radio y/o microondas se incluyen en la definición de medio. El disco, como se usa en la presente memoria, incluye el disco compacto (CD), el disco de láser, el disco óptico, el disco digital versátil (DVD), el disquete, y el disco Bluray™6, donde existen discos que usualmente reproducen los datos de manera magnética, mientras que otros discos reproducen los datos de manera óptica con láseres. Las combinaciones de los medios anteriores pueden incluirse además dentro del ámbito de los medios legibles por ordenador.

Es posible que para uno o más elementos de una implementación de un aparato como se describe en la presente memoria se use para realizar tareas o ejecutar otros conjuntos de instrucciones que no están directamente relacionados con una operación del aparato, tal como una tarea relacionada con otra operación de un dispositivo o sistema en el que está integrado el aparato. También es posible que uno o más elementos de una implementación de tal aparato tengan una estructura en común (por ejemplo, un procesador usado para ejecutar porciones de código correspondientes a diferentes elementos en diferentes tiempos, un conjunto de instrucciones ejecutadas para realizar tareas correspondientes a diferentes elementos en diferentes tiempos, o una disposición de dispositivos electrónicos y/u ópticos que realizan operaciones para diferentes elementos en diferentes tiempos).

Debe entenderse que las reivindicaciones no se limitan a la configuración precisa y a los componentes ilustrados anteriormente. Pueden realizarse diversas modificaciones, cambios y variaciones en la disposición, operación y detalles de los sistemas, procedimientos y aparatos descritos en la presente memoria sin apartarse del ámbito de las reivindicaciones.

Apéndice a la memoria descriptiva

1. La marca denominativa y los logotipos "Bluetooth" son marcas comerciales registradas propiedad de Bluetooth SIG, Inc. Otras marcas comerciales y nombres comerciales pertenecen a sus respectivos propietarios.

2. "Microsoft" y "Windows" son marcas comerciales registradas o marcas comerciales de Microsoft Corporation en los Estados Unidos y/o en otros países.

3. "Mac OS" y "AppleTalk" son marcas registradas de Apple, Inc., registradas en EE. UU. y otros países.

4. "UNIX" es una marca registrada de The Open Group.

5. "Java" y "Oracle" son marcas comerciales registradas de Oracle y/o sus filiales. Otros nombres pueden ser marcas comerciales de sus respectivos propietarios.

6. "Blu-ray Disc" es una marca comercial propiedad de Blu-ray Disc Association (BDA).

Claims (15)

1. REIVINDICACIONES

   i. Un procedimiento para mejorar la calidad de la imagen para una región de interés seleccionada por el usuario (120) que comprende:

   recibir (S204), en un teléfono móvil (101, 400, 602), una entrada de usuario que identifica una región de interés (120) en una imagen (118) de una escena actualmente a la vista de un módulo de cámara (430) del teléfono móvil (101, 400, 602), en el que la región de interés (120) identifica una porción de la imagen (118) de la escena que es menos que un área completa de la imagen (118);

   capturar (S202), usando el módulo de cámara (430) del teléfono móvil (101, 400, 602), una pluralidad de imágenes (118) de la escena; y

   crear (S206) una imagen de mayor resolución de la región de interés (120) usando la pluralidad de imágenes (118) de la escena, incluyendo las etapas de:

   crear (S208) una rejilla de alta resolución (322) asociada con la imagen de mayor resolución de la región de interés (120);

   extraer, para cada una de las imágenes de la pluralidad de imágenes, una región de interés correspondiente a la región de interés de la escena;

   identificar (S210), para cada una de la pluralidad de regiones de interés correspondientes extraídas, una rejilla de baja resolución (312) asociada con la porción de la imagen (118) de la escena, en la que cada punto de cada rejilla de baja resolución (312) comprende información captada por el módulo de cámara (430);

   determinar (S211) una alineación entre la rejilla de alta resolución (322) y cada una de las rejillas de baja resolución (312), en la que las rejillas de baja resolución (312) se fusionan en un número de rejillas más grandes cuyo número es mayor o igual a uno y menor que el número de la pluralidad de rejillas de baja resolución (312); y

   poblar (S212) puntos de la rejilla de alta resolución (322) con información de un píxel alineado correspondiente de la pluralidad de rejillas de baja resolución (312) dentro de las respectivas regiones de interés extraídas de cada una de la pluralidad de imágenes.
2. 2. El procedimiento de la reivindicación 1, en el que se captura al menos una imagen de la pluralidad de imágenes (118) de la escena antes de recibir la entrada del usuario que identifica la región de interés (120); y en el que la entrada del usuario que identifica la región de interés (120) es una entrada de pantalla táctil en una salida de visualización (403) que identifica la porción de una o más imágenes (118) cuando la escena se muestra en la salida de visualización (403).
3. 3. El procedimiento de la reivindicación 1, en el que al menos una imagen de la pluralidad de imágenes (118) de la escena se captura después de recibir la entrada del usuario que identifica la región de interés (120).
4. 4. El procedimiento de la reivindicación 1, en el que la creación de la imagen de mayor resolución comprende además visualizar la imagen de mayor resolución, recibir una segunda entrada del usuario que solicita una segunda imagen de mayor resolución de la escena más allá de la región de interés (120) y, durante un intervalo de tiempo entre la visualización de la imagen de mayor resolución y la recepción de la segunda entrada del usuario, crear una segunda imagen de mayor resolución de la escena fuera de la región de interés (120), y en respuesta a la recepción de la segunda entrada del usuario, visualizar la segunda imagen de mayor resolución.
5. 5. El procedimiento de la reivindicación 1, que comprende, además:

   recibir en el teléfono móvil (101, 400, 602), antes de la captura de la pluralidad de imágenes (118) de la escena, una entrada del usuario seleccionando un número de imágenes para capturar para su uso en la creación de la imagen de mayor resolución de la región de interés (120),

   en el que capturar la pluralidad de imágenes (118) comprende capturar automáticamente el número de imágenes (118) de la escena; y

   en el que crear la imagen de mayor resolución de la región de interés (120) comprende identificar la región de interés (120) en cada imagen del número de imágenes (118) y crear la imagen de mayor resolución de la región de interés (120) usando dicha región de interés identificada (120) en cada imagen del número de imágenes (118).
6. 6. El procedimiento de la reivindicación 1, que comprende, además:

   visualizar la imagen de mayor resolución de la región de interés (120) en una salida de visualización (403) del teléfono móvil (101, 400, 602).
7. 7. El procedimiento de la reivindicación 6, que comprende, además:

   crear una segunda imagen de mayor resolución de al menos una porción de la pluralidad de imágenes (118) fuera de la región de interés (120).
8. 8. El procedimiento de la reivindicación 1, que comprende, además:

   capturar datos de sensores para al menos un sensor del teléfono móvil (101,400, 602); y

   asociar los datos del sensor con la pluralidad de imágenes,

   en el que los datos del sensor se usan para crear la imagen de mayor resolución de la región de interés (120).
9. 9. El procedimiento de la reivindicación 8, en el que los datos del sensor comprenden datos de movimiento de un acelerómetro del teléfono móvil (101, 400, 602).
10. 10. El procedimiento de la reivindicación 1, que comprende, además:

    visualizar la imagen de mayor resolución de la región de interés (120) como una imagen de vista previa; recibir una entrada de usuario en respuesta a la visualización de la imagen de vista previa solicitando un aumento adicional en la resolución de la imagen de mayor resolución de la región de interés (120); y crear una segunda imagen de mayor resolución de la región de interés (120) usando la pluralidad de imágenes (118) de la escena mediante:

    la creación de una segunda rejilla de mayor resolución asociada con la segunda imagen de mayor resolución de la región de interés (120);

    la identificación de una o más rejillas de alta resolución (322);

    la determinación de una alineación entre la segunda rejilla de mayor resolución y cada una de las una o más rejillas de alta resolución (322); y

    la población de cada punto de la segunda rejilla de mayor resolución con información del correspondiente píxel alineado de una o más rejillas de alta resolución (322).
11. 11. Un medio de almacenamiento legible por ordenador no transitorio que comprende un conjunto de instrucciones que, cuando son ejecutadas por un procesador (611) acoplado al medio de almacenamiento, hacen que un teléfono móvil (101, 400, 602) ejecute el procedimiento de cualquiera de las reivindicaciones 1 a 10.
12. 12. Un teléfono móvil (101, 400, 602) para mejorar la calidad de imagen para una región de interés seleccionada por el usuario (120) que comprende:

    medios para recibir una entrada de usuario que identifica una región de interés (120) en una imagen (118) de una escena, en la que la región de interés (120) identifica una porción de la imagen (118) de la escena que es menos que una completa área de la imagen (118);

    medios para recibir una pluralidad de imágenes (118) de la escena;

    medios para crear una rejilla de alta resolución (322) asociada con una imagen de mayor resolución de la región de interés (120);

    medios para extraer, para cada una de las imágenes de la pluralidad de imágenes, una región de interés correspondiente a la región de interés de la escena;

    medios para identificar, para cada una de la pluralidad de regiones de interés correspondientes extraídas, una rejilla de baja resolución (312) asociada con la porción de la imagen (118) de la escena, en el que cada punto de cada rejilla de baja resolución (312) comprende información capturada por los medios para recibir una o más imágenes (118) de la escena;

    medios para determinar una alineación entre la rejilla de alta resolución (322) y cada una de las rejillas de baja resolución (312);

    medios para fusionar las rejillas de baja resolución (312) en un número de rejillas más grandes cuyo número es mayor o igual a uno y menor que el número de la pluralidad de rejillas de baja resolución (312); y medios para poblar puntos de la rejilla de alta resolución (322) con información de un píxel alineado correspondiente de la pluralidad de rejillas de baja resolución (312) dentro de las respectivas regiones de interés extraídas de cada una de la pluralidad de imágenes para crear una imagen súper resuelta de la región de interés (120).
13. 13. El teléfono móvil (101, 400, 602) de la reivindicación 12, que comprende, además:

    medios para visualizar una o más imágenes (118) de la escena y para visualizar la imagen súper resuelta de la región de interés (120).
14. 14. El teléfono móvil (101, 400, 602) de la reivindicación 12, que comprende, además:

    medios para actualizar la imagen súper resuelta de la región de interés (120) en respuesta a una entrada del usuario.
15. 15. El teléfono móvil (101, 400, 602) de la reivindicación 12, que comprende, además:

    medios para visualizar una interfaz de usuario para aceptar o rechazar la imagen súper resuelta de la región de interés (120); y

    medios para almacenar la imagen de súper resolución de la región de interés (120) en respuesta a una entrada del usuario que acepta la imagen súper resuelta de la región de interés (120)