ES2385647T3 - Cámara que tiene funcionalidad de vista horizontal y/o vertical - Google Patents

Cámara que tiene funcionalidad de vista horizontal y/o vertical Download PDF

Info

Publication number
ES2385647T3
ES2385647T3 ES04711072T ES04711072T ES2385647T3 ES 2385647 T3 ES2385647 T3 ES 2385647T3 ES 04711072 T ES04711072 T ES 04711072T ES 04711072 T ES04711072 T ES 04711072T ES 2385647 T3 ES2385647 T3 ES 2385647T3
Authority
ES
Spain
Prior art keywords
image
pixel
view
image sensors
multiplexer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES04711072T
Other languages
English (en)
Inventor
Per Kannermark
Stefan Lundberg
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Application granted granted Critical
Publication of ES2385647T3 publication Critical patent/ES2385647T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Una cámara digital (2) que tiene una funcionalidad de vistas panorámicas y/o de vistas inclinadas, en donde la mencionada cámara (2) comprende: unos medios (19) de procesado de imágenes para el procesamiento de datos de imágenes digitales, al menos dos sensores de imagen (10a, 10, 10c, 10d) dispuestos para dar salida a datos de imágenes detectados por los sensores de imagen (10a, 10b, 10c, 10d) y para transferir los datos de la imagen desde cada uno de al menos dos sensores de imágenes (10a, 10, 10c, 10d) píxel por píxel, caracterizada porque: tiene un selector del sensor de imagen (16) que incluye una salida dispuesta para proporcionar una señal de selección (28) indicando desde un sensor de imagen a un valor del píxel a enviar al mencionado valor de la imagen de los medios de procesamiento (19) en donde la señal de selección (28) está basada en al menos un valor que indica las vistas presentes panorámicas y/o de inclinación; y un multiplexor (15) conectado al menos a dos sensores de imágenes (10a, 10b, 10c, 10d), en donde los medios de procesado de la imagen (19) y la mencionada salida del selector (16) del sensor de imagen, el multiplexor (15) está dispuesto para recibir un valor del píxel de dos sensores de imagen (10a, 10b, 10c, 10d) durante un ciclo del reloj del píxel y para enviar el valor del píxel de la imagen (10a, 10b, 10c, 10d) indicando por medio del selector (16) y de la señal de selección (28).

Description

Cámara que tiene funcionalidad de vista horizontal y/o vertical.
Campo técnico de la invención
La presente invención está relacionada con una cámara que tiene las funcionalidades de vistas horizontales y verticales y un método para dicha cámara.
Antecedentes de la invención
Las cámaras se utilizan ampliamente con el fin de hacer posible la visión o el estudio de lugares remotos. Por ejemplo, las cámaras se utilizan en los sistemas de vigilancia y para la presentación de objetos específicos o para las cercanías de las personas que tengan acceso a tales cámaras por medio de una red. Por la razón de la extensión de la zona que pueda ser vista por medio de una cámara, o bien por otras razones, se han utilizado en el pasado distintos tipos de soluciones de vistas panorámicas horizontales y verticales.
Las soluciones más comunes han sido el poder proporcionar a la cámara un mecanismo accionado por motores para el giro de la cámara en la direccion horizontal, es decir para las vistas panorámicas, en la direccion vertical, es decir, con inclinación, o bien en ambas direcciones horizontales y verticales, es decir, panorámicas y del tipo de inclinación, con el fin de explorar una zona mayor que sea posible con una cámara estacionaria. Otras implementaciones de la funcionalidad panorámica y de inclinación se han presentado también. Una de tales implementaciones es girar solo el objetivo de la cámara y otra es posicionar un espejo giratorio en la parte frontal de la cámara.
Todas estas soluciones incluyen el giro mecánico de los dispositivos de la cámara o en la próxima proximidad de la cámara con el fin de conseguir la funcionalidad panorámica o de inclinación vertical. Tal como es comúnmente conocido, dicho giro de los dispositivos da lugar inevitablemente al deterioro mecánico de al menos los componentes incluidos en el giro. Así pues, las cámaras equipadas con las implementaciones antes mencionadas de la funcionalidad de vistas panorámicas y de inclinación requieren tener un servicio frecuente, el cual da lugar a un trabajo extra, y si las cámaras no se mantienen regularmente, se dará lugar a la pérdida de la funcionalidad de vistas panorámicas hasta que la cámara esté mantenida debidamente, además de ello, las cámaras que tienen la funcionalidad de vistas panorámicas y de inclinación implementadas de acuerdo con lo anteriormente mencionado, tenderá a ser mucho más costosa que una cámara que tenga una vista fija. En consecuencia, las presentes configuraciones para proporcionar una cámara con panorámica mecánica y/o funcionalidad de inclinación no serán aceptables.
En los documentos US 5657073 y WO 02/13515 se exponen sistemas multi-cámara utilizados para la producción de imágenes de salida panorámicas o panosféricas mediante la mezcla sin uniones de varias imágenes con solapado simultáneo parcial de las imágenes de entrada. Los sistemas comprenden una pluralidad de cámaras que están dispuestas para producir de forma simultánea y parcialmente imágenes de entrada solapadas. Las imágenes simultáneas y parciales de solapado se mezclan sin uniones en una sola imagen de salida única panorámica o panosférica. La visión panorámica y de inclinación puede realizarse entonces mediante la selección de la imagen de salida para su visualización en un dispositivo de presentación.
La producción de la funcionalidad panorámica o de inclinación expuesta en el documento US 5657073 y WO 02/13515 es insatisfactoria ya que requiere una alta capacidad de procesado de la imagen y puesto que es un sistema costoso que comprende una pluralidad de cámaras.
El documento US 6141034 describe el uso de una sola cámara estándar, que se hace girar en distintas direcciones con el fin de capturar vistas distintas para una vista final panorámica/panosférica, o bien una pluralidad de cámaras separadas puestas en ángulo en relación entre si de forma tal que se capture la vista total panorámica. Además de ello, el documento US 6141034 describe métodos distintos para combinar las distintas vistas, con diseños de montaje de distintas cámaras adecuadas para capturar las imágenes, y con distintos métodos de codificación para almacenar y transportar las imágenes con toda la eficiencia posible, y con distintos diseños de unidades de presentación para visualizar vistas panorámicas o panosféricas.
Sumario de la invención
Es un objeto de la presente invención el proporcionar una cámara que tengan una funcionalidad mejorada de vistas panorámicas y/o de inclinación.
Este objeto se lleva a cabo por los medios de una cámara de acuerdo con la reivindicación 1 y por los medios de un método de acuerdo con la reivindicación 7. Las realizaciones preferidas de la invención están expuestas en las reivindicaciones dependientes.
Un primer aspecto de la invención está relacionado con una cámara digital que tiene una funcionalidad de vistas panorámicas y/o de tipo de inclinación, que comprende unos medios de procesamiento de la imagen para los datos
de imágenes digitales, al menos dos sensores de imágenes dispuestos para tener la salida de los datos de imágenes detectadas por los sensores de imágenes y para transferir los datos de las imágenes desde cada uno al menos de dos sensores de imágenes píxel a píxel, un selector de imagen incluyendo una salida dispuesta para proporcionar una señal de indicación desde el sensor de imagen de los píxeles dirigido a los medios de procesado de las imágenes, en donde la selección se basa en al menos un valor de indicación de la panorámica presente, y un multiplexor conectado en al menos dos sensores de imagen, en donde los medios de procesado de imágenes y la mencionada salida del selector del sensor de imágenes, en donde el multiplexor está dispuesto para recibir un píxel desde cada uno de al menos dos sensores de imágenes durante un ciclo de reloj del píxel y para dirigir el píxel originario del sensor de imagen indicado por el selector de imágenes.
Un segundo aspecto de la invención está relacionado con un método en una cámara que tiene la funcionalidad de vistas panorámicas y de vistas inclinadas, en donde el mencionado método comprende las realizaciones de:
Enviar los datos de las imágenes píxel a píxel desde al menos dos sensores de imagen para separar las entradas de un multiplexor,
Generar una señal de control indicando desde cual de los sensores de imagen se tiene que enviar el píxel y en donde se reciba, en donde la generación de la mencionada señal de control está basada en al menos un valor de indicación de la panorámica y/o de la inclinación para la transferencia de la imagen en curso y la posición dentro de cada uno de al menos dos sensores de imagen de los píxeles recibidos en curso en el multiplexor,
Enviar la señal de control al mencionado multiplexor indicando el sensor de imagen desde el cual se tiene que enviar el presente píxel, y
Enviar el píxel desde la entrada del mencionado multiplexor de recepción del píxel originario desde el sensor de imagen indicado en la señal de control al DSP.
El hecho de que la cámara de acuerdo con la invención incluye al menos dos sensores de imágenes hace que sea posible registrar al menos el doble de la información de la imagen que con respecto a una cámara digital que tenga solamente un único sensor de imagen. Asi pues, en relación con una cámara que tenga un único sensor de imagen, la cámara de acuerdo con la invención puede registrar la información de la imagen de un área mucho mayor sin reducir la agudeza de los detalles de la imagen que pueda representarse por la información de la imagen registrada. Asi mismo, la cámara digital de acuerdo con la invención puede registrar la información de la imagen de un área que tenga la misma dimensión que el área registrada por los medios de una cámara que tenga un único sensor de imagen, pero entonces la información de imagen registrada por los medios de una cámara digital de acuerdo con la invención, representará una agudeza mucho mayor de los detalles.
Adicionalmente, mediante la disposición de un multiplexor que selectivamente pueda enviar un píxel desde cualquiera de los sensores de la imagen en cada ciclo del reloj de los píxeles, puede ser posible el poder seleccionar porciones específicas de los datos de la imagen desde un sensor de imagen y las porciones especificas de los datos de imagen desde otro sensor de la imagen en tiempo real. En consecuencia, si la dimensión, es decir el numero de píxeles de la imagen que tienen que procesarse y suministrados a un usuario es inferior a la dimensión total de una imagen representada por al menos dos sensores de imagen conjuntamente, la posición dentro de la imagen representada por al menos dos sensores de imagen en combinación, es decir, una vista de un área monitorizada, de la imagen se suministra al usuario podría alterarse dinámicamente por los medios de la realización del cambio del selector de imagen de la señal de control, para controlar el multiplexor. Así pues, el multiplexor que está controlado por el selector del sensor de imagen, hará posible el seleccionar los datos de imagen para su envío a los medios de procesado de la imagen, basándose en al menos un valor indicando la panorámica y la inclinación presentes, es decir una panorámica virtual que podría obtenerse de esta forma. Además de ello, el rechazo de los píxeles de una pluralidad de los sensores de imagen no se incluirán en un flujo de píxeles resultantes, y formando así un flujo resultante de los píxeles en un subconjunto del numero total de píxeles enviados desde la pluralidad de los sensores de imagen, en donde la vista resultante representa una porción de un área monitorizada, dando el resultado de que el flujo de píxeles resultante podrá proporcionarse en tiempo real, es decir, sin memorias temporales que sean necesarias.
En consecuencia, la cámara digital de acuerdo con la invención puede proporcionar la funcionalidad de vistas panorámicas y de vistas inclinadas sin el uso de piezas móviles para implementar esta funcionalidad. En consecuencia, se utilizara frecuentemente ampliando la durabilidad de tal cámara digital, especialmente con la funcionalidad de vistas panorámicas y de inclinación de la cámara.
Además de ello, debido a que el DSP puede proporcionarse con un subconjunto de los datos de imagen de un sensor de imagen y un subconjunto de los datos de imagen de otro sensor de imagen, la cámara digital puede generar una imagen de los datos de imagen capturados por al menos dos sensores de imagen sin realizar el proceso de los medios de procesado de la imagen, procesando todos los datos de imagen capturados por al menos dos sensores de imágenes.
Adicionalmente, la implementación de acuerdo con la invención puede ser mas económica que con las implementaciones de la técnica anterior.
De acuerdo con una realización la cámara digital incluye un generador de sincronismos temporales que está conectado al menos con dos sensores de imágenes de la cámara digital. Adicionalmente, el generador de sincronismos temporales y las conexiones al menos a dos sensores de imagen están dispuestos para proporcionar al menos dos sensores de imágenes con las señales de sincronización en el tiempo.
Mediante la sincronización de las señales en el tiempo provistas al menos a dos sensores de imágenes, la conmutación entre los datos de la imagen desde distintos sensores de imagen puede implementarse de forma sencilla. De acuerdo con una realización, el multiplexor solo tiene que conmutar entre las señales de distintos sensores de imágenes y enviar directamente la señal a los medios de procesado de imágenes sin ninguna memoria temporal.
De acuerdo con otra realización, las señales de reloj de ambos píxeles y las señales de reposición a cero provistas al menos a dos sensores de imágenes están sincronizadas. Esto significa que los píxeles del flujo de píxeles de las tramas que se envían simultáneamente desde al menos dos sensores de imágenes al multiplexor, representan los píxeles correspondientes, con respecto a la posición dentro de cada sensor de imagen. Así pues, al menos los dos sensores de imágenes se inician dando salida a un primer píxel de un cuadro de imagen en forma esencial simultáneamente y con el inicio de salida de cada píxel siguiente al primero simultáneamente. Por los medios de esta realización, puede ser posible definir una imagen panorámica y con inclinación de esencialmente la misma dimensión según una vista desde uno de los sensores de imágenes. La imagen resultante panorámica y de tipo inclinado puede incluir datos de la imagen desde más al menos de dos sensores de imagen y de todos los datos de imagen que representen la imagen resultante panorámica y de tipo inclinado que podrán enviarse a los medios de procesamiento de la imagen durante un ciclo de transferencia de un cuadro de la imagen de al menos dos sensores de imágenes sin requerir más capacidad del DSP que una cámara digital que tenga un único sensor de imagen. Así pues, con respecto al tiempo y con respecto a la cantidad de los datos de imagen que tengan que ser procesados por los medios de procesado de la imagen, la configuración de acuerdo con la invención no tiene que estar provista con más memoria para el almacenamiento y procesado de al menos una doble cantidad de datos de la imagen, originarios de al menos dos sensores de imagen, y la frecuencia de procesado no tiene que incrementarse con el fin de proporcionar la misma velocidad de cuadro como en una cámara que tenga un sensor de imagen. En consecuencia, puede ser muy fácil implementar la invención en la tecnología existente actual.
De acuerdo con otra realización la cámara comprende además un sistema de enfoque de luz dispuesto para enfocar la luz reflectada desde al menos una primera vista y una segunda vista a los mencionados al menos dos sensores de imágenes. La primera vista y la segunda vista al menos son adyacentes entre si, y en donde dos vistas adyacentes se solapan entre si. La luz de al menos dos vistas distintas está enfocada sobre al menos dos sensores de imágenes para el registro de una imagen en cada sensor de imagen. Haciendo que al menos dos vistas adyacentes se solapen entre si, los píxeles originarios de un sensor de imagen pueden separarse entre si de los píxeles originarios de otro sensor de la imagen, y reordenándose y combinándose con los píxeles de otro sensor de la imagen mediante un pespunteado, es decir, reconociendo las funciones comunes dentro de los datos de la imagen desde distintos sensores y reconfigurando los datos de la imagen en una imagen única no distorsionada, ya que la imagen de un sensor de imagen incluye una porción de la imagen del otro sensor de la imagen.
Todo lo anteriormente mencionado es aplicable por supuesto también a las cámaras que comprenden un gran número de sensores que reciben la luz desde las vistas adyacentes. Por ejemplo, cuatro sensores de imagen pueden disponerse horizontalmente después entre si, haciendo posible conseguir un mayor rango panorámico, cuatro sensores de imagen pueden disponerse verticalmente, haciendo posible conseguir un mayor rango de inclinación, o bien cuatro sensores de imagen pueden disponerse en un cuadrado, es decir, dos sensores de imagen dispuestos horizontalmente, posicionados verticalmente adyacentes a dos sensores de imagen horizontales, haciendo posible los movimientos horizontales y verticales. El número de sensores de imagen puede ser mayor también de cuatro.
Otra ventaja que la cámara digital de acuerdo con la invención puede tener es que múltiples usuarios pueden solicitar imágenes de la misma cámara pero con distintos ajustes panorámicos y verticales, sin tener ningún conflicto entre las peticiones. Esto puede conseguirse, por ejemplo, proporcionando cada usuario con imágenes de distintos ciclos de salida de los sensores de imágenes, y adaptando individualmente el valor de control del selector del sensor de imagen para cada ciclo de salida de las imágenes, de acuerdo con la petición del usuario para recibir dicha imagen. Dicho acceso a una cámara que tenga una funcionalidad panorámica y de movimiento vertical no es posible prácticamente para implementar una cámara provista con una configuración mecánica de la técnica anterior de movimientos horizontales y verticales.
Un alcance adicional de la aplicabilidad de la presente invención llegará a ser evidente a partir de la descripción dada a continuación. No obstante, se comprenderá que la descripción detallada y los ejemplos específicos, aunque indicando las realizaciones preferidas de la invención, se proporcionan solo a modo de ilustración, a partir de varios cambios y modificaciones dentro del alcance de las reivindicaciones que llegaran a ser evidentes para los técnicos especializados en la técnica de esta descripción detallada.
Breve descripción de los dibujos
Otras funciones y ventajas de la presente invención llegaran a ser evidentes a partir de la siguiente descripción detallada de una realización preferida actualmente, con referencia a los dibujos adjuntos, en donde:
La figura 1 es un diagrama de bloques esquemáticos de una realización de una cámara digital de acuerdo con la invención,
La figura 2 es una vista esquemática de una forma posible para disponer las vistas de la cámara digital en la figura 1,
La figura 3 son diagramas esquemáticos de la transferencia de los píxeles de los sensores de la imagen al multiplexor de la cámara digital en la figura 1,
La figura 4a es un diagrama esquemático de la transferencia de los píxeles desde el multiplexor al DSP en la cámara digital en la figura 1, cuando una vista del usuari%bjetivo se posiciona tal como se muestra en la figura 2,
La figura 4b es un diagrama esquemático de un cuadro de imagen intermedia correspondiente al flujo de píxeles en la figura 4a,
La figura 4c es un diagrama esquemático de un cuadro de imagen resultante de la vista en donde los píxeles se han redispuesto con el fin de presentar una imagen continua,
La figura 5a muestra un ejemplo de una forma posible de disponer las vistas de la imagen para monitorizar un área específica de una vista posible seleccionada dentro de la composición de las vistas de la imagen,
La figura 5b muestra un diagrama esquemático de un cuadro de una imagen intermedia resultante de las vistas de la imagen y la vista seleccionada del usuari%bjetivo de la figura 5a,
La figura 5c muestra un diagrama esquemático de una vista resultante provista por la redisposición de la vista intermedia de la figura 5b, y
Las figuras 6a-c son vistas esquemáticas que describen algunas disposiciones de las posibles vistas de acuerdo con la invención.
Descripción detallada de las realizaciones
En la figura 1, se muestra un diagrama esquemático de bloques de una realización de una cámara digital 2 de acuerdo con la invención. La cámara digital 2 comprende cuatro sensores de imagen 10a-d, dispuesto cada uno para detectar la luz 11 que se recibe por medio de un sistema de lentes 12a-d y para suministrar los píxeles que representan la luz detectada, los medios de procesamiento analógicos 14a-d, un multiplexor 15, un selector 16 del sensor de imagen, un generador de sincronismos 18, y unos medios 19 de proceso de imágenes, incluyendo un Procesador de Señales Digitales 20 (DSP) y los medios 24 de proceso de aplicaciones. La cámara digital obviamente incluye también otras funciones y características, no mostradas, que son conocidas a la persona especializada en la técnica. La cámara digital puede ser de cualquier clase, por ejemplo, una cámara de vigilancia, una cámara Web o bien otras cámaras habilitadas para redes, una cámara portátil de mano, cámaras digitales que tengan una salida de imagen analógica, etc.
La cámara 2 captura una imagen por la detección de la luz reflejada o transmitida 11 de los objetos dentro de una vista 25, en donde la vista 25 es una parte del entorno o un área monitorizada que es "vista" por el sistema de lentes 12a-d y los sensores de imagen 10a-d. Así pues, la luz 11 es capturada por los sistemas de lentes 12a-d y dirigida sobre los sensores de imagen 10a-d, los cuales pueden incluir unos Dispositivos Acoplados de Carga (CCD), sensores de imagen de tipo CMOS o bien otros tipos de sensores. Cada sensor de imagen puede dar salida a unos flujos de píxeles de tramas que representan los cuadros de imágenes secuenciales capturados.
El área monitorizada puede ser un entorno "tridimensional" tal como un almacén, un pasillo, un área de aparcamiento, una sala, etc., o bien un entorno "bidimensional" tal como una pared, una mesa, una puerta de entrada, etc.
Cada sensor de imagen 10a-d está controlado por los medios de las señales de sincronización de tiempos 26 que están provistos por el generador 18. Las señales de sincronización 26 requeridas por un sensor de imagen 10a-d pueden variar dependiendo del fabricante y/o del tipo del sensor de imagen. No obstante, los sensores de imagen 10a-d, de acuerdo con una realización de la invención, requieren al menos uno o bien una pluralidad de señales de entrada para sincronizar en el tiempo una salida de los píxeles detectados, denominados de ahora en adelante como la señal de reloj de píxeles, y una señal de reposición a cero para resetear los sensores. La señal de reloj de los píxeles puede, por ejemplo, incluir una señal que proporcione un reloj de transferencia horizontal y una señal que proporcione un reloj de transferencia vertical, haciendo por tanto posible controlar o aprender la posición del píxel que tiene que tener salida en cualquier instante dado. El generador de sincronización en el tiempo 18 que genera estas señales de sincronización en el tiempo 26 puede ser un generador de sincronización especialmente diseñado para proporcionar un sensor de imagen específico con las señales de sincronización 26 o un generador mas generalizado de sincronización que puede estar adaptado al sensor de imagen que se utilice en la cámara digital.
Los generadores de sincronización similares al mencionado con bien conocidos para la persona especializada en la técnica. La mencionada señal de reloj de píxeles y la mencionada señal de reseteado mencionada puede sincronizarse para todos los sensores de imagen 10a-d, por ejemplo, mediante la utilización de una señal de reloj de píxeles comunes y una señal de reseteado común para todos los sensores de imagen. Los detalles relacionados con el fin de proporcionar los sensores de imagen con las señales de reloj de píxeles sincronizados y las señales de reseteado en la mencionada realización se describirán más adelante.
La salida de un sensor de imagen 10a-d es de acuerdo con una realización, un flujo de píxeles digitales que está dirigido al multiplexor 15. De acuerdo con esta realización cada sensor de imagen 10a-d incluye una matriz sensible a la luz., los cuales generan un flujo de píxeles, en donde cada valor del píxel está representado por un valor analógico, conectado a unos medios de procesado analógico 14a-d. Los medios 14a-d de procesado analógico pueden incluir unos medios de procesado de imagen y un Convertidor Analógico a Digital (convertidor A/D). Los medios 14a-d ejecutan un procesado de imagen inicial y pueden ser de un tipo que se utilice en forma común en los sistemas de cámaras digitales de la actualidad, y que es bien conocido para una persona especializada en la técnica. Algunos ejemplos del procesado de imagen que puede ejecutarse en los medios de procesado analógico son CDS (Muestreo Doble Correlacionado), corrección del nivel de negro, cambio del gamma, etc. Después del procesamiento de la imagen la señal analógica se convierte a una señal digital por los medios de un convertidor AJO antes de ser enviada al multiplexor 15. Mediante la conversión de los datos de la imagen a una señal digital antes de que la señal alcance el multiplexor 15, es posible utilizar el multiplexado digital, el cual es más preciso y más fácil de implementar que el multiplexado analógico.
No obstante, de acuerdo con otra realización, no mostrada, los sensores de imagen 10a-d no incluyen los mencionados medios de procesado analógico 14a-d y por tanto los medios de procesado analógico pueden disponerse entre el multiplexor 15 y el DSP 20. Asi pues, la salida del multiplexor 15 está provista hacia el DSP 20 por medio de los medios de procesado analógico. En consecuencia, el multiplexor 15 deberá ser capaz de ejecutar un multiplexado analógico. Utilizando esta implementación solo tiene que implementarse un único proceso analógico.
De acuerdo con una realización, el multiplexor 15 incluye cuatro entradas, estando conectadas cada una a un sensor de imagen 10a-d, y una salida. El multiplexor, sin importar si ejecuta un multiplexado analógico o digital recibe la información de imagen de todos los cuatro sensores de imagen en las mencionadas entradas píxel a píxel. El multiplexor 15 puede también denominarse como selector de píxel 15. En otras palabras, los datos de la imagen, que se transfieran desde el sensor de imagen píxel a píxel, desde uno de los sensores de imagen se reciben píxel a píxel en la entrada del multiplexor correspondiente al sensor de imagen. Además de ello, recibe una señal de selección 28 desde un selector 16 del sensor de imagen. La señal de selección controla cual es la señal de imagen que tiene que pasar al DSP 20, es decir, cuando el multiplexor 15 recibe una señal de selección que tiene un valor específico, la señal de imagen en una entrada del multiplexor correspondiente al mencionado valor especifico se hace pasar a la salida del multiplexor 15 hasta que el valor de la señal seleccionada se cambia a otro valor que pueda indicar otra entrada. En consecuencia, el multiplexor 15 puede utilizarse para variar el origen de los datos de imagen provistos para el DSP 20. En consecuencia, la señal de imagen resultante, que representa un cuadro de la imagen de una secuencia de cuadros de imagen, puede después del multiplexor 15, incluir la información de la imagen originaria de una pluralidad de vistas 25, es decir, de una pluralidad de sensores de imagen. Por ejemplo, la señal de imagen resultante que represente un cuadro de la imagen podrá incluir alguna información de la imagen originaria del sensor de imagen 10a, alguna parte originaria del sensor de imagen 10b, etc.
El selector 16 del sensor de imagen está generando y proporcionando el multiplexor 15 con la mencionada señal de selección 28. En consecuencia, el selector 16 del sensor de imagen controla los píxeles que tienen que ser enviados al DSP, con respecto al sensor de imagen 10a-d desde el cual se originan los píxeles. La señal de selección incluye los parámetros de localización que determinan el límite de una vista resultante dentro del área de monitorización.
Con el fin de generar una señal de contrd que controle que el multiplexor 15 envíe un píxel deseado, desde los distintos sensores de imagen, el selector 16 del sensor de imagen puede basar la generación de la señal de control sobre una función que dependa de una señal/valor de un esquema de selección predeterminado programado dentro de la cámara o bien sobre una señal/valor de control externo, provisto al sistema de cámaras. La señal/valor del control externo puede enviarse desde unos medios de entrada que haga posible indicar las direcciones o las posiciones. La señal/valor puede entonces utilizarse en la mencionada función del selector 16 del sensor de imagen para controlar las porciones de los mencionados censores de imagen 10a-d para su envío al DSP 20, y por tanto cuales son las porciones de la vista monitorizada que están incluidos en la vista resultante.
Los mencionados medios de entrada pueden ser un ordenador, un Asistente Personal Digital (PDA), un teléfono móvil o bien un teléfono ordinario, en donde todo tendrá una aplicación Para controlar la visión panorámica/vertical de la cámara. Así mismo, los medios de entrada pueden ser unos medios de entrada que estén conectados con cualquiera de los medios de entrada anteriores o bien otro sistema con el fin de más o menos poder proporcionar directamente la mencionada información direccional a la cámara, en donde tales medios de entrada pueden ser un joystick, una bola de recorrido, un ratón, teclas de flechas, etc.
Con el fin de controlar rápidamente la composición del flujo recibido de píxeles pasterizados en el DSP 20, el selector 16 del sensor de imagen está provisto con las señales de reloj de los píxeles desde el generador de sincronización 18, indicando el progreso de la presente salida de los píxeles desde los sensores de imagen 1 Da-d. Así pues, la señal de reloj de píxeles puede ser por ejemplo similar a las señales enviadas a los sensores de imágenes 10a-d.
El selector del sensor de imagen puede estar implementado por los medios de un código de programa que genere las señales relevantes y ajustando los registros relevantes en el hardware.
Una forma de generar una señal de selección que habilite la funcionalidad de vistas panorámicas y verticales de acuerdo con una realización se expondrá más adelante.
El DSP 20 recibe los píxeles seleccionados en un flujo de píxeles y señales de sincronización con el fin de procesar los datos de la imagen. Esto se ejecuta de una forma conocida por una persona especializada en la técnica. En las realizaciones alternativa de la invención, el DSP puede ser reemplazado o complementado con un procesador o con un sistema lógico embebido en un hardware, software, o firmware acompañado con las funciones de referencia anterior. Estos incluyen aunque sin limitación a: un PLD, un PGA, un procesador, una combinación de registros y memorias temporales, un recorrido de datos de píxeles o bien un canal de píxeles.
Los medios 24 de procesado de la aplicación incluyen las aplicaciones y las funciones de la cámara. Por ejemplo, puede incluir una aplicación de interfaz para el ajuste de los parámetros de la cámara digital, funciones para el formateo de los datos de la imagen en formatos específicos, aplicaciones para alterar la imagen, y/o protocolos para la comunicación vía unas redes o bien otras interfaces físicas. Así mismo, los medios de procesado de la aplicación pueden redisponerse para proporcionar datos y/o señales de control del selector 16 del sensor de imágenes, el generador de sincronismos 18 y el DSP 20.
Los medios 24 de procesado de la aplicación reciben la información de la imagen procesada digitalmente desde el DSP 20 y se ejecuta un proceso final de la imagen. Este proceso final de una imagen puede ser el formateo de la imagen en un formato de imágenes conocidas, por ejemplo, jpg, tiff, bmp, etc, un formato de flujo de video conocido, por ejemplo, avi, mpeg1-4, o bien otros formatos de imagen conocidos diseñados para la transmisión o almacenamiento de las imágenes estáticas o imágenes de video. El procesado final de una imagen puede incluir también la redisposición de los píxeles que se originan de los sensores de distintas imágenes, pero pertenecientes a un flujo de píxeles de un cuadro de imagen representado, en una imagen continua, por ejemplo, mediante píxeles separados de una vista especifica a partir de los píxeles de otras vistas y de las uniones de las partes separadas conjuntamente en un orden correcto, proporcionando la imagen con un solapado gráfico, tal como unos estampados cronológicos, logos de compañías, etc., y otros tipos de procesamiento conocidos para una persona especializada en la técnica. La redisposición de los píxeles de un flujo de píxeles de una imagen cualquiera, de acuerdo con una realización, incluyendo las realizaciones de poner en memorias separadas los píxeles del flujo de píxeles, en asociación con un cuadro de imagen, reordenando los píxeles basados en los parámetros de una localización que identifique una vista de usuario o una vista de objetivo dentro de la vista cubierta por todos los sensores de imagen y en donde se seleccionaron los píxeles seleccionados, y las porciones de eliminación de la imagen resultante conteniendo una información de imagen redundante, por ejemplo, los píxeles que representen la misma porción podrán presentarse o con vistas de solapado a partir de los sensores de imagen independientes. Después de redisponer los píxeles la intensidad de los píxeles adyacentes, por ejemplo, los píxeles adyacentes de los distintos sensores de la imagen, podrán adaptarse, por ejemplo, mediante un filtrado, con el fin de realizar la transición entre las áreas originarias de un sensor de imagen y las áreas originarias de otro sensor de imagen menos visible.
Además de ello, la redisposición de los píxeles de un flujo de píxeles de un cuadro de imagen puede ejecutarse también en un ordenador cliente que reciba la imagen para la visualización o el almacenamiento. Cuando se haya ejecutado el procesado final de la imagen, los medios de procesado de la aplicación pueden enviar la imagen o la secuencia de imágenes por medio de una red de ordenadores a uno o a una pluralidad de receptores. Un receptor puede ser una pantalla, un ordenador, una PDA, un teléfono móvil, un teléfono ordinario, un centro de vigilancia, un servidor de video, un grabador de video digital, un grabador de video analógico, etc., todo dispuesto para la visión y/o grabación de las imágenes de la cámara.
Con el fin de facilitar la comprensión de la invención, una forma de controlar la cámara de acuerdo con la realización antes mencionada se describirá a continuación y con referencia a la figura 1 y figura 2. Con el fin de simplificar la descripción, cada uno de los cuatro sensores de imagen 10a-d son sensores de imágenes que capturan una imagen de solo 8x6 píxeles. Una persona especializada en la técnica, no obstante, comprenderán que tales sensores de imagen no son factibles y que los sensores de imagen en realidad son capaces de capturar una cantidad considerablemente mayor de píxeles. Además de ello, una persona especializada en la técnica tiene el conocimiento de aplicar fácilmente el ejemplo inferior en un sistema de cámaras digitales que incluya sensores de imágenes que sean capaces de capturar una cantidad considerablemente mayor de píxeles.
En la realización de la cámara digital utilizada en este ejemplo, los sensores de imagen 10a-d están provistos con las señales 26 de sincronismo sincronizadas, en relación a un reseteado a cero de los sensores de imagen y para la transferencia de los píxeles, es decir, el sensor de imagen resetea las señales y las señales de reloj de píxeles para
que todos los cuatro sensores de imagen sean idénticos o sean los mismos. Esto significa que las transferencias de píxeles de los sensores de imagen 10a-d están sincronizadas, es decir, los píxeles que representan la misma posición dentro de cada sensor de imagen 10a-d se transfieren simultáneamente. Además de ello, los píxeles, de acuerdo con este ejemplo, se transfieren desde cada sensor de imagen 10a-d píxel a píxel y en línea por línea.
Cada vista A-O, es decir el sujeto o el entorno que está en posición a registrar por cada sensor de imagen, que es capturado o está en posición para su captura por los cuatro sensores de imagen 10a-d se muestran en la figura 2. Tal como se describe en la figura, cada sensor de imagen 10a-d captura un cuarto de una vista total 100, es decir, un cuarto del sujeto o entorno que está cubierto por los medios de todos los sensores de la imagen. En este ejemplo, las lentes 12a-d y los sensores de imagen 10a-d se suponen que están dispuestos para registrar imágenes adyacentes sin ningún solapado y porciones perdidas, es decir, las lentes 12a-d y los sensores de imagen 10a-d están dispuestos con tal perfección que seria posible generar una imagen libre de distorsión mediante el posicionamiento simple de las imágenes de cada sensor de imagen adyacente entre si, en la forma de un cuadrado correspondiente a la forma de la vista total 100. En realidad es difícil, e incluso imposible, disponer las lentes 12a-d y los sensores de imagen 10a-d con tal perfección, y por tanto en tal implementación que pueda ser necesario el disponer las lentes 12a-d y los sensores de imagen 10a-d de forma que los sensores de imagen de capturacion de las vistas adyacentes registren alguna información de las imágenes comunes. Mediante dicha realización, la información de la imagen de distinto sensores de imagen puede unirse conjuntamente.
La información de la imagen en la vista total 100 es decir a procesar por el DSP 20 y la imagen provista para al menos un dispositivo pueda visionarse tiene que estar basada en lo indicado por una línea de trazos en la figura denominándose la vista del usuario o la vista de objetivo 102. En este ejemplo, la vista 102 de usuari%bjetivo consiste en la misma cantidad de píxeles de cada uno de los sensores de imagen 10a-d que puedan proporcionarse. La posición de la vista 102 de usuari%bjetivo puede determinarse por la posición del píxel 104 superior izquierdo de la vista 102 de usuario dentro de la vista total 100. Esta posición se denomina a partir de ahora como UVx, UVy, en donde UVx representa la posición del píxel 104 de la vista 102 de usuari%bjetivo en la direccion x, es decir, la columna de píxeles, y en donde UVy representa la posición del píxel 104 de la vista de usuari%bjetivo en la direccion y, es decir en la línea de los píxeles. La vista 102 de usuari%bjetivo puede inicialmente ser centrada en la vista total 1 00 y cuando el usuario necesita realizar una vista panorámica o vertical de la vista, esto puede ejecutarse por la indicación de una direccion en la cual la vista 102 de usuari%bjetivo pueda ser una vista panorámica o de inclinación. En tal caso, la indicación de una direccion se recibe en la cámara digital 2 y suministrada al sensor de imagen del selector 16, el cual calcula una nueva posición del píxel 104 superior izquierda de la vista 102 de usuari%bjetivo basándose en la indicación de la direccion, por ejemplo, los valores de UVx y UVy se incrementan o se reducen de acuerdo con el movimiento deseado de vista panorámica /inclinación. La vista panorámica y de inclinación puede estar controlada también por el suministro de posiciones en lugar de las direcciones, por ejemplo, una nueva posición UVx, UVy del píxel1 04 superior izquierdo de la vista 102 de usuari%bjetivo que puede enviarse a la cámara 2 y provista al selector 16 del sensor de imagen.
El selector 16 del selector de imagen recibe la direccion de la vista panorámica/inclinación y ajuste de las coordenadas de UVx y UVy de acuerdo con la direccion y una distancia predeterminada indicada. Las coordenadas UVx y UVy se utilizan entonces por el selector 16 de sensor de imágenes, para generar la señal seleccionada 28 de control del mu~iplexor 15.
Tal como se ha mencionado anteriormente, las transferencias de los píxeles desde los sensores de imagen 10a-d están sincronizadas y por tanto el píxel de las coordenadas x, y de cada sensor de imagen está presente en las entradas del multiplexor 15 al mismo tiempo, en donde x corresponde a la columna de píxeles del sensor de imagen, yen donde y corresponde a la línea de píxeles del sensor de imagen. Además de ello, en la figura 3 se muestra que el píxel inicial de cada sensor de imagen 10a-d es transferido simultáneamente en el instante to, el cual es un resultado de los sensores de imagen que están siendo sincronizados. En consecuencia, durante cada ciclo del reloj de píxeles, la señal seleccionada 28 del selector 16 del sensor de imagen determina cuales son los cuatro píxeles de los distintos sensores de imagen, en donde el multiplexor tiene que pasar a la salida del multiplexor.
Estudiando la situación descrita en la figura 2 y suponiendo que los píxeles de cada sensor de imagen 1 Oa-d tienen su salida píxel por píxel iniciándose con el píxel superior izquierdo seguido por el siguiente píxel en la misma fila y cuando el ultimo píxel de una fila pasa a la salida del píxel más a la izquierda de la siguiente fila, etc. Además de ello, suponiendo que la información de la imagen indicada por un usuario, es decir, los píxeles presentes en la vista 102 de usuari%bjetivo tienen que transferirse al DSP esencialmente un ciclo de transferencia de los sensores de imagen, entonces el multiplexor 15 tiene que enviar datos de la imagen de la vista D durante las primeras cinco transferencias de píxeles, es decir, la transferencia de los píxeles 1, 1 -5, 1 de la vista D. Se observará que los píxeles que tengan las posiciones correspondientes dentro de los otros sensores de vistas/imágenes A, By C, el cual queda descartado porque un píxel de la vista D está seleccionado para cada una de las posiciones, no incorporando ninguna información que sea útil dentro de la vista 102 de usuari%bjetivo. Durante la transferencia de píxeles del resto de los píxeles de la primera línea, el multiplexor 15 tiene que enviar los datos de la imagen desde la vista C, es decir, los píxeles 6,1 -8,1 de la vista C, descartando así los píxeles que tengan las posiciones correspondientes dentro de los demás sensores de vistas/imágenes A, By C. La misma selección del origen de los píxeles se realiza para la línea 2-4, es decir, los primeros cinco píxeles de la vista D se envían y el resto de los píxeles de cada línea se envían desde la vista C. Cuando el generador de sincronismos 18 indica la transferencia de
lOEn la figura 3,
los píxeles desde la línea quinta, el multiplexor 15 tiene que enviar los píxeles de la vista B y la vista A. Los primeros cinco píxeles de la línea quinta se envían desde la vista B y el resto se envía desde la vista A. La misma selección del origen de los píxeles se realiza para la Ií nea sexta. En consecuencia, todos los píxeles de la vista 102 de usuari%bjetivo se transfieren en un ciclo de transferencia de un sensor de imagen 10a-d, independiente de la forma en que los sensores de imagen 10a-d están contribuyendo a la información de la imagen hacia la imagen resultante. Esto se consigue por los medios de la transferencia de píxeles que estén siendo sincronizados, y en donde un píxel de una posición del píxel específica dentro de los sensores de imagen solo se transfieren a través del multiplexor 15, desde uno de los sensores de imagen, en donde el píxel de la posición correspondiente dentro de los demás sensores de imagen quedan descartados.
se muestra la transferencia de píxeles para un ciclo de transferncia, to-tlc desde cada sensor de imagen 10a-d hacia el multiplexor 15. La caja que se extiende desde ~ a tIc representa todos los píxeles transferidos desde una imagen del sensor 10a-d durante un ciclo de transferencia. Las líneas de trazos L representan el limite entre los píxeles de distintas líneas. El primer píxel transferido durante un ciclo de transferencia desde el sensor de imagen transferido en el instante to Y el último píxel transferido en el instante "!:tc. Cada señal de transferencia en la figura 3 muestra los datos de imagen transferidos desde cada sensor de imagen 10a-b, es decir, desde cada vista AO, en donde la señal A muestra la transferencia desde el sensor de imagen 10a, vista A, la señal B muestra la transferencia desde el sensor de imagen 10b, vista B, en donde la señal C muestra la transferencia del sensor de imagen 10c, vista C, y la señalO muestra la transferencia desde el sensor 10d, vista D. En la figura 3 los datos tienen que enviarse por el multiplexor 15 de acuerdo con el ejemplo anterior, es decir, los primeros cinco píxeles desde la vista C, y a continuación los siguientes tres píxeles desde la vista C, etc., se muestran como áreas de sombra de los datos de la imagen en las figuras. En consecuencia, en el instante to un píxel de cada uno de los sensores de imagen es transferido desde cada uno de los sensores de imagen 10a-d, a través solo de un píxel desde uno de los sensores de imagen por el multiplesor, en el instante tO el píxel del sensor 10d se hace pasar a su través.
Tal como se ha mencionado antes, las transferencias de píxeles desde los sensores de imagen 10a-d están sincronizadas en este ejemplo, y por tanto los datos de imagen enviados desde el multiplexor 15, que se muestran en la figura 4a, son de la misma dimensión que los datos de la imagen transferidos desde uno cualquiera de los sensores de imagen 10a-d. En consecuencia, el proceso de transferir todos los píxeles desde los sensores de imagen, rechazando los píxeles no incluidos en los píxeles que representen la vista 102 del usuari%bjetivo por los medios el multiplexor 15, y transferir solo los píxeles que representen la vista 102 del usuari%bjetivo al DSP durante un periodo de tiempo correspondiente en esencia al periodo de tiempo de un ciclo de transferencia de la imagen de cualquiera de los sensores de imagen 10a-d llega a ser posible, en donde pueden experimentarse algunos pequeños retardos a lo largo del recorrido de la señal. En la figura 4a, el origen de los datos de imagen transferidos desde el multiplexor 15 al DSP 20, de acuerdo con el ejemplo anterior, está marcado por la denominación de la vista que los datos de cada caja originarios. Además de ello, las referencias de tiempo, tx, en la figura indican el numero de ciclos de píxeles que hayan pasado desde el inicio de la transferencia de la imagen, en donde x es igual al mencionado numero de ciclos de píxeles.
Tal como se ha mencionado anteriormente, el inicio de la transferencia de píxeles y el reloj de los mismos de los sensores de imagen 10a-d en esta realización están sincronizados y por tanto los primeros píxeles transferidos desde los sensores de imagen tiene la misma posición dentro del sensor de imagen, en este ejemplo específico la transferencia de píxeles inician la transferencia con el píxel superior izquierda de cada sensor de imagen y se procede a continuación durante el siguiente ciclo de reloj con el siguiente píxel en la misma fila, etc. Para los sensores de imagen de registro de imágenes en color, los sensores de imagen preferiblemente están provistos con patrones de filtros ópticos idénticos. El uso de la invención puede en tal caso resultar en un flujo de píxeles, el cual si se inserta directamente dentro de un cuadro de imagen 202 en la misma forma que los píxeles se transfieren desde cada uno de los sensores de imagen y si se selecciona la anterior posición de la vista de usuari%bjetivo, se representará por una imagen en donde la contribución O' del sensor de imagen 10d, es decir, desde la vista O, se posicionará en la esquina superior izquierda de tal imagen, la contribución C' del sensor de imagen 10c, es decir, desde la vista C, se posicionará en la esquina superior derecha, la contribución B' desde el sensor de imagen 10b, es decir, desde la vista B, se posicionará en la esquina inferior izquierda, y la contribución A' desde el sensor de imagen 10A, es decir, desde la vista A, se posicionará en la esquina inferior derecha. Esto es evidente al estudiar la figura 4b a la vista del flujo de píxeles resultante en la figura 4A. La figura 4b muestra los píxeles insertados en una cuadro de imagen de la misma dimensión que la vista de usuari%bjetivo en el orden en que llegan en el DSP, lo cual se indica por las referencias a los periodos de tiempo de la figura 4a. Este flujo de píxeles puede por tanto verse como un cuadro 202 de imagen intermedio.
El cuadro de imagen intermedio en la figura 4b deberá redisponerse antes de ser presentado a un usuario como una imagen resultante 204, véase la figura 4c. La redisposición del cuadro de imagen intermedio puede ejecutarse por software en los medios de aplicación 24 en la cámara 2, por hardware en la cámara 2, por software en un ordenador del cliente que reciba la secuencia de píxeles, o bien por hardware en dicho ordenador del cliente. En la figura 4c la vista resultante 204, que representa la vista 102 del usuario /objetivo, se presenta por la referencia a los periodos de los ciclos del reloj de los píxeles correspondientes a los periodos mostrados en las figuras 4a y 4b, desde los cuales se origina cada uno de los píxeles.
En la figura 5a-c los efectos mencionados anteriormente están expuestos a modo de ejemplo. La figura 5a muestra una vista combinada de un área monitorizada 100 cubierta por cuatro sensores de imagen registrando cada uno una vista A, vista B, vista e, y vista O, respectivamente, en donde el limite entre las distintas vistas se muestran por líneas de sombreado 122. Es en estos límites, visualizados por la línea de trazos 122, en donde las vistas adyacentes, tal como se menciona, pueden estar presentes. La vista combinada del área monitorizada 100 nunca se ensambla dentro de una imagen existente. La presente vista 102 de usuari%bjetivo está marcada por una línea de trazos. El cuadro de la imagen intermedia 202 representada por los píxeles y el orden secuencial de los píxeles en el flujo de píxeles enviados desde el multiplexor se muestra en la figura 5b. Esta figura corresponde a la figura 4b. Tal como se indica claramente en la figura la contribución D' de la vista D está posicionada en la esquina superior izquierda, la contribución C' de la vista C está posicionada en la esquina superior derecha, la contribución B' de la vista B está posicionada en la esquina inferior izquierda, la contribución A' de la vista A está posicionada en la esquina inferior derecha.
En la figura 5c la imagen intermedia ha sido redispuesta, tal como se ha mencionado en relación con la figura 4c, dando lugar a la imagen resultante o a la vista resultante 204. Con el fin que el multiplexor 15 envíe los datos de la imagen de la vista 102 del usuari%bjetivo al DSP 20 de acuerdo con el ejemplo anterior mencionado, la señal de selección 28 puede estar implementada de la forma que sigue a continuación. En los siguiente, UVx y UVy representan la coordenada x y la coordenada y, respectivamente, del píxel 104 deseado izquierdo superior de la vista 102 del usuari%bjetivo, tx y ty representan la coordenada del píxel transferido al multiplexor 15 desde cada uno de los sensores de imagen 10a-d. A continuación, la señal de selección 28 puede estar dispuesta para ordenar al multiplexor 15 enviar el pixel a la entrada de:
Sensor de imagen 10a, vista A, si tx >, UVx AND si ty > UVy
Sensor de imagen 10b, vista B, si tx < UVx AND si ty > UVy
Sensor de imagen 10c, vista e, si tx > UVx AND si ty < UVy
y
Sensor de imagen 1 Od, vista D, si tx < UVx AND si ty < UVy
La implementación anterior puede estar implementada en un programa de la cámara digital o como hardware.
En consecuencia, un usuario puede controlar la posición de la vista 102 de usuari%bjetivo dentro de la vista total 100, por medio de una aplicación o algunos medios de control, y pudiendo recibir una imagen o una secuencia de imágenes que comprendan una porción de los datos de la imagen de la vista total 100 correspondientes a la vista 102 de usuari%bjetivo. La vista movible del usuari%bjetivo corresponde entonces al movimiento físico de panorámicas e inclinaciones de una cámara que tenga un sensor de imagen del tamaño de la vista del usuari%bjetivo. Así pues, la cámara digital de acuerdo con la invención es capaz de proporcionar una funcionalidad panorámica/inclinación virtual.
Puede ser difícil el conseguir una alineación perfecta de las vistas que forman la vista total 100, es decir, alguna información de la imagen de distintos sensores de imagen distintos puede representar los mismos componentes. En tales casos, puede ser apropiado tener un proceso de aplicaciones de la información de la imagen desde el DSP 20 con el fin de unir las porciones desde distintos sensores de la imagen 10a-b y proporcionar una única imagen continua, en donde tales programas se denominan en general como programas de unión.
De acuerdo con una realización la cámara puede estar dispuesta para permitir una pluralidad de usuarios que reciban las imágenes de video de distintas panorámicas/inclinaciones. Esto puede realizarse mediante la generación de una primera imagen a partir de un primer ciclo de transferencia del primer píxel de acuerdo con los datos de la vista panorámica/inclinación de un primer usuario y enviando esta primera imagen al primer usuario. A continuación puede generarse una segunda imagen desde un segundo ciclo de transferencia del segundo píxel, de acuerdo con los datos de la vista panorámica de un segundo usuario, en donde la segunda imagen se envía al segundo usuario. Esto puede entonces continuar para un tercer, cuarto, etc. usuario. Cuando todos los usuarios hayan recibido sus imágenes, la cámara puede iniciar todo de nuevo con un usuario. En otros términos, en dicha realización de la invención, el selector del sensor de imagen da salida a una señal de selección para el multiplexor el cual realiza un multiplexado de división en el tiempo, multiplexando las instrucciones de visión panorámica de múltiples usuarios. Esto puede realizarse por la excitación del multiplexor para producir un cuadro de imagen consistente con cada requisito de los usuarios sucesivos en los ciclos de los cuadros sucesivos de los sensores de imagen. Un primer cuadro de los datos de la imagen de objetivo consistente con unos primeros requisitos de vistas panorámicas se multiplexa a partir de los datos de la imagen provistos por los sensores de imagen durante un primer ciclo/intervalo del cuadro. Estos datos de la imagen de objetivo se suministra al procesador de la imagen, que a su vez visualiza o suministra la misma al primer usuario. Entonces durante el siguiente ciclo del cuadro los datos de imagen del objetivo consistente con los segundos usuarios de la panorámica se multiplexan a partir de los datos de imagen provistos por los sensores de imagen durante el segundo ciclo del cuadro. Estos datos de la imagen de objetivo se suministran al procesador de la imagen que a su vez visualiza o suministra al segundo usuario. Esto puede continuar después par un tercer, un cuarto, etc., usuario. Cuando todos los usuarios hayan recibido sus imágenes la cámara
podrá iniciar todo de nuevo con el usuario numero uno. En consecuencia, cada uno de los usuarios reciben un flujo de imágenes de las vistas ya seleccionadas. El numero de los usuarios simultáneos tienen distintas panorámicas/inclinaciones que es posible que dependan de la velocidad de cuadro que la cámara es capaz de producir y de la velocidad del cuadro que los usuarios deseen aceptar.
Además de ello, de acuerdo con una realización, la dimensión de la vista 102 del usuari%bjetivo puede ser distinta de la dimensión de cada sensor de la imagen. En el supuesto de que este sea el caso en que el selector 16 del sensor de imagen tenga que tener acceso a un valor que represente lo deseado, se tendrá que considerar este valor de la anchura al generar la señal de selección 28.
La invención no está limitada a la disposición de las vistas tal como se han descrito en las realizaciones y en ejemplo anterior. La cámara puede incluir dos o más sensores de imagen, con el fin de capturar las imágenes de una pluralidad de vistas. En las figuras 6a-c se muestran un par de ejemplos de las configuraciones de las vistas de imágenes. En la figura 6a se muestra una realización que tiene una vista total 100 que incluye dos vistas A y B, es decir, dos sensores de imágenes, que está alineados horizontalmente. Si la vista del usuari%bjetivo es esencialmente del mismo tamaño como en una de las vistas A y B, entonces no existirá espacio para la inclinación sino solo para la vista panorámica. No obstante, si la vista de usuari%bjetivo es menor que una de las vistas A y B, tanto la funcionalidad de la panorámica como la inclinación estarán disponibles. Las vistas A y B pueden estar también alineadas verticalmente.
En la figura 6b, se muestra una realización que tiene un total de vistas 100 incluyendo n vistas V1-Vn, en donde n puede ser cualquier numero, las cuales están alineadas horizontalmente. Esta realización puede incluir n sensores de imágenes. Al igual que en la realización en la figura 6a, esta realización solo permite las panorámicas si la vista del usuari%bjetivo tiene esencialmente el mismo tamaño que una de las vistas V1-Vn. Las vistas de la realización en la figura 6b pueden estar también alineadas verticalmente.
En la figura 6c, se muestra una realización que tiene una vista total 100 incluyendo n columnas de vistas y m líneas de las vistas V1 :1-Vn:m, en donde n y m pueden ser cualquier numero. Esta realización puede incluir n.m sensores de imágenes. Esta realización puede ser utilizada para hacer posible el poder conseguir grandes movimientos de vistas panorámicas/inclinación.
Es posible también disponer las lentes y los sensores de imagen de forma que cada sensor de imagen capture la información de las imágenes desde las vistas que no sean adyacentes entre si, es decir, vistas de imágenes no relacionadas. Por ejemplo, una primera vista puede estar dispuesta para cubrir una entrada desde una primera sala, una segunda vista puede disponerse para cubrir una entrada desde una segunda habitación" una tercera vista puede disponerse para cubrir una ventana, y una cuarta vista puede disponerse para cubrir una abertura en el suelo. Las vistas pueden estar a una distancia tal entre si que no sea posible cubrir las mismas con vistas relevantes al posicionarse en forma adyacente entre si. En un caso similar a este, las vistas panorámicas y de inclinación dan lugar a una transición deslizante entre las vistas no relacionadas. Por ejemplo, si un usuario estudia la primera entrada y realiza la vista panorámica horizontal, el usuario puede deslizarse fuera de la primera entrada mientras que la vista de la segunda entrada podría estar a la vista. En consecuencia, el usuario puede ver una porción de cada vista simultáneamente y podría experimentar una limitación entre las dos vistas, porque la información de la imagen de los objetos entre las dos puertas no está capturada por la cámara digital, durante la vista panorámica.
De acuerdo con otro aspecto de la invención, los sensores de la imagen pueden estar controlados por los medios de las señales de sincronismo en el tiempo que no son síncronas. Mediante el control de la transferencia desde cada sensor de la imagen individualmente y mediante la consideración de la sincronización de cada sensor de las imágenes y la selección de la salida del sensor de imágenes, será posible realizar de forma mayor las vistas del usuari%bjetivo que con un único sensor de imágenes.

Claims (11)

  1. REIVINDICACIONES
    1. Una cámara digital (2) que tiene una funcionalidad de vistas panorámicas y/o de vistas inclinadas, en donde la mencionada cámara (2) comprende:
    unos medios (19) de procesado de imágenes para el procesamiento de datos de imágenes digitales,
    al menos dos sensores de imagen (1 Da, 10, 10c, 10d) dispuestos para dar salida a datos de imágenes detectados por los sensores de imagen (1 Da, 10b, 10c, 10d) Y para transferir los datos de la imagen desde cada uno de al menos dos sensores de imágenes (10a, 10, 10c, 10d) píxel por píxel, caracterizada porque:
    tiene un selector del sensor de imagen (16) que incluye una salida dispuesta para proporcionar una señal de selección (28) indicando desde un sensor de imagen a un valor del píxel a enviar al mencionado valor de la imagen de los medios de procesamiento (19) en donde la señal de selección (28) está basada en al menos un valor que indica las vistas presentes panorámicas y/o de inclinación; y
    un multiplexor (15) conectado al menos a dos sensores de imágenes (10a, 10b, 10c, 10d), en donde los medios de procesado de la imagen (19) y la mencionada salida del selector (16) del sensor de imagen, el multiplexor (15) está dispuesto para recibir un valor del píxel de dos sensores de imagen (10a, 10b, 10c, 10d) durante un ciclo del reloj del pixel y para enviar el valor del pixel de la imagen (10a, 10b, 10c, 10d) indicando por medio del selector (16) y de la señal de selección (28).
  2. 2.
    Una cámara digital (2) de acuerdo con la reivindicación 1, que comprende además un generador de sincronismos en el tiempo (18), en donde el mencionado generador de sincronismos (18) está conectado al menos a dos sensores de imágenes (10a, 10b, 10c, 10d), estado dispuesto para proporcionar al menos los mencionados dos sensores de la imagen (10a, 10b, 10c, 10d) con las señales (26) de sincronización sincronizadas.
  3. 3.
    La cámara digital (2) de acuerdo con la reivindicación 2 en donde el generador de sincronismos en el tiempo (18) incluye:
    una salida de la señal de reseteado a cero la cual está conectada a cada sensor de imagen (10a, 10b, 10c, 10d) para sincronizar el reseteado a cero de todos los sensores de imagen (10a, 10b, 10c, 10d) , Y
    al menos una salida del reloj de pixeles que está conectada a cada sensor de imagen (10a, 10b, 10c, 10d) para sincronizar la salida del píxel de los mencionado al menos dos sensores de imagen (10a, 10b, 10c, 10d).
  4. 4.
    Una cámara digital (2) de acuerdo con cualquiera de la reivindicación 1 ó 3, que comprende además un sistema de enfoque de luz dispuesto para enfocar la luz reflejada desde al menos una primera vista y una segunda vista a los mencionados dos sensores de la imagen, respectivamente, en donde la mencionada primera vista y la segunda vista son adyacentes entre si, yen donde dos vistas adyacentes están solapándose entre si.
  5. 5.
    Una cámara digital (2) de acuerdo con cualquiera de las reivindicaciones 1-4, en donde los medios de procesado de la imagen (19) comprenden unos medios de redisposición para componer una imagen continua a partir de un valor del píxel que se origina desde el mencionado multiplexor del valor (15) y que representa una cuadro de imagen.
  6. 6.
    Una cámara digital (2) de acuerdo con cualquiera de las reivindicaciones 1-5, en donde el selector (16) del sensor de imagen incluye la responsabilidad de las múltiples entradas de la señal panorámica y de inclinación desde múltiples usuarios para dar salida a la señal de selección (28) hacia el multiplexor (15), el cual realiza un multiplexado por división en el tiempo de las instrucciones de vistas panorámicas y de inclinación de múltiples usuarios.
  7. 7.
    Un método en una cámara (2) que tiene una funcionalidad de vistas panorámicas y de tipo inclinado, en donde el mencionado método está caracterizado porque:
    el envío de los datos de imagen píxel por píxel desde al menos dos sensores de imágenes (10a, 10b, 10c, 10d) para separar las entradas de un multiplexor (15),
    generar una señal de selección (28) indicando desde el sensor de imagen (10a, 10b, 10c, 10d) del valor del pixel enviado en donde se haya recibido, en donde la generación de la mencionada señal (28) está basada en al menos un valor indicando la vista panorámica para la transferencia de la imagen en progreso, y la posición dentro de la cual al menos dos sensores de imagen (10a, 10b, 10c, 10d) proporcionan los valores de los píxeles recibidos en el multiplexor (15).
    enviar la señal de selección (28) al mencionado multiplexor (15) indicando el sensor de imagen (10a, 10b, 10c, 10d) desde el cual el valor del píxel presente se haya enviado, y
    enviar el valor del píxel desde la entrada del mencionado valor del píxel al multiplexor (15) recibiendo el valor del
    píxel originario en el sensor de imagen (1 Da, 10b, 10c, 10d) indicado en la señal de selección (28) a los medios de
    procesado de la imagen (19).
  8. 8. Un método de acuerdo con la reivindicación 7, que además comprende el acto de proporcionar al menos dos 5 sensores de imagen (10a, 1Gb, 10c, 10d) con las señales de sincronización sincronizadas (26).
  9. 9. Un método de acuerdo con la reivindicación 8, en donde el acto de proporcionar al menos dos sensores de imagen (1 Da, 10b, 10c, 10d) con las señales de sincronismo sincronizadas (26) incluye el acto de proporcionar al menos dos sensores de imagen (1 Da, 10b, 10c, 10d) con señales de reseteado sincronizadas y con señales del reloj de píxeles sincronizadas.
    10 10. Un método de acuerdo con cualquiera de las reivindicaciones 7-9, que comprende además los actos de:
    enfocar la luz desde una primera vista sobre un primer sensor de imagen de al menos dos sensores de imagen (10a, 10b, 10c, 10d) y
    enfocar la luz desde un segundo, adyacente y con la vista solapada, con respecto a la mencionada primera vista, sobre un segundo sensor de imagen de al menos dos censores de imagen (10a, 10b, 10c, 10d).
    15 11. Un método de acuerdo con cualquiera de las reivindicaciones 7-10, que además comprende el acto de redisponer los píxeles dentro de un flujo de píxeles que representen un cuadro de imagen dentro de un cuadro de imagen continuo.
  10. 12. Un método de acuerdo con cualquiera de las reivindicaciones 7-11, en donde la mencionada etapa de enviar
    datos de la imagen incluye el acto de enviar datos de imágenes desde al menos cuatro sensores de imagen (10a, 20 10b, 10c, 10d) al mencionado multiplexor (15).
  11. 13. Un método de acuerdo con cualquiera de las reivindicaciones 7-12, en donde la señal de selección (28) enviada al multiplexor (15) indica al menos dos entradas distintas del multiplexor (15) durante el procesamiento de un cuadro de la imagen.
ES04711072T 2003-02-17 2004-02-13 Cámara que tiene funcionalidad de vista horizontal y/o vertical Expired - Lifetime ES2385647T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE0300428A SE0300428D0 (sv) 2003-02-17 2003-02-17 Digital camera having panning and/or tilting functionality
SE0300428 2003-02-17
PCT/SE2004/000198 WO2004073299A1 (en) 2003-02-17 2004-02-13 Camera having panning and/or tilting functionality

Publications (1)

Publication Number Publication Date
ES2385647T3 true ES2385647T3 (es) 2012-07-27

Family

ID=20290430

Family Applications (1)

Application Number Title Priority Date Filing Date
ES04711072T Expired - Lifetime ES2385647T3 (es) 2003-02-17 2004-02-13 Cámara que tiene funcionalidad de vista horizontal y/o vertical

Country Status (6)

Country Link
EP (1) EP1595392B1 (es)
JP (1) JP4347881B2 (es)
AT (1) ATE557524T1 (es)
ES (1) ES2385647T3 (es)
SE (1) SE0300428D0 (es)
WO (1) WO2004073299A1 (es)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040075741A1 (en) * 2002-10-17 2004-04-22 Berkey Thomas F. Multiple camera image multiplexer
JP4694913B2 (ja) * 2004-11-22 2011-06-08 アレコント ビジョン,リミティド ライアビリティ カンパニー 画像処理、圧縮及びネットワークサーバの大きな並列実行を有する高解像度ネットワークカメラ
US9118850B2 (en) * 2007-11-27 2015-08-25 Capso Vision, Inc. Camera system with multiple pixel arrays on a chip
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US20110242355A1 (en) * 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
RU2531463C1 (ru) * 2013-10-15 2014-10-20 Вячеслав Михайлович Смелков Устройство панорамного телевизионного наблюдения "день-ночь"
RU2565064C1 (ru) * 2015-01-12 2015-10-20 Вячеслав Михайлович Смелков Устройство телевизионно-компьютерной системы для панорамной охраны "день-ночь"
KR102503442B1 (ko) 2015-12-24 2023-02-28 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2219178A (en) * 1988-02-11 1989-11-29 Benchmark Technologies State machine controlled video processor
US5282268A (en) * 1988-09-27 1994-01-25 Allen-Bradley Company, Inc. Video image storage system
US5187571A (en) * 1991-02-01 1993-02-16 Bell Communications Research, Inc. Television system for displaying multiple views of a remote location
US5657073A (en) 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
WO1998047291A2 (en) * 1997-04-16 1998-10-22 Isight Ltd. Video teleconferencing
US6317166B1 (en) * 1998-08-31 2001-11-13 Immersive Media Company Synchronization frame generator for multichannel imaging system
WO2001048537A2 (en) * 1999-12-28 2001-07-05 Vrex, Inc. Stereoscopic camera
GB2364192A (en) * 2000-06-26 2002-01-16 Inview Systems Ltd Creation of a panoramic rear-view image for display in a vehicle
US6778207B1 (en) 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
SE522121C2 (sv) * 2000-10-04 2004-01-13 Axis Ab Metod och anordning för digital behandling av frekvent uppdaterade bilder från en kamera
DE10164337A1 (de) * 2001-12-28 2003-07-17 Broadcasttelevision Systems Me Verfahren zum Erzeugen eines aus zwei gespeicherten Bildern zusammengesetzten Bildes

Also Published As

Publication number Publication date
ATE557524T1 (de) 2012-05-15
JP4347881B2 (ja) 2009-10-21
JP2006518147A (ja) 2006-08-03
EP1595392A1 (en) 2005-11-16
WO2004073299A1 (en) 2004-08-26
SE0300428D0 (sv) 2003-02-17
EP1595392B1 (en) 2012-05-09

Similar Documents

Publication Publication Date Title
ES2843477T3 (es) Método y sistema para fusionar flujos de vídeo
US7525576B2 (en) Method and apparatus for panning and tilting a camera
US9325934B2 (en) Image processing system and method
JP4983784B2 (ja) 撮像システム、画像提示方法、制御装置、プログラム
ES2323672T3 (es) Camara electronica.
KR101259559B1 (ko) 멀티 카메라 연동 장치 및 방법
US20130141521A1 (en) Image processing system and method
JP2020150330A (ja) 画像通信システム、撮像装置、モード切替方法、プログラム
JPWO2004066632A1 (ja) 遠隔映像表示方法、映像取得装置及びその方法とそのプログラム
WO1999017543A1 (en) Virtual reality camera
JP2013537728A (ja) 知覚深度を有するビデオを提供するビデオカメラ
JP2006262030A (ja) 画角調整装置、カメラシステムおよび画角調整方法
JP2020149635A (ja) 撮像装置、画像通信システム、画像処理方法、プログラム
ES2385647T3 (es) Cámara que tiene funcionalidad de vista horizontal y/o vertical
JP4616673B2 (ja) 表示装置及び撮像装置
JP2013070368A (ja) テレビ対話システム、端末および方法
JP2002232913A (ja) 複眼カメラ及び立体視画像観察システム
KR101704362B1 (ko) 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법
Wilburn High-performance imaging using arrays of inexpensive cameras
JP2010213249A (ja) ビデオカメラ撮像装置
JP2006086671A (ja) 自動追尾機能を有する撮像装置
JP3955582B2 (ja) 表示装置及び撮像装置
JP2001204015A (ja) 周囲カメラ・システム、周囲カメラの撮像画像に基づいて周囲画像を生成する方法、隣接カメラによる撮像画像の接続処理装置及び方法、並びに、隣接カメラを用いた距離測定装置及び方法
JP4254637B2 (ja) 撮影システム
JP2006025340A (ja) 広角撮像装置、撮像システムおよびその制御方法