ES2685583T3 - Procedimiento para la reproducción óptica de un objeto usando un campo de microlentes con al menos dos microlentes y un sensor de imagen - Google Patents

Procedimiento para la reproducción óptica de un objeto usando un campo de microlentes con al menos dos microlentes y un sensor de imagen Download PDF

Info

Publication number
ES2685583T3
ES2685583T3 ES11192342.1T ES11192342T ES2685583T3 ES 2685583 T3 ES2685583 T3 ES 2685583T3 ES 11192342 T ES11192342 T ES 11192342T ES 2685583 T3 ES2685583 T3 ES 2685583T3
Authority
ES
Spain
Prior art keywords
image
optical
field
microlenses
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES11192342.1T
Other languages
English (en)
Inventor
Andreas Brueckner
Jaques Duparré
Frank Wippermann
Andreas BRÄUER
Peter Dannberg
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Application granted granted Critical
Publication of ES2685583T3 publication Critical patent/ES2685583T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

Procedimiento para la reproducción óptica de un objeto (800) usando un campo de microlentes (10) con al menos dos microlentes (10a, 10b) y un sensor de imagen (100), en el que el sensor de imagen (100) comprende una multiplicidad de matrices de detectores de imagen (30; 30a, 30b) y en el que cada matriz de detectores de imagen (30; 30a, 30b) comprende una multiplicidad de detectores de imagen (30'; 32a, 32b) y en el que a cada microlente (10a, 10b) se le asocia una matriz de detectores de imagen (30; 30a, 30b), de modo que cada microlente (10a, 10b) constituye junto con una matriz de detectores de imagen (30; 30a, 30b) un canal óptico (10'), con la etapa siguiente: a) reproducción del objeto (800) a través del campo de microlentes (10) sobre el sensor de imagen (100), de manera que cada celda de objeto (840, 850) se reproduce sobre un detector de imagen (30'; 32a, 32b), en el que las celdas de objeto (840, 850) adyacentes se reproducen sobre detectores de imagen (30'; 32a, 32b) de anales ópticos (10') adyacentes, de modo que las microimágenes se originan sobre las matrices de detectores de imagen (30; 30a, 30b) de los canales ópticos (10'), caracterizado porque cada microimagen está entrecruzada con las microimágenes de los canales (10') adyacentes, de manera que las rejillas de exploración (810, 820) de canales (10') adyacentes están desplazadas entre sí en múltiplos no enteros del intervalo de exploración de un canal individual (10').

Description

DESCRIPCIÓN
Procedimiento para la reproducción óptica de un objeto usando un campo de microlentes con al menos dos microlentes y un sensor de imagen.
Antecedentes de la invención
[0001] La presente invención se refiere a un dispositivo, un dispositivo de procesamiento de imágenes y un procedimiento para la reproducción óptica, que se pueden usar, por ejemplo, en sistemas de cámara miniaturizados
10 para terminales portátiles.
[0002] El uso de sistemas de cámara miniaturizados para terminales portátiles (teléfono móvil PDA, portátil, etc.) implica, junta la reducción de componentes electrónicos y optoelectrónicos, también la miniaturización de los objetivos de reproducción. Los requisitos para ello son longitudes constructivas cortas de los objetivos y un pequeño
15 número de componentes ópticos (ante todo elementos de lentes). No obstante, la disminución progresiva de las diagonales de sensores de imagen, que es empujada por el desarrollo de la tecnología de estructuración de semiconductores (fotodiodos más pequeños, igual a número mayor de píxeles sobre la misma superficie de imagen), así como por la reducción de los costes de fabricación de sensores, exige que pese a la simplificación de la estructura óptica se deben conseguir una elevada capacidad de resolución y una elevada intensidad de luz de la 20 óptica. Las soluciones de diseño óptico existentes se destacan por pocas formas de lentes, pero complejas por ello (la mayoría de las veces asféricas), que agotan las posibilidades de las tecnologías de fabricación actuales. Debido a los procedimientos de medida insuficientes para el control de calidad de tales superficies complejas y las exactitudes de montaje laterales y axiales muy precisas que son necesarias para asir los componentes ópticos de un objetivo de cámara miniaturizado semejante, se fijan límites adicionales a la realización. Las soluciones existentes 25 para módulos de cámara miniaturizados no satisfacen las especificaciones o las expectativas de precios de los integradores y usuarios.
[0003] Un procedimiento de fabricación establecido de ópticas de cámara pequeñas es la generación de lentes individuales y zócalos mediante moldeo por inyección de plástico en moldes mecanizados con ultraprecisión.
30 A este respecto, normalmente las lentes se pueden fabricar junto con su zócalo en el moldeo por inyección de dos componentes. Los componentes individuales se montan a continuación en un zócalo enchufable y se fijan mediante unión en arrastre de forma (adhesión por fuerza molecular, pegado). No obstante, este procedimiento ya no se puede aplicar con exactitud de ajuste suficiente para la fabricación de objetivos miniaturizados con un tamaño constructivo menor de 5 x 5 x 5 mm3 0004. Otros problemas surgen para el suministro y la técnica de construcción y 35 conexión de pequeños componentes de este tipo. En detalle se originan los problemas de la manipulación de los componentes debido a las fuerzas electrostáticas (pequeño peso y dimensiones de los componentes), así como el peligro del ensuciamiento y del rayado de las superficies ópticas sensibles. Por estos motivos por encima del 80% de los costes de producción son atribuibles a los procesos de montaje. Existen enfoques avanzados para la manipulación de ópticas pequeñas en una técnica de construcción híbrida (micropinzas mecánicas y electrostáticas, 40 así como neumáticas, asistidas por sensores), no obstante, éstos aumentan considerablemente los costes para una producción en masa (p. ej. ópticas de cámaras para teléfonos móviles). Además, debido a la técnica de fabricación híbrida para formatos de resolución mayores se necesita un posicionamiento activo, p. ej. piezoactuador de los objetivos de plástico, para compensar las tolerancias de montaje del objetivo sobre el convertidor de imagen optoelectrónica (sensor de imagen). Esto conduce a un aumento posterior del precio por unidad.
45
[0004] La fabricación de ópticas en la escala de obleas (WLO-wafer level optics) representa un procedimiento alternativo para objetos del orden de magnitud menor de 5 x 5 x 5 mm3. Aquí se usa un inserto de herramienta para las lentes individuales correspondientes, que se ha generado mediante mecanizado con ultraprecisión (p. ej. torneado con diamante), para el moldeado por UV múltiple (proceso de avance y repetición) de los componentes
50 individuales sobre una oblea de sustrato (nivel oblea de módulos ópticos). Alternativamente se puede elaborar una oblea de herramienta completa siempre de los mismos componentes individuales mediante mecanizado con ultraprecisión y a continuación replicar en una única etapa de moldeado por UV en la escala de oblea. Muchas lentes similares, pero también distanciadores y diafragmas se pueden fabricar en paralelo de esta manera. En etapas subsiguientes se pueden unir axialmente entre sí las placas de oblea individuales, para obtener una pila de 55 obleas con una multiplicidad de objetivos. En este caso se trata de una tecnología de fabricación en paralelo que recurre a procesos e instalaciones de la fabricación de microelectrónica. Las desventajas principales de la aplicación de estos procedimientos de fabricación de la microóptica para lentes miniaturizadas, pero que resultan grandes en comparación a las microlentes habituales, son los elevados costes de fabricación de herramientas de moldeo apropiadas, así como la exactitud, limitada debido p. ej. a la contracción del material, de los perfiles superficiales
obtenibles en la replicación por UV de microlentes con grandes alturas de vértice (mayor de 100 pm). Además, los problemas en la reproductibilidad y control de calidad, en particular en la caracterización de la forma de lente compleja de este orden de magnitud, siguen sin resolverse hasta ahora. Los módulos sólo se pueden probar hasta ahora en conexión con todos los otros componentes ópticos con un procedimiento de formación de imágenes, lo que 5 reduce fuertemente el rendimiento en función del número de componentes y etapas de fabricación.
[0005] Además, existen disposiciones de un sensor de reproducción óptico plano, que representa la aplicación técnica del ojo compuesto en yuxtaposición de los insectos. En este sistema de reproducción extremadamente compacto, multicanal, a cada microlente se le asocia un fotodetector (píxel).
10
[0006] A continuación, un fotodetector también se designa parcialmente como detector de imagen o también como fotodiodo.
[0007] Debido al decalado del fotodetector respecto a la microlente correspondiente, pese al pequeño tamaño
15 constructivo, se fija un campo visual muy grande. No obstante, debido al uso de un fotodetector por canal existe la
necesidad de una gran superficie base del campo de fotodetectores (sensor de imagen CMOS o CCD) para
conseguir una capacidad de resolución de imagen moderada. Esto aumenta considerablemente los costes de
fabricación de un sensor de reproducción miniaturizado correspondientemente.
20 [0008] Los documentos DE 10 2004 003 013.8 y PCT PAT. APPL. WO 2005/069607 describen un sistema de
reproducción multicanal a base de un ojo compuesto artificial, estando asociado aquí a cada canal un detector de imagen, o estando asociados unos pocos detectores de imagen a diferentes funciones. Cada canal detecta por consiguiente sólo una zona muy limitada del campo de objeto.
25 [0009] Los documentos US 005696371 A y EP 0840502A2 describen otro sistema de reproducción multicanal
en base a ojos compuestos artificiales. Se describe una cámara digital compacta con óptica de reproducción refractiva / difractiva multicanal y campo visual segmentado. El sistema se compone de una disposición de campo de lentes, que están conformadas como segmentos de lente descentrados, en cuya distancia focal se sitúa un campo de sensores de imagen fotosensible. Axialmente delante del campo de lentes se usan dos campos de diafragmas 30 con paredes laterales que discurren oblicuamente y un periodo mayor respecto al campo de lentes, a fin de fijar el tamaño del campo visual. Para la supresión de la diafonía óptica se proponen paredes perpendiculares de material absorbente de la luz entre los canales ópticos adyacentes.
[0010] El documento de J. Tanida, T. Kumagai, K. Yamada y S. Miyatake, “Thin observation module by bound
35 optics (Tombo) concept and experimental verification (Módulo de observación fina mediante el concepto de óptica compuesta (Tombo) y verificación experimental)” Óptica aplicada 40, páginas 1806-1813, abril 2001 muestra otra disposición multicanal para la reproducción óptica. Por este documento se conoce una disposición multicanal, en la que las microimágenes del sensor de imagen optoelectrónico se sitúan centradas axialmente bajo la microlente asociada correspondientemente y los canales adyacentes están separados entre sí con paredes verticales, opacas. 40 No obstante, con esta disposición sólo se puede detectar un pequeño campo de objeto. Para distancias de objeto pequeñas (p. ej. menores de 2 m), debido al decalado del ángulo de visión (paralaje) que aparece de los canales adyacentes en el mismo punto del objeto se puede obtener un desplazamiento de subpíxeles de la reproducción de microimágenes en referencia al grupo de fotodiodos por canal del sensor de imagen, que calcula una imagen global de alta resolución mediante un algoritmo de superresolución (Super Resolution Algorithmus) a partir de una 45 multiplicidad de microimágenes de baja resolución. Esta disposición se puede usar por principio sólo para pequeñas distancias de objeto y pequeños tamaños de campo de objeto. Además, este procedimiento posee una elevada selección de imágenes y tiempo de procesamiento, dado que el algoritmo de súperresolución (conocido por el procesamiento de imágenes) posee una alta complejidad.
50 [0011] El uso de fotodiodos muy pequeños (píxeles) para el sensor de imagen optoelectrónico en conexión
con una óptica monocanal representa una posibilidad técnica alternativa de evitarlo. La diagonal de imagen pequeña con ello conduce, en el caso de una longitud constructiva corta de la óptica, a pequeños ángulos del campo de objeto en el borde (pequeñas aberraciones fuera de eje y pequeño viñeteado) y por consiguiente también a la desventaja de la detección sólo de un pequeño campo de objeto. Para esta óptica monocanal miniaturizada se 55 puede usar una lente relativamente pequeña con longitud constructiva muy pequeña y calidad de imagen suficiente, de modo que aquí también se pueden evitar las tecnologías (litográficas) según la invención en la escala de la oblea. Sin embargo, los pequeños píxeles tienen la desventaja de pequeña superficie fotosensible y con ello, en el caso de igual diafragmado del objetivo de la óptica, menor sensibilidad de la disposición global.
[0012] El documento US 2009/0135289 A1 muestra un sistema óptico con microlentes y unidades de conversión fotoeléctricas. A este respecto, existe cada vez una asociación entre unidad de conversión fotoeléctrica y una microlente, de modo que una unidad de pared fotoeléctrica semejante en conexión con una microlente constituye un así denominado “focus detection píxel” (píxel de detección de foco).
5
[0013] El documento US 5 796 522 muestra una disposición óptica con un campo de lentes y un campo de aperturas. Los rayos incidentes llegan mediante el campo de lentes y las aberturas del campo de aperturas a los segmentos de imagen.
10 [0014] El documento WO 2008/025610 A1 muestra un sistema de detección de imágenes con microlentes,
estando asociada cada microlente a una abertura de una máscara de agujeros y a un sensor de imagen de un elemento sensor de imagen.
[0015] El documento US 4 585 948 muestra un sistema óptico con lentes que están dispuestas sobre una 15 capa de detectores.
[0016] El documento EP 1 665 779 B1 muestra un sistema de detección de imágenes con microlentes sobre un sustrato de vidrio y una matriz de agujeros. La matriz de agujeros sirve para el recubrimiento de una matriz de detectores.
20
[0017] El documento US 2007/0081815 A1 muestra un equipo para la captación simultánea de varias imágenes con zonas visuales superpuestas usando distintas regiones de un detector de imagen. Una multiplicidad de imágenes, que se captan con distintas regiones del detector de imagen, se pueden ensamblar así en una así llamada imagen “all in focus” (todo enfocado). La imagen “all in focus” originada tiene menos píxeles que el número
25 de los píxeles del detector, pero todos los píxeles se sitúan en el foco.
[0018] En resumen, se puede constatar que en el estado de la técnica no se encuentra ninguna forma
constructiva ventajosa de un dispositivo de reproducción, que reúna una elevada calidad de imagen con una altura constructiva pequeña y, a este respecto, se pueda fabricar de forma eficiente en costes mediante tecnologías de
30 fabricación microópticas conocidas.
[0019] Por consiguiente, el objetivo de la presente invención es crear un dispositivo y un procedimiento para la reproducción óptica, que con pequeña altura constructiva posibilite la obtención de una calidad de imagen elevada y, a este respecto, se pueda realizar de forma económica mediante las tecnologías de fabricación microópticas.
35
Resumen de la invención
[0020] Este objetivo se resuelve mediante un dispositivo según la reivindicación 1.
40 [0021] La presente invención logra un dispositivo para la reproducción óptica (por ejemplo, también
designado como dispositivo de reproducción óptico o como sistema de reproducción y captación de imágenes multicanal) con un campo de microlentes con al menos dos microlentes, y un sensor de imagen con al menos dos matrices de detectores de imagen, comprendiendo las al menos dos matrices de detectores de imagen (por ejemplo, designadas también como grupos de fotodiodos o matrices de fotodiodos o campos de fotodiodos) respectivamente 45 una multiplicidad de detectores de imagen.
[0022] Entre las matrices de detectores de imágenes y las microlentes existe una asociación, de modo que cada microlente constituye junto con una matriz de detectores de imagen un canal óptico. Los puntos centrales de las matrices de detectores de imagen están desplazados lateralmente a diferentes distancias respecto a los centros
50 de gravedad de las superficies, proyectados sobre las matrices de detectores de imagen, de las aperturas de microlentes de los canales ópticos correspondientes. Los canales ópticos desplazados tienen distintas zonas de detección superpuestas parcialmente. Una zona de superposición de las dos zonas de detección de dos canales ópticos se reproduce por consiguiente de forma decalada sobre las matrices de detectores de imagen de los canales ópticos con vistas a una retícula de detectores de imagen de las matrices de detectores de imagen.
55
[0023] La idea fundamental de la presente invención es que sea posible lograr un dispositivo para la reproducción óptica, en tanto que un campo de objeto se divide en varias zonas parciales y cada zona parcial se reproduce mediante al menos una microlente de un campo de microlentes sobre una matriz de detectores de imagen asociada. Debido a la superposición de las zonas de detección de los distintos canales ópticos se detectan las zonas
parciales del campo de objeto en paralelo por varias matrices de detectores de imagen de los canales ópticos.
[0024] La ventaja de la presente invención consiste por ello en que la detección paralela de las zonas parciales del campo de objeto en canales ópticos separados permite una distancia focal corta de cada canal
5 individual y por consiguiente posibilita una reducción de la longitud constructiva del dispositivo de reproducción para un campo de objeto extenso. Además, la corta distancia focal posibilita, en conexión con un pequeño campo de objeto respecto al campo de objeto global para un canal individual correspondiente, el uso de componentes ópticos sencillos (por ejemplo, lente refractiva con pequeña altura de vértice) por canal. Además, es ventajoso que el campo visual máximo esté determinado por la dimensión lateral (por ejemplo, número de canales) y por consiguiente es 10 esencialmente independientemente de la longitud constructiva o la complejidad de la estructura óptica de cada canal individual. Debido a la superposición de las zonas de detección de los canales ópticos se consigue además una elevada capacidad de resolución de imagen, en comparación a los ojos compuestos artificiales en el estado de la técnica. Además, se puede generar un dispositivo óptico según la presente invención debido a su baja complejidad y tamaño con una tecnología de fabricación microscópica establecida (escritura láser, fotolitografía, fusión o bien 15 fusión de reflujo (“reflow”), moldeado por UV en la escala de oblea). Estas tecnologías son maduras, muy precisas y se pueden usar de forma económica en la fabricación en serie.
[0025] Otro aspecto se basa en el conocimiento de que se puede conseguir una calidad de imagen más elevada cuando un dispositivo de procesamiento de imágenes comprende un aparato de procesamiento de
20 imágenes para la corrección de defectos de la imagen y para la reconstrucción de una imagen global, que está diseñado para realizar temporalmente en paralelo e independientemente entre sí la corrección de los defectos de la imagen de las reproducciones individuales de todas las matrices de detectores de imagen y para reconstruir una imagen global a partir de las reproducciones individuales, de manera que se tiene en cuenta un entrecruzamiento de las reproducciones individuales.
25
[0026] Otra ventaja de la presente invención es por consiguiente que mediante un dispositivo de procesamiento de imágenes se puede obtener una calidad de imagen más elevada con un aparato de procesamiento de imágenes para la corrección de los defectos de la imagen.
30 [0027] A continuación se explican más en detalle ejemplos de realización preferidos de la presente invención
en referencia a los dibujos adjuntos.
[0028] Muestran:
35 Fig. 1 una representación esquemática de un dispositivo de reproducción óptico según la invención según un primer ejemplo de realización de la presente invención;
Fig. 2 un dibujo para la exploración de un campo de objeto por el primer ejemplo de realización con rejillas de exploración adicionales por canal;
40
Fig. 3 una vista en planta esquemática simplificada de un dispositivo de reproducción óptico según el ejemplo de realización de la presente invención;
Fig. 4 una representación esquemática de la exploración del campo de objeto por un dispositivo de reproducción 45 óptico según el segundo ejemplo de realización de la presente invención, así como una representación del procesamiento previo de imágenes por etapas;
Fig. 5A una vista en planta esquemática de una zona parcial de un dispositivo de reproducción óptico según el segundo ejemplo de realización de la presente invención con los canales individuales caracterizados por las cifras;
50
Fig. 5B una representación simplificada de la zona del campo de objeto observada desde la zona parcial de la fig. 5A;
Fig. 6A una vista en planta esquemática de una zona parcial de un dispositivo de reproducción óptico según el 55 segundo ejemplo de realización de la presente invención, con campos de transmisión espectrales integrados adicionalmente por canal (patrón de superficie);
Fig. 6B representación simplificada de una zona del campo de objeto observada desde la zona parcial de la fig. 6A;
Fig. 7A una representación cualitativa de la distorsión en una zona central del campo de objeto de un dispositivo de reproducción óptico según el segundo ejemplo de realización de la presente invención;
Fig. 7B una representación cualitativa de la distorsión de una zona del campo de objeto exterior de un dispositivo de 5 reproducción óptico según el segundo ejemplo de realización de la presente invención con un ángulo de incidencia oblicuo;
Fig. 8 una representación del desarrollo principal de la distorsión positiva en forma de tonel;
10 Fig. 9 una representación esquemática de la distorsión de la imagen de una zona de objeto cuadrada en un dispositivo de reproducción óptico según el segundo ejemplo de realización de la presente invención con un objeto de rejilla, mostrándose a la derecha un esquema usando un aparato de procesamiento para la corrección de distorsiones y como ejemplo de comparación a la izquierda un esquema sin uso de éste;
15 Fig. 10 representación del ángulo de incidencia (en grados) del rayo principal del segundo ejemplo de realización de la presente invención, así como del rayo principal de un dispositivo de reproducción óptico según un tercer ejemplo de realización de la presente invención en el plano del sensor de imagen;
Fig. 11 una representación esquemática de los principios de exploración más importantes del campo de objeto;
20
Fig. 12 una vista en sección esquemática de un dispositivo de reproducción óptico según el segundo ejemplo de realización de la presente invención;
Fig. 13 una vista de sección esquemática de un dispositivo de reproducción óptico según el tercer ejemplo de 25 realización de la presente invención;
Fig. 14 una vista de sección esquemática de un dispositivo de reproducción óptico según un cuarto ejemplo de realización de la presente invención;
30 Fig. 15 una vista de sección esquemática de un dispositivo de reproducción óptico según un quinto ejemplo de realización de la presente invención.
Descripción detallada de los ejemplos de realización
35 [0029] La fig. 1 muestra una representación esquemática de un dispositivo de reproducción óptico 1000
según un primer ejemplo de realización de la presente invención. El dispositivo de reproducción óptico 1000 comprende un campo de microlentes 10 con una primer microlente 10a y una segunda microlente 10b. Bajo el campo de microlentes 10 se sitúa un sensor de imagen 100. Este sensor de imagen 100 comprende una primera matriz de detectores de imagen 30a y una segunda matriz de detectores de imagen 30b. Cada una de las dos 40 matrices de detectores de imagen 30a y 30b comprende una multiplicidad de, por ejemplo, tres detectores de imagen 32a, 32b. La primera microlente 10a está asociada a la primera matriz de detectores de imagen 30a y con ésta constituye un primer canal óptico, la segunda microlente 10b está asociada a la segunda matriz de detectores de imagen 30b y con ésta constituye un segundo canal óptico. Los puntos centrales 34a y 34b de las matrices de detectores de imagen 30a y 30b están decalados lateralmente, respecto a los centros de gravedad de las 45 superficies, proyectados sobre las matrices de detectores de imagen 30a y 30b, de las aperturas de microlente 13a y 13b de las microlentes 10a y 10b o de los canales ópticos asociados.
[0030] Partiendo de la descripción estructural del dispositivo de reproducción óptico 1000 según el primer ejemplo de realización de la presente invención ahora se explica el modo de funcionamiento. Un objeto 800 se
50 reproduce por las dos microlentes 10a y 10b sobre las matrices de detectores de imagen 30a y 30b asociadas correspondientemente. El primer canal óptico y el segundo canal óptico se superponen en sus zonas de detección. Debido al desplazamiento lateral de los puntos centrales 34a y 34b de las matrices de detectores de imagen 30a y 30b respecto a las microlentes 10a y 10b, la zona de superposición de las dos zonas de detección se reproduce de forma decalada sobre los detectores de imagen de las matrices de detectores de imagen 30a y 30b.
55

[0031] Adicionalmente a cada canal óptico se le asocia una rejilla de exploración (véase la fig. 2),

describiendo una rejilla de exploración 810 del primer canal óptico qué puntos de objeto de un objeto 800 se
reproducen sobre qué detectores de imagen de la matriz de detectores de imagen 30a, del primer canal óptico, y

describiendo una rejilla de exploración 820 del segundo canal óptico qué puntos de objeto del objeto 800 se
reproduce sobre qué detectores de imagen de la matriz de detectores de imagen 30b, del segundo canal óptico.
[0032] La fig. 2 muestra una superficie del objeto 800 con la rejilla de exploración 810 del primer canal óptico y la rejilla de exploración 820 del segundo canal óptico. La rejilla de exploración 810 está representada con líneas
5 continuas, la rejilla de exploración 820 está representada con líneas a trazos. Los puntos de cruce de las líneas continuas describen las celdas de objeto del objeto que se reproducen sobre los detectores de imagen de la matriz de detectores de imagen 30a, del primer canal óptico. Los puntos de cruce de las líneas a trazos describen las celdas de objeto del objeto que se reproducen sobre los detectores de imagen de la matriz de detectores de imagen 30b del segundo canal óptico.
10
[0033] Las rejillas de exploración están seleccionadas de modo que una primera celda de objeto 840 del objeto 800 se reproduce sobre un primer detector de imagen de la matriz de detectores de imagen 30a del primer canal óptico y una segunda celda de objeto 850, adyacente a la primera celda de objeto 840, se reproduce sobre un primer detector de imagen de la segunda matriz de detectores de imagen 30b del segundo canal óptico. Mediante
15 este “entrecruzamiento” de los canales ópticos se puede obtener una mayor resolución de imagen que en principios de ojos compuestos artificiales conocidos hasta ahora.
[0034] A continuación se explican más en detalle otros ejemplos de realización de la presente invención mediante las figuras 12-15.
20
[0035] Los sistemas de reproducción y captación de imágenes microscópicas multicanal según los ejemplos de realización según las figuras 12-15 tienen en común las siguientes propiedades, todos se componen de uno o varios campos de microlentes 10 colocados axialmente unos detrás de otros, que están moldeados sobre una pila de varias capas de sustrato 20, 21, 22 y/o capas de distanciadores 40 transparentes al menos parcialmente. Toda la
25 pila de capas está colocada sobre un sensor de imagen optoelectrónico 100, de modo que éste se sitúa a una distancia focal (o plano de imagen o plano focal) de las microlentes del campo de microlentes 10. El sensor de imagen optoelectrónico también se designa a continuación de forma acortada como “sensor de imagen” o “chip de sensor de imagen”. Entre el campo de microlentes 10 y el sensor de imagen optoelectrónico 100 se sitúa al menos una capa de campo de diafragmas (12, 12') con aberturas transparentes y espacios intermedios opacos (es decir,
30 absorbentes o reflectantes). Otra propiedad es que, asociado a cada microlente del campo de microlentes 10, se usa una matriz de al menos 5 x 5 detectores de imagen empaquetados de forma compacta (es decir, una matriz de detectores de imagen) 30 del sensor de imagen optoelectrónico 100 para la selección de la microimagen que se origina en cada canal. La selección de imagen contiene en este caso la conversión de la radiación electromagnética incidente (luz) en fotocorrientes eléctricas. Éstas se seleccionan fotodiodo por fotodiodo (por píxeles) de forma
35 ordenada en filas y columnas, estando limitada la resolución de la imagen a este respecto al tamaño y número de los fotodiodos. Dado que en cada canal se origina una reproducción óptica sencilla, cada microimagen en sí esta boca abajo e invertida lateralmente (véase microimágenes 44a a 44e en la fig. 4). Además, se describe la dirección visual central 400 de cada canal (es decir, la línea de unión entre el vértice de la microlente y el punto central de la matriz de detectores de imagen 30 asociada), así como el tamaño del campo visual fijado en conjunto por un decalado del
40 centro de la microlente correspondiente respecto a la matriz de detectores de imagen 30 asociada o mediante el decalado del punto central de la matriz de detectores de imagen 30, respecto al centro de gravedad de las superficies, proyectado sobre la matriz de detectores de imagen 30, de la apertura de microlentes del canal óptico asociado o de la microlente asociada. Además, la extensión de la matriz de detectores de imagen 30 determina junto con la distancia focal de la microlente la zona del campo de objeto que se transmite en el canal correspondiente.
45
[0036] Además, al menos un campo de diafragmas de apertura 11 impide que la luz pase a través de los espacios intermedios del campo microlentes y llega al sensor de imagen 100 como luz difusa. Esto reduciría por lo demás el contraste de la imagen.
50 [0037] El uso de las estructuras de separación de canales (por ejemplo, capas de diafragmas horizontales o
paredes absorbentes verticales u oblicuas) es recomendable (en algunos casos incluso esencial) para evitar la diafonía óptica, es decir, luz que se reproduce por una microlente en la zona de la microimagen del canal adyacente (u otros canales más alejados). La diafonía óptica conduce a la superposición de los haces de rayos de luz, que parten de diferentes puntos del objeto, sobre uno y el mismo punto de imagen, de modo que se reduce el contraste
55 de la imagen. Dado que cada canal óptico funciona independientemente de los restantes, es ventajoso estructurar también las zonas 30 del sensor de imagen optoelectrónico 100, que pertenecen a las microimágenes, en canales correspondientes. Esto se puede conseguir, por un lado, por la subdivisión física de las zonas de selección del campo de fotodiodos por una unidad electrónica integrada en el chip del sensor de imagen 100 (por ejemplo, circuitos separados por canal, SoC = “System on a chip” = “Sistemas sobre un chip”) o también fuera del chip de
semiconductores mediante el procesamiento posterior separado correspondientemente de los datos (en la periferia, por ejemplo, en una PFGA o incluso por software en un PC) que representan respectivamente una microimagen. Para el primer método (subdivisión física sobre el chip del sensor de imagen) se debe usar un sensor de imagen adaptado especialmente para el objetivo. Al contrario de ello, para el segundo método se puede usar un sensor de 5 imagen convencional con software y/o hardware de procesamiento de datos adaptado correspondientemente, conectado aguas abajo. No obstante, a este respecto, los píxeles activos quedan no iluminados y no usados en las zonas intermedias entre las microimágenes sobre el sensor de imagen convencional. Pueden servir como máximo para la corrección de los ruidos de corrientes oscuras.
10 [0038] Las señales seleccionadas de las microimágenes de los canales vecinos se pueden sumar en el
hardware o software entre sí formando la imagen global (por ejemplo, mediante el reconstructor de la imagen global 60 según la fig. 4). No es necesario un aparato activo de enfoque de las microimágenes individuales debido a la corta distancia focal de las microlentes y la gran profundidad de campo (o nitidez en profundidad) ligada a ello. Además, el perfil de superficie de cada microlente individual del campo de microlentes 10 se puede corregir para su
15 ángulo de incidencia medio (especialmente respecto a curvatura de campo de imagen y astigmatismo). Esto ocurre mediante la adaptación individual de la distancia focal en la dirección tangencial y sagital, de modo que las superficies de la imagen correspondientes coinciden en el centro de la microimagen en el plano de imagen. Mediante esta adaptación se originan los perfiles de las microlentes (anamórficos) que se desvía de la simetría en rotación en el campo de microlentes correspondiente.
20
[0039] Los objetivos de reproducción multicanal (campo de microlentes, capas de distanciadores y diafragmas de apertura) se pueden generar ventajosamente mediante los métodos de fabricación microópticos (litografía UV, procesos de fusión (procedimiento de reflujo o “reflow”) y moldeado por UV o también escritura láser, tono de grises o litografía de dos fotones). A este respecto, la exactitud de posicionamiento axial del objetivo
25 microóptico es muy elevada, dado que se puede montar directamente y de forma plana sobre el sensor de imagen optoelectrónico. Las tolerancias axiales resultan por lo tanto debido a las tolerancias de espesor de capa (en el rango de pm). Las tolerancias de montaje laterales se determinan por la exactitud de las máscaras, marcas de ajuste y el dispositivo de ajuste en el alineador de máscara correspondiente (mask aligner). Es de pocos pm (p. ej. 1 - 2
pm).
30
[0040] Según un aspecto de la invención, el dispositivo de reproducción óptico según la invención se diferencia del estado de la técnica en el campo de los ojos compuestos artificiales, según se describen p. ej. en el documento DE 10 2004 003 013.8 y WO 2005/069607, entre otros, por el uso de una multiplicidad de píxel por canal y la reproducción de pequeñas microimágenes, que se suman a continuación formando una imagen global. En lugar
35 de una zona estrictamente limitada del campo de objeto, cada canal detecta un campo de objeto mayor en un múltiplo en comparación al documento DE 10 2004 003 013.8 y WO 2005/069607. En cada canal se detecta por consiguiente una microimagen pixelada de una zona del campo de objeto extendida. Las microimágenes pixeladas de los distintos canales están entrelazadas entre sí, de modo que se posibilita una capacidad de resolución global más elevada. Además, el uso de una multiplicidad de píxeles por canal posibilita el uso de microlentes mayores, a
40 fabricar más fácilmente.
[0041] Las zonas del campo de objeto detectadas por los canales individuales se pueden superponer parcialmente y, sin embargo, los objetos reproducidos sobre los píxeles individuales de los grupos de fotodiodos son predominantemente disjuntos. El motivo para ello es que las rejillas de exploración de canales adyacentes están
45 desplazadas entre sí en múltiplos no enteros del intervalo de exploración (distancia entre dos líneas adyacentes de la rejilla de exploración) del canal individual, por lo que se posibilita una densa exploración del campo de objeto en interacción de canales adyacentes pese a la corta distancia focal de las microlentes y el tamaño fijo de los fotodiodos. En particular aquí se mencionan dos casos para el desplazamiento de las rejillas de exploración de canales adyacentes. La fig. 11 muestra esquemáticamente estos dos casos. La zona bidimensional explorada (o
50 detectada) en el campo de objeto por un fotodiodo del sensor de imagen optoelectrónico de un dispositivo de reproducción óptico según un ejemplo de realización de la presente invención está representado en sección transversal a través de una función rectangular. El estilo de línea, así como los números caracterizan la asociación de las zonas de exploración respecto a los canales correspondientes. Sin limitación de la generalidad aquí están representados respectivamente cinco fotodiodos (por ejemplo, cinco fotodiodos 32a para el tercer canal y cinco
55 fotodiodos 32b para el cuarto canal) por canal (N = 5 con N: número de las zonas de exploración o fotodiodos por canal).
[0042] Los fotodiodos del primer canal están provistos del número 1 y representados por una línea a puntos y trazos. Los fotodiodos del segundo canal están provistos del número 2 y representados por una línea de trazos

cortos. Los fotodiodos 32a del tercer canal están provistos del número 3 y representados por una línea continua. Los

fotodiodos 32b del cuarto canal están provistos del número 4 y representados por una línea a trazos amplios. Los

fotodiodos del quinto canal están provistos del número 5 y representados por una línea a trazos densos. Los

fotodiodos del sexto canal están provistos del número 6 y representados por una línea a trazos anchos. Los
5 fotodiodos adyacentes de distintos canales detectan las celdas de objeto adyacentes del objeto detectado por el dispositivo de reproducción óptico.
[0043] En el caso 1 las rejillas de exploración de respectivamente dos canales adyacentes están desplazados entre sí en la mitad del intervalo de exploración dA de un canal individual (desplazamiento: dV). El desplazamiento
10 dV de la rejilla de exploración de uno de los canales del par contemplado respecto al respectivo canal siguiente de un par adyacente es de un múltiplo no entero del intervalo de exploración en el canal individual (por ejemplo (N-1/2) x dA, siendo N un número entero). Este caso es relevante para un pequeño número de canales ópticos (p. ej. 2 x 2 canales) o también para menores distancias al objeto (inferiores a 50 x distancia focal), a fin de garantizar una exploración equidistante sin huecos del campo de objeto. Dicho en otras palabras, tiene lugar un desplazamiento en 15 un múltiplo impar de la mitad del intervalo de exploración de un canal individual.
[0044] El caso 2 muestra un desplazamiento dV de los canales ópticos o de los puntos centrales de las matrices de fotodetectores de los canales ópticos en la mitad de la suma total de todos los intervalos de exploración (N x dA) dentro de un canal o en la mitad del producto del número (N) de los fotodiodos y el intervalo de exploración
20 (dA) de un canal óptico (por ejemplo, N x dA/2), con simultáneamente número impar de los fotodiodos o zonas de exploración por canal (N). Este caso es relevante para un tamaño mayor de canales, a fin de partir por la mitad el periodo de exploración en la interacción de canales adyacentes y no mantener en este caso ni huecos de exploración ni exploración múltiple. Esta propiedad tiene varias ventajas. Una primera ventaja es que se posibilita un acortamiento (p. ej. reducción a la mitad) de la longitud constructiva (incluso para el sistema multicanal) con 25 exploración de ángulo que permanece igual. Esto significa que se conserva la distancia angular proyectada de retorno mediante la óptica entre dos píxeles de imagen adyacentes de la imagen global. Esto es válido con la aceptación del mismo diafragmado del objetivo (F/#) y mismo tamaño de los fotodiodos respecto al estado de la técnica. A partir de la reducción de la longitud constructiva o distancia focal de las microlentes se produce una disminución del diámetro de las microlentes para obtener un diafragmado del objetivo constante (F/# = anchura focal 30 de microlente / diámetro de microlente). La reducción resultante de la dimensión lateral del objetivo conduce a una disminución de costes, dado que se puede usar un sensor de imagen optoelectrónico con superficie base menor. Otra ventaja es la sensibilidad aumentada con exploración angular constante, dado que con una distancia focal más corta de las microlentes se reproduce sobre el fotodiodo de igual tamaño. Dado que, mediante el acortamiento de la distancia focal, en comparación a los sistemas conocidos, con tamaño constante del fotodiodo se reduce la 35 capacidad de resolución angular, para mantener constante adicionalmente la resolución angular se puede usar un sensor de imagen optoelectrónico con fotodiodos correspondientemente más pequeños, donde la sensibilidad de los fotodiodos correspondientes está reducida respecto a los fotodiodos mayores.
[0045] Para la clarificación del entrecruzamiento de los canales ópticos correspondientes, la fig. 5a muestra 40 una vista en planta esquemática de una zona parcial 500 de un sistema de reproducción según un ejemplo de
realización de la presente invención con los canales individuales 10' caracterizados por cifras. En otras palabras, la fig. 5a muestra una disposición a modo de ejemplo para el campo de microlentes 10', según puede estar dispuesto u orientado en los ejemplos de realización mostrados en las fig. 12-15. A cada canal óptico del sistema de reproducción óptica se le asocia exactamente una microlente con una de las cifras características 101-103; 201-203; 45 301-303, que está dispuesta en el campo de microlentes 10'. El perfil de las microlentes con las cifras características 101-103; 201-203; 301-303 se representa por líneas de altura 510.
[0046] La fig. 5B muestra una representación simplificada de una zona del campo de objetivo 800' observada desde esta zona parcial. La zona del campo de objeto 800' está dividida en celdas, que se reproducen
50 respectivamente sobre un fotodiodo dentro de un canal individual 10' (por una microlente asociada al canal con una de las cifras características 101-103; 201-203; 301-303). Para la clarificación de las rejillas de exploración entrecruzadas entre sí de los canales individuales, cada celda de objeto se designa con la cifra característica 101103; 201-203; 301-303 del canal 10' correspondiente (o de la microlente) que detecta esta celda. En consecuencia, aquí se puede ver que las celdas de objeto adyacentes se detectan por fotodiodos de canales ópticos adyacentes (o 55 microlentes con las cifras características 101-103; 201-203; 301-303). Debido al entrecruzamiento de los canales ópticos es posible que los huecos de exploración de un canal óptico se detecten por un canal óptico adyacente.
[0047] Además, es posible que, con otro ejemplo de realización de la presente invención, se pueda realizar una captación de imagen multiespectral (p. ej. toma de imagen a color), pudiéndose integrar los filtros de transmisión
espectrales necesarios para ello, por un lado, por píxeles, es decir, sobre los fotodiodos individuales del sensor de imagen optoelectrónico (p. ej. disposición en el conocido “mosaico Bayer”) o por canal, por ejemplo, dentro del objetivo de microlentes o sobre la zona del sensor de imagen asociada. A este respecto, la integración por canal del filtro espectral tiene la ventaja, respecto a un sistema de reproducción monocanal convencional, de que la óptica se 5 puede adaptar adicionalmente a la corrección para el ángulo de incidencia específico al canal también respecto a la distribución espectral transmitida específica al canal. Además, en esta configuración no aparece una diafonía de color entre fotodiodos adyacentes. Por ello se produce, por ejemplo, un brillo de color más elevado de la imagen al usar filtros de color en el espectro visual (p. ej. rojo, verde, azul). Además, se acorta la longitud constructiva del sistema de reproducción óptica. Para garantizar una exploración uniforme del campo de objeto para todos los 10 distintos componentes espectrales con la variante de la integración por canal de los filtros, se usa un esquema de exploración conforme a la fig. 4 y la fig. 6A y 6B.
[0048] La fig. 6A muestra una vista en planta esquemática de una zona parcial 600 de un dispositivo de reproducción óptico según un ejemplo de realización de la presente invención con los canales individuales 10'
15 caracterizados por las cifras y filtros de transmisión espectrales integrados por canal (patrón de superficie). La vista en planta mostrada en la fig. 6A del dispositivo de reproducción óptico se diferencia por consiguiente sólo por los filtros de transmisión espectrales sobre los canales ópticos o las microlentes con las cifras características 101-103; 201-203; 301-303, asociándose a cada motivo de superficie exactamente un filtro de transmisión espectral, y asociándose por ello cada canal exactamente a un color espectral. Para garantizar una exploración uniforme del 20 campo de objeto para todos los distintos componentes espectrales, los distintos canales ópticos pueden poseer los mismos filtros de transmisión espectrales. En la fig. 6A los canales con las cifras características 101, 103, 301, 303 poseen un patrón de superficie de líneas que discurre oblicuamente y por consiguiente un primer filtro de transmisión (por ejemplo para el color rojo), los canales con las cifras características 102 y 302 poseen un patrón de superficie de líneas que discurre recto y por consiguiente un segundo filtro de transmisión (por ejemplo verde), los canales 201 25 y 202 poseen un patrón de superficie de líneas ondulado y por consiguiente un tercer filtro de transmisión (por ejemplo para el color azul) y el canal con la cifra característica 202 posee un patrón de superficie a puntos y por consiguiente un cuarto filtro de transmisión (por ejemplo un filtro de gris).
[0049] La fig. 6B muestra una representación simplificada de una zona del campo de objeto 800' observada 30 desde esta zona parcial 600 de la fig. 6A. La zona del campo de objeto 800' está dividida en celdas de objeto,
reproduciéndose una celda de objeto respectivamente (al menos esencialmente) sobre un fotodiodo dentro de un canal individual 10'. Para la clarificación de las rejillas de exploración entrecruzadas entre sí de los canales individuales con las cifras características 101-103; 201-203; 301-303, así como del recubrimiento de las celdas de objeto por los filtros de transmisión correspondientes, cada celda de objeto está provista de la cifra característica 35 101-103; 201-203; 301-303 del canal 10' correspondiente y del patrón de filtro (líneas que discurren oblicuamente, líneas que discurren rectas, líneas onduladas, a puntos). Las celdas de objeto adyacentes se detectan debido a las rejillas de exploración, que se sitúan en la zona de profundidad del campo en el lado del objeto del dispositivo de reproducción, por los canales ópticos adyacentes con las cifras de referencia 101-103; 201-203; 301-303. Se clarifica que las zonas del campo de objeto detectadas por los canales adyacentes (por ejemplo con las cifras 40 características 101, 102, 201, 202) se superponen parcialmente, de modo que las informaciones de imagen cada vez directamente adyacentes (por ejemplo 810a, 810b, 810c, 810d), en la imagen global ensamblada se obtienen o se filtran mediante filtros de transmisión espectrales diferentes (por ejemplo, filtro rojo, filtro verde, filtro azul y filtro gris) para obtener los datos espectrales. Las 4 zonas 810a, 810b, 810c, 810d directamente adyacentes del campo de objeto 800' constituyen, por ejemplo, un grupo 820 que comprende los 4 filtros de transmisión.
45
[0050] Los datos multiespectrales (p. ej. un valor de gris por color) de un píxel de imagen correspondiente o de una información de imagen (por ejemplo 810a) se pueden interpolar mediante la interpolación ponderada del valor tomado físicamente del rango espectral asociado o de la información de imagen (por ejemplo 810a) y los valores de los restantes rangos espectrales o las informaciones de imagen (por ejemplo 810b, 810c, 810d) de los
50 píxeles adyacentes y/o de los alrededores, asociándose a cada píxel un rango espectral o un filtro de transmisión. La variante de la integración por canal de los filtros de transmisión espectrales, es decir, cada canal comprende un filtro de transmisión propio, comprendiendo los canales adyacentes preferentemente distintos filtros de transmisión, tiene la ventaja, al contrario de la integración de los filtros de transmisión espectrales sobre cada fotodiodo individual, de que se pueden usar filtros de transmisión mayores que se pueden manipular más fácilmente en la fabricación. Para 55 la variante aquí mostrada, los filtros de transmisión espectrales por canal también pueden estar integrados sobre la zona del sensor de imagen de los canales correspondientes.
[0051] La fig. 12 muestra un dispositivo de reproducción óptico 1200 según el segundo ejemplo de realización de la presente invención. Las microlentes de reproducción 10 se sitúan en una disposición de campo bidimensional
(también es posible una disposición unidimensional) sobre una pila de capas de sustrato 20, 21, 22 transparentes o al menos parcialmente transparentes con un grosor de capa total que se corresponde con la distancia focal de las microlentes en el material correspondiente (vidrio, plástico). En el lado posterior de las capas de sustrato 20, 21, 22 transparentes se sitúa (por ejemplo en un plano focal de las microlentes 10) el sensor de imagen optoelectrónico 100 5 con una multiplicidad de fotodiodos 30', que están dispuestos igualmente en un campo bidimensional. Los fotodiodos 30' pueden estar subdivididos conforme a la división de canal del campo de microlentes igualmente en grupos separados de al menos 5 x 5 fotodiodos 30' para las microimágenes correspondientes de los canales, formando estos grupos respectivamente una matriz de detectores de imagen 30 o un campo de fotodiodos 30.
10 [0052] Por debajo del campo de microlentes 10 se sitúa un campo de diafragmas de abertura 11. Entre la
capa de sustrato 20 y la capa de sustrato 21 se sitúa un primer campo de diafragmas 12. Un segundo campo de diafragmas 12' se sitúa entre la capa de sustrato 21 y la capa de sustrato 22. En el lado inferior de la capa de sustrato 22 está fijado el sensor de imagen 100. Los puntos centrales de las matrices de detectores de imagen 30 presentan un decalado del centro frente a los centros de gravedad de las superficies, proyectados sobre las matrices 15 de detectores de imagen 30, de las aperturas de microlentes de los canales ópticos correspondientes.
[0053] Partiendo de la descripción estructural se describe ahora el funcionamiento. La dirección visual central 400 de cada canal está descrita por el decalado del punto central de la matriz de detectores de imagen 30, respecto al centro de gravedad de las superficies, proyectado sobre la matriz de detectores de imagen 30, de la apertura de
20 microlentes del canal óptico correspondiente.
[0054] La extensión de las matrices de detectores de imagen 30 correspondientes determina, junto con la distancia focal de las microlentes, la zona del campo de objeto que se transmite en el canal correspondiente. Las zonas del campo de objeto detectadas por los canales adyacentes se pueden superponer mutuamente, al menos
25 parcialmente, complementándose las dos rejillas de exploración burdas de los canales respectivamente formando una nueva rejilla de exploración más densa. A este respecto, bajo una rejilla de exploración de un canal observado se entiende, por ejemplo, la totalidad de aquellos puntos de objeto en la zona de profundidad de campo (o en un plano en la zona de profundidad de campo) del canal observado, que se reproducen sobre los detectores de imagen individuales de la matriz de detectores de imagen 30 del canal observado. Las fig. 2, 4, así como 5A y 5B muestran 30 esta propiedad del entrecruzamiento de canales adyacentes. El uso del campo de diafragmas de apertura 11 directamente por debajo del campo de microlentes 10 resultar ser ventajoso para suprimir la luz difusa, que en caso contrario incidiría a través de los espacios intermedios de las microlentes. Además, los al menos dos campos de diafragmas 12 y 12' horizontales de material opaco (absorbente o reflectante) se usan para impedir la diafonía entre los canales. Las capas de sustrato 20, 21, 22 transparentes son ventajosamente de vidrio, plástico o copolímero 35 inorgánico (p. ej. ORMOCER). Adicionalmente a lo aquí mostrado, una disposición de tipo campo de los filtros de transmisión espectral (p. ej. filtro rojo, verde y azul por canal) puede estar estructurada directamente entre la capa de campos de diafragmas 11 y las microlentes 10 para posibilitar una captación de imagen multiespectral.
[0055] El dispositivo de reproducción óptico 1200 se destaca por su estructura de capas monolítica y la 40 tecnología de fabricación simplificada y la estabilidad ligadas a ello. La óptica se puede fabricar de forma separada
del sensor de imagen optoelectrónico 100 y montar en la etapa siguiente con éste a la escala de oblea (muchos sistemas ópticos sobre una oblea en paralelo a muchos sistemas optoelectrónicos sobre otra oblea) mediante marcas de ajuste. Alternativamente las ópticas individuales se pueden cortar del conjunto de obleas ópticas y montar individualmente sobre sensores de imagen optoelectrónicos correspondientes. La fijación se realiza, por ejemplo, 45 mediante pegado, soldado o bonderizado anódico. Igualmente es concebible una técnica de fabricación híbrida, en la que los componentes ópticos se construyen por pasos sobre la oblea óptica con la multiplicidad de sensores de imagen 100. Para la clarificación del decalado de los puntos centrales de las matrices de detectores de imagen 30 respecto a sus microlentes asociadas (o respecto a los centros de gravedad de las superficies, proyectados sobre las matrices de detectores de imagen 30, de las aperturas de microlentes de los canales ópticos correspondientes o 50 de las microlentes asociadas) está representada en la fig. 3 una vista en planta esquemática simplificada sobre un sistema de reproducción y captación de imágenes bidimensional según el segundo ejemplo de realización. Aquí se muestran las microlentes 10 dispuestas de tipo campo, cuyo perfil está representado por líneas de altura, así como los grupos de fotodiodos (matrices de detectores de imagen 30) del sensor de imagen optoelectrónico 100, situados axialmente por debajo y decalados lateralmente (respecto a los centros de gravedad, proyectados sobre las matrices 55 de detectores de imagen 30, de las aperturas de microlentes de los canales correspondientes o de las microlentes correspondientes).
[0056] Adicionalmente el segundo ejemplo de realización, así como todos los otros ejemplos de realización posibles de la invención, pueden comprender una unidad 70 para el procesamiento previo electrónico por canal de
las señales de las microimágenes. Ésta puede estar integrada opcionalmente en el circuito del sensor de imagen optoelectrónico 100, o estar conectada aguas abajo fuera del sensor de imagen 100.
[0057] La unidad 70 también se puede designar a continuación como “dispositivo de procesamiento de 5 imágenes”.
[0058] A modo de ejemplo a continuación se muestran cuatro variantes para una implementación de hardware del dispositivo de procesamiento de imágenes 70 para el procesamiento previo electrónico por canal de las señales de las microimágenes en relación con el dispositivo de reproducción óptico:
10
1. El dispositivo de procesamiento de imágenes 70 se sitúa en la periferia fuera del chip de sensores de imagen optoelectrónico 100 (por ejemplo, en la FPGA de la misma placa de circuitos impresos sobre la que se sitúa el chip de sensores de imagen 100), es decir, no sobre el chip de sensores de imagen 100 (inglés: “off-chip”). El chip de sensores de imagen 100 posee luego pocas salidas, la matriz de imágenes global (totalidad de todas las
15 informaciones de imagen detectadas por los detectores de imagen 30' de las matrices de detectores de imagen 30) se emite y procesa posteriormente conjuntamente (temporalmente en serie).
2. El dispositivo de procesamiento de imágenes 70 se sitúa en la periferia fuera del chip de sensores de imagen optoelectrónico 100, pero el sensor de imagen 100 posee una multiplicidad de salidas (al menos en el mismo
20 número que matrices de detectores de imagen 30 existentes). Aquí la corrección de la distorsión y otro procesamiento previo de imágenes se puede realizar por separado e igualmente temporalmente en paralelo para cada microimagen.
3. El dispositivo de procesamiento de imágenes 70 se sitúa sobre el chip de sensores de imagen optoelectrónico 100 25 (p. ej. “ASIC” - Circuito integrado específico a la aplicación) pero fuera de la zona de superficie fotoactiva. Toda la
matriz de imagen se transmite de la zona fotoactiva dentro del chip de sensores de imagen 100 al dispositivo de procesamiento de imágenes 70 y se procesa posteriormente conjuntamente (temporalmente en serie).
4. El dispositivo de procesamiento de imágenes 70 se sitúa sobre el chip de sensores de imagen optoelectrónico 100 30 (p. ej. ASIC) y una parte, a saber, los aparatos de procesamiento de microimágenes 50, se sitúa en los espacios
intermedios de las matrices de detectores de imagen 30. En este caso una parte del procesamiento de imágenes se realiza por separado y temporalmente en paralelo para cada matriz de detectores de imagen 30. Además, mediante la integración de los circuitos necesarios en la zona fotoactiva se ahorra superficie de silicio. Es decir, el procesamiento de microimágenes se realiza para cada matriz de detectores de imagen 30 por separado mediante 35 dispositivos de procesamiento de microimágenes entre las matrices de detectores de imagen 30 y por consiguiente temporalmente en paralelo.
[0059] La corrección por canal de la distorsión sólo se puede realizar “temporalmente en paralelo” en el caso de la realización de hardware del dispositivo de procesamiento de imágenes 70 (p. ej. en una FPGA, ASIC y
40 similares). La propiedad “temporalmente en paralelo” es por consiguiente opcional. Por ello, en referencia a un elevado ratio de repetición de imagen se prefiere esta forma de realización de la realización de hardware, no obstante, también se puede realizar una corrección basada en software (p. ej. en un PC conectado).
[0060] La unidad 70 o el dispositivo de procesamiento de imágenes 70 se debe explicar ahora en el ejemplo 45 del segundo ejemplo de realización. Implementa una corrección electrónica por canal implementada por hardware
y/o software de la distorsión de las microimágenes.
[0061] Debido a la reproducción y la incidencia de luz oblicua a través de una óptica de reproducción sencilla (p. ej. lente plana-convexa individual) aparecen deformaciones de imagen (distorsión) crecientes con el ángulo de
50 incidencia creciente (es decir, en la zona exterior del campo de objeto). Esto conduce a que p. ej. una zona de objeto cuadrada se reproduzca con incidencia oblicua en una zona de imagen romboidal.
[0062] La fig. 7A muestra una representación cualitativa de la distorsión en una zona central del campo de objeto del segundo ejemplo de realización. Las celdas de objeto, que se sitúan en una rejilla cuadrada, se
55 reproducen con ángulo de incidencia oblicuo en coordenadas de imagen radiales más pequeñas, se origina una distorsión en forma de tonel.
[0063] La fig. 7B muestra que con un ángulo de uso oblicuo (aquí ángulo diagonal de 38° en el campo de objeto) se vuelve adicionalmente muy asimétrica la distorsión. Los efectos en las fig. 7A y 7B están representados
ampliados con finalidad de visualización.
[0064] La fig. 8 muestra el desarrollo de principio de la distorsión positiva en forma de tonel. Esto se
representa por la altura radial del rayo principal en el plano de la imagen (“altura de incidencia real”) en función de su 5 ángulo de incidencia en el campo de objeto (EIO = ángulo de incidencia en el campo de objeto, engl. AOI = angle of incidence) en comparación con la altura de incidencia paraxial, es decir, ideal no distorsionada (“altura de incidencia ideal”). Se reconoce claramente que la reproducción con ángulo de incidencia creciente tiende a alturas de incidencia menores. Dado que los puntos de objeto adyacentes, que se reproducen sobre las microimágenes de distintos canales, se deben componer de nuevo formando puntos de imagen adyacentes en la imagen global, es 10 recomendable una rectificación de las microimágenes. Por lo demás, como consecuencia de la distorsión creciente conforme al ángulo de incidencia para los canales en los que los puntos centrales de las matrices de detectores de imagen están desplazados lateralmente respecto a los centros de gravedad de las superficies, proyectados sobre las matrices de detectores de imagen 30, de las aperturas de microlentes de los canales correspondientes (así denominados “canales fuera de eje” o canales alejados del eje), conduciría con más frecuencia hacia el borde de la 15 imagen global a decalados entre las informaciones de imagen y por consiguiente a conexión falsa de las microimágenes y una resolución reducida. Las señales de las microimágenes se giran e invierten, así como rectifican (es decir: se corrige la distorsión, por ejemplo, por un corrector de distorsión 50 según la fig. 4) mediante componentes de hardware y/o software directamente en el circuito integrado (p. ej. ASIC, SoC) o conectado aguas abajo. Dentro de la misma secuencia, en otras palabras, por el corrector de distorsión 50 se puede corregir además 20 el ruido de corrientes oscuras (“fixed pattern noise”) y la inhomogeneidad de la intensidad de iluminación (“shading”) en las microimágenes. La paralelicidad de este procesamiento de imágenes permite (por ejemplo mediante un circuito específico a la aplicación (ASIC)) un tiempo de cálculo corto y por consiguiente un ratio de repetición elevado de la imagen global.
25 [0065] La unidad para la corrección de la distorsión y para la composición de la imagen global a partir de las
microimágenes individuales se muestra en la fig. 4 y fig. 9 y ahora se explica en detalle mediante estas dos figuras.
[0066] La fig. 4 muestra un dispositivo de reproducción óptico según el 2° ejemplo de realización con una unidad (50, 60, 61) aguas abajo para la corrección de las microimágenes y para la reconstrucción de la imagen
30 global 300 a partir de las microimágenes. Un objeto 800 situado en la zona del campo de objeto extendida (por ejemplo, en la zona de profundidad de campo) se detecta conforme a su tamaño por distintos canales del dispositivo de reproducción óptico. Las zonas del campo de objeto reproducidas por las microlentes individuales del campo de microlentes 10 se superponen mutuamente al menos parcialmente. Sin embargo, las zonas de objeto (44a a 44e) reproducidas sobre las matrices de detectores de imagen (30a a 30e) son predominantemente disjuntas, es decir, 35 las zonas del campo de objeto (44a a 44e) que están reproducidas ya sobre una matriz de detectores de imagen (30a a 30e), no se reproducen preferiblemente sobre otra matriz de detectores de imagen (30a a 30e). El motivo para ello es que las rejillas de exploración de los canales adyacentes están desplazadas entre sí p. ej. en la mitad de la suma total de todas las zonas de exploración (con número impar de las zonas de exploración o fotodiodos) dentro de un canal, por lo que se posibilita una exploración del campo de objeto densa pese a la distancia focal corta de las 40 microlentes 10, así como del tamaño fijo de los fotodiodos.
[0067] La fig. 4 muestra además la representación esquemática del procesamiento de imágenes con un aparato de procesamiento de imágenes 70, que es necesario para conformar una imagen 300 completa y no distorsionada de todo el objeto 800 a partir de las microimágenes tomadas de los grupos de píxeles (30a a 30e). Las
45 microimágenes 30a a 30e individuales se reflejan de forma horizontal y vertical en un primer aparato de procesamiento 51 (“inversor de microimágenes) del aparato de procesamiento de imágenes 70 (se corresponde con una rotación de 180°). En un segundo aparato de procesamiento 52 (“etapa de rectificación”) del aparato de procesamiento de imágenes 70, los valores de píxeles de las microimágenes se convierten a partir de su estructura de rejilla discreta mediante una transformación de lugar (p. ej. transformación bilineal en las coordenadas x e y) 50 sobre un plano de coordenadas virtual continuo. Los parámetros de transformación se conocen de los datos de diseño ópticos y simulaciones, de modo que se corrigen las distorsiones de imagen debido a las perspectivas, variaciones de la escala de reproducción y defectos de reproducción. Mediante una interpolación adicional se reproducen los valores de píxeles no distorsionados por canal sobre una nueva rejilla discreta (x', y' en 31a a 31e). Las etapas de procesamiento realizadas en los aparatos de procesamiento 51 y 52 se pueden realizar 55 preferiblemente por canal y por consiguiente en paralelo. Al usar un sensor de imagen optoelectrónico 10 adaptado, para la aceleración del proceso de procesamiento es ventajoso integrar el primer aparato de procesamiento 51, así como el segundo aparato de procesamiento 52 dentro de un módulo de circuito previsto para cada canal, directamente sobre el chip de sensores de imagen 100 (p. ej. ASIC). Para la colocación de los circuitos correspondientes se ofrece el espacio intermedio no usado ópticamente entre las matrices de detectores de imagen
30 de canales adyacentes. La fusión de los valores de píxeles (o reconstrucción de la imagen global) de todas las microimágenes (31a a 31e) tiene lugar opcionalmente más bien en hardware, es decir, electrónicamente en la periferia del chip de sensores de imagen optoelectrónico (p. ej. FPGA) o más bien en software, es decir, sólo dentro de una CPU conectada externamente (p. ej. PC).
5
[0068] La fusión de los valores de píxeles se puede realizar por un tercer aparato de procesamiento 60 (“reconstructor de la imagen global”) del aparato de procesamiento de imágenes 70, que realiza la reubicación de los valores de píxeles de las microimágenes 31a a 31e no distorsionadas en una matriz de imagen 300 final según un patrón fijo, que está predeterminado por el entrecruzamiento de las rejillas de exploración de los canales
10 individuales.
[0069] La fig. 9 muestra una representación esquemática de la distorsión de una imagen de una zona de objeto cuadrada con un objeto de rejilla 800 a consecuencia de la distorsión en la reproducción con ángulo de incidencia oblicuo. El lado izquierdo muestra la reconstrucción de un objeto de rejilla 800 como ejemplo de
15 comparación sin el segundo aparato de procesamiento 52 para la corrección de la distorsión, el lado derecho muestra la reconstrucción del objeto de rejilla 800 con el segundo aparato de procesamiento 52 para la corrección de la distorsión.
[0070] En el lado izquierdo se muestra la secuencia de toma de imágenes, inclusive reproducción por el 20 sistema de reproducción y captación de imagen multicanal o el dispositivo de reproducción óptico y la inversión
subsiguiente por el primer aparato de procesamiento (“inversor de microimágenes”) 51 de las microimágenes (aquí 3 x 3 unidades). Las microimágenes 32 todavía están distorsionadas a causa de la falta del segundo aparato de procesamiento (“etapa de rectificación”) 52. Sigue el desplazamiento virtual (por ejemplo, por un “compensador de paralaje” 61 del aparato de procesamiento de imágenes 70) de las microimágenes 32 entre sí, para compensar el 25 decalado de paralaje en función de la distancia de objeto y finalmente la fusión de los valores de píxeles por el tercer aparato de procesamiento 60 de todas las imágenes 32 formando una imagen global 320. Debido a la distorsión los detalles de distintas microimágenes no se pueden conectar entre sí y el objeto 800 no se representa de forma suficientemente exacta por la imagen global 320.
30 [0071] Por el contrario, en el lado derecho se representa la secuencia de procesamiento de imágenes con
una etapa para la corrección de la distorsión (etapa de rectificación 52). Las microimágenes 31 transformadas de este modo no están deformadas y, después de la compensación del paralaje mediante el compensador de paralaje 61 (desplazamiento virtual de las microimágenes) y la fusión de los valores de píxeles de todas las microimágenes mediante el reconstructor de la imagen global 60, se produce una imagen global 300 que representa una 35 representación suficientemente exacta del objeto 800.
[0072] Al contrario del sistema según el documento US 05696371 A y EP 0840502A2, en el ejemplo de realización de la invención se realiza una corrección por canal de la distorsión de las microimágenes y una interpolación de los valores de píxeles de las microimágenes, por consiguiente, no se reduce la capacidad de
40 resolución en la imagen global por la segmentación.
[0073] Para posibilitar una corrección ordenada de la distorsión y reconstrucción de las microimágenes formando una imagen global, se puede usar un ajuste electrónico de la distancia de trabajo en el espacio del objeto. En el caso de la exploración de dos puntos de objeto adyacentes de dos canales espaciados lateralmente se
45 produce un decalado de las informaciones de imagen adyacentes, debido al paralaje entre los distintos canales, con pequeñas distancias de objeto. Este decalado se puede corregir mediante un desplazamiento (“virtual”) de las informaciones de imagen parciales. A este respecto, el desplazamiento depende de la distancia al objeto y la longitud base entre los canales (es decir, la distancia entre los puntos centrales de las matrices de fotodetectores de las canales correspondientes). Dado que se conoce la longitud base, mediante la medición de la distancia al objeto 50 (p. ej. con un sensor de distancia independiente, apropiado para ello) se puede recorregir de forma electrónica el decalado. El sistema óptico de reproducción y captación de imagen ajusta de forma no deformada y nítida la imagen global mediante una variación del decalado virtual de las microimágenes antes la suma (fusión de las microimágenes formando una imagen global) para la distancia correspondiente (por ejemplo, mediante un compensador de paralaje 61 en la fig. 4).
55
[0074] El ajuste de la distancia de trabajo se realiza conforme al número de los píxeles de imagen de cada microimagen en etapas discretas. No obstante, dado que para la rectificación de las microimágenes es necesaria una transformación de coordenadas (a la imagen no deformada) y una interpolación (de la intensidad de señal de la microimagen no deformada en posiciones de píxeles discretas), el ajuste de la distancia de trabajo se puede realizar
también mediante desplazamientos virtuales de subpíxeles en escalonamientos más finos.
[0075] Dicho en otras palabras, dado que en el caso de pequeñas distancias al objeto (menores de 100 x distancia focal) aparece un decalado del ángulo visual (paralaje) entre las zonas del campo de objeto superpuestas
5 parcialmente en las microimágenes adyacentes, éste se debe tener en cuenta en la fusión de las microimágenes para garantizar una conexión uniforme de los detalles de microimágenes. Si se conoce la distancia al objeto (media) (se puede determinar p. ej. mediante una fuente de sensor externa en el compensador de paralaje 61, similar a en una cámara telemétrica, el algoritmo de clasificación se varia en el reconstructor de la imagen global 60 (en la reconstrucción de la imagen global), en tanto que las microimágenes de los canales individuales se decalan entre sí 10 virtualmente lateralmente conforme a una tabla de valores. Esto puede ocurrir en el escalonado de un píxel o también más finamente mediante una interpolación de subpíxeles. En el borde de la imagen global 300 se producen “valores de píxeles vacíos” debido a las rejillas de exploración entrecruzadas, dado que las celdas del campo de objeto correspondientes se detectarían por los canales vecinos que faltan y situados al otro lado del borde del campo de microimágenes 10.
15
[0076] La fig. 13 muestra un dispositivo de reproducción óptico 1300 según un tercer ejemplo de realización de la presente invención. El dispositivo de reproducción óptico 1300 comprende un sensor de imagen 100 con, por ejemplo, cinco matrices de detectores de imagen 30. En el lado dirigido al objeto (o por encima) del sensor de imagen 100 se sitúa una capa de sustrato 22 transparente, sobre la que se sitúa un primer campo de diafragmas 12'.
20 Por encima del primer campo de diafragmas 12' se sitúa otra capa de sustrato 21 transparente, por encima de la que se sitúa un segundo campo de diafragmas 12. Una capa de distanciadores 40 está dispuesta por encima del segundo campo de diafragmas 12, cabeza abajo en esta capa de distanciadores 40 descansa el campo de microlentes 10, es decir los lados planos de las microlentes del campo de microlentes 10 señalan en la dirección del objeto, mientras que los lados curvados de las microlentes señalan en la dirección del sensor de imagen 100. En el 25 lado superior del campo de microlentes 10 está dispuesto un primer campo de diafragmas de apertura 11. Por encima del primer campo de diafragmas de apertura 11 está dispuesta otra capa de sustrato 20, que en su lado superior tiene un segundo campo de diafragmas de apertura 11'. Por encima del segundo campo de diafragmas de apertura 11' está dispuesta una capa de filtro 200.
30 [0077] A continuación se explican ahora el funcionamiento y las ventajas del dispositivo de reproducción óptico 1300 según el tercer ejemplo de realización. Dado que en el dispositivo de reproducción óptico 1300 el campo de microlentes 10 está colocado con al menos una capa de sustrato 20 cabeza abajo sobre un distanciador 40 con la pila situada por debajo de las capas de sustrato 21, 22 transparentes, correspondientemente el segundo campo de diafragmas de apertura 11' se puede separar de las lentes y se sitúa en el lado frontal del sustrato de capa 20 35 transparente. Esto tiene las siguientes ventajas respecto al dispositivo de reproducción óptico 120 según el segundo ejemplo de realización.
[0078] Una primera ventaja es que mediante la posición antepuesta del segundo campo de diafragmas de apertura 11', en conexión con una lente plana- convexa, se pueden compensar parcialmente los defectos ópticos de
40 reproducción (en particular coma, astigmatismo y efecto del campo de imagen), lo en cual en otro caso requeriría un número mayor de elementos ópticos (lentes) dentro de cada canal individual. Otra ventaja es que la luz 410, que se debe reproducir a partir de un gran ángulo de incidencia mediante el objetivo, se refracta antes de alcanzar la superficie de lente verdadera a través de la capa de filtro 200 in la capa de sustrato 20. Debido al índice de refracción de la capa de sustrato 20 más elevado respecto al entorno, los rayos pasan el perfil de lente con ángulos 45 menores, lo que conduce a una reducción de los defectos ópticos de reproducción (aberraciones).
[0079] Además, en el segundo ejemplo de realización, según el ángulo de visión en el campo de objeto, se originan ángulos de incidencia casi tan grandes de los rayos principales sobre el plano de la imagen (véase fig. 10). Esto conduce ante todo en el caso de un gran ángulo de incidencia a sombreados por la estructura de píxel
50 tridimensional del sensor de imagen optoelectrónico 100, así como diafonía entre fotodiodos 30' adyacentes. Estos efectos reducen la intensidad de iluminación, así como el contraste en la imagen. Por el contario, en el tercer ejemplo de realización, los rayos principales de los campos centrales (celdas de objeto del campo de objeto que se detectan por los fotodiodos en el centro de la matriz de detectores de imagen 30 correspondiente) inciden en cada canal con un pequeño ángulo sobre las superficies fotoactivas del sensor de imagen optoelectrónico 100, lo que 55 repercute ventajosamente sobre la intensidad de iluminación relativa en la imagen.
[0080] La fig. 10 muestra el ángulo de incidencia en grados del rayo principal correspondiente sobre el plano del sensor de imagen, representado sobre la coordenada radial normalizada en el plano del sensor de imagen para un sistema de reproducción y captación de imagen multicanal con ángulo de campo visual de 75°. La serie de datos
1 se ha obtenido con el segundo ejemplo de realización, la serie de datos 2 se ha obtenido con el tercer ejemplo de realización.
[0081] Además, dado que el campo de microlentes 10 está montado cabeza abajo, en el lado frontal se 5 puede integrar un filtro óptico 200 (p. ej. filtro de bloqueo de IR para aplicaciones en luz visual) y/o una disposición
de tipo campo de filtros de transmisión espectrales (p. ej. filtros de color rojo, verde, azul por canal), dado que el lado frontal del campo de microlentes 10 está diseñado de forma plana. Además, la superficie límite plana puede servir para la supresión de reflejos (p. ej. revestimiento AR) y para la protección del segundo campo de diafragmas de abertura 11' subsiguiente frente a influencias del entorno (p. ej. revestimiento resistente al rayado). Alternativamente 10 la disposición de tipo campo de filtros de transmisión espectrales (p. ej. filtros de color rojo, verde y azul por canal)
puede estar estructurada directamente entre el primer campo de diafragmas de abertura 11 y el campo de
microlentes 10.
[0082] Los distanciadores 40 realizados como campo están hechos de forma recomendable de un material
15 opaco (p. ej. plástico, silicio profundamente corroído) o materiales transparentes (p. ej. plástico, vidrio o polímero
inorgánico orgánico (p. ej. ORMOCER). Los espacios intermedios contienen un material con, en comparación a las microlentes, índice de refracción menor (p. ej. aire, aire evacuado, nitrógeno o similares), para que se consigue un enfoque mediante las lentes. Al usar un material transparente para el distanciador 40 se necesita la segunda capa del campo de diafragmas 12 en el lado frontal del sustrato 21 en algunos casos, a fin de impedir una diafonía óptica 20 entre los canales. El primer campo de diafragmas 12' se necesita adicionalmente por el mismo motivo en algunos casos, además, se pueden introducir los campos de diafragmas adicionales para minimizar adicionalmente la diafonía entre los canales. Como también en el segundo ejemplo de realización, alternativamente las paredes verticales oblicuas de material opaco (p. ej. material absorbente de la luz o silicio profundamente corroído) en lugar de los campos de diafragmas 12, 12' horizontales son apropiados para la supresión de la diafonía óptica, no 25 obstante, están ligados tecnológicamente a un coste aumentado. En el caso de la estructura vertical de separación de canales, las capas de sustrato 21, 22 se pueden suprimir en tanto que las estructuras axiales de separación de canales representan un armazón estable para el montaje del campo de microlentes 10 y de la capa de sustrato 20. Los haces de luces se enfocan luego axialmente según las microlentes 10 en el medio de relleno correspondiente (p. ej. aire, aire evacuado, nitrógeno o similares).
30
[0083] Las cavidades provocadas por la estructura cabeza abajo y los distanciadores 40 condicionan una técnica de construcción y conexión modificada en comparación al 2° ejemplo de realización. La pila de la capa de filtro 200, capa de sustrato 20, campos de diafragmas de abertura 11, 11' y microlentes 10 se puede fabricar de forma separada de la pila de los distanciadores 40 de las capas de sustrato 21, 22 con sus capas de diafragmas 12,
35 12'. Los dos componentes se pueden ajustar precisamente en la escala de oblea mediante marcas y conectar entre sí (p. ej. pegado, soldadura o bonderizado anódico). Todo el objetivo de microlentes se puede ajustar o unir opcionalmente en la escala de oblea o en los objetivos individuales serrados sobre el sensor de imagen optoelectrónico 100. Alternativamente los componentes ópticos se pueden montar por etapas o por capas sobre la oblea óptica con la multiplicidad de sensores de imagen.
40
[0084] Para aumentar la transmisión de la luz útil a través del objetivo de microlentes, es ventajoso un revestimiento de supresión de reflejos sobre las superficies curvadas de las microlentes 10, así como la superficie frontal de la capa de sustrato 21.
45 [0085] La fig. 14 muestra una imagen de un dispositivo de reproducción óptico 1400 según un cuarto ejemplo
de realización de la presente invención. En la estructura mostrada según la fig. 14 se usan tres campos de microlentes 10, 101 102 uno detrás de otro axialmente en una disposición aproximadamente simétrica alrededor del campo de diafragmas de abertura 11'. También es posible que se usen más de tres campos de microlentes. El primer campo de microlentes 10, compuesto de lentes plano-convexas, se sitúa por encima (en un lado dirigido al 50 objeto) de una capa de sustrato 20 delgada, estando estructurado un campo de diafragmas de abertura 11 entre la capa de sustrato 20 y el campo de microlentes 10. Por debajo de la capa de sustrato 20 delgada se sitúa un segundo campo de microlentes 101, cuyas lentes están diseñadas aquí de forma plano-cóncava. En el lado superior de la capa de sustrato 21 siguiente, es decir entre la capa de sustrato 21 y el campo de microlentes 101, se sitúa un campo de diafragmas de abertura 11', que representa el diafragma de apertura del sistema propiamente dicho. La 55 capa de sustrato 21 con campo de diafragmas de apertura 11' frontal (dirigido al objeto) está conectado directamente con la capa restante del campo de microlentes en el lado posterior de la capa de sustrato 20 (dirigido al objeto), de modo que se origina un objetivo de reproducción monolítico. En el lado posterior de sustrato de la capa de sustrato 21 se sitúa otra capa de diafragmas 12 horizontal, que sirve para la supresión de la diafonía óptica. Otro campo de microlentes plano-convexo 102 está conformado en el lado posterior de la capa de sustrato 21. La pila de
capas originada con ello se fija mediante las estructuras de distanciadores 41 axiales sobre el sensor de imagen optoelectrónico 100. Los distanciadores 41 están realizados en el borde del objetivo multicanal. Pero los distanciadores 41 pueden estar realizados también por canal. Como material para los distanciadores 41 se puede usar en particular vidrio, plástico o metal. El material debería ser opaco o hacerse opaco en las etapas siguientes del 5 montaje (p. ej. ennegrecimiento con material que absorbe la luz al usar vidrio).El grupo de fotodiodos 30 correspondiente posee, respecto a las microlentes asociadas de los campos de microlentes 10, 101, 102, un decalado lateral (diferencia de distancia - “diferencia de paso”), que predetermina la dirección de observación central (rayo óptico que llega a través de la microlente al fotodiodo o a los fotodiodos en el punto central de la matriz de fotodiodos 30 asociada) del canal correspondiente en el campo de objeto.
10
[0086] Partiendo de la descripción estructural, ahora se explica el modo de funcionamiento y las ventajas del dispositivo de reproducción óptico 1400 según el cuarto ejemplo de realización. Los distintos campos de microlentes 10, 101, 102 pueden estar conformados de distintos materiales (distintos vidrios, plásticos, polímeros inorgánicos orgánicos, etc.) a fin de corregir p. ej. los defectos cromáticos de la reproducción mediante las diferentes
15 propiedades de dispersión de los materiales. Además, uno o varios de los campos de microlentes 10, 101, 102 pueden estar diseñado como campo de elementos acromáticos. Debido al distanciador 41 axial opaco colocado en el borde del objetivo están protegidos tanto el sistema de reproducción multicanal como también las zonas fotosensibles del sensor de imagen optoelectrónico 100 frente a la luz difusa que incide lateralmente. Además, alternativamente los campos de microlentes 10, 101, 102 también pueden presentar una distancia entre centros 20 diferente entre sí, de modo que las líneas de conexión 1410 axiales entre los vértices 1420 de las microlentes individuales de 10, 101, 102 entre canales adyacentes encierran un ángulo y no están paralelos como en el dispositivo de reproducción óptico 1400 según la fig. 14.
[0087] Debido a la estructura descrita, en cada canal se origina un microobjetivo que reproduce una imagen 25 de la sección de objeto o fragmento de objeto asociado correspondientemente sobre el grupo asociado a él de
fotodiodos 30 del sensor de imagen optoelectrónico 100. A este respecto, explícitamente no se usa ninguna reproducción de dos etapas con imágenes intermedias para obtener una longitud constructiva lo menor posible del objetivo global. La disposición de los tres campos de microlentes 10, 101, 102 según la fig. 14 es ventajoso para reducir los defectos ópticos de reproducción (como distorsión, defectos cromáticos y coma) dentro de cada canal 30 individual y aumentar por consiguiente la capacidad de resolución óptica respecto a los otros ejemplos de realización. Ante todo, con este cuarto ejemplo de realización se corrige en gran parte la distorsión de tipo tonel, de modo que la capacidad de resolución de la imagen global ya no se reduce para grandes ángulos de objetivo a causa de las distorsiones. Además, debido a la complejidad aumentada se posibilita el aumento de la intensidad de luz óptica (reducción del diafragmado del objetivo).
35
[0088] En la fig. 15 se muestra un dispositivo de reproducción óptico 1500 según un quinto ejemplo de realización de la presente invención. El dispositivo de reproducción óptico 1500 comprende, al contrario del cuarto ejemplo de realización, en el lado superior una capa de sustrato 20 un campo de microlentes, que está configurado como un primer campo de superficies refractivas de forma libre 10, así como en el lado inferior de una capa de
40 sustrato 21 un campo de microlentes que está configurado como un segundo capo de superficies refractivas de forma libre 102. Bajo un campo de superficies refractivas de forma libre aquí se entiende en general un campo de microlentes, en el que los parámetros individuales de las lentes (así también la forma y tamaño de la apertura) se diferencia de canal a canal (o de superficie de forma libre a superficie de forma libre). El primer campo de superficies refractivas de forma libre 10 y un campo de diafragmas de apertura 11 correspondiente se sitúan por encima de la 45 capa de sustrato 20 transparente delgada. En el lado superior de la capa de sustrato 20 se sitúa un campo de microlentes 101 plano-cóncavo. En el lado frontal de la capa de sustrato 21 siguiente axialmente se sitúa un campo de diafragmas de apertura 11'. La capa de sustrato 21 con el campo de diafragmas de apertura 11' frontal está conectada directamente con la capa restante del campo de microlentes 101 en el lado posterior de la capa de sustrato 20, de modo que se origina un objetivo de reproducción monolítico. En el lado posterior del sustrato de la 50 capa de sustrato 21 se sitúan una capa de diafragmas 12 horizontal, que sirve para la supresión de la diafonía óptica, y el segundo campo de superficies refractivas de forma libre 102. Los distintos campos de microlentes (o superficies refractivas de forma libre) 10, 101, 102 pueden estar hechos de distintos materiales (distintos vidrios, plásticos, copolímeros inorgánicos orgánicos, etc.), a fin de corregir p. ej. defectos cromáticos de la reproducción por las propiedades de dispersión diferentes de los materiales. Además, uno o varios de los campos de microlentes (o 55 campos de superficies refractivas de forma libre) 10, 101, 102 puede estar diseñado como campo de elementos acromáticos. El objetivo de reproducción multicanal se fija mediante estructuras de distanciadores 41 axiales sobre el sensor de imagen optoelectrónico 100. Estos distanciadores 41 están realizados en el borde del objetivo multicanal, pero también pueden estar realizados opcionalmente por canal. Como material se puede usar en particular vidrio, plástico o metal. El material debería ser opaco o hacerse opaco en etapas siguientes del montaje (p.
ej. ennegrecimiento con polímero que absorbe la luz al usar vidrio).
[0089] Bajo un punto focal se entiende aquí para lentes asféricas y superficies refractivas de forma libre en general el punto en el que se focaliza la luz incidente normal (por ejemplo, normal respecto a una superficie principal
5 del sensor de imagen 100).
[0090] Debido al distanciador 41 axial opaco colocado en el borde del objetivo están protegidos tanto el sistema de reproducción multicanal como también las zonas fotosensibles del sensor de imagen optoelectrónico 100 frente a la luz difusa que incide lateralmente. El grupo de fotodiodos 30 correspondiente posee, respecto a las
10 microlentes o superficies refractivas de forma libre asociadas de los campos de microlentes o campos de superficies refractivas de forma libre 10, 101, 102, un decalado lateral (diferencia de distancia - “diferencia de paso”) que predetermina la dirección de observación central del canal correspondiente en el campo de objeto.
[0091] Partiendo de la estructura ahora se describen el modo de funcionamiento y las ventajas del quinto 15 ejemplo de realización. El dispositivo de reproducción óptico 1500 mostrado en la fig. 15 según el quinto ejemplo de
realización posee un factor de llenado óptico mayor respecto al dispositivo de reproducción óptico 1400 mostrado en la fig. 14 según el cuarto ejemplo de realización. Esto se consigue mediante el uso de al menos una disposición de tipo campo de superficies refractivas de forma (en el dispositivo de reproducción óptico 1500 según la fig. 15 se usan por ejemplo dos campos de superficies refractivas de forma libre - el primer campo de superficies refractivas de 20 forma libre 10 y el segundo campo de superficies refractivas de forma libre 102) como sustituto para un campo de microlentes correspondiente. La extensión lateral de estas superficies de forma libre dentro de cada canal no es esencialmente mayor que la zona iluminada, que pertenece al grupo de fotodiodos correspondiente, de una microlente (completa) mayor en comparación a una superficie de forma libre. Por este motivo los grupos de fotodiodos (matrices de fotodiodos 30) pueden estar dispuestos empacados de forma densa unos junto a otros, lo 25 que significa una menor superficie activa, en comparación al uso de microlentes, del sensor de imagen
optoelectrónico 100 y por consiguiente una reducción de los costes de fabricación del sensor de imagen
optoelectrónico 100.
[0092] Como también ya en el dispositivo de reproducción óptico 1400 según el cuarto ejemplo de
30 realización, también en el dispositivo de reproducción óptico 1500 según el quinto ejemplo de realización, se usa una
disposición aproximadamente simétrica axialmente, alrededor del campo de diafragmas de apertura 11' con las
ventajas, conocidas en el cuarto ejemplo de realización, para el aumento de la capacidad de resolución óptica. La distorsión se puede reducir fuertemente en la disposición mostrada prioritariamente por la estructura óptica simétrica axialmente dentro de cada canal. A causa de las optimizaciones de la corrección por canal de defectos de 35 reproducción bajo incidencia de luz oblicua es preferible la adaptación independiente de los parámetros de microlentes tangenciales y sagitales. La reproducción mediante respectivamente una superficie refractiva de forma libre (por consiguiente, anamórfica) por canal genera sin embargo distintas escalas de reproducción en la dirección tangencial y sagital, lo que tiene como consecuencia una deformación monoaxial de cada microimagen. Esta deformación se puede corregir ventajosamente mediante la transformación de lugar por canal e interpolación de los 40 valores de píxeles (por ejemplo, usando un segundo aparato de procesamiento 52 según la fig. 4), a fin de garantizar una conexión (unión adecuada) de los detalles de la imagen de canales ópticos adyacentes y por consiguiente una elevada capacidad de resolución en la imagen global. Alternativamente, según se muestra en la fig. 15, se puede usar una segunda superficie refractiva de forma libre por canal, para corregir ópticamente al mismo tiempo con la corrección por canal de los campos de reproducción con incidencia de luz oblicua también la variación de la escala 45 de reproducción en dirección tangencial y sagital.
[0093] Las superficies refractivas de forma libre 10, 102 se pueden describir por canal al menos aproximadamente por segmentos de microlentes bicónicas mayores (es decir, microlentes que presentan dos perfiles asféricos con diferencia cónica a lo largo de dos secciones perpendiculares a través del perfil de la
50 superficie). El perfil de la superficie de una lente bicónica no es por consiguiente en general simétrico en rotación, sino anamórfico. La descripción matemática exacta de sus distintos perfiles de superficie por canal se realiza por un desarrollo polinómico de la altura axial de la flecha en función de las coordenadas bidimensionales en referencia a un punto de referencia. Debido a las transiciones discontinuas de la estructura entre los canales adyacentes se vuelven necesarios, para las superficies refractivas de forma libre dispuestas de tipo campo, los procedimientos de 55 fabricación como escritura láser, tono de grises o litografía de dos fotones, así como estampado en caliente o en vidrio. Alternativamente un mecanizado de ultraprecisión puede servir para la fabricación de una pieza maestra para herramientas de moldeo correspondientes.
[0094] Además, se pueden utilizar ejemplos de realización que se desvían de los ejemplos de realización
mostrados hasta ahora. Entonces en otro ejemplo de realización, por ejemplo, las microlentes se pueden diferenciar entre sí por debajo de la disposición de campo en al menos uno de sus parámetros de la estructura (por ejemplo, forma de la superficie base, diámetro, altura de flecha, radio de curvatura, distancia del punto central y otros). Además, es posible que en particular los perfiles de superficie puedan ser esféricos, tóricos (es decir, dos radios de 5 curvatura esféricos a lo largo de dos secciones perpendiculares), bicónicos (es decir, dos perfiles asféricos con conicidad diferente a lo largo de dos secciones perpendiculares) o a esféricos. Además, las microlentes pueden estar configuradas igualmente como superficies ópticas refractivas de forma libre. Las microlentes son en general refractivas, pero también puede ser difrativas o una forma mixta de ambas en otro ejemplo de realización. Además, es posible que las microlentes individuales de los campos de microlentes estén configuradas como acromáticos, 10 para minimizar los defectos longitudinales del color y defectos transversales de color. Además, es posible que el campo de microlentes o los campos de microlentes, así como eventualmente otras superficies límite entre materiales con diferentes índices de reflexión están provistos de capas que disminuyen la reflexión (revestimiento AR).
[0095] Otra posibilidad de la corrección de la distorsión por hardware es la variación de las distancias físicas 15 entre centros de los fotodiodos 30' en el sensor de imagen optoelectrónico 100. La distorsión específica al canal se
puede corregir por consiguiente mediante un sensor de imagen 100 adaptado para la óptica con una modificación dependiente del canal de la disposición de fotodiodos 30' dentro de la zona de microimágenes. La disposición específica de canal de los fotodiodos 30' se puede determinar por ello a partir de los datos del diseño óptico y en particular de la evolución de la distorsión por canal (véase la fig. 8).
20
[0096] Además, es posible que, si los grupos de fotodiodos 30 están dispuestos sobre el sensor de imagen optoelectrónico 100 en una distribución hexagonal, cuadrada, rectangular u otra, también las microlentes 10 asociadas estén dispuestas en una distribución hexagonal, cuadrada, rectangular u otras.
25 [0097] En resumen, se puede decir que en el caso de los ejemplos de realización según la presente
invención se trata de un sistema de reproducción y captación de imagen multicanal. Un sistema de reproducción y captación de imagen según la presente invención se compone de uno o varios campos de microlentes y un campo de detectores de imagen, que en cada canal detecta una zona parcial del campo de objeto, la reproduce y a partir de las señales electrónicas / digitales de todos los canales individuales componen una imagen global del campo de 30 objeto extendido. El sistema es completamente independiente en la reproducción y no se debe combinar con otras ópticas. Esto representa una oposición a los campos de microlentes sobre los fotodiodos correspondientes de sensores de imagen, que no sirven como tal reproducción, sino que sólo focalizan la luz sirven para el aumento del factor de llenado óptico. Respecto al estado de la técnica conocido se originan por consiguiente entre otros las siguientes ventajas. La técnica de construcción y conexión se puede realizar en gran parte (componentes ópticos de 35 capas de distanciadores, objetivo multicanal para el sensor de imagen optoelectrónico) para múltiples sistemas en paralelo a la escala de oblea. La exactitud de estos procedimientos se sitúa debido al uso de la ayuda óptica en el ajuste mediante marcas de ajuste en el rango de pm. De este modo la proporción del montaje manual y el tiempo de montaje por módulo se reducen claramente, lo que conduce a ventajas de costes. Otra ventaja es que el uso de varios píxeles por canal y un principio de exploración adaptado especialmente respecto a los ojos compuestos 40 artificiales de yuxtaposición ya conocidos permite una capacidad de resolución de imagen esencialmente mayor con superficie base de sensor igual o incluso menor. Por este motivo se reducen los costes de fabricación del sensor de imagen optoelectrónico y por consiguiente los costes de fabricación del sistema global. Otra ventaja es que el uso de procesamiento previo de señales por canal, en particular para corrección de la distorsión óptica dentro de cada microimagen, posibilita la segmentación del campo de objeto sin reducción de la capacidad de resolución en el 45 campo global, originándose una microimagen con la reproducción de una zona parcial del campo de objeto, mediante una microlente sobre una matriz de detectores de imagen. Además, debido a la división de la reproducción del campo de objeto mediante una multiplicidad de canales ópticos separados se posibilita un acortamiento de la longitud constructiva del sistema óptico y aun así se posibilita la detección de una zona de campo de objeto (en particular escala el tamaño del campo de objeto detectable con el número de los canales y el tamaño lateral del 50 sistema, pero es independiente de la longitud constructiva). Además, un gran campo de objeto se reproduce con capacidad de resolución casi constante sobre todo el campo, aunque por canal se usa un sistema óptico sencillo (fácil de fabricar). Además, es posible una producción y montaje económicos del objetivo de reproducción, pero también una técnica de construcción y conexión eficiente para el sensor de imagen optoelectrónico mediante los procesos de fabricación usados para la técnica de estructuración de semiconductores en la escala de oblea. Otra 55 ventaja es el aumento de la capacidad de resolución de imagen (hasta aproximadamente 1000 x 1000 píxeles o incluso más) mediante el uso de varios píxeles por canal en conexión con las disposiciones ópticas para la corrección por canal de los errores de reproducción (en particular coma, astigmatismo, curvatura del campo de imagen). Mediante el uso adicional del procesamiento previo de imágenes por canal para la corrección de la deformación se posibilita una conexión sin defectos de los detalles de microimágenes. Además, un dispositivo de
reproducción óptico según la presente invención posibilita un aumento del cociente entre la capacidad de resolución de imagen y superficie necesaria del sensor de imagen optoelectrónico y por consiguiente una reducción de los costes del sistema global. Además, mediante una variación apropiada de la estructura óptica (véase el tercer ejemplo de realización) se puede reducir la caída de la intensidad de luz de imagen que crece hacia el borde. 5 Adicionalmente se ofrece la posibilidad de la integración sencilla de filtros de transmisión espectrales (p. ej. filtros de bloqueo de IR y/o filtros de color).
[0098] A continuación se muestran rangos de parámetros a modo de ejemplo para todos los ejemplos de realización. El diámetro típico de las microlentes se puede situar en el rango de 10 pm a 1 mm, pudiéndose situar la
10 distancia focal de las microlentes típicamente en el rango de 30 pm a 3 mm. En el campo bidimensional el número de las microlentes o canales puede ser típicamente de 4 a 250000, mientras que en el campo unidimensional puede ser típicamente de 2 a 1000. Debido a las ventajas que posee un dispositivo de reproducción óptico según la presente invención, una longitud constructiva completa de la óptica de reproducción resulta típicamente en los tamaños de 50 pm a 4,5 mm. La resolución de la imagen global de un dispositivo de reproducción óptico según la 15 presente invención se sitúa típicamente entre 10000 píxeles a 10 megapíxeles.
[0099] Un campo de microlentes de reproducción (por ejemplo, en un sustrato delgado con capas de diafragmas) sobre un sensor de imagen según un ejemplo de realización de la presente invención se puede diferenciar de forma unívoca de la óptica monocanal convencional (la estructura es entonces típicamente híbrida,
20 dado que la lente se fabrica por separado (moldeo por inyección) y se monta con el sensor de imagen en una carcasa común).
[0100] Debido a su posible modo constructivo ultracompacto y la tecnología de fabricación económica potencialmente, los sistemas de reproducción y detección de imágenes multicanal, según la presente invención,
25 están predestinados para el uso en productos de la electrónica de entretenimiento (portátil, consolas de juegos, juguetes) y ante todo para el uso en equipos portátiles (teléfono móvil, PDA y otros). Hay otros ámbitos de aplicación en los sensores (p. ej. sensores de tipo cámara, sensores que forman imágenes en la técnica de producción), en la técnica automovilística (p. ej. sensores ópticos de seguridad en el interior del automóvil, sistemas de asistencia a la conducción, como cámaras trasera, reconocimiento de la calzada, etc.) en la supervisión de seguridad (p. ej. 30 cámaras de entorno conmutables con gran campo visual sobre/en edificios, museos, objetos), en la robótica (p. ej. como sensor óptico para la navegación, control óptico de pinzas o dispositivos de recepción de componentes), y en la técnica médica (p. ej. uso en procedimiento de diagnóstico por imagen, endoscopia).
[0101] Los ejemplos de realización de los procedimientos se pueden complementar en todos los aspectos y 35 funcionalidades de los dispositivos según la invención.
[0102] Aunque se han descrito algunos aspectos en relación con un dispositivo, se entiende que estos aspectos también representan una descripción del procedimiento correspondiente, de modo que un bloque o un elemento constructivo de un dispositivo también se debe entender como una etapa del procedimiento
40 correspondiente o como una característica de una etapa del procedimiento. Análogamente a ello, los aspectos que se han descrito en relación con uno o como una etapa del procedimiento, también representan una descripción de un bloque o detalle o característica correspondiente de un dispositivo correspondiente.
[0103] Según los requisitos de implementación determinados pueden estar implementados ejemplos de 45 realización de la invención en hardware o en software. La implementación se puede realizar usando un medio de
almacenamiento digital, por ejemplo, disquete, un DVD un disco Blu-ray, un CD, una ROM, una EPROM, una EEPROM o una memoria FLASH, un disco duro u otra memoria magnética u óptica, en la que se almacenan las señales de control legibles de forma electrónica, las cuales pueden cooperar con un sistema informático programable o cooperan de modo que se realiza el procedimiento correspondiente. Por ello el medio de 50 almacenamiento digital puede ser legible por ordenador. Algunos ejemplos de realización según la invención comprenden entonces un soporte de datos, que presenta señales de control legibles de forma electrónica, que son capaces de cooperar con un sistema informático programable, de manera que se realiza uno de los procedimientos aquí descritos.
55 [0104] En general los ejemplos de realización de la presente invención pueden estar implementados como
producto del programa informático con un código de programa, siendo eficaz el código de programa en el sentido de realizar uno de los procedimientos, cuando el producto del programa informático se desarrolla en un ordenador. El código de programa también puede estar almacenado, por ejemplo, sobre un soporte legible a máquina.
[0105] Otros ejemplos de realización comprenden el programa informático para la realización de uno de los procedimientos aquí descritos, siendo almacenado el programa informático en un soporte legible a máquina.
[0106] En otras palabras, un ejemplo de realización del procedimiento según la invención es por consiguiente 5 un programa informático, que presenta un código de programa para la realización de uno de los procedimientos aquí
descritos, cuando el programa informático se desarrolla en un ordenador. Otro ejemplo de realización de los procedimientos según la invención es por consiguiente un soporte de datos (o un medio de almacenamiento digital o un medio legible por ordenador), sobre el que el programa informático está grabado para la realización de uno de los procedimientos aquí descritos.
10
[0107] Otro ejemplo de realización del procedimiento según la invención es por consiguiente un flujo de datos o una secuencia de señales, que representa o representan el programa informático para la realización de uno de los procedimientos aquí descritos. El flujo de datos o la secuencia de señales puede o pueden estar configurado(s), por ejemplo, en el sentido de transferirse a través de una conexión de comunicación de datos, por ejemplo, a través de
15 Internet.
[0108] Otro ejemplo de realización comprende un aparato de procesamiento, por ejemplo, un ordenador o un componente lógico programable, que está configurado o adaptado en el sentido de realizar uno de los procedimientos aquí descritos.
20
[0109] Otro ejemplo de realización comprende un ordenador en el que está instalado el programa informático para la realización de uno de los procedimientos aquí descritos.
[0110] En algunos ejemplos de realización se puede usar un componente lógico programable (por ejemplo, 25 una matriz de puertas programable de campo, una FPGA), para realizar alguna o todas las funcionalidades del
procedimiento aquí discreto. En algunos ejemplos de realización puede cooperar una matriz de puertas programable de campo con un microprocesador, para realizar uno de los procedimientos aquí descritos. En general los procedimientos se realizan en algunos ejemplos de realización por parte de un dispositivo de hardware cualquiera. Éste puede ser un hardware utilizable universalmente, como un procesador de ordenador (CPU) o hardware 30 específico para el procedimiento, como por ejemplo un ASIC.
[0111] Los ejemplos de realización descritos arriba sólo representan una visualización de los principios de la presente invención. Se entiende que saltarán a la vista de otros especialistas las modificaciones y variaciones de las disposiciones y detalles aquí descritos. Por ello se pretende que la invención sólo está limitada por el alcance de
35 protección de las reivindicaciones siguientes y no por las particularidades específicas, que se han representado aquí mediante la descripción y la explicación de los ejemplos de realización.
[0112] Un ejemplo de realización de la invención crea un dispositivo para le reproducción óptica con al menos un campo de microlentes con al menos dos microlentes, un sensor con al menos dos matrices de detectores de
40 imagen, comprendiendo las al menos dos matrices de detectores de imágenes respectivamente una multiplicidad de detectores de imágenes, existiendo una asociación entre las matrices de detectores de imágenes y las microlentes, de modo que cada microlente constituye junto con una matriz de detectores de imagen un canal óptico, estando desplazados los puntos centrales de distintas matrices de detectores de imagen lateralmente a diferentes distancias respecto a los centros de gravedad de las superficies, proyectados sobre las matrices de detectores de imagen, de 45 las aperturas de microlentes de los canales ópticos correspondientes, de modo que al menos dos de los canales ópticos presentan diferentes zonas de detección superpuestas parcialmente, y de modo que una zona de superposición de las zonas de detección de dos canales ópticos se reproduce de forma decalada sobre las matrices de detectores de imagen con vistas a una retícula de detectores de imagen de las matrices de detectores de imagen.
50 [0113] En un ejemplo de realización preferido, el dispositivo está configurado de modo que la zona de
superposición presenta una multiplicidad de celdas de objeto, pudiéndose reproducir cada una de las celdas de objeto sobre al menos un detector de imagen del sensor de imagen, y en el que a cada canal óptico se le asocia una rejilla de exploración, describiendo una rejilla de exploración del primer canal óptico qué celdas de objeto de la zona de superposición se reproducen sobre qué detectores de imagen de la matriz de detectores de imagen del primer 55 canal óptico y, describiendo una rejilla de exploración del segundo canal óptico qué celdas de objeto de la zona de superposición se reproducen sobre qué detectores de imagen de la matriz de detectores de imagen del segundo canal óptico, y seleccionándose la rejilla de exploración del primer canal óptico de modo que se reproduce una primera celda de objeto sobre un primer detector de imagen de la matriz de detectores de imagen del primer canal óptico, y de modo que una segunda celda de objeto, adyacente a la primera celda de objeto, se reproduce sobre un
espacio intermedio entre el primer detector de imagen de la matriz de detectores de imagen del primer canal óptico y un segundo detector de imagen, adyacente al primer detector de imagen, de la matriz de detectores de imagen del primer canal óptico, y seleccionándose la rejilla de exploración del segundo canal óptico de modo que la segunda celda de objeto se reproduce sobre un primer detector de imagen de la matriz de detectores de imagen del segundo 5 canal óptico, y de modo que la primera celda de objeto se reproduce sobre un espacio intermedio entre el primer detector de imagen de la matriz de detectores de imagen del segundo canal óptico y un segundo detector de imagen, adyacente al primer detector de imagen, de la matriz de detectores de imagen del segundo canal óptico.
[0114] En un ejemplo de realización preferido, el dispositivo está configurado de modo que la rejilla de 10 exploración del primer canal óptico está desplazada en un múltiplo no entero de un intervalo de exploración respecto
a la rejilla de exploración del segundo canal óptico, de modo que una tercera celda de objeto, adyacente a la segunda celda de objeto, se reproduce sobre el segundo detector de imagen de la matriz de detectores de imagen del primer canal óptico, y siendo el intervalo de exploración igual a la distancia entre el punto central de la primera celda de objeto y el punto central de la tercera celda de objeto.
15
[0115] En un ejemplo de realización preferido, el dispositivo está configurado para generar en cada canal óptico una microimagen de la zona de detección correspondiente, comprendiendo una microimagen una multiplicidad de píxeles, originándose un píxel por una reproducción de una celda de objeto sobre un detector de imagen, y estando entrecruzada una microimagen del primer canal óptico con una microimagen del segundo canal
20 óptico, de modo que a lo largo de una línea las celdas de objeto adyacentes de la zona de superposición del primer y del segundo canal se asocian alternativamente a diferentes microimágenes.
[0116] En un ejemplo de realización preferido, el dispositivo está configurado de modo que el sensor de imagen está dispuesto en un plano focal de las microlentes del campo de microlentes, situándose entre el sensor de
25 imagen y el campo de microlentes una capa de distanciadores, comprendiendo la capa de distanciadores una multiplicidad de estructuras de separación de canal, que están configuradas para suprimir una diafonía óptica entre los canales ópticos adyacentes, y comprendiendo la capa de distanciadores al menos un campo de diafragmas de apertura, que está configurado para suprimir la luz difusa a través de los espacios intermedios entre las microlentes.
30 [0117] En un ejemplo de realización preferido, el dispositivo está configurado de modo que una multiplicidad
de los canales ópticos comprenden diferentes campos de transmisión espectral, de modo que en los canales ópticos se origina respectivamente una microimagen correspondiente, estando asociadas las microimágenes de diferentes canales a diferentes colores espectrales, estando separados los canales ópticos por estructuras de separación de canales para impedir una diafonía de color; comprendiendo los canales adyacentes distintos campos de transmisión 35 espectral, y estando entrelazadas las microimágenes de los canales adyacentes de modo que a lo largo de una línea las celdas de objeto adyacentes de la zona de superposición de los canales ópticos se asocian alternativamente a las distintas microimágenes espectrales
[0118] En un ejemplo de realización preferido, el dispositivo está configurado de modo que comprende un 40 sensor para la medición de la distancia entre el dispositivo y un objeto a detectar, estando diseñado el dispositivo
para corregir un decalado de una reproducción de una primera celda de objeto sobre un primer detector de imagen de una matriz de detectores de imagen de un primer canal óptico, respecto a una reproducción de una segunda celda de objeto, adyacente a la primera celda de objeto, sobre un primer detector de imagen de una matriz de detectores de imagen de un segundo canal óptico, y tener en cuenta, durante la corrección, la distancia lateral entre 45 la matriz de detectores de imagen del primer canal óptico y la matriz de detectores de imagen del segundo canal óptico.
[0119] En un ejemplo de realización preferido, el dispositivo está configurado de modo que las distintas microlentes se diferencian en al menos uno de sus parámetros estructurales, estando conformadas las microlentes
50 de modo que todas ellas reproducen en el mismo plano focal.
[0120] En un ejemplo de realización preferido, el dispositivo está configurado de modo que al menos una microlente está configurada como lente acromática.
55 [0121] En un ejemplo de realización preferido, el dispositivo está configurado de modo que el campo de
microlentes y/o una superficie límite entre un material transparente y el aire presenta una capa que disminuye la reflexión.
[0122] En un ejemplo de realización preferido, el dispositivo está configurado de modo que el campo de
microlentes así como las matrices de detectores de imagen están dispuestos en una distribución hexagonal o una cuadrada o una rectangular.
[0123] En un ejemplo de realización preferido, el dispositivo está configurado de modo que el campo de 5 microlentes está configurado como un campo de superficies refractivas de forma libre.
[0124] En un ejemplo de realización preferido, el dispositivo está configurado de modo que en cada canal óptico se origina una microimagen con una multiplicidad de píxeles, comprendiendo el dispositivo un aparato de procesamiento de imágenes para la corrección de la distorsión de las microimágenes, así como para la
10 reconstrucción de una imagen global a partir de las microimágenes de los canales ópticos, estando configurado el aparato de procesamiento de imágenes para realizar la corrección de la distorsión para cada microimagen de forma separada y temporalmente en paralelo, y estando configurado el aparato de procesamiento de imágenes para realizar la reconstrucción de la imagen global mediante la disposición alternativa de los píxeles de las microimágenes entrecruzadas para obtener así la imagen global.
15
[0125] En un ejemplo de realización preferido, el dispositivo está configurado de modo que el aparato de procesamiento de imágenes está realizado sobre un chip con el sensor de imagen, comprendiendo el aparato de procesamiento de imágenes una multiplicidad de aparatos de procesamiento de microimágenes, para la corrección de distorsiones, que están dispuestos en los espacios intermedios de las matrices de detectores de imagen del
20 sensor de imagen.
[0126] Un ejemplo de realización de la invención crea un dispositivo de procesamiento de imágenes con un sensor de imagen con una pluralidad de detectores de imagen, estando asociada una primera multiplicidad de detectores de imagen a una primera matriz de detectores de imagen, estando asociada una segunda multiplicidad
25 de detectores de imagen a una segunda matriz de detectores de imagen, y estando entrecruzadas entre sí las reproducciones individuales de canales adyacentes, un aparato de procesamiento de imágenes para la corrección de defectos de la imagen y para la reconstrucción de una imagen global a partir las reproducciones sobre los detectores de imagen de las matrices de detectores de imagen, comprendiendo el aparato de procesamiento de imágenes una multiplicidad de aparatos de procesamiento, para la corrección de distorsiones, estando configurado 30 el aparato de procesamiento de imágenes para realizar en paralelo temporalmente e independientemente entre sí la corrección de los defectos de la imagen de las reproducciones individuales de todas las matrices de detectores de imagen y para reconstruir una imagen global a partir de las reproducciones individuales, de manera que se tiene en cuenta el entrecruzamiento de las reproducciones individuales, y una unidad para la captación de un campo de microlentes, que está diseñada para fijar un campo de microlentes sobre el dispositivo de procesamiento de 35 imágenes de este tipo, de modo que el sensor de imagen se sitúa en un plano focal del campo de microlentes.
[0127] En un ejemplo de realización preferido, el dispositivo de procesamiento de imágenes está configurado
de modo que el aparato de procesamiento de imágenes está realizado sobre un chip con el sensor de imagen.
40 [0128] En un ejemplo de realización preferido, el dispositivo de procesamiento de imágenes está configurado
de modo que está dispuesta una pluralidad de aparatos de procesamiento para la corrección de distorsiones en los
espacios intermedios de las matrices de detectores de imagen del sensor de imagen.

Claims (3)

  1. REIVINDICACIONES
    1. Procedimiento para la reproducción óptica de un objeto (800) usando un campo de microlentes (10) con al menos dos microlentes (10a, 10b) y un sensor de imagen (100), en el que el sensor de imagen (100)
    5 comprende una multiplicidad de matrices de detectores de imagen (30; 30a, 30b) y en el que cada matriz de detectores de imagen (30; 30a, 30b) comprende una multiplicidad de detectores de imagen (30'; 32a, 32b) y en el que a cada microlente (10a, 10b) se le asocia una matriz de detectores de imagen (30; 30a, 30b), de modo que cada microlente (10a, 10b) constituye junto con una matriz de detectores de imagen (30; 30a, 30b) un canal óptico (10'), con la etapa siguiente:
    10
    a) reproducción del objeto (800) a través del campo de microlentes (10) sobre el sensor de imagen (100), de manera que cada celda de objeto (840, 850) se reproduce sobre un detector de imagen (30'; 32a, 32b),
    en el que las celdas de objeto (840, 850) adyacentes se reproducen sobre detectores de imagen (30'; 32a, 32b) de 15 canales ópticos (10') adyacentes, de modo que las microimágenes se originan sobre las matrices de detectores de imagen (30; 30a, 30b) de los canales ópticos (10'), caracterizado porque cada microimagen está entrecruzada con las microimágenes de los canales (10') adyacentes, de manera que las rejillas de exploración (810, 820) de canales (10') adyacentes están desplazadas entre sí en múltiplos no enteros del intervalo de exploración de un canal individual (10').
    20
  2. 2. Procedimiento para la reproducción óptica según la reivindicación 1, en el que el procedimiento comprende adicionalmente las etapas siguientes:
    b) reflexión horizontal y vertical de las microimágenes individuales de los canales ópticos (10'), en el que la reflexión 25 de todas las microimágenes se realiza temporalmente en paralelo;
    c) conversión de valores de píxeles de las microimágenes de distintos canales ópticos (10') a partir de su estructura de rejilla discreta, mediante una transformación de lugar, sobre un plano de coordenadas continuo, en el que se realiza una corrección de las deformaciones de imagen de las microimágenes de distintos canales ópticos (10');
    d) reproducción de los valores de píxeles del plano de coordenadas continuo sobre una nueva rejilla discreta para 30 obtener imágenes corregidas, en el que distintos canales ópticos se procesan temporalmente en paralelo; y
    e) reubicación de los valores de píxeles de las microimágenes corregidas en una matriz de imagen según un esquema predeterminada, que está predeterminado por el entrecruzamiento de las microimágenes, a fin de obtener una imagen global no entrecruzada.
    35 3. Procedimiento según la reivindicación 2, en el que la conversión de los valores de píxeles de las
    microimágenes de distintos canales ópticos a partir de su estructura de rejilla discreta, mediante una transformación de lugar, se realiza temporalmente en paralelo sobre un plano de coordenadas continuo.
  3. 4. Programa informático con un código de programa para la realización del procedimiento según la
    40 reivindicación 1, cuando el programa se ejecuta en un ordenador.
ES11192342.1T 2009-10-14 2010-10-12 Procedimiento para la reproducción óptica de un objeto usando un campo de microlentes con al menos dos microlentes y un sensor de imagen Active ES2685583T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009049387 2009-10-14
DE102009049387.5A DE102009049387B4 (de) 2009-10-14 2009-10-14 Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung

Publications (1)

Publication Number Publication Date
ES2685583T3 true ES2685583T3 (es) 2018-10-10

Family

ID=43126993

Family Applications (3)

Application Number Title Priority Date Filing Date
ES10771393T Active ES2572229T3 (es) 2009-10-14 2010-10-12 Dispositivo para la reproducción óptica
ES11192388.4T Active ES2466820T3 (es) 2009-10-14 2010-10-12 Dispositivo de procesamiento de imágenes
ES11192342.1T Active ES2685583T3 (es) 2009-10-14 2010-10-12 Procedimiento para la reproducción óptica de un objeto usando un campo de microlentes con al menos dos microlentes y un sensor de imagen

Family Applications Before (2)

Application Number Title Priority Date Filing Date
ES10771393T Active ES2572229T3 (es) 2009-10-14 2010-10-12 Dispositivo para la reproducción óptica
ES11192388.4T Active ES2466820T3 (es) 2009-10-14 2010-10-12 Dispositivo de procesamiento de imágenes

Country Status (7)

Country Link
US (1) US8629930B2 (es)
EP (3) EP2429176B1 (es)
JP (2) JP5379241B2 (es)
KR (1) KR101284414B1 (es)
DE (1) DE102009049387B4 (es)
ES (3) ES2572229T3 (es)
WO (1) WO2011045324A2 (es)

Families Citing this family (172)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
GB0912970D0 (en) * 2009-07-27 2009-09-02 St Microelectronics Res & Dev Improvements in or relating to a sensor and sensor system for a camera
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8928793B2 (en) 2010-05-12 2015-01-06 Pelican Imaging Corporation Imager array interfaces
DE102010031535A1 (de) * 2010-07-19 2012-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5785398B2 (ja) * 2011-02-17 2015-09-30 キヤノン株式会社 撮像装置及び画像信号処理装置
JP5330439B2 (ja) * 2011-03-18 2013-10-30 株式会社東芝 カメラモジュール、画像処理装置及び画像処理方法
BR112013013265A2 (pt) * 2011-04-22 2016-09-13 Grapac Japan Co Inc folha de exibição de imagem, e, corpo de exibição de imagem
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
JP2013109011A (ja) * 2011-11-17 2013-06-06 Toshiba Corp カメラモジュール
US20130135515A1 (en) * 2011-11-30 2013-05-30 Sony Corporation Digital imaging system
US20130169606A1 (en) * 2011-12-30 2013-07-04 Qualcomm Mems Technologies, Inc. Light direction distribution sensor
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9599508B2 (en) 2012-05-18 2017-03-21 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
CA2873989C (en) 2012-05-18 2022-05-17 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system for chemical detection
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US20140003777A1 (en) * 2012-07-02 2014-01-02 Commscope, Inc. Of North Carolina Light focusing structures for fiber optic communications systems and methods of fabricating the same using semiconductor processing and micro-machining techniques
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
DE102012218834B4 (de) * 2012-10-12 2016-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor und system zur optischen abbildung
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US20140158862A1 (en) * 2012-12-11 2014-06-12 Ying Wen Hsu Micro-Image Acquisition and Transmission System
TWI502212B (zh) * 2013-01-11 2015-10-01 Pixart Imaging Inc 光學裝置、使用微透鏡之感光元件及其製作方法
JPWO2014119737A1 (ja) * 2013-02-01 2017-01-26 コニカミノルタ株式会社 複眼光学系、撮像装置、及び複眼光学系の製造方法
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
DE102013209246B4 (de) * 2013-05-17 2019-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Herstellung einer falschlichtunterdrückenden Struktur und Vorrichtung mit derselben
ES2872927T3 (es) 2013-05-21 2021-11-03 Photonic Sensors & Algorithms S L Integración monolítica de lentes plenópticas sobre sustratos fotosensores
JP5791664B2 (ja) 2013-06-28 2015-10-07 キヤノン株式会社 光学素子アレイ、及び固体撮像装置
KR102103983B1 (ko) * 2013-07-31 2020-04-23 삼성전자주식회사 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
US9202833B2 (en) 2013-08-23 2015-12-01 Semiconductor Components Industries, Llc Imaging systems with baffle grids
KR102114248B1 (ko) * 2013-09-13 2020-05-22 삼성전자 주식회사 깊이 정보 기반 광학 왜곡 보상 장치 및 방법
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
WO2015050499A1 (en) * 2013-10-01 2015-04-09 Heptagon Micro Optics Pte. Ltd. Lens array modules and wafer-level techniques for fabricating the same
US20150116527A1 (en) * 2013-10-31 2015-04-30 Heptagon Micro Optics Pte. Ltd. Compact array camera modules having an extended field of view from which depth information can be extracted
EP3066690A4 (en) 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
DE102013222780B3 (de) 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
GB2520261B (en) * 2013-11-12 2017-10-18 Canon Kk Visual servoing
CA2870419C (en) 2013-11-12 2023-05-16 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
DE102013226196A1 (de) * 2013-12-17 2015-06-18 Volkswagen Aktiengesellschaft Optisches Sensorsystem
DE102013226789B4 (de) * 2013-12-19 2017-02-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mehrkanaloptik-Bildaufnahmevorrichtung und Mehrkanaloptik-Bildaufnahmeverfahren
JP6351285B2 (ja) * 2014-02-13 2018-07-04 キヤノン株式会社 画像形成装置、及び画像形成装置の制御方法
EP2908341B1 (en) * 2014-02-18 2018-07-11 ams AG Semiconductor device with surface integrated focusing element
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
JP6327911B2 (ja) 2014-04-03 2018-05-23 キヤノン株式会社 光学素子、光学素子アレイ及び固体撮像装置
US20170026588A1 (en) 2014-05-01 2017-01-26 Rebellion Photonics, Inc. Dual-band divided-aperture infra-red spectral imaging system
US11290662B2 (en) 2014-05-01 2022-03-29 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
US10107515B2 (en) * 2014-06-05 2018-10-23 Honeywell International Inc. HVAC controller with proximity sensor
DE102014212104A1 (de) 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor
US10458905B2 (en) 2014-07-07 2019-10-29 Rebellion Photonics, Inc. Gas leak emission quantification with a gas cloud imager
DE102014213371B3 (de) * 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
EP3171587A4 (en) * 2014-07-16 2018-03-14 Sony Corporation Compound-eye imaging device
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9672594B2 (en) * 2014-10-21 2017-06-06 The Boeing Company Multiple pixel pitch super resolution
US9977961B2 (en) * 2014-10-21 2018-05-22 Bae Systems Information And Electronic Systems Integration Inc. Method for maintaining detection capability when a frame in a multispectral image is corrupted
EP3588061B1 (en) 2014-12-23 2023-04-19 Apple Inc. Optical inspection system and method including accounting for variations of optical path length within a sample
US9591287B2 (en) 2015-01-21 2017-03-07 Himax Technologies Limited Lens module applied to camera
DE102015002536B4 (de) * 2015-02-28 2021-10-28 Schölly Fiberoptic GmbH Optikanordnung, Endoskop und korrespondierendes Verfahren zur Fertigung
TWI564594B (zh) * 2015-03-02 2017-01-01 奇景光電股份有限公司 透鏡模組
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
WO2016168415A1 (en) * 2015-04-15 2016-10-20 Lytro, Inc. Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition
US10085005B2 (en) 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
KR102372745B1 (ko) * 2015-05-27 2022-03-11 에스케이하이닉스 주식회사 이미지 센서 및 이를 구비하는 전자장치
CA2987404A1 (en) 2015-05-29 2016-12-08 Rebellion Photonics, Inc. Hydrogen sulfide imaging system
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US11469265B2 (en) 2015-07-29 2022-10-11 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US10403668B2 (en) 2015-07-29 2019-09-03 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US11089286B2 (en) 2015-07-29 2021-08-10 Samsung Electronics Co., Ltd. Image sensor
US10790325B2 (en) 2015-07-29 2020-09-29 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
DE102015216140A1 (de) 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
US11244434B2 (en) 2015-08-24 2022-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-aperture imaging device
US10801950B2 (en) 2015-09-01 2020-10-13 Apple Inc. Reference switch architectures for noncontact sensing of substances
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
CN105611122B (zh) 2015-12-18 2019-03-01 Oppo广东移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
DE102016200285A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
DE102016200287A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
DE102016013510B4 (de) 2016-04-18 2019-03-14 Kastriot Merlaku Scheinwerfer-System für Fahrzeuge aller Art, mit mindestens einem Leuchtmittel und eine Kamera für die Fahrbahn-Erfassung
US10788366B2 (en) 2016-04-21 2020-09-29 Apple Inc. Optical system for reference switching
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10578274B2 (en) 2016-06-10 2020-03-03 General Electric Company Lens array assembly and method for making the same
AT518905B1 (de) * 2016-07-29 2018-04-15 Zkw Group Gmbh Projektionseinrichtung für einen Kraftfahrzeugscheinwerfer und Verfahren zu seiner Herstellung
US10270947B2 (en) * 2016-09-15 2019-04-23 Microsoft Technology Licensing, Llc Flat digital image sensor
EP3529573A4 (en) * 2016-10-21 2020-05-20 Rebellion Photonics, Inc. MOBILE GAS AND CHEMICAL IMAGING CAMERA
EP3529592B1 (en) 2016-10-21 2023-04-05 Rebellion Photonics, Inc. Gas imaging system
CN106488148B (zh) * 2016-11-01 2019-09-17 首都师范大学 一种超分辨率图像传感器及其构造方法
WO2018103819A1 (en) * 2016-12-05 2018-06-14 Photonic Sensors & Algorithms, S.L. Microlens array
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
DE102017200618A1 (de) * 2017-01-17 2018-07-19 Robert Bosch Gmbh Miniaturspektrometer und Verfahren eingerichtet zur spektralen Analyse eines Objekts
US10955355B2 (en) 2017-02-22 2021-03-23 Rebellion Photonics, Inc. Systems and methods for monitoring remote installations
DE102017106831A1 (de) * 2017-03-30 2018-10-04 Sick Ag Kamera und Verfahren zur Erfassung von relativ zu der Kamera in einer Förderrichtung bewegten Objekten
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
WO2019018851A1 (en) * 2017-07-21 2019-01-24 California Institute Of Technology PLANAR ULTRAMINOUS PHOTOGRAPHIC CAMERA WITHOUT LENS
CN107589468A (zh) * 2017-07-25 2018-01-16 移康智能科技(上海)股份有限公司 一种人体探测方法、装置及电子设备
WO2019033110A1 (en) 2017-08-11 2019-02-14 California Institute Of Technology THIN-DIMENSIONAL IMAGING WITHOUT LENS USING DIRECTIONAL DETECTION ELEMENTS
US10539718B2 (en) 2017-08-17 2020-01-21 Honeywell International Inc. Fresnel lens array with improved off-axis optical efficiency
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
CN111164415A (zh) 2017-09-29 2020-05-15 苹果公司 路径解析的光学采样架构
EP4116702B1 (en) 2017-11-09 2024-01-03 Rebellion Photonics, Inc. Window obscuration sensors for mobile gas and chemical imaging cameras
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US11226459B2 (en) 2018-02-13 2022-01-18 Apple Inc. Integrated photonics device having integrated edge outcouplers
US10529763B2 (en) * 2018-04-19 2020-01-07 Semiconductor Components Industries, Llc Imaging pixels with microlenses
WO2019211214A1 (en) * 2018-05-01 2019-11-07 Signify Holding B.V. Lighting device with controllable light output characteristics
US10936885B2 (en) 2018-05-15 2021-03-02 Toyota Research Institute, Inc. Systems and methods of processing an image
US10736506B2 (en) 2018-06-14 2020-08-11 Broadspot Imaging Corp Composite image with cross-channel illumination
FR3084207B1 (fr) * 2018-07-19 2021-02-19 Isorg Systeme optique et son procede de fabrication
US11301664B2 (en) 2018-09-12 2022-04-12 Fingerprint Cards Anacatum Ip Ab Reconstruction of fingerprint subimages
JP7237506B2 (ja) * 2018-10-02 2023-03-13 ソニーセミコンダクタソリューションズ株式会社 撮像装置
WO2020103075A1 (zh) * 2018-11-22 2020-05-28 深圳印象认知技术有限公司 一种图像处理方法及装置
JP2020098963A (ja) * 2018-12-17 2020-06-25 株式会社日立製作所 撮像装置
KR20210020469A (ko) 2019-08-14 2021-02-24 삼성전자주식회사 분광 카메라
CN110505384B (zh) * 2019-08-29 2021-05-14 Oppo广东移动通信有限公司 成像系统、终端和图像获取方法
KR20210028808A (ko) 2019-09-04 2021-03-15 삼성전자주식회사 이미지 센서 및 이를 포함하는 촬상 장치
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
KR20210046971A (ko) 2019-10-21 2021-04-29 삼성전자주식회사 복수-입력 폴디드 카메라 및 이를 포함하는 모바일 장치
MX2022005289A (es) 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
DE102019220436B4 (de) * 2019-12-20 2021-12-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Unterdrückung von Störungen durch Reflexionslicht bei einem Licht-erzeugenden System, Verwendungen der Vorrichtung und Licht-erzeugendes System
KR20210081767A (ko) * 2019-12-24 2021-07-02 삼성전자주식회사 이미지 장치 및 이미지 센싱 방법
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11328150B2 (en) 2020-04-30 2022-05-10 Omnivision Technologies, Inc. Lens-array imager
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
DE102020207302A1 (de) 2020-06-10 2021-12-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Vorrichtung und Verfahren zur Aufnahme eines projizierten Punktmusters in einer Anzeigevorrichtung
US11852318B2 (en) 2020-09-09 2023-12-26 Apple Inc. Optical system for noise mitigation
US11513324B2 (en) * 2020-11-15 2022-11-29 Aac Optics Solutions Pte. Ltd. Camera module
US11902638B1 (en) * 2020-12-30 2024-02-13 Ball Aerospace & Technologies Corp. Gapless detector mosaic imaging systems and methods
CN112804001B (zh) * 2021-01-08 2022-05-27 中国人民解放军战略支援部队信息工程大学 孔径阵列接收机及其设计方法、装置、电子设备和介质
DE102021202164B3 (de) 2021-03-05 2022-07-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Tandemblendenarchitektur zur Füllfaktorerhöhung von kompakten Multikanalabbildungssystemen
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11808934B2 (en) 2021-04-20 2023-11-07 Eagle Technology, Llc Planar optical telescope and related methods
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN114638824B (zh) * 2022-05-11 2022-08-23 成都数联云算科技有限公司 基于aoi设备采集图像的融合方法、装置、设备和介质
CN115086550B (zh) * 2022-05-30 2023-04-28 元潼(北京)技术有限公司 元成像系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4585948A (en) * 1983-03-15 1986-04-29 The United States Of America As Represented By The Secretary Of The Air Force Non-scanning integrated optical system with wide field of view search capability
US5497269A (en) * 1992-06-25 1996-03-05 Lockheed Missiles And Space Company, Inc. Dispersive microlens
US5696371A (en) 1996-05-23 1997-12-09 Eastman Kodak Company Diffractive/refractive lenslet array
US6137535A (en) 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
US5796522A (en) * 1996-12-20 1998-08-18 Eastman Kodak Company Lenslet array system with a baffle structure and a shutter
EP0893915A3 (en) * 1997-06-25 2000-01-05 Eastman Kodak Company Compact image sensor with display integrally attached
JP2000032354A (ja) 1998-07-09 2000-01-28 Sony Corp 撮像装置
JP2001223931A (ja) * 2000-02-10 2001-08-17 Olympus Optical Co Ltd 撮像装置及び画像システム
US6660988B2 (en) * 2001-05-01 2003-12-09 Innovative Technology Licensing, Llc Detector selective FPA architecture for ultra-high FPA operability and fabrication method
JP2004032172A (ja) * 2002-06-24 2004-01-29 Canon Inc 複眼撮像装置およびこれを備えた機器
DE102004003013B3 (de) 2004-01-20 2005-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und dessen Verwendung
JP2005252625A (ja) 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
WO2006039486A2 (en) * 2004-10-01 2006-04-13 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
US7651282B2 (en) * 2005-05-04 2010-01-26 The Trustees Of Columbia University In The City Of New York Devices and methods for electronically controlling imaging
WO2007014293A1 (en) * 2005-07-25 2007-02-01 The Regents Of The University Of California Digital imaging system and method to produce mosaic images
DE102006004802B4 (de) * 2006-01-23 2008-09-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems
US7557338B2 (en) * 2006-03-14 2009-07-07 Avago Technologies General Ip (Singapore) Pte. Ltd. Electronic device with integrated optical navigation module and microlens array therefore
DE102006040657B4 (de) * 2006-08-30 2016-05-12 Robert Bosch Gmbh Bilderfassungssystem für Anwendungen in Fahrzeugen
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
JP5092685B2 (ja) * 2007-10-23 2012-12-05 株式会社ニコン 撮像素子および撮像装置
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
JP2009206356A (ja) * 2008-02-28 2009-09-10 Toshiba Corp 固体撮像装置およびその製造方法
US8259212B2 (en) * 2009-01-05 2012-09-04 Applied Quantum Technologies, Inc. Multiscale optical system

Also Published As

Publication number Publication date
JP2012507250A (ja) 2012-03-22
KR20110074984A (ko) 2011-07-05
JP5379241B2 (ja) 2013-12-25
JP5589107B2 (ja) 2014-09-10
EP2432213A1 (de) 2012-03-21
DE102009049387A1 (de) 2011-04-21
US8629930B2 (en) 2014-01-14
ES2572229T3 (es) 2016-05-30
KR101284414B1 (ko) 2013-07-09
EP2428034A2 (de) 2012-03-14
EP2429176A1 (de) 2012-03-14
EP2428034B1 (de) 2016-04-13
DE102009049387B4 (de) 2016-05-25
JP2013102534A (ja) 2013-05-23
US20110228142A1 (en) 2011-09-22
WO2011045324A2 (de) 2011-04-21
ES2466820T3 (es) 2014-06-11
EP2429176B1 (de) 2014-04-16
EP2432213B1 (de) 2018-05-30
WO2011045324A3 (de) 2011-06-23

Similar Documents

Publication Publication Date Title
ES2685583T3 (es) Procedimiento para la reproducción óptica de un objeto usando un campo de microlentes con al menos dos microlentes y un sensor de imagen
ES2872927T3 (es) Integración monolítica de lentes plenópticas sobre sustratos fotosensores
US7897903B2 (en) Image detection system of optical channels arranged next to one another
KR20220035971A (ko) 개구-메타 표면 및 하이브리드 굴절-메타 표면 이미징 시스템
JP5490309B2 (ja) 撮像装置および測距装置
US7253394B2 (en) Image sensor and method for fabricating the same
US20170359566A1 (en) Folded optic passive depth sensing system
US20100002313A1 (en) Method and apparatus providing singlet wafer lens system with field flattener
JP5342557B2 (ja) イメージセンサ
JP5406383B2 (ja) 撮像装置
JP2014521117A (ja) アレイカメラで使用するための光学配列
US20130242161A1 (en) Solid-state imaging device and portable information terminal
Hiura et al. Krill-eye: Superposition compound eye for wide-angle imaging via grin lenses
JP2016170352A (ja) 光学系および撮像システム
Brückner et al. Driving micro-optical imaging systems towards miniature camera applications
KR101917341B1 (ko) 이미지 센서용 렌즈 어레이
WO2016053140A1 (ru) Мобильное устройство с оптическими элементами
JP2017026814A (ja) 撮像光学系及び撮像システム
Bräuer et al. High resolution multichannel imaging systems
Dannberg et al. Thin wafer-level camera lenses inspired by insect compound eyes