ES2367746B1

ES2367746B1 - System and methodology for the transmission of images using incoherent fiber mallets.

Info

Publication number: ES2367746B1
Application number: ES200902072A
Authority: ES
Inventors: Pedro Rafael Fernández Barbosa; Jose Luis Lazaro Galilea; Alfredo Gardel Vicente; Ignacio Bravo Muñoz; Oscar Esteban Martinez
Original assignee: Universidad de Alcala de Henares UAH
Current assignee: Universidad de Alcala de Henares UAH
Priority date: 2009-10-29
Filing date: 2009-10-29
Publication date: 2012-07-10
Anticipated expiration: 2029-10-29
Also published as: ES2367746A1

Abstract

Sistema y metodología para la transmisión de imágenes mediante mazos de fibra incoherentes.#Se presenta un sistema opto-electrónico que permite, tanto la calibración de mazos de fibras incoherentes (IOFB) para poder transmitir imagen con ellos, como la propia transmisión de imágenes. El sistema está compuesto por un banco de medida óptico, una lente de entrada, un IOFB, un sistema acoplador entre el mazo y un sensor de alta resolución, una pantalla de calibración y una Unidad de Control y Procesamiento.#Se describe la metodología que permite reorganizar la información captada por el IOFB, tal que se pueda reconstruir posteriormente la imagen presente en la entrada. La metodología incluye varios procesos como son: enfoque del IOFB, localización de las posiciones de las fibras, el cálculo de una tabla de reconstrucción de imágenes (LUT), reconstrucción de la imagen y reajuste de la calibración. Una vez calibrado el mazo puede ser utilizado en la exploración de recintos con riesgos de explosión, con altas temperaturas o radiación.System and methodology for the transmission of images using incoherent fiber mallets. # An opto-electronic system is presented that allows both the calibration of incoherent fiber mallets (IOFB) to be able to transmit image with them, as well as the image transmission itself. The system consists of an optical measurement bank, an input lens, an IOFB, a coupling system between the mallet and a high resolution sensor, a calibration screen and a Control and Processing Unit. # The methodology described is described it allows to reorganize the information captured by the IOFB, so that the image present at the entrance can be reconstructed later. The methodology includes several processes such as: IOFB approach, location of fiber positions, calculation of an image reconstruction table (LUT), image reconstruction and calibration readjustment. Once calibrated the mallet can be used in the exploration of enclosures with risks of explosion, with high temperatures or radiation.

Description

Sistema y metodología para la transmisión de imágenes mediante mazos de ﬁbra incoherentes. System and methodology for the transmission of images by incoherent fiber mallets.

Sector de la técnica Technical sector

Esta invención se relaciona con la transmisión de imágenes visuales “encriptadas” mediante mazos de ﬁbra ópticas no coherentes de bajo coste. This invention relates to the transmission of "encrypted" visual images by low-cost non-coherent optical fiber mallets.

Estado de la técnica State of the art

Los sistemas de inspección visual mediante cámaras electrónicas son ampliamente utilizados en la actualidad en sistemas de control de calidad de procesos industriales, sistemas de vigilancia, posicionamiento de robots móviles, entre otras aplicaciones. Sin embargo, en lugares de difícil acceso, con condiciones extremas o a largas distancias, puede que no sea posible o conveniente el uso de señales eléctricas y aparatos electrónicos. Ejemplos de su uso en sitios de difícil acceso, pueden ser en aplicaciones médicas vinculadas a la endoscopia, periscopios y en la inspección de ambientes hostiles expuestos a altas temperaturas y/o presión, radiaciones nucleares, o simplemente recintos con riesgo de explosiones y/o corrosión así como, en sistemas de vigilancia de infraestructuras de transporte (ferroviario Visual inspection systems using electronic cameras are widely used today in quality control systems of industrial processes, surveillance systems, positioning of mobile robots, among other applications. However, in places of difficult access, with extreme conditions or over long distances, the use of electrical signals and electronic devices may not be possible or convenient. Examples of its use in hard-to-reach places can be in medical applications linked to endoscopy, periscopes and in the inspection of hostile environments exposed to high temperatures and / or pressure, nuclear radiation, or simply enclosures with risk of explosions and / or corrosion as well as in transport infrastructure surveillance systems (railway

o por carretera). Para la transmisión de imágenes bajo estas condiciones, es posible el uso de ﬁbras ópticas agrupadas en mazos que aunque esté acoplado en su terminal de salida a un sensor de array (cámara), ésta se encuentra aislada del medio de interés. El mazo sólo se comporta como un elemento de transporte de imágenes, y si es deseado de encriptación, pero no como un dispositivo de enfoque. or by road). For the transmission of images under these conditions, it is possible to use optical fibers grouped in mallets that although it is coupled at its output terminal to an array sensor (camera), it is isolated from the medium of interest. The mallet only behaves as an image transport element, and if encryption is desired, but not as a focusing device.

Un mazo de ﬁbra óptica para la transmisión de imágenes está compuesto por muchas ﬁbras ópticas (decenas de miles), dispuestas de una manera compacta, de modo que los extremos del mazo pueden modelarse como planos ﬁnitos compuestos por varios puntos-ﬁbra. Con esta disposición, cualquier imagen proyectada en el plano de entrada del mazo se descompone en ﬁnitos puntos-ﬁbra, y aparecería en el plano de salida como una serie de puntos luminosos. El núcleo de cada ﬁbra capta una porción de la imagen y la entrega al otro extremo del mazo. Los mazos en general se pueden clasiﬁcar en cuanto a la forma en que se distribuyen las ﬁbras longitudinalmente, en coherentes e incoherentes. An optical fiber mallet for the transmission of images is composed of many optical fibers (tens of thousands), arranged in a compact manner, so that the ends of the mallet can be modeled as finite planes composed of several ﬁ ber points. With this arrangement, any image projected in the mallet's input plane decomposes into ﬁ nite ﬁ ber points, and would appear in the output plane as a series of luminous points. The core of each fiber captures a portion of the image and delivers it to the other end of the deck. Decks in general can be classified as to how the fibers are distributed longitudinally, in coherent and incoherent.

Los mazos coherentes son los más utilizados en el transporte de imágenes mediante ﬁbras y han encontrado gran aplicación en la medicina, en sistemas de inspección de recintos, videoscopios, etc. Estos mazos poseen algunos inconvenientes como que generalmente están diseñados para trabajar con distancias relativamente pequeñas (pocos metros) y resultan más costosos. Sin embargo garantizan una calidad de imagen buena. The coherent mallets are the most used in the transport of images by means of ﬁ bers and have found great application in medicine, in inspection systems of enclosures, videoscopes, etc. These mallets have some drawbacks as they are generally designed to work with relatively small distances (few meters) and are more expensive. However they guarantee a good image quality.

Los IOFBs generalmente están diseñados para la distribución de luz por lo que no mantienen la relación espacial de las ﬁbras entre la entrada y la salida, produciendo una especie de codiﬁcación natural de la imagen, la cual es especíﬁca para cada mazo. No suelen estar sometidos al proceso denominado como fusión, el cual, en los mazos coherentes es el responsable de que a distancias cercanas a 4 metros las interferencias entre las ﬁbras produzcan un efecto borroso en la imagen transmitida. Estas características hacen que si se quieren utilizar en la transmisión de imágenes, los IOFB son dispositivos capaces de transmitir la información a mayores distancias que los coherentes. Además, resultan elementos más ﬂexibles que se pueden utilizar en recintos cerrados y bajo ambientes hostiles siendo más baratos. Sin embargo requieren una mayor complejidad en el tratamiento de la información. IOFBs are generally designed for the distribution of light, so they do not maintain the spatial relationship of the fibers between the input and the output, producing a kind of natural image coding, which is speci ﬁ c for each mallet. They are not usually subjected to the process known as fusion, which, in the coherent mallets, is responsible for the fact that at distances close to 4 meters the interferences between the ﬁ bers produce a blurry effect on the transmitted image. These characteristics mean that if they want to be used in the transmission of images, IOFBs are devices capable of transmitting information at greater distances than coherent ones. In addition, more flexible elements result that can be used in enclosures and under hostile environments being cheaper. However, they require greater complexity in the treatment of information.

La patente de Dujon et al., “Visual image Transmission by ﬁbre optic cable” (No. Patente US 5327514, Jul. 5, 1994), describe un método de calibración de IOFB para la transmisión de imágenes, utilizando varias imágenes patrones para determinar la relaciones entrada-salida del mazo. Las imágenes patrones están conformadas por franjas (verticales y horizontales) de diferente anchura cada vez, según una codiﬁcación de espacios. Si bien se utilizan pocas imágenes de calibración, la calibración del mazo requiere de un sistema óptico un poco más exigente en cuanto a resolución óptica se reﬁere. The Dujon et al. Patent, "Visual image Transmission by fiber optic cable" (US Patent No. 5327514, Jul. 5, 1994), describes an IOFB calibration method for image transmission, using several standard images to determine the input-output relations of the deck. The standard images are made up of strips (vertical and horizontal) of different width each time, according to a coding of spaces. Although few calibration images are used, the calibration of the mallet requires a slightly more demanding optical system as far as optical resolution is concerned.

En la patente de Roberts et al., “Robust incoherent líber optic bundle decoder” (No. Patente US 6587189 B1, Jul. 1, 2003) se describe un aparato y la metodología de calibración de un IOFB. El sistema descrito logra calibrar el mazo de ﬁbra realizando un barrido de imágenes conformadas por líneas (verticales u horizontales) pero a diferencia con el trabajo de Dujon son de ancho ﬁjo. La decodiﬁcación resulta más sencilla aunque se requiere procesar un mayor número de imágenes. Buscando para cada ﬁbra en qué posición de la franja se obtiene la máxima excitación (tanto en el barrido horizontal como el vertical), se construye una tabla LUT que permite reconstruir la imagen. Para ello los autores sugieren la localización de las posiciones de las ﬁbras mediante transformaciones morfológicas para facilitar la construcción de la LUT. In the patent of Roberts et al., "Robust incoherent bast optic bundle decoder" (US Patent No. 6587189 B1, Jul. 1, 2003) an apparatus and the calibration methodology of an IOFB are described. The described system manages to calibrate the fiber mallet by scanning images consisting of lines (vertical or horizontal) but unlike Dujon's work they are of fixed width. Decoding is easier although it is necessary to process a larger number of images. Searching for each ﬁ ber in which position of the strip the maximum excitation is obtained (both in the horizontal and the vertical scan), a LUT table is constructed that allows the image to be reconstructed. To do this, the authors suggest the location of the positions of the ﬁ bres through morphological transformations to facilitate the construction of the LUT.

Explicación de la invención Explanation of the invention.

Esta patente describe un sistema de calibración y transmisión de imágenes utilizando IOFBs. También, se detallan los diferentes procedimientos involucrados en el enfoque de la óptica de entrada del IOFB, la calibración, el reajuste de calibración, así como, la reconstrucción de las imágenes capturadas. This patent describes an image calibration and transmission system using IOFBs. Also, the different procedures involved in the IOFB input optics approach, calibration, calibration readjustment, as well as the reconstruction of captured images are detailed.

El sistema utiliza un IOFB como elemento de transporte. Si bien estos mazos poseen desventajas notables respecto a los coherentes, permiten mediante un proceso de calibración, la transmisión de imágenes a distancias mayores, así como transmitir totalmente codiﬁcada la señal útil. Estas características lo hacen potencialmente interesante en aplicaciones industriales de vídeo-vigilancia en zonas de alto riesgo corrosivo, alta humedad, con peligro de radioactividad o explosión, y en aquellos casos en que se necesite transmitir imágenes de forma óptica a grandes distancias. The system uses an IOFB as a transport element. Although these mallets have notable disadvantages with respect to the coherent ones, they allow, through a calibration process, the transmission of images over greater distances, as well as fully transmitting the useful signal. These characteristics make it potentially interesting in industrial video surveillance applications in areas of high corrosive risk, high humidity, with danger of radioactivity or explosion, and in those cases where it is necessary to transmit images optically over long distances.

El sistema que se describe sirve tanto para la calibración del sistema de transmisión como para la reconstrucción de las imágenes transmitidas. En la ﬁgura 1 se representa un diagrama general del sistema de calibración. Los diferentes elementos han sido representados separados entre sí para dar una idea más clara. El sistema está constituido fundamentalmente por (Figura 1): The system described serves both for the calibration of the transmission system and for the reconstruction of the transmitted images. A general diagram of the calibration system is shown in Figure 1. The different elements have been represented separately from each other to give a clearer idea. The system consists mainly of (Figure 1):

• •: IOFB (1): Elemento de transporte de imágenes. IOFB (1): Image transport element.

• •: Recinto oscuro (2): Permite aislar el sistema de entrada del mazo de cualquier reﬂejo o efecto externo, durante la calibración. No es necesario para poder reconstruir imágenes reales una vez calibrado el sistema. Dark enclosure (2): It allows to isolate the system of entry of the mallet of any external reflection or effect, during the calibration. It is not necessary to be able to reconstruct real images once the system is calibrated.

• •: Unidad de Control y Proceso (3): Este bloque es el encargado de controlar la calibración del mazo y de todo el control de la cámara. Una vez calibrado el sistema, es el encargado de la captura y almacenamiento de imágenes, de la reconstrucción de éstas y del reajuste de la calibración del sistema cuando se requiere readaptar al sistema a nuevas condiciones. Control and Process Unit (3): This block is responsible for controlling the calibration of the mallet and the entire camera control. Once the system is calibrated, it is responsible for the capture and storage of images, for the reconstruction of these and for the readjustment of the calibration of the system when it is required to readjust the system to new conditions.

• •: Adaptadores de ﬁbra (4): Su forma depende de cada mazo especíﬁco y permite la conexión de diferentes modelos al sistema. Fiber adapters (4): Its shape depends on each specific deck and allows the connection of different models to the system.

• •: Sistema de sujeción del mazo (5): Permite que ambos extremos del mazo se puedan ﬁjar a la estructura que corresponda. Deck clamping system (5): Allows both ends of the mallet to be fixed to the corresponding structure.

• •: Sistema de acople del mazo a la cámara (6 y 9): Acopla el mazo a la cámara mediante un sistema de lentes (6) y permite controlar la profundidad de campo mediante un diafragma o iris (9). Coupling system of the mallet to the camera (6 and 9): Attaches the mallet to the camera by means of a lens system (6) and allows to control the depth of field by means of a diaphragm or iris (9).

• •: Pantalla LCD de alta luminosidad y resolución (7): Proyecta imágenes patrones durante el proceso de calibración. Debe ser capaz de emitir suﬁciente energía para excitar a las ﬁbras. High brightness and resolution LCD screen (7): Projects standard images during the calibration process. You must be able to emit enough energy to excite the fibers.

• •: Soporte de pantalla (8): Garantiza que la óptica esté perpendicular a la pantalla y evita errores de perspectiva en la calibración. Screen support (8): Ensures that the optics are perpendicular to the screen and avoids perspective errors in calibration.

• •: Cámara o sensor (10): Dispositivo de alta resolución gobernado por la Unidad de Control y Procesamiento. Capta una imagen codiﬁcada desde el mazo a través del sistema de acople mazo-cámara. Camera or sensor (10): High resolution device governed by the Control and Processing Unit. Capture a coded image from the mallet through the mallet-chamber coupling system.

• •: Acople de óptica (11): Permite adaptar ópticas con diferentes monturas al sistema de sujeción del mazo. Optical coupling (11): Allows adapting optics with different frames to the harness clamping system.

• •: Óptica de entrada al mazo (12): Proyecta las imágenes en la cara de entrada del mazo. Puede ser una óptica de montura estándar y puede requerir de un sistema de acople al sistema de sujeción del mazo. Entry optics to the deck (12): Projects the images on the entry side of the deck. It can be a standard mount optics and may require a coupling system to the harness clamping system.

• •: Soporte móvil y riel (13 y 14): Ajusta el sistema, con el ﬁn de que se maximice el área de barrido de la pantalla con inﬂuencia en la entrada del IOFB. Esto permite optimizar la resolución de barrido en función del campo de visión de la óptica de entrada. Mobile support and rail (13 and 14): Adjusts the system, in order to maximize the scanning area of the screen with influence on the input of the IOFB. This allows you to optimize the scanning resolution based on the field of view of the input optics.

El principio de calibración consiste en proyectar mediante una óptica adecuada (12) sobre la cara de entrada del IOFB (1), imágenes provenientes de una pantalla plana (7). Se barre progresivamente la entrada con una línea (de ancho, posición y orientación conocidos) y se veriﬁcan a la salida del mazo las ﬁbras sobre las que se logra mayor inﬂuencia (17-18). Para ello, se utiliza una cámara de alta resolución (10). El barrido se realiza primero en dirección horizontal y posteriormente en dirección vertical (15-16). Veriﬁcando estos resultados y estimando las localizaciones reales de las ﬁbras en la imagen que recibe la cámara, se construye una LUT que una vez depurada es la base de la reconstrucción de cualquier imagen captada por el sensor. En este procedimiento se utilizan técnicas de procesamiento de imágenes que serán descritas posteriormente. The principle of calibration consists in projecting images from a flat screen (7) by means of a suitable optic (12) onto the input face of the IOFB (1). The entrance is progressively swept with a line (of known width, position and orientation) and the ﬁ rms on which greater influence is achieved (17-18) are checked at the exit of the mallet. For this, a high resolution camera (10) is used. The scan is performed first in the horizontal direction and then in the vertical direction (15-16). Verifying these results and estimating the real locations of the ﬁ bres in the image that the camera receives, a LUT is constructed which, once purified, is the basis for the reconstruction of any image captured by the sensor. This procedure uses image processing techniques that will be described later.

El mazo es acoplado a la entrada con una determinada montura (12) mediante un adaptador (4), el cual también permite ﬁjarlo a un soporte móvil (13), que puede ser desplazado mediante un riel (14) y así optimizar el campo de visión. Para garantizar un acople correcto a diferentes ópticas estándares se puede requerir un adaptador (11). El extremo de salida del mazo es introducido en un sistema de acople del mazo a la cámara (6) mediante un adaptador The mallet is coupled to the entrance with a certain mount (12) by means of an adapter (4), which also allows it to be fixed to a mobile support (13), which can be moved by means of a rail (14) and thus optimize the field of view. To ensure correct coupling to different standard optics, an adapter (11) may be required. The outlet end of the mallet is introduced into a mallet coupling system to the chamber (6) by means of an adapter

(4) y un sistema de sujeción (5). El adaptador (4) es un elemento en forma de anillo, con un diámetro tal que se acople en (5) pero con un agujero interior que depende del mazo. Esto garantiza la adaptación del sistema a diferentes IOFB con solo substituir (5) por otro afín al IOFB de interés. (4) and a clamping system (5). The adapter (4) is a ring-shaped element, with a diameter such that it engages (5) but with an inner hole that depends on the mallet. This guarantees the adaptation of the system to different IOFBs just by replacing (5) with another one related to the IOFB of interest.

El sistema de acople del mazo a la cámara (6), dispone de un iris que permite controlar la profundidad de campo y la energía que se recibe en la cámara, proveniente del mazo (1). Todo el procedimiento de calibración y reconstrucción de imágenes es llevado a cabo mediante una Unidad de Control y Procesamiento (3). The coupling system of the mallet to the chamber (6), has an iris that allows to control the depth of field and the energy that is received in the chamber, coming from the mallet (1). The entire procedure of calibration and reconstruction of images is carried out by means of a Control and Processing Unit (3).

Respecto a las patentes de Dujon et al. y Roberts et. al. (US 5327514-1994 y US 6587189 B1, -2003), si bien se sigue el mismo concepto de decodiﬁcar el mazo mediante imágenes patrones conocidas, se utiliza un algoritmo de secuencia y de proyección de imágenes totalmente distintos a los descritos en otras patentes, utilizando una instalación distinta y siendo la metodología de procesamiento totalmente novedosa. Estos trabajos previos se enfocan más en la calibración del mazo, sin embargo la metodología que aquí se expone, incluye toda la metodología necesaria para deﬁnir un sistema real de este tipo totalmente funcional. Se añaden algunos procedimientos novedosos como son el enfoque, la corrección o ecualización de las respuestas de las ﬁbras y el reajuste de la calibración del sistema. Regarding the patents of Dujon et al. and Roberts et. to the. (US 5327514-1994 and US 6587189 B1, -2003), although the same concept of decoding the mallet by known standard images is followed, a sequence algorithm and image projection totally different from those described in other patents are used, using a different installation and being the totally novel processing methodology. These previous works focus more on the calibration of the mallet, however the methodology presented here includes all the necessary methodology to define a real system of this type fully functional. Some new procedures are added, such as the focus, correction or equalization of the responses of the fibers and the readjustment of the system calibration.

Para cada IOFB, existe una única LUT patrón y esta es inalterable. Esta característica es aprovechada junto a las características propias de cada IOFB, para que cualquier proceso de reajuste de la calibración pueda ser más rápido. Tan pronto un IOFB está calibrado, puede ser reutilizado en otro sistema similar independiente o se puede readaptar cuando es movido de la posición original durante la calibración, pues cualquier cambio en las posiciones relativas de las ﬁbras respecto a la cámara puede ser fácilmente corregido sin necesidad de volver a realizar una larga calibración. For each IOFB, there is a single standard LUT and this is unalterable. This feature is used together with the characteristics of each IOFB, so that any calibration readjustment process can be faster. As soon as an IOFB is calibrated, it can be reused in another similar independent system or can be re-adapted when it is moved from the original position during calibration, since any change in the relative positions of the ﬁ bers with respect to the camera can be easily corrected without needing to perform a long calibration again.

Descripción de los dibujos Description of the drawings

Las siguientes ﬁguras nos permiten comprender el funcionamiento general del sistema. The following figures allow us to understand the general operation of the system.

La ﬁgura 1 muestra un esquema general de los diferentes elementos empleados en la calibración. Se han representado todos los elementos de forma separada para mayor claridad. Una vez realizada la calibración, el sistema está listo para la captura, transmisión y reconstrucción de las imágenes y los elementos (2), (7), (13) y (14), no se requieren. Figure 1 shows a general scheme of the different elements used in the calibration. All elements have been represented separately for clarity. Once the calibration is done, the system is ready for the capture, transmission and reconstruction of the images and the elements (2), (7), (13) and (14), they are not required.

La ﬁgura 2 nos muestra un diagrama en bloques de la metodología a seguir para la localización de las ﬁbras en la imagen de la cara de salida del IOFB, capturada por el sensor (10). Figure 2 shows a block diagram of the methodology to be followed for the location of the ﬁ bers in the image of the IOFB's output face, captured by the sensor (10).

La ﬁgura 3 nos muestra la manera en que se realiza la calibración (decodiﬁcación del mazo) partiendo de imágenes patrones conformadas por líneas que se desplazan horizontalmente y posteriormente verticalmente. Figure 3 shows us the way in which the calibration is carried out (decoding the mallet) starting from standard images formed by lines that move horizontally and then vertically.

La ﬁgura 4 ilustra un diagrama en bloques de la metodología para la calibración del mazo. Figure 4 illustrates a block diagram of the methodology for gavel calibration.

La ﬁgura 5 nos muestra un diagrama del procedimiento de reconstrucción de las imágenes. Figure 5 shows a diagram of the image reconstruction procedure.

La ﬁgura 6 representa un diagrama del método de reajuste de calibración mediante la técnica de registro de imágenes. Figure 6 represents a diagram of the calibration reset method using the image registration technique.

Modo de realización Embodiment

Procedimientos de enfoque y localización de ﬁbras Focusing and location procedures

Es importante garantizar el enfoque de la óptica de entrada antes de pasar a calibrar el sistema. Dado que la imagen tomada por la cámara aparece desordenada se requiere de algún método y algoritmo que permita determinar el enfoque correcto. Nótese que no se puede saber si la óptica está enfocada, ya que no se puede reconstruir la imagen antes de calibrar. Para ello se puede representar en la pantalla una pequeña región cuadrada o una línea de tamaño suﬁciente como para que logre excitar un determinado grupo de ﬁbras. Desde la trama de vídeo se determina en qué ﬁbras se está recibiendo mayor energía. A continuación se ajusta la óptica hasta que este valor de energía promedio de cada una de las ﬁbras detectadas sea máximo. Esta correspondencia entre el nivel de enfoque y nivel de energía (nivel de gris promedio) está dado en que mientras mejor es el enfoque la energía se concentra mejor en las ﬁbras. It is important to ensure the focus of the input optics before proceeding to calibrate the system. Since the image taken by the camera appears untidy, some method and algorithm is required to determine the correct approach. Note that you cannot know if the optics are focused, since you cannot reconstruct the image before calibrating. For this, a small square region or a line of sufficient size can be represented on the screen so that it can excite a certain group of ﬁ bers. From the video frame it is determined in which ﬁ bers more energy is being received. The optics are then adjusted until this average energy value of each of the detected fibers is maximum. This correspondence between the level of focus and energy level (average gray level) is that the better the focus, the better the energy is concentrated in the ﬁ bers.

El campo de visión está ineludiblemente vinculado a la óptica de entrada. Para garantizar que la óptica captura la mayor zona posible dentro de la pantalla se puede iluminar la pantalla en blanco y veriﬁcar en que posición del raíl se garantiza que ninguna ﬁbra se oscurezca. Este proceso va unido al anterior y es posible que se deban repetir indistintamente uno u otro hasta lograr abarcar toda el área activa del monitor LCD con el mejor enfoque posible. The field of vision is inevitably linked to the input optics. To ensure that the optics capture the largest possible area within the screen, the blank screen can be illuminated and verify in which position of the rail it is guaranteed that no fiber is obscured. This process is linked to the previous one and it is possible that they must be repeated interchangeably one or the other until they cover the entire active area of the LCD monitor with the best possible approach.

Como se muestra en la ﬁgura 3, un IOFB no mantiene la relación espacial entre las posiciones de las ﬁbras en el terminal de entrada respecto a las del terminal de salida. Si se quiere utilizar un sistema así en la transmisión de imágenes, se requiere localizar de antemano las regiones de la imagen, captadas por la cámara, donde se encuentra la información útil. Para ello se debe realizar una búsqueda o detección de los elementos de transporte: las ﬁbras. Este procedimiento permite además conocer de antemano la función de transferencia de luz de la ﬁbra. Esto es importante puesto que las ﬁbras en general sufren de deﬁciencias en el pulido y en el acabado trayendo consigo que no todas transmitan por igual, aún cuando se someten por igual a un mismo estímulo, por ejemplo, una fuente extensa de luz homogénea. Cada una de las posiciones de las ﬁbras se almacena en la LUT. As shown in Figure 3, an IOFB does not maintain the spatial relationship between the positions of the ﬁ les in the input terminal with respect to those in the output terminal. If you want to use such a system in the transmission of images, it is necessary to locate in advance the regions of the image, captured by the camera, where the useful information is found. For this, a search or detection of the transport elements must be carried out: the ﬁ bers. This procedure also allows you to know in advance the light transfer function of the fiber. This is important since the ﬁ bers in general suffer from deficiencies in polishing and finishing, resulting in not all transmitting equally, even when they are equally subjected to the same stimulus, for example, an extensive source of homogeneous light. Each of the ﬁ les positions is stored in the LUT.

La localización de las ﬁbras es también una forma de disminuir de forma efectiva el tiempo de procesamiento. Esta disminución del tiempo de calibración se debe a que se conocen a priori las posiciones reales de los núcleos de las ﬁbras en el sensor, los cuales son los encargados de portar la información útil. Por tanto, durante la calibración solo se veriﬁca un número más reducido de píxeles en cada imagen enfocada en la entrada, reduciéndose así el número de operaciones por segundo, la cantidad de memoria necesaria y los tiempos de cálculo necesarios. The location of the fibers is also a way to effectively reduce the processing time. This decrease in the calibration time is due to the fact that the real positions of the fiber cores in the sensor are known a priori, which are responsible for carrying the useful information. Therefore, during calibration only a smaller number of pixels is verified in each image focused on the input, thus reducing the number of operations per second, the amount of memory needed and the necessary calculation times.

Otra ventaja asociada a la detección de las ﬁbras se veriﬁca cuando hay alguna ligera rotación o movimiento del mazo frente a la cámara o se realiza una sustitución de la misma, entonces, las posiciones de las ﬁbras necesitan ser re-localizadas pues físicamente se han modiﬁcado. Este movimiento se puede modelar como una combinación de cambios de rotación traslación y escalado (de unos puntos determinados y preestablecidos de cada mazo de ﬁbras -huella-) de las posiciones de ﬁbras en la LUT original. Detectando este cambio se pueden estimar las nuevas posiciones de las ﬁbras y permite el recalibrado del sistema de transmisión o incluso se puede utilizar para encriptar al sistema. Another advantage associated with the detection of the ﬁ bers is verified when there is some slight rotation or movement of the mallet in front of the camera or a replacement is made of it, so the positions of the ﬁ les need to be re-located because they have physically changed . This movement can be modeled as a combination of translational and scaling rotation changes (of certain predetermined and predetermined points of each ﬁ le deck - footprint-) of the ﬁ ber positions in the original LUT. By detecting this change, the new positions of the ﬁ bres can be estimated and it allows recalibration of the transmission system or can even be used to encrypt the system.

Para realizar una detección adecuada de las posiciones de las ﬁbras en la imagen proyectada sobre el sensor, el mazo es iluminado por la entrada con una fuente de luz difusa de modo que todas las ﬁbras se iluminen homogéneamente. Esta fuente de luz es proporcionada por la propia pantalla de calibración. De esta forma se busca diferenciar con claridad las ﬁbras de los espacios intermedios y mediante un algoritmo de localización de patrones circulares, estimar los centros geométricos de las ﬁbras. Para la localización se desarrolló un método basado en transformaciones morfológicas de imágenes binarias y la transformada de la distancia. In order to adequately detect the positions of the ﬁ bers in the image projected on the sensor, the mallet is illuminated by the entrance with a diffused light source so that all the fibers are illuminated homogeneously. This light source is provided by the calibration screen itself. In this way, it is sought to clearly differentiate the ﬁ bers of the intermediate spaces and, using an algorithm for locating circular patterns, estimate the geometric centers of the ﬁ bers. A method based on morphological transformations of binary images and distance transformation was developed for localization.

La metodología de localización de ﬁbras se puede deﬁnir en seis pasos generales (Figura 2): The ﬁ nancing location methodology can be defined in six general steps (Figure 2):

• •: Acondicionar la imagen captada en el sensor: Se aplican ﬁltros que permitan disminuir el ruido y aumentar la relación señal a ruido del sistema. Conditioning the image captured on the sensor: Filters are applied to reduce noise and increase the signal to noise ratio of the system.

• •: Binarizar la imagen: Obtiene una imagen en blanco y negro donde se separan parcialmente las ﬁbras iluminadas del fondo de la escena. Binarize the image: Obtain a black and white image where the illuminated fibers of the background of the scene are partially separated.

• •: Erosionar y dilatar: Se erosiona y dilata la imagen en blanco y negro para mejorar la segmentación puesto que después de la binarización pueden existir círculos que se mantienen interconectados. Eroding and dilating: The black and white image is eroded and dilated to improve segmentation since after binarization there may be circles that remain interconnected.

• •: Transformada de la distancia: Aplicar la transformada de la distancia a dicha imagen pero complementada: Como las ﬁbras son pequeñas y redondas la transformada de la distancia da un pico en el centroide de cada ﬁbra. Transform of the distance: Apply the transform of the distance to said image but complemented: Since the ﬁ bers are small and round the transform of the distance gives a peak in the centroid of each ﬁ ber.

• •: Binarización de la Transformada de la distancia: En función del radio de la ﬁbra en píxeles, se elige un umbral para binarizar la imagen resultante. Binarization of the Transform of the distance: Depending on the radius of the fiber in pixels, a threshold is chosen to binarize the resulting image.

• •: Calcular los centros geométricos de las distintas regiones: Se realiza mediante un método de ponderación de intensidad que nos permite elegir el punto de mejor emisión cercano al centro. Este punto se elige como centroide. Calculate the geometric centers of the different regions: It is done using an intensity weighting method that allows us to choose the best emission point near the center. This point is chosen as centroid.

La transformada de la distancia es una operación que convierte una imagen binaria en una imagen en tonos de gris, donde todos los píxeles tienen un valor correspondiente a la distancia hacia el píxel característico de valor contrario más cercano. Por tanto, para ﬁguras circulares el centro geométrico es aquel que más distancia presenta con respecto al borde. The distance transform is an operation that converts a binary image into an image in shades of gray, where all pixels have a value corresponding to the distance to the nearest opposite characteristic pixel. Therefore, for circular ﬁ gures the geometric center is the one that presents the most distance with respect to the edge.

Procedimiento de calibración Calibration procedure

El procedimiento de calibración consiste en decodiﬁcar la imagen mediante la exposición de diferentes imágenes patrones en la pantalla LCD sobre la entrada del sistema. Las imágenes patrones están conformadas por franjas de determinado ancho y que una vez proyectada en la entrada, son capaces de excitar cada vez un número indeterminado de ﬁbras. Como el interés está dado en imágenes 2D, se necesita excitar en dos dimensiones la entrada del IOFB: horizontalmente y verticalmente (Figura 2). The calibration procedure consists of decoding the image by exposing different standard images on the LCD screen above the system input. The standard images are made up of strips of a certain width and that once projected at the entrance, are capable of exciting each time an indeterminate number of ﬁ bers. As interest is given in 2D images, the input of the IOFB needs to be excited in two dimensions: horizontally and vertically (Figure 2).

Las franjas son desplazadas primero en una dimensión y luego en otra. De esta manera se barre por completo la cara de entrada del mazo con una resolución deﬁnida por el ancho de la franja y por el paso de desplazamiento. Cada vez que se cambia la imagen desde la Unidad de Control y Procesamiento, se captura y almacena la imagen con un nombre seriado. Esto permite a posteriori reconocer con facilidad en cuales posiciones de las franjas se logró excitar notablemente cada ﬁbra. The stripes are first displaced in one dimension and then in another. In this way, the entrance face of the mallet is completely swept with a resolution defined by the width of the strip and the displacement step. Each time the image is changed from the Control and Processing Unit, the image is captured and stored with a serial name. This allows a posteriori to easily recognize in which positions of the strips each fiber was significantly excited.

El impacto de la franja sobre la cara de entrada del mazo, debe ser tal que su anchura sea ligeramente menor o como mucho igual al diámetro promedio de las ﬁbras (generalmente decenas de micras). Esto garantiza que la máxima repuesta de la ﬁbra se logre cuando hay una mayor exposición de la franja sobre la ﬁbra. A mayor área de exposición, mayor es la respuesta. El número de pasos necesarios para barrer completamente la cara de entrada del mazo deﬁne el tamaño de la imagen ﬁnal reconstruida y está relacionado con el número de ﬁbras máximo en cada dimensión. Sin embargo no necesariamente signiﬁca una mayor resolución de imagen. Por ejemplo, si el paso es excesivamente pequeño, provoca que la imagen reconstruida aumente el número de espacios vacíos a los que no se les puede asignar algún valor de gris. The impact of the strip on the entrance face of the mallet should be such that its width is slightly smaller or as much equal to the average diameter of the ﬁ bers (usually tens of microns). This ensures that the maximum response of the fiber is achieved when there is a greater exposure of the strip on the fiber. The greater the area of exposure, the greater the response. The number of steps necessary to completely sweep the entry face of the mallet defines the size of the reconstructed final image and is related to the maximum number of fibers in each dimension. However, it does not necessarily mean higher image resolution. For example, if the step is too small, it causes the reconstructed image to increase the number of empty spaces to which no gray value can be assigned.

Para el análisis es importante tener en cuenta la respuesta de cada ﬁbra para darles a todas y cada una de ellas la misma importancia durante el análisis. Es por ello que durante el proceso de calibración se debe calcular un factor multiplicativo αi para cada ﬁbra i tal que si son expuestas todas a un mismo nivel de gris en la pantalla correspondiente al blanco, todos los niveles de gris promedio de los centroides (NG) multiplicados por dicho factor, resulten en el máximo valor de gris posible (Ej. 255 para 8 bits de resolución). For the analysis it is important to take into account the response of each ﬁ ber to give each and every one of them the same importance during the analysis. That is why during the calibration process a multiplicative factor αi must be calculated for each ﬁ ber i so that if all of them are exposed to the same level of gray on the screen corresponding to the target, all the average gray levels of the centroids (NG ) multiplied by this factor, result in the maximum possible gray value (Ex. 255 for 8 bits of resolution).

255 = αi NG 255 = αi NG

El parámetro αi de cada ﬁbra debe ser recalculado una vez terminada esta fase. Esto se realiza utilizando una imagen no saturada formada desde una imagen patrón en blanco. Teniendo en cuenta los centroides y los niveles de gris promedio en un área circundante a estas coordenadas, se recalculan los valores de αi. Este método proporcional es ideal si no existen alinealidades en las respuestas del sistema. Si no fuese así, la metodología cambia. Esto quiere decir, en vez de almacenar un único valor proporcional αi se deben almacenar los coeﬁcientes de un polinomio que aproxime la respuesta de las ﬁbras para diferentes niveles de gris. Esto signiﬁca que el valor αi que se utiliza para reconstruir una imagen, se obtiene de dicha respuesta veriﬁcando el nivel de gris promedio en la ﬁbra y el valor al que debe aproximarse. En caso de que el sistema manipule imágenes en color RGB, la tabla debe almacenar los valores análogos de αRi, αGi, αBi o los coeﬁcientes de los polinomios antes mencionados pero para cada canal de color. The parameter αi of each ﬁ ber must be recalculated once this phase is over. This is done using an unsaturated image formed from a blank standard image. Taking into account the centroids and average gray levels in an area surrounding these coordinates, the values of αi are recalculated. This proportional method is ideal if there are no alignments in the system responses. If not, the methodology changes. This means that instead of storing a single proportional value αi, the coefficients of a polynomial that approximates the response of the fibers for different gray levels should be stored. This means that the value αi that is used to reconstruct an image is obtained from said response by verifying the average gray level in the fiber and the value to which it should approximate. If the system manipulates RGB color images, the table must store the analog values of αRi, αGi, αBi or the coefficients of the aforementioned polynomials but for each color channel.

Como las imágenes patrones son intencionadamente en blanco y negro, a cada cambio de la imagen patrón se veriﬁca si cada ﬁbra cambió su estado (se iluminó) y si este cambio fue el más importante de los recibidos con anterioridad. As the standard images are intentionally black and white, each change of the standard image is verified if each fiber changed its state (lit) and if this change was the most important of those received previously.

Mediante los procedimientos anteriores se construye una tabla de reorganización o LUT. Dicha tabla es almacenada en la Unidad de Control y Procesamiento. En ella se almacenan: Through the above procedures a reorganization table or LUT is constructed. This table is stored in the Control and Processing Unit. It stores:

• •: Las posiciones de las ﬁbras (coordenadas). The positions of the ﬁ bers (coordinates).

• •: Para cada imagen del barrido, se veriﬁcan en cada posición de ﬁbras si alguna resulta lo suﬁcientemente iluminada. Si es así, se almacena en la LUT en cual ﬁla y columna se alcanzó dicha condición. Si dicha ﬁbra ya ha sido notablemente excitada, se veriﬁca si la posición nueva permite una mayor excitación. Si es así se actualiza la Tabla. For each scan image, they are checked in each ﬁ le position if any is sufficiently illuminated. If so, it is stored in the LUT in which row and column that condition was reached. If this fiber has already been noticeably excited, it is checked whether the new position allows for greater excitation. If so, the Table is updated.

• •: Factor de compensación de la función de transferencia de la ﬁbra i (αi). Compensation factor of the transfer function of the ﬁ ber i (αi).

Por todo esto la estructura de la LUT resulta: For all this the structure of the LUT is:

Una vez construida la LUT, se debe veriﬁcar si existen posiciones registradas que se repitan o simplemente de las que se tenga un valor para una dimensión y ninguno para la otra. En tales casos se eliminan o simplemente se redistribuye a posiciones próximas y que no estén contempladas en la LUT. Once the LUT has been constructed, it should be checked whether there are repeated registered positions or simply those with a value for one dimension and none for the other. In such cases, they are eliminated or simply redistributed to nearby positions that are not contemplated in the LUT.

Proceso de reajuste de la calibración Calibration reset process

Cada proceso de calibración es solo válido para un mazo especíﬁco. Si este es remplazado por otro nuevo, es necesario indicarle al sistema la nueva ley de correspondencia (LUT). Es signiﬁcativo que el proceso de calibración solo es necesario hacerlo una vez y por tanto, a cada mazo de ﬁbras se le asocia una LUT propia. Sin embargo cualquier mínimo movimiento del mazo frente a la cámara debido, por ejemplo, a un cambio del sensor o un mal ajuste en el soporte que recibe al mazo, provoca que la imagen a reconstruir no se forme correctamente. Each calibration process is only valid for a specific deck. If this is replaced by a new one, it is necessary to indicate the new correspondence law (LUT) to the system. It is significant that the calibration process only needs to be done once, and therefore, each ﬁ le deck is associated with its own LUT. However, any minimal movement of the mallet in front of the camera due, for example, to a change of the sensor or a bad adjustment in the support that receives the mallet, causes that the image to be reconstructed does not form correctly.

Esto se debe a que el proceso de reconstrucción intenta reubicar la información desde posiciones que ya no corresponden a las originales. Sin embargo, el conjunto de las localizaciones de ﬁbras, se han movido de sus posiciones originales bajo una ley de transformaciones geométricas que incluyen la rotación, la traslación y en menor medida el escalado. This is because the reconstruction process tries to relocate the information from positions that no longer correspond to the originals. However, all of the ﬁ le locations have moved from their original positions under a law of geometric transformations that include rotation, translation and, to a lesser extent, scaling.

Para lograr una recuperación de la LUT, se debe deducir en qué medida se han producido estos movimientos de las ﬁbras para así corregirlos. Llamamos huella al conjunto de regiones características más distinguibles de cada mazo. Por ejemplo, el conjunto de regiones cerradas del interior del mazo que estén vacías de ﬁbras. Estas regiones se deben a defectos en la construcción y nunca cambian, siendo especíﬁcas de cada mazo. Partiendo de la LUT original y de la información común entre la huella del mazo original y la nueva huella presente en el mazo, se recalcula la LUT ya adaptada a las nuevas condiciones. To achieve a recovery of the LUT, it must be deduced to what extent these movements of the fibers have occurred in order to correct them. We call footprint the set of most distinguishable characteristic regions of each deck. For example, the set of closed regions inside the deck that are empty of ﬁ bers. These regions are due to defects in construction and never change, being specific to each deck. Starting from the original LUT and the common information between the original mallet's footprint and the new footprint present in the mallet, the LUT already adapted to the new conditions is recalculated.

Primero se localizan y veriﬁcan las regiones de mayor área y se establece una correspondencia entre las regiones más características de la imagen original y la actual. Con esta información se obtiene una matriz de transformación que permite realizar una correspondencia entre imágenes transformadas (matching). Esta matriz de transformación permite relocalizar todas y cada una de las ﬁbras del mazo y por tanto directamente se obtiene la LUT que permitirá reconstruir las imágenes. First, the regions with the largest area are located and verified and a correspondence is established between the most characteristic regions of the original image and the current one. With this information a transformation matrix is obtained that allows to make a correspondence between transformed images (matching). This transformation matrix allows you to relocate each and every one of the ﬁ bers of the mallet and therefore directly obtains the LUT that will allow to reconstruct the images.

El proceso de localización de las huellas procesa la imagen capturada por el sensor con todas las ﬁbras iluminadas. De la primera calibración de un determinado IOFB, se extraen las centroides de las mayores regiones del mazo con ausencia de ﬁbras los cuales son utilizados como puntos de control. De dichas regiones también se almacenan algún descriptor de cada contorno de la región (Ej. Descriptores de Fourier). Esta última característica es la que nos permite buscar en cualquier otra imagen, las regiones que corresponden, independientemente de haber sufrido de manera global en la imagen, alguna rotación, traslación o escalado. The fingerprinting process processes the image captured by the sensor with all the fibers illuminated. From the first calibration of a given IOFB, the centroids of the major regions of the mallet are removed with no ﬁ bers which are used as control points. Of these regions, some descriptor of each contour of the region is also stored (eg Fourier Descriptors). This last characteristic is what allows us to search in any other image, the corresponding regions, regardless of having suffered in the global way in the image, some rotation, translation or scaling.

Las regiones se obtienen mediante un proceso de binarización mediante un determinado umbral y un posterior etiquetado de la imagen. Para localizar en otra huella del mazo las mismas regiones, se debe buscar el umbral óptimo de binarización que permita establecer la correspondencia entre regiones. Esto se implementa mediante un proceso iterativo que veriﬁca dentro de las regiones de mayor área cuándo existe una correspondencia de regiones según el descriptor de contorno. Una vez determinadas las regiones que corresponden, se calcula la matriz de transformación que permite recalcular las nuevas posiciones de todos los centro de ﬁbra y con ello actualizar la LUT (Figura 6). The regions are obtained through a binarization process through a certain threshold and subsequent image labeling. To locate the same regions on another footprint of the deck, the optimal binarization threshold that allows for correspondence between regions should be sought. This is implemented through an iterative process that verifies within regions of greater area when there is a correspondence of regions according to the contour descriptor. Once the corresponding regions have been determined, the transformation matrix is calculated that allows recalculating the new positions of all the fiber centers and thereby updating the LUT (Figure 6).

Proceso de reconstrucción de imágenes Image reconstruction process

Una vez calibrado el sistema se pueden transmitir y posteriormente reconstruir o decodiﬁcar las imágenes captadas desde el sensor. Lo primero es construir una imagen primitiva que se obtiene reorganizando la información obtenida de la imagen capturada, según la LUT. El proceso se realiza de la siguiente manera: Once the system is calibrated, the images captured from the sensor can be transmitted and subsequently reconstructed or decoded. The first thing is to build a primitive image that is obtained by reorganizing the information obtained from the captured image, according to the LUT. The process is carried out as follows:

1. one.: Captura de la imagen. Image capture

2. 2.: Creamos un array bidimensional de tamaño p x p, donde p es el número de posiciones utilizadas en el barrido We create a two-dimensional array of size p x p, where p is the number of positions used in the scan

o paso. or step

3. Para cada posición de ﬁbra, se toma el nivel de gris promedio de la cercanía de dicho centroide. Este nivel de gris, multiplicado por el valor de compensación αi propio de la ﬁbra, es almacenado sobre el array 2D (imagen primitiva) en aquellas posiciones de ﬁla y columna declaradas en la LUT. 3. For each ﬁ ber position, the average gray level of the proximity of said centroid is taken. This gray level, multiplied by the compensation value αi typical of the ﬁ ber, is stored on the 2D array (primitive image) in those row and column positions declared in the LUT.

La imagen primitiva, si bien es una imagen que guarda relación con la imagen de entrada, posee una serie de puntos a los que no se le ha asigna ningún valor de gris. Esto se debe a la no uniformidad del mazo en cuanto a la distribución de las ﬁbras. Es por ello que se necesita un algoritmo que complete o rellene estas regiones indeterminadas del espacio imagen. Para solventar esto, se utiliza un ﬁltro, el cual se convoluciona iterativamente n veces con la imagen sólo en aquellas posiciones vacías de la imagen primitiva. A cada paso se restituyen los valores de gris conocidos en la imagen primitiva, sin embargo los “huecos” se van progresivamente rellenando con niveles de gris que guardan relación con la vecindad. Se puede utilizar un ﬁltro como el siguiente u otro similar: The primitive image, although it is an image that is related to the input image, has a series of points to which no gray value has been assigned. This is due to the non-uniformity of the mallet in terms of the distribution of the fibers. That is why an algorithm is needed that completes or fills these undetermined regions of the image space. To solve this, a ﬁ lter is used, which is iteratively convolved n times with the image only in those empty positions of the primitive image. At each step the gray values known in the primitive image are restored, however the "gaps" are gradually filled with gray levels that are related to the neighborhood. You can use a filter like the following or similar:

Si el número de regiones vacías en la primitiva es menor, mejor es la reconstrucción y menor es el tiempo empleado en la reconstrucción (inpainting) de la imagen ﬁnal. If the number of empty regions in the primitive is smaller, the reconstruction is better and the less time is spent in the reconstruction (inpainting) of the final image.

Claims

1. one.: Sistema para la transmisión de imágenes remotas utilizando mazos de ﬁbras ópticas incoherentes (IOFBs) y para la calibración del mazo, caracterizado por estar constituido por: una cámara (10) que captura la información transmitida por un IOFB (1) mediante los elementos ópticos (6, 9 y 12); una Unidad de Control y Procesamiento (3) que gobierna un monitor (7) y procesa las imágenes capturadas por la cámara (10); dos accesorios (4 y 5) que permiten la sujeción y el acoplamiento de diferentes IOFBs al sistema; un accesorio (11) para acoplar diferentes monturas de óptica en la entrada y un banco de calibración necesario para la calibración del sistema y que está formado por un recinto oscuro (2) y unos soportes (8, 13 y 14). System for the transmission of remote images using incoherent optical fiber mallets (IOFBs) and for the calibration of the mallet, characterized by being: a camera (10) that captures the information transmitted by an IOFB (1) by means of the optical elements ( 6, 9 and 12); a Control and Processing Unit (3) that governs a monitor (7) and processes the images captured by the camera (10); two accessories (4 and 5) that allow the fastening and coupling of different IOFBs to the system; an accessory (11) for coupling different optical frames at the entrance and a calibration bench necessary for the calibration of the system and consisting of a dark enclosure (2) and supports (8, 13 and 14).

2. 2.: Método para la conﬁguración óptima de un sistema para la transmisión de imágenes remotas utilizando IOFBs, según la reivindicación 1, que comprende los siguientes procedimientos: Method for the optimal configuration of a system for the transmission of remote images using IOFBs, according to claim 1, comprising the following procedures:

a) system calibration to calculate the transfer function, between the input and the output, necessary to recover and correct any transmitted image.

b) readjustment of the system calibration when the mallet (1) is placed in a different position from the one it had during the original calibration, it is replaced by a different one or the camera (10) is changed.

c) reconstruction of the final image captured by the camera (10) using the results of the previous calibration.

3. Method for the optimal configuration of a system for the transmission of remote images using IOFBs, according to claim 2, characterized in that the system calibration procedure comprises the following steps:

a) A stage of preparing the system for calibration based on the following non-separable set of actions:

i. i.: Enfoque de la óptica de entrada (12) del IOFB (1) midiendo el nivel de energía que es capaz de transportar un grupo localizado de ﬁbras y que es necesaria para obtener una buena calidad de calibración. Focus on the input optics (12) of the IOFB (1) by measuring the level of energy that a localized group of fibers is capable of transporting and that is necessary to obtain a good calibration quality.

ii. ii.: Localización de las posiciones de las ﬁbras en la imagen captada por la cámara (10). Location of the positions of the ﬁ bers in the image captured by the camera (10).

iii. iii.: Cálculo de los factores de corrección de intensidades o de ecualización de las respuestas de cada ﬁbra (αi) para igualar las funciones de transferencia de las ﬁbras. Calculation of the correction factors of intensities or equalization of the responses of each ﬁ ber (αi) to match the transfer functions of the fibers.

b) A stage of calculation of the reconstruction table or LUT based on the following non-separable set of actions:

i. Scanning of the IOFB input (1) using a series of images formed by light strips projected from a monitor (7) onto the input of the mallet. The strips must illuminate all IOFB ﬁ les in a unique and two-dimensional way.

ii. Analysis of each image resulting in the mallet's output to determine in which positions of the input, each of the ﬁ bers reached their best degree of excitation. These results are stored in a LUT or rebuild table.

iii. Debugging the results obtained in the reconstruction table with the intention of eliminating possible redundancies and errors.

4. Method for the optimal configuration of a system for the transmission of remote images using IOFBs, according to claim 2, characterized in that the system calibration readjustment process comprises the following steps:

a) Identify the corresponding regions in both images (at least 4 regions) by means of shape descriptors based on an original footprint of the mallet and the new footprint captured by the sensor.

b) Calculate the geometric transformation matrix that would allow correspondence between the positions of the previous and current ﬁ bers.

c) The positions of the ﬁ bers in the LUT are recalculated and updated using the transformation matrix.

5. Method for the optimal con ﬁ guration of a system for the transmission of remote images using IOFBs, according to claim 2, characterized in that the following non-separable set of actions is carried out in the final image reconstruction procedure:

a) reorganize the information of the disordered image captured in the camera (10) through a reconstruction table (LUT) obtained from the calibration procedure, according to claim 2, and which consists in relocating and correcting the gray levels provided by each fiber in the sensor towards the positions indicated in each register of the LUT forming a primitive image.

b) reconstruction of the final image consisting of convolving the primitive image, iteratively, with a known digital ﬁ lter over the empty positions and subsequently restoring the initially known pixels to their original state. This action progressively fills the empty spaces present in the primitive image with gray levels that are related to its neighborhood.

SPANISH OFFICE OF THE PATENTS AND BRAND

Application no .: 200902072

SPAIN

Date of submission of the application: 29.10.2009

Priority Date:

REPORT ON THE STATE OF THE TECHNIQUE

51 Int. Cl.: G02B6 / 06 (2006.01)

RELEVANT DOCUMENTS

Categoría Category: Documentos citados Reivindicaciones afectadas Documents cited Claims Affected

X X: FERNÁNDEZ, LÁZARO, GARDEL, ESTEBAN, CANO Y REVENGA, "Location of Optical Fibers for the Calibration of Incoherent Optical Fiber Bundles for Image Transmission".IEEE TRANSACTION ON INSTRUMENTATION AND MEASUREMENT, VOL. 58, NO. 9. URL:http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=4982623&tag=1 1-5 FERNÁNDEZ, LÁZARO, GARDEL, ESTEBAN, CANO AND REVENGA, "Location of Optical Fibers for the Calibration of Incoherent Optical Fiber Bundles for Image Transmission" .IEEE TRANSACTION ON INSTRUMENTATION AND MEASUREMENT, VOL. 58, NO. 9. URL: http: //ieeexplore.ieee.org/xpls/abs_all.jsp? Arnumber = 4982623 & tag = 1 1-5

A TO: US 6587189 B1 (ROBERTS HILARY E et al.) 01.07.2003, todo el documento. 1-5 US 6587189 B1 (ROBERTS HILARY E et al.) 01.07.2003, the whole document. 1-5

A TO: US 5327514 A (DUJON GREGORY F et al.) 05.07.1994, resumen; reivindicaciones. 1-5 US 5327514 A (DUJON GREGORY F et al.) 05.07.1994, summary; claims. 1-5

Categoría de los documentos citados X: de particular relevancia Y: de particular relevancia combinado con otro/s de la misma categoría A: refleja el estado de la técnica O: referido a divulgación no escrita P: publicado entre la fecha de prioridad y la de presentación de la solicitud E: documento anterior, pero publicado después de la fecha de presentación de la solicitud Category of the documents cited X: of particular relevance Y: of particular relevance combined with other / s of the same category A: reflects the state of the art O: refers to unwritten disclosure P: published between the priority date and the date of priority submission of the application E: previous document, but published after the date of submission of the application

El presente informe ha sido realizado • para todas las reivindicaciones • para las reivindicaciones nº: This report has been prepared • for all claims • for claims no:

Fecha de realización del informe 19.11.2011 Date of realization of the report 19.11.2011: Examinador B. Pérez García Página 1/5 Examiner B. Pérez García Page 1/5

REPORT OF THE STATE OF THE TECHNIQUE

Application number: 200902072

Minimum documentation searched (classification system followed by classification symbols) G02B, H04N, H04B Electronic databases consulted during the search (database name and, if possible, terms of

search used) INVENES, EPODOC

State of the Art Report Page 2/5

WRITTEN OPINION

Application number: 200902072

Date of Written Opinion: 19.11.2011

Statement

Novedad (Art. 6.1 LP 11/1986) Novelty (Art. 6.1 LP 11/1986): Reivindicaciones Reivindicaciones 1-5 SI NO Claims Claims 1-5 IF NOT

Actividad inventiva (Art. 8.1 LP11/1986) Inventive activity (Art. 8.1 LP11 / 1986): Reivindicaciones Reivindicaciones 1-5 SI NO Claims Claims 1-5 IF NOT

The application is considered to comply with the industrial application requirement. This requirement was evaluated during the formal and technical examination phase of the application (Article 31.2 Law 11/1986).

Opinion Base.-

This opinion has been made on the basis of the patent application as published.

State of the Art Report Page 3/5

WRITTEN OPINION

Application number: 200902072

1. Documents considered.-

The documents belonging to the state of the art taken into consideration for the realization of this opinion are listed below.

Documento Document: Número Publicación o Identificación Fecha Publicación Publication or Identification Number publication date

D01 D01: FERNÁNDEZ, LÁZARO, GARDEL, ESTEBAN, CANO Y REVENGA, "Location of Optical Fibers for the Calibration of Incoherent Optical Fiber Bundles for Image Transmission". 30.09.2009 FERNÁNDEZ, LÁZARO, GARDEL, ESTEBAN, CANO AND REVENGA, "Location of Optical Fibers for the Calibration of Incoherent Optical Fiber Bundles for Image Transmission". 09.30.2009

D02 D02: US 6587189 B1 (ROBERTS HILARY E et al.) 01.07.2003 US 6587189 B1 (ROBERTS HILARY E et al.) 01.07.2003

D03 D03: US 5327514 A (DUJON GREGORY F et al.) 05.07.1994 US 5327514 A (DUJON GREGORY F et al.) 05.07.1994

2. Statement motivated according to articles 29.6 and 29.7 of the Regulations for the execution of Law 11/1986, of March 20, on Patents on novelty and inventive activity; quotes and explanations in support of this statement

The state of the art document closest to the invention is D01.

Document D01 is an article written by the inventors of the application that is being analyzed and was disclosed with a date prior to the filing of said application.

Following the wording of the first claim, D01 describes a system for transmission and calibration of remote images using incoherent optical fiber mallets (IOFBs, 65000 fibers) and characterized by being a camera (CMOS sensor, BCi-6600) that captures the information transmitted by an IOFB (fiber bundle), a control and processing unit (PC-Pentium IV) that governs a monitor (LCD) and processes the images captured by the camera, two accessories (optic coupling) that allow clamping and coupling of different IOFBs to the system, an accessory for coupling different optical frames at the input (optic coupling) and a calibration bench necessary for system calibration and consisting of a dark enclosure (shielded from external light) and supports (sliding bar) -see figure 3, second paragraph on page 3 and page 6.

Claim 1 is not new, according to Art. 6 of the Spanish Patent Law.

Claims 2-5 define the method for the optimal configuration of a system for the transmission of remote images using IOFBs, which uses the system of the preceding claim.

The second claim discloses the three basic steps of the method: a) calibration of the system to calculate the transfer function, between the input and the output, necessary to recover and correct any transmitted image, b) readjustment of the system calibration when the mallet it is placed in a different position from the one it had during the original calibration, it is replaced by a different one or the camera is changed, c) reconstruction of the final image captured by the camera through the results of the previous calibration.

These functions are detailed in the article summary.

The third claim specifies the functions of the calibration phase, which includes the steps of: -preparation of the system for calibration, by: focusing the input optics of the IOFB by measuring the level of

energy that is capable of transporting a localized group of fibers, location of the fiber positions in the

image captured by the camera and calculation of the correction factors of intensities or equalization of the

responses of each fiber to match the fiber transfer functions. -Calculation of the reconstruction table or LUT, which performs: scanning of the IOFB input using a series of images formed by luminous strips projected from a monitor over the mallet's input, analysis of each resulting image at the mallet's output to determine in which positions of the entry each fiber reached its best degree of excitation (the center) and storage of this data in the LUT.

All these steps are described in sections II and III of D01.

The fourth claim details the phases for the readjustment of the calibration of the system and which consist in: identifying the regions that correspond in both images by means of descriptors of forms starting from an original footprint of the mallet and the new footprint captured by the sensor, calculating the matrix of geometric transformation that would allow the correspondence between the positions of the previous and current fibers and recalculate and update the positions of the fibers in the LUT.

As in the previous case, these stages are defined in section III of D01.

State of the Art Report Page 4/5

WRITTEN OPINION

Application number: 200902072

The last claim refers to the reconstruction of the image where the information is reorganized by correcting the gray levels contributed by each fiber forming a primitive image and reconstruction of the final image by iteratively convolving the primitive image with a known digital filter on the empty positions. and subsequently restoring the initially known pixels to their original state.

This reconstruction method is described in section III of D01.

In the light of document D01, it is concluded that the application presented does not meet the requirement of novelty, according to Art 6 of Law 11/1986.

State of the Art Report Page 5/5