ES2292284A1

ES2292284A1 - Field mixing method for two homonyms simultaneous signals and interlaced video signal into single video stereoscopic applications, involves capturing third interlaced video signal by two synchronized cameras

Info

Publication number: ES2292284A1
Application number: ES200500412A
Authority: ES
Inventors: Maria Victoria Gomez Fernandez; Pascual Campoy Cervera; Pedro Jose Garcia Pardo
Original assignee: Universidad Politecnica de Madrid
Current assignee: Universidad Politecnica de Madrid
Priority date: 2005-02-23
Filing date: 2005-02-23
Publication date: 2008-03-01
Anticipated expiration: 2025-02-23
Also published as: ES2292284B2

Abstract

The method involves capturing third interlaced video signal by two synchronized cameras. An analog multiplexer is provided for transition field of a signal or homonym of the other, which captures the same time as the former is captured, and is stored and converted to analog format. The minimum level and voltage range of the signal is fixed in an output system. The synchronous operation of elements is enabled by a control unit, which extracts original synchronism signal for transition information area and a crystal quartz signal clock.

Description

Método mezclador de campos simultáneos y homónimos de dos señales de vídeo entrelazadas en una única señal vídeo para aplicaciones estereoscópicas.Mixing method of simultaneous fields and homonyms of two interlaced video signals in a single signal video for stereoscopic applications.

Technical sector

La presente invención se refiere a un método mezclador de dos campos homónimos (pares o impares) de sendas señales de vídeo analógicas entrelazadas, capturados exactamente en el mismo instante de tiempo, en una tercera señal vídeo analógica también entrelazada, de manera que los campos de ésta última porten en realidad los campos arriba referidos. Como resultado, se obtiene una señal única a la salida del sistema que, conservando las características eléctricas, temporales y de ocupación de ancho de banda de cada una de las señales originales, contiene la información necesaria en aplicaciones de estereoscopia.The present invention relates to a method mixer of two homonymous fields (odd or even) of paths interlaced analog video signals, captured exactly in the same instant of time, in a third analog video signal also intertwined, so that the fields of the latter bear Actually the fields mentioned above. As a result, you get a unique signal at the exit of the system that, keeping the electrical, temporary and occupancy characteristics width of band of each of the original signals, contains the information necessary in stereoscopy applications.

Background of the invention

La necesidad de condensar en una sola señal la información visual procedente de dos canales (cámaras) y, por tanto, correspondiente a dos escenas distintas, se manifiesta en aplicaciones de operación remota de robots y visión artificial en las que, dándose la circunstancia de que siendo dos las señales de vídeo a transmitir y procesar (por la necesidad de binocularidad para percibir la tercera dimensión de la escena visual) y requiriéndose que las instantáneas de las escenas correspondientes hayan sido adquiridas en el mismo instante de tiempo (para que la percepción de esta tercera dimensión sea más fidedigna), en algún punto del sistema (o en todo él) sólo se dispone de un canal de transmisión de vídeo. En este escenario se hace ineludible la necesidad de contar con un sistema como el concebido que, más allá de repartir dicho canal entre una y a otra señal alternativamente en el tiempo, garantice que el par de instantáneas que se transmite en cada ciclo hayan sido capturadas en el mismo instante de tiempo, puesto que, de no hacerlo, dichas instantáneas presentarían un desfase relativo igual al tiempo de adquisición de cada campo de la imagen, que puede llegar a ser un semiciclo del tiempo de transmisión.The need to condense into a single signal the visual information from two channels (cameras) and, by therefore, corresponding to two different scenes, it manifests itself in remote operation applications of robots and artificial vision in which, given the circumstance that being two the signs of video to be transmitted and processed (due to the need for binocularity to perceive the third dimension of the visual scene) and requiring that the snapshots of the corresponding scenes have been acquired at the same instant of time (so that the perception of this third dimension is more reliable), in some system point (or all of it) only one channel is available video streaming In this scenario, the need to have a system like the one that, beyond of distributing said channel between one and another signal alternately over time, ensure that the pair of snapshots that are transmitted in each cycle they have been captured at the same instant of time, since, if not, these snapshots would present a relative lag equal to the acquisition time of each field of the image, which can become a half-time cycle of transmission.

Hasta el presente la problemática que ha inspirado esta invención se ha solventado normalmente diseñando y construyendo sistemas de adquisición, transmisión y procesamiento de imágenes que proporcionaran en todas sus etapas físicas sendos canales para las dos señales, de modo que cada una de ellas tuviera su ruta dedicada de propagación, desde su generación en la cámara hasta su almacenamiento en la memoria de un computador digital. Con esta duplicidad de todos los elementos involucrados en el manejo de las señales entre ambos puntos terminales (como radioenlaces y tarjetas digitalizadoras) se incurre, sin embargo, en soluciones que en ciertos casos pueden ser gravosas en coste y propensas a fallos por el volumen de equipamiento eléctrico y electrónico que aglutinan.Until now the problem that has inspired this invention has been solved normally by designing and building acquisition, transmission and processing systems of images that will provide in all their physical stages channels for the two signals, so that each of them had its dedicated propagation route, since its generation in the chamber until its storage in the memory of a digital computer. With this duplicity of all the elements involved in the management of the signals between both endpoints (such as radio links and digitizing cards), however, solutions are incurred which in certain cases can be costly and prone to failures due to the volume of electrical and electronic equipment that agglutinate

En este sentido se ha desarrollado recientemente una solución estimable (patente nº de publicación ES-2146543) que satisface la problemática de la mezcla de dos señales estándares CCIR (Comité Consultivo Internacional de Radiocomunicaciones, actualmente estándar ITU) en una única señal CCIR (actualmente estándar ITU). No obstante, este ingenio no resuelve la necesidad de simultaneidad (idéntico instante de captura) de los dos campos que forman la señal generada de salida, ya que realiza una multiplexación elemental de dos señales de vídeo, mezclando campos complementarios que tienen entre ellos un desfase de 20 ms haciendo con ello impreciso el casamiento 3D. Este último aspecto es de crucial importancia para aplicaciones estereoscópicas de precisión con objetos en movimiento y sí que viene garantizado como característica innovadora de la presente invención.In this sense it has recently developed an estimated solution (patent publication number ES-2146543) that satisfies the problem of mixing of two standard CCIR signals (Advisory Committee International Radiocommunication, currently ITU standard) in a single CCIR signal (currently ITU standard). However, this ingenuity does not solve the need for simultaneity (identical instant of capture) of the two fields that form the generated signal of output, since it performs an elementary multiplexing of two signals video, mixing complementary fields that have between them a 20 ms offset making 3D marriage inaccurate. This last aspect is of crucial importance for applications stereoscopic precision with moving objects and yes that It is guaranteed as an innovative feature of this invention.

La principal característica de la presente invención, y que la diferencia del resto de sistemas estereoscópicos existentes, es la integración de dos campos homónimos en una única señal entrelazada, esto se impone, a la vez, por conveniencia y necesidad. Es conveniente que los campos que se multiplexan sean homónimos porque así se mejoran la precisión y la consistencia en la resolución de la tercera dimensión de la escena visual; además, es estrictamente necesario generar una señal entrelazada porque de otra forma, si no presentasen la última línea del campo impar y la primera del par rasgos distintivos, consistentes en que durante la mitad de su duración no transportan información visual sino de sincronización, los receptores convencionales de señal de vídeo analógica (televisores analógicos, digitalizadoras de vídeo, etc.) perderían el sincronismo de forma constante al resultar confundidos por la ausencia de la información correspondiente al tipo de campo (par o impar) que se desechara en ambas imágenes.The main feature of this invention, and that the difference from other systems existing stereoscopic, is the integration of two fields homonyms in a single interlaced signal, this is imposed, at the same time, for convenience and necessity. It is convenient for the fields to be multiplex be homonyms because this improves accuracy and consistency in the resolution of the third dimension of the scene visual; In addition, it is strictly necessary to generate a signal interlaced because otherwise, if they did not present the last line of the odd field and the first of the pair distinctive features, consistent in that during half of its duration they do not transport visual information but synchronization, the receivers Conventional analog video signal (analog TVs, video digitizers, etc.) would lose synchronism in a way constant when confused by the absence of information corresponding to the type of field (odd or even) to be discarded in both images

Hay que hacer constar que, puesto que sólo se transmite un campo de cada imagen y éste contiene únicamente la mitad de líneas (las pares o las impares) de todas las que constituyen una imagen, no será posible la recuperación de los más finos detalles de las imágenes originales, limitación que, al menos para las aplicaciones arriba referidas, no resulta relevante.It should be noted that, since only transmits a field of each image and it contains only the half lines (odd or even) of all they constitute an image, it will not be possible to recover the most fine details of the original images, limitation that, at least For the above-mentioned applications, it is not relevant.

Description of the invention

El método de la invención está previsto para multiplexar pares de campos homónimos de sendas señales de vídeo analógicas entrelazadas obtenidos síncronamente en una única tercera señal vídeo también entrelazada. Esto se logra yuxtaponiendo los citados campos homónimos (bien dos campos pares o bien los dos impares), y capturados exactamente en el mismo instante, de dos señales de vídeo analógicas entrelazadas, provenientes de sendas cámaras que adquieren imágenes sincronizadamente, en una tercera señal vídeo también entrelazada, de manera que los campos de ésta última porten en realidad los campos arriba referidos. Para las descripciones que siguen denominaremos "maestra" a la señal "1" y "esclava" a la "2", conviniendo que la maestra es aquélla cuya señal se propaga directamente a la salida y la esclava aquélla cuya señal experimenta una digitalización y almacenamiento intermedios antes de su transmisión.The method of the invention is intended for multiplex pairs of homonymous fields from individual video signals interlaced analogs obtained synchronously in a single Third video signal also interlaced. This is achieved by juxtaposing the aforementioned homonymous fields (either two even fields or both odd), and captured at exactly the same moment, two interlaced analog video signals, coming from paths cameras that acquire images synchronously, in a third video signal also interlaced, so that the fields of this last actually carry the aforementioned fields. For the descriptions that follow we will call the signal "master" "1" and "slave" to "2", agreeing that the teacher it is the one whose signal propagates directly to the output and the slave the one whose signal undergoes digitization and Intermediate storage before transmission.

Las cámaras se sincronizan con un cable (13), con objeto de garantizar que ambas adquieren y transmiten campos homónimos de imagen al mismo tiempo, es decir las dos capturan campos pares e impares al unísono.The cameras are synchronized with a cable (13), in order to ensure that both acquire and transmit fields Image homonyms at the same time, that is, both capture even and odd fields in unison.

Para combinar las dos señales en la tercera producto del sistema, se incluye un multiplexor analógico (11) monolítico encargado de dar paso alternativamente, y en sincronismo con la transición de campo en las señales originales, al campo de la señal maestra o al homónimo de la otra, la esclava, que, aun habiendo sido capturado al mismo tiempo que el de la primera, fue muestreado a la frecuencia de pixel y digitalizado mediante un convertidor analógico-digital (A/D) (4) y almacenado en una memoria (5) mientras ésta se transmitía, siendo reconstruida fielmente la señal original mediante un convertidor digital-analógico (D/A) (6) cuando ha de transmitirse. La operación conjunta de todos los elementos está gobernada y sincronizada por una unidad de control (9), a la que un extractor del sincronismo de la señal original (8) proporciona la información de transición de campo.To combine the two signals in the third system product, an analog multiplexer is included (11) monolithic responsible for giving way alternately, and in synchronism with the field transition in the original signals, to the field of the master signal or the namesake of the other, the slave, who, even having been captured at the same time as the first one, it was sampled at pixel frequency and digitized by a analog-digital (A / D) converter (4) and stored in a memory (5) while it was being transmitted, being rebuilt faithfully the original signal through a converter digital-analog (D / A) (6) when you have to be transmitted The joint operation of all the elements is governed and synchronized by a control unit (9), to which a original signal synchronism extractor (8) provides the field transition information.

Con esta disposición, y en el supuesto de que sean los campos pares de la señal de la cámara maestra y de la esclava los elegidos para ser portados por la señal de salida (14), mientras la cámara maestra está transmitiendo su campo par (pulsos de sincronismo vertical correspondiente al campo par, líneas con información y pulsos de sincronismos horizontales), el multiplexor le abre paso, de forma que se propaga hasta la misma salida. Mientras tanto, el campo par de la cámara esclava está siendo muestreado, digitalizado y almacenado en la memoria (se almacenan las líneas con información y los pulsos de sincronismo horizontal, desechando los sincronismos verticales). Una vez concluida la transmisión del campo par de la cámara maestra y de los sincronismos verticales que indican el comienzo del campo impar hasta la salida, la unidad de control (9) señaliza al multiplexor para que conmute y conecte su salida con la otra entrada, la de la señal almacenada de la cámara esclava. Desde ese mismo instante, la unidad de control recorrerá la memoria para la lectura de sus posiciones en el mismo sentido que utilizó para rellenarla, de modo que, tras la reconstrucción analógica que realiza el convertidor D/A (6), se obtendrá en la salida del sistema la señal que emitió la cámara esclava un semiperiodo antes (el tiempo correspondiente a la transmisión de un campo).With this provision, and in the assumption that be the even fields of the master camera signal and the Slave those chosen to be carried by the output signal (14), while the master camera is transmitting its even field (pulses of vertical synchronism corresponding to the even field, lines with information and pulses of horizontal synchronisms), the multiplexer it makes its way, so that it spreads to the same exit. Meanwhile, the even field of the slave camera is being sampled, digitized and stored in memory (stored the lines with information and the horizontal sync pulses, discarding vertical synchronisms). Once the transmission of the even field of the master camera and the synchronisms verticals that indicate the beginning of the odd field until the exit, the control unit (9) signals the multiplexer to switch and connect its output with the other input, that of the stored signal of The slave camera. From that moment, the control unit it will go through the memory to read its positions in it meaning that he used to fill it, so that, after the analog reconstruction performed by the D / A converter (6), is you will get the signal that the camera emitted at the system output slave a half-period before (the time corresponding to the field transmission).

De este modo la señal resultado estará compuesta por sus pulsos de sincronismo vertical (uno correspondiente al inicio del campo par y otro al del campo impar, todos ellos provenientes de la cámara maestra), campo par (es el campo par original de la cámara maestra) con sus pulsos de sincronismo horizontal y campo impar (es el campo par de la cámara esclava capturado en el mismo instante que la maestra) con sus pulsos de sincronismo horizontal.In this way the result signal will be composed for its vertical sync pulses (one corresponding to start of the even field and another of the odd field, all of them from the master chamber), even field (is the even field original from the master camera) with its sync pulses horizontal and odd field (is the even field of the slave chamber captured at the same time as the teacher) with her pulses of horizontal synchronism

Durante todo este tiempo, y hasta iniciar un nuevo ciclo, las señales que ambas cámaras emiten (campos impares), serán desechadas.During all this time, and even start a new cycle, the signals that both cameras emit (odd fields), They will be discarded.

Description of the drawings

Para complementar la descripción que se está realizando y con objeto de contribuir a una mejor comprensión de las características del invento, se acompaña a la presente memoria descriptiva un dibujo consistente en un diagrama de bloques que, a modo de etapas físicas y funcionales, determinan el método propuesto.To complement the description that is being performing and in order to contribute to a better understanding of The characteristics of the invention are attached herein descriptive a drawing consisting of a block diagram that, to mode of physical and functional stages, determine the method proposed.

Detailed presentation of an embodiment

A la vista del diagrama de bloques, y dejando atrás los elementos 1 y 2, constituidos por cámaras de vídeo industriales analógicas y entrelazadas, el método incluye diversas etapas, la mayoría de las cuales, como se detallará en lo que sigue, pueden ser implementadas por componentes electrónicos monolíticos (de un solo chip) disponibles comercialmente.In view of the block diagram, and leaving back elements 1 and 2, consisting of video cameras industrial analog and interlaced, the method includes various stages, most of which, as will be detailed in the following, can be implemented by monolithic electronic components (single chip) commercially available.

La etapa del extractor de sincronismo (8) se puede realizar físicamente mediante un componente electrónico monolítico que proporcione una señal digital cuadrada, que estará a nivel alto cuando el campo que esté emitiendo la cámara maestra sea el par (o el impar) y bajo cuando sea el impar (o el par).The stage of the synchronization extractor (8) is can physically perform using an electronic component monolithic that provides a square digital signal, which will be at high level when the field the master camera is emitting is the pair (or the odd one) and low when it is the odd one (or the pair).

La etapa de control (9) se puede implantar preferentemente mediante un dispositivo lógico programable (tipo CPLD), también monolítico, que recibe una señal de reloj generada por un cristal de cuarzo (10) y la salida del extractor de sincronismo (8). La programación de dicho dispositivo se realizará en un entorno de diseño, esto es una herramienta instalada en un PC que consta de: entrada de diseño a través de lenguajes de descripción hardware como es el VHDL, herramientas de verificación para la obtención de una simulación del sistema, herramientas de implementación donde se permite la especificación de restricciones o indicaciones para realizar una implementación óptima sobre el dispositivo lógico programable especificado y herramientas de programación para permitir descargar el diseño sobre el dispositivo físico mediante la programación in-situ a través de la programación JTAG.The control stage (9) can be preferably implemented by means of a programmable logic device (CPLD type), also monolithic, that receives a clock signal generated by a quartz crystal (10) and the output of the synchronization extractor (8). The programming of said device will be carried out in a design environment, this is a tool installed on a PC consisting of: design input through hardware description languages such as VHDL, verification tools to obtain a simulation of the system, implementation tools where the specification of restrictions or indications is allowed to perform an optimal implementation on the specified programmable logic device and programming tools to allow downloading the design on the physical device through on-site programming through JTAG programming .

Por su parte, los convertidores A/D (4) y D/A (6) son capaces de muestrear y reconstruir, respectivamente a la frecuencia de pixel del estándar, mientras que la memoria (5), de uno o varios chips, tiene un tiempo de establecimiento inferior a 1/14,7456 microsegundos. Ha de notarse la diferenciación entre estas señales digitales representadas por flechas dobles del resto de señales analógicas (flecha sencilla).On the other hand, the A / D (4) and D / A converters (6) are able to sample and rebuild, respectively pixel frequency of the standard, while memory (5), of one or more chips, has a settling time of less than 1 / 14.7456 microseconds. It should be noted the differentiation between these digital signals represented by double arrows from the rest of analog signals (single arrow).

El multiplexor (11) también se realiza con un multiplexor analógico monolítico de dos canales que provee entrada de control binaria y compatible con los niveles y el formato eléctrico de la unidad de control CPLD.The multiplexer (11) is also performed with a Two-channel monolithic analog multiplexer that provides input Binary control and compatible with levels and format Electrical control unit CPLD.

El generador de sincronismos verticales (13) para las cámaras se puede sintetizar bien dentro de la etapa de control (9), si dispone de temporizadores, o con componentes discretos. En cualquier caso, al responder su funcionalidad a un problema trivial en Electrónica (la generación de dos trenes de pulsos periódicos idénticos con un desfase relativo de un semiperiodo), las soluciones son múltiples y todas ellas fácilmente realizables, por lo que no se prescribe ninguna en particular.The vertical sync generator (13) for cameras it can be synthesized well within the stage of control (9), if you have timers, or with components discreet In any case, when responding its functionality to a trivial problem in Electronics (the generation of two trains of identical periodic pulses with a relative offset of a semi-period), the solutions are multiple and all of them easily realizable, so no particular one is prescribed.

Por último, hay que disponer una serie de etapas fijadoras del nivel mínimo y adaptadoras del rango o excursión de la tensión de la señal en diferentes puntos, a saber, la entrada del A/D (3), la salida del D/A (7) y la salida final (12), con el objeto de que los niveles de tensión en dichos puntos tengan conformidad con la señal de vídeo de salida o, en el primer caso, con las especificaciones del convertidor A/D. Dichas etapas se implementan con circuitería discreta basada en amplificadores operacionales con prestaciones adecuadas para aplicaciones de vídeo.Finally, a series of stages must be arranged minimum level fixers and adapters of the range or excursion of the signal voltage at different points, namely the input of the A / D (3), the output of the D / A (7) and the final output (12), with the so that the voltage levels at these points have compliance with the output video signal or, in the first case, with the specifications of the A / D converter. These stages are implement with discrete circuitry based on amplifiers operational with adequate performance for applications video.

Claims

1. Simultaneous field mixing method and homonyms of two standard video signals in a single signal of video for stereoscopic applications, which includes following stages:

--: Sincronización en la generación de dos señales de vídeo provenientes de dos cámaras mediante un cable (13), con objeto de garantizar que ambas adquieren y transmiten campos homónimos de imagen al mismo tiempo, es decir que las dos capturen campos pares e impares al unísonoSynchronization in the generation of two video signals from two cameras using a cable (13), in order to ensure that both acquire and transmit homonymous image fields at the same time, that is to say the two capture odd and even fields in unison

--: Captura de las señales procedentes de sendas cámaras sincronizadas, una denominada maestra (1) y la otra esclava (2), conviniendo que la maestra sea aquélla cuya señal se propaga directamente a la salida y la esclava aquélla cuya señal experimenta una digitalización y almacenamiento intermedios antes de su transmisiónCapture of signals from two synchronized cameras, one called master (1) and the other slave (2), agreeing that the teacher be the one whose signal is propagates directly to the exit and slaves the one whose signal experience intermediate scanning and storage before of its transmission

--: Fijación del nivel mínimo y adaptación del rango o excursión de la tensión de la señal a la entrada de un convertidor analógico-digital (3) con objeto de que los niveles de tensión en dicho punto tengan conformidad con las especificaciones del convertidor analógico-digital.Minimum level setting and adaptation of the range or excursion of the signal voltage at the input of a analog-digital converter (3) in order to the voltage levels at that point conform to the converter specifications analog-digital

--: Digitalización de la señal esclava (4), almacenamiento en una memoria de la señal digital (5) y conversión a formato analógico de la señal almacenada en dicha memoria (6)Digitalization of the slave signal (4), storage in a digital signal memory (5) and conversion to the analog format of the signal stored in said memory (6)

--: Fijación del nivel mínimo y adaptación del rango o excursión de la tensión de la señal a la salida de un convertidor digital-analógico (7), con objeto de que los niveles de tensión en dicho punto tengan conformidad con la señal de vídeo de salidaMinimum level setting and adaptation of the range or excursion of the signal voltage at the output of a digital-analog converter (7), in order to that the voltage levels at that point conform to the output video signal

--: Multiplexación analógica (11) de las dos señales, dando paso alternativamente, y en sincronismo con la transición de campo, al campo de una señal maestra (1) o al homónimo de la señal esclava (2)Analog multiplexing (11) of the two signals, giving way alternately, and in sync with the field transition, to the field of a master signal (1) or to the homonym of the slave signal (2)

--: Fijación del nivel mínimo y adaptación del rango o excursión de la tensión de la señal a la salida (12), con objeto de que los niveles de tensión en dicho punto tengan conformidad con la señal de vídeo de salidaMinimum level setting and adaptation of the range or excursion of the signal voltage at the output (12), in order that the voltage levels at that point have conformance to the output video signal

2. Mixing method according to claim 1, characterized in that the synchronization of the method is carried out by means of a control unit (9), to which a synchronization extractor (8) provides the field transition information of the original signal and a crystal of Quartz (10) provides the clock signal.

3. Mixing method according to claims 1 and 2, characterized in that the fields of the resulting signal carry the homonymous fields of the two incoming video signals, preserving the electrical, temporal and bandwidth occupation characteristics of each of the original signals .

4. Mixing method according to claims 1 to 3, characterized in that it mixes simultaneous and homonymous fields of two ITU (International Telecommunications Union) standard video signals, which results in a third ITU standard video signal.

5. Mixing method according to claims 1 to 4, characterized in that it generates a single output video signal suitable for applications for calculating the three-dimensional depth coordinate.