ES2379533T3 - Jerarquización cooperativa de estabilización mecánica y electrónica para un sistema de cámara aérea - Google Patents

Jerarquización cooperativa de estabilización mecánica y electrónica para un sistema de cámara aérea Download PDF

Info

Publication number
ES2379533T3
ES2379533T3 ES04702245T ES04702245T ES2379533T3 ES 2379533 T3 ES2379533 T3 ES 2379533T3 ES 04702245 T ES04702245 T ES 04702245T ES 04702245 T ES04702245 T ES 04702245T ES 2379533 T3 ES2379533 T3 ES 2379533T3
Authority
ES
Spain
Prior art keywords
image
visual field
stabilization
adjustment
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES04702245T
Other languages
English (en)
Inventor
Andreas H. Vonflotow
Mathieu Mercadal
Brian T. Mcgeer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insitu Inc
Original Assignee
Insitu Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insitu Group Inc filed Critical Insitu Group Inc
Application granted granted Critical
Publication of ES2379533T3 publication Critical patent/ES2379533T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Accessories Of Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

Procedimiento para estabilizar una imagen de un objeto que se está tomado de una cámara de vídeo (105), moviéndose la cámara de vídeo mediante un mecanismo de transporte y controlándose mediante un controlador de campo visual (104), estando configurado dicho controlador de campo visual para controlar el campo visual de dicha cámara de vídeo, comprendiendo el procedimiento: recibir, de dicha cámara de vídeo, una pluralidad de imágenes del objeto; y para cada una de la pluralidad de imágenes recibidas, recibir, de un telémetro, una distancia de la cámara de vídeo al objeto; reconocer el objeto en la imagen; determinar una diferencia entre la posición del objeto en la imagen y la posición del objeto en una imagen capturada previamente; calcular un ajuste de estabilización entre fotogramas en base a la distancia al objeto y la diferencia entre la posición del objeto en la imagen y la posición del objeto en una imagen capturada previamente, en el que dicho ajuste de estabilización entre fotogramas especifica desplazamientos de píxeles correspondientes a desplazamientos en la dirección vertical y la dirección horizontal de una pantalla; ajustar la posición de un área de la imagen mostrada en base al ajuste de estabilización entre fotogramas, en el que la imagen recibida es más grande que la imagen mostrada y el ajuste de la visualización de la imagen mueve un área de la imagen mostrada dentro de la imagen recibida de acuerdo con los desplazamientos de píxeles especificados; controlar el controlador de campo visual por lo menos parcialmente mediante: el cálculo de un campo visual para el controlador de campo visual en base al ajuste de estabilización entre fotogramas, el ajuste de la orientación del controlador de campo visual en base al ajuste de campo visual calculado, el cálculo de una velocidad de barrido o inclinación del controlador de campo visual en base al ajuste de estabilización entre fotogramas, y el establecimiento de una velocidad de barrido o inclinación del controlador de campo visual respecto a la velocidad de barrido o inclinación calculada.

Description

Jerarquización cooperativa de estabilización mecánica y electrónica
Para un sistema de cámara aerea
[0001] La tecnología descrita estabiliza un flujo de imágenes creadas por una cámara de vídeo aérea.
[0002] Los flujos de imágenes creados por cámaras de vídeo aéreas, si no se estabilizan, pueden resultar prácticamente inutilizables para la observación humana dado que la inestabilidad de la imagen fotograma a fotograma es excesiva. Esta inestabilidad de la imagen está provocada típicamente por pequeños errores de apuntamiento rápido superpuestos en errores de apuntamiento más lento, de mayor amplitud.
[0003] Es posible reducir esta inestabilidad de la imagen a niveles aceptables con técnicas refinadas de estabilización mecánica, estabilizando el campo visual de la imagen de manera que la amplitud de la inestabilidad de la imagen sea menor que un límite aceptable. Este enfoque puede ofrecer flujos de imágenes de alta calidad de todo tipo de cámaras (vídeo o película) pero da lugar a sistemas mecánicos pesados para sostener la cámara aérea. Estos sistemas son el objeto de las patentes americanas nº 5.897.223; 3.638.502; 4.989.466; 4.643.539; y
5.184.521. Un enfoque que se basa puramente en la estabilización mecánica da lugar a sistemas mecánicos pesados y complejos. Normalmente, se requieren múltiples etapas mecánicas de estabilización agrupadas, reduciéndose más la inestabilidad de la imagen en cada etapa, simplemente reduciendo la inestabilidad del campo visual.
[0004] Sería deseable disponer de una técnica para reducir la inestabilidad y evitar la necesidad de tener tales sistemas mecánicos grandes, pesados y costosos.
[0005] EP 0 917 103 A2 se refiere a un procedimiento para fijar una cámara que incluye recibir una pluralidad de imágenes representativas de una escena; seleccionar dentro de la pluralidad de imágenes una primera imagen de referencia de visualización que contiene el punto de destino en una primera posición de coordenadas; estimar en una imagen actual de la pluralidad de imágenes una transformación que representa la imagen actual a la primera imagen de referencia de visualización; estimar una segunda posición de coordenadas del punto de destino en la imagen actual utilizando la transformación; calcular un desplazamiento de la imagen entre el punto de destino en la imagen actual y el punto de destino en la primera imagen de referencia de visualización; modificar la corrección angular utilizando un control de bucle cerrado con el soporte motorizado; y deformar la imagen actual utilizando la transformación para alinear la imagen actual con la primera imagen de referencia de visualización.
[0006] M. Hansen, P. Anandan, K. Dana, G. Van der Wal, P. Burt, “Real-time scene stabilization and mosaic construction”, Workshop on Applications of Computer Vision, 31 de Diciembre de 1994, páginas 54 a 62, se refiere a un sistema en tiempo real diseñado para construir una vista estable de una escena mediante la alineación de imágenes de un flujo de vídeo que se recibe y construir dinámicamente un mosaico de imágenes. El sistema elimina deformaciones afines de primer orden completas entre imágenes en una secuencia y monta estas imágenes alineadas en un sistema de coordenadas de referencia único para producir un mosaico de imágenes. El sistema realiza una estabilización utilizando una estimación de movimiento y deformación de imagen piramidal.
[0007] El objetivo de la presente invención es un procedimiento perfeccionado para estabilizar una imagen de un objeto que se toma de una cámara de vídeo, así como un aparato correspondiente.
[0008] El objetivo se consigue mediante el objeto de las reivindicaciones independientes.
[0009] En las reivindicaciones dependientes se definen realizaciones preferidas.
[0010] La figura 1 es un diagrama de bloques que ilustra las bases del sistema de estabilización en una realización.
[0011] La figura 2 es un diagrama de bloques que ilustra la jerarquización de los dos tipos de estabilización de imagen en una realización.
[0012] La figura 3 es un diagrama de bloques que ilustra una conexión del sistema de orientación de la cámara al sistema de estabilización en una realización.
[0013] La figura 4A es una gráfica que ilustra una estimación del error típico de los esfuerzos cooperativos de los distintos niveles de estabilización de imagen empleados por el sistema de estabilización en una realización.
[0014] La figura 4B es un diagrama de bloques que ilustra dos tipos de sistemas de estabilización electrónica.
[0015] La figura 5 es un diagrama que ilustra los fotogramas de referencia utilizados en el sistema de estabilización electromecánica.
[0016] La figura 6 ilustra desplazamientos de píxeles de un objeto de un fotograma al siguiente en una realización.
[0017] La figura 7 es un diagrama de flujo que ilustra el procesamiento del sistema de estabilización en una realización.
[0018] La figura 8 es un diagrama de flujo que ilustra el procesamiento de los desplazamientos de píxeles de análisis para la componente de velocidad en una realización.
[0019] La figura 9 es un diagrama de flujo que ilustra el procesamiento de los desplazamientos de píxeles de ajuste para la velocidad de un avión en una realización.
[0020] La figura 10 es un diagrama de flujo que ilustra el procesamiento de los desplazamientos de píxeles de ajuste para el componente de giro de la cámara en una realización.
[0021] La figura 11 es un diagrama de flujo que ilustra el procesamiento del ajuste para el análisis de imágenes por la estabilización electromecánica en una realización.
DESCRIPCIÓN DETALLADA
[0022] Se dispone un procedimiento y un sistema para estabilizar imágenes tomadas por una cámara de vídeo utilizando estabilización de electromecánica. En una realización, el sistema de estabilización realiza una estabilización entre fotogramas en base a la velocidad de un vehículo en el cual va montada la cámara de vídeo y la velocidad de encuadre de un controlador de campo visual de la cámara de vídeo. La estabilización entre fotogramas se realiza mediante un componente de software moviendo un área de visualización (o ventana) dentro de un área más grande. La estabilización entre fotogramas elimina la inestabilidad de pequeña amplitud a la vez que se tiene en cuenta la velocidad del vehículo y la orientación, la velocidad de encuadre y la orientación del controlador de campo visual, la distancia a un objeto dentro de la imagen, y el campo de visión de la cámara. El sistema de estabilización convierte un ajuste de estabilización entre fotogramas en un ajuste de velocidad de encuadre de manera que el controlador de campo visual mantendrá el objeto deseado dentro del área de la imagen de la cámara. De esta manera, el sistema de estabilización utiliza una estabilización electrónica para eliminar inestabilidades de pequeña amplitud y enviar aquellos ajustes a una estabilización mecánica para tener en cuenta la inestabilidad de gran amplitud.
[0023] En una realización, el sistema de estabilización comprende una cámara de video controlada por un controlador de campo visual de tipo cardán que va montado en un avión. Mientras el avión está volando, la cámara de vídeo envía imágenes al componente de software que proporciona la estabilización entre fotogramas en base a la velocidad de barrido e inclinación (es decir, la velocidad de encuadre) del controlador de campo visual. El componente de software elimina la inestabilidad de pequeña amplitud mientras se factoriza en la velocidad de barrido e inclinación del controlador de campo visual. El componente de software recibe imágenes de la cámara que son más grandes que el área de visualización. El componente de software mueve la zona de visualización alrededor en la imagen más grande para eliminar la inestabilidad de pequeña amplitud. El componente de software calcula entonces un ajuste de la velocidad de barrido e inclinación para el controlador de campo visual. El componente de software proporciona entonces el ajuste al controlador campo visual para que pueda mantener la cámara de vídeo en el campo visual deseado.
[0024] El sistema de estabilización jerarquiza bucles de estabilización mecánica y estabilización electrónica para aprovechar las modernas capacidades en la electrónica y el procesamiento de imágenes. Dado que no toda la estabilización se consigue mecánicamente, puede utilizarse un sistema mecánico de cardán más simple, más económico, más pequeño, más ligero y de menor potencia.
[0025] El sistema de estabilización utiliza una estabilización de imagen electrónica para aumentar la estabilización mecánica de campo visual para conseguir una estabilización completa fotograma a fotograma del flujo de imágenes. El sistema mecánico se utiliza para las correcciones de campo visual lentas de gran amplitud necesarias, mientras que la estabilización electrónica se utiliza para las correcciones de pequeña amplitud, más rápidas que no son tratadas por el sistema mecánico. Estos bucles de estabilización se jerarquizan para aprovechar las características de ambos tipos de estabilización. El sistema de estabilización puede implementar varios niveles de interacción entre estos métodos de estabilización.
Anulación de interior a exterior
[0026] La estabilización más rápida y de menor amplitud se implementa electrónicamente "deslizando" fotogramas sucesivos en el flujo de imágenes en la pantalla o en la matriz del plano focal en la cámara. Este tipo de estabilización tiene en cuenta amplitudes pequeñas, típicamente una pequeña fracción de fotograma. El sistema de estabilización proporciona la corrección de la imagen implementada por esta estabilización electrónica al sistema mecánico de orientación (es decir, el controlador de campo visual) para que el sistema mecánico de orientación pueda implementar movimientos para provocar que la corrección electrónica promedio de la imagen a largo plazo tienda a cero. Si tales correcciones no son implementadas por el sistema mecánico de orientación, entonces la imagen mostrada podría desviarse lentamente y superar los límites de corrección práctica de la estabilización electrónica.
Conexión exterior a interior
[0027] Un usuario puede desear que la imagen "fluya" a través de la pantalla, tal como por ejemplo cuando la cámara se desplaza mientras se están adquiriendo imágenes. Un sistema de estabilización electrónica puede interpretar mal dicho flujo de imágenes como una inestabilidad no deseada e intentará corregirlo. Una mala interpretación daría lugar a imágenes momentáneamente estabilizadas con "pasos" bruscos necesarios cuando la corrección electrónica alcanza su límite práctico. El sistema de estabilización pueden prevenir estos pasos bruscos si se proporcionan con un flujo de imágenes desde el sistema de mando del sistema mecánico de orientación. De este modo, el sistema de estabilización puede utilizarse para permitir una estabilización electrónica de la imagen suave, incluso cuando la cámara se desplaza a través de una escena y la imagen fluye por la pantalla.
[0028] La figura 1 es un diagrama de bloques que ilustra las bases del sistema de estabilización en una realización. La estabilización de gran amplitud del campo visual de la cámara se implementa con un sistema de cardán accionado por un motor 101 para controlar una cámara 105. La estabilización de pequeña amplitud del movimiento entre fotogramas se consigue mediante técnicas de estabilización electrónica implementadas a través de un procesador de imágenes 102. Estas técnicas electrónicas cambian la imagen que aparece en una pantalla 103 electrónicamente mediante un ajuste y envían el ajuste a un controlador del cardán 104. El procesador de imágenes 102 puede incluir una unidad central de procesamiento, memoria, dispositivos de entrada (por ejemplo, un teclado y dispositivos señaladores), dispositivos de salida (por ejemplo, dispositivos de visualización), y dispositivos de almacenamiento (por ejemplo, unidades de disco). La memoria y los dispositivos de almacenamiento son medios que pueden leer un ordenador los cuales pueden contener instrucciones que implementan la estabilización electrónica del flujo de vídeo proporcionado por la cámara 105. Además, las estructuras de datos y las estructuras de mensajes (por ejemplo, un comando del controlador del cardán y la velocidad de barrido e inclinación del cardán) pueden almacenarse o transmitirse a través de un medio de transmisión de datos, tal como una señal en un enlace de comunicaciones.
[0029] La figura 2 es un diagrama de bloques que ilustra el ajuste de la velocidad de encuadre de la cámara en función de los ajustes entre fotogramas en una realización. El ajuste al sistema mecánico de orientación reduce cualquier acumulación de re-registros de imágenes electrónicos reorientando mecánicamente la cámara. Esto permite que el sistema de estabilización estabilice el flujo de imágenes con una pérdida de tamaño de imagen mínima.
[0030] La figura 3 es un diagrama de bloques que ilustra el ajuste de la estabilización entre fotogramas en base a la velocidad de encuadre de la cámara en una realización. Este ajuste permite que el sistema de estabilización estabilice imágenes sucesivas no sólo en el marco de visualización sino que, en cambio, estabilice solamente el movimiento no deseado entre imágenes sucesivas. De este modo, cuando el campo visual de la cámara está desplazando la escena de manera intencionada, el sistema de estabilización no elimina el flujo de imágenes deseado. En cambio, el sistema de estabilización elimina solamente desviaciones de este flujo de imágenes deseado.
[0031] La figura 4A es una gráfica que ilustra una estimación del error típico para los esfuerzos cooperativos de los distintos niveles de estabilización de la imagen utilizados por el sistema de estabilización en una realización. La estabilización de baja velocidad y gran amplitud es implementada por el sistema mecánico de cardán, mientras que la estabilización de alta velocidad y baja amplitud es implementada por el sistema de estabilización electrónica.
[0032] La figura 4B es un diagrama de bloques que ilustra dos tipos de sistemas de estabilización electrónica. La estabilización electrónica de imagen giroscópica 401 mide el movimiento mecánico del cuerpo de la cámara e implementa el re-registro de imágenes para compensar este movimiento mecánico. Este tipo de estabilización de imagen electrónica se implementa en algunas cámaras de vídeo, “videocámaras", portátiles que comercializan en las tiendas de venta al público Sony, Panasonic y otros. La estabilización electrónica de imagen giroscópica es la que más se implementa en la práctica en hardware y software aéreo en un sistema de cámara aérea. La estabilización electrónica de imagen fotograma a fotograma 402 emplea técnicas de reconocimiento de la imagen para re-registrar cada fotograma antes de visualizarse en una sucesión de fotogramas de imagen. La estabilización fotograma a fotograma intenta minimizar un cambio no deseado de fotogramas sucesivos en la pantalla.
[0033] La figura 5 es un diagrama que ilustra los fotogramas de referencia utilizados en el sistema de estabilización en una realización. El fotograma de referencia de la tierra está representado por las coordenadas norte N, este E, y abajo D. La posición de un avión, que puede venir dada por un altímetro y un sistema GPS, se encuentra en el fotograma de referencia de la tierra. El fotograma de referencia del fuselaje del avión está representado por las coordenadas de dirección B1, cabeceo B2, y balanceo B3 que pueden venir dadas por los giroscopios del avión. El fotograma de referencia de la cámara está representado por coordenadas de campo visual C1, inclinación C2, y barrido C3. En una realización, la cámara se controla mediante un sistema de estabilización inercial que controla los motores del cardán para controlar la orientación de los ejes de la cámara C1, C2 y C3. El sistema de estabilización electromecánico recibe información de la velocidad de barrido e inclinación de la cámara de los giroscopios de velocidad de la cámara y ajusta estas velocidades para tener en cuenta también información de la inestabilidad fotograma a fotograma y el reconocimiento de imágenes, que son proporcionados por la estabilización electrónica.
[0034] El sistema de estabilización envía las imágenes generadas por la cámara, la velocidad del avión en el fotograma de referencia de tierra VEaircraft, la velocidad de barrido y la velocidad de inclinación de la cámara, las orientaciones del avión y la cámara, y la distancia a un objeto en las imágenes. El sistema de estabilización analiza imágenes consecutivas y determina la transformación óptima de un fotograma para hacer que coincida mejor con el fotograma anterior. El sistema de estabilización puede utilizar técnicas convencionales de reconocimiento de patrones para localizar el objeto en la imagen. El sistema de estabilización proporciona un desplazamiento en píxeles para superponer mejor un fotograma en el fotograma siguiente. Los desplazamientos de píxeles pueden representarse como el número de píxeles horizontalmente (también conocido como la dirección de barrido) y el número de píxeles verticalmente (también conocido como la dirección de inclinación) en la pantalla. En una realización, el sistema de estabilización tiene un búfer de imágenes en memoria que es mayor que la imagen mostrada. Cuando el sistema de estabilización detecta variaciones en la posición de un objeto que resulta de una inestabilidad, puede desplazar la imagen mostrada por el desplazamiento de barrido e inclinación calculado, proporcionando un fotograma que mejor se superponga con el fotograma anterior mostrado, eliminando por lo tanto la inestabilidad de manera eficaz.
[0035] La figura 6 ilustra los desplazamientos de píxeles de un objeto de un fotograma a otro en una realización. El búfer de memoria almacena la imagen recibida de la cámara utilizando 2000 por 2000 píxeles. Sin embargo, en la pantalla solamente se muestran 1.800 por 1.800 píxeles. De este modo, la imagen se puede ajustarse 100 píxeles en la dirección de barrido e inclinación negativa y positiva para tener en cuenta de inestabilidad, suponiendo que el último fotograma se encuentre centrado en el búfer de memoria. En este ejemplo, un vehículo se encuentra en la posición (1000, 1000) en el primer fotograma, y la esquina superior izquierda de la pantalla corresponde a la posición (101, 101). En un fotograma siguiente, el vehículo se encuentra en la posición (1010, 1020). De este modo, el sistema de estabilización puede mostrar la posición (111, 121) en la esquina superior izquierda de la pantalla para colocar el vehículo en la misma posición en la pantalla de un fotograma al siguiente fotograma.
[0036] Dado que la cámara puede estar encuadrando una escena y la plataforma del avión puede estar moviéndose respecto a la escena, una parte de los desplazamientos de píxeles calculados por el sistema de estabilización puede ser un resultado de este movimiento deseado. En tal caso, al sistema de estabilización se le proporciona la velocidad y la orientación del avión, el campo visual y la orientación de la cámara, y la velocidad de barrido e inclinación de la cámara y no se tiene en cuenta este movimiento deseado antes de ajustar la imagen. El sistema de estabilización calcula la suma de los desplazamientos de píxeles que resultan de la velocidad y la orientación del avión, y la orientación y la velocidad angular de la cámara. Después, el sistema de estabilización resta esta cantidad de los desplazamientos de píxeles calculados a partir del análisis de imagen para proporcionar los desplazamientos de píxeles atribuibles a la inestabilidad.
[0037] Debido a que el número de píxeles desplazados es limitado, el bucle de estabilización electromecánica mantiene la imagen deseada en el centro de la cámara. Para ello, el sistema de estabilización utiliza los desplazamientos de píxeles para volver a centrar los ángulos del cardán de la cámara. El sistema de estabilización convierte los desplazamientos de píxeles en un error de barrido e inclinación correspondiente. El sistema de estabilización también calcula velocidades de barrido e inclinación. Después ajusta la velocidad de barrido e inclinación de la cámara para seguir un objeto o prevenir un desbordamiento del desplazamiento de píxeles en el sistema de estabilización.
[0038] El sistema de estabilización utiliza matrices de transformación para representar la orientación actual del fuselaje del avión respecto al fotograma de referencia de tierra y la orientación actual de la cámara respecto al fotograma de referencia del fuselaje. El fotograma de referencia de la cámara respecto al fotograma de referencia del plano se representa mediante una matriz de transformación CCB para transformar un vector a partir del fotograma de referencia del fuselaje al fotograma de referencia de la cámara. CCB es una matriz de 3 por 3 cuyas columnas son ortogonales y normalizadas, también denominada matriz de cosenos de dirección. La siguiente ecuación representa la conversión de una posición en el fotograma de referencia del fuselaje respecto al fotograma de referencia de la cámara :
RC = CCBRB (1)
[0039] donde RB representa la posición en el fotograma de referencia del fuselaje y RC representa la posición en 5 el fotograma de referencia de la cámara. Un CCB de ejemplo es
2-1/2 -2-1/2
0 (2)
2-1/2
2-1/2 0
0 0 1
[0040] La matriz CCB se establece en base a los ángulos del cardán respecto al fuselaje. Por lo tanto, esta matriz
10 representa los ángulos actuales del cardán. Una matriz CBE es para una transformación del fotograma de referencia de tierra al fotograma de referencia del fuselaje. Por lo tanto, la matriz CBE representa la dirección, el cabeceo, y el balanceo del avión según se mide mediante el giroscopio del avión.
[0041] La figura 7 es un diagrama de flujo que ilustra el procesamiento del sistema de estabilización en una realización. El sistema de estabilización calcula un ajuste inicial de imagen en base a un análisis de la imagen. El 15 sistema de estabilización ajusta entonces el ajuste inicial en base a la velocidad y la orientación del avión y la velocidad de barrido e inclinación de la cámara. En el bloque 701, el sistema invoca un componente para analizar la imagen y calcular desplazamientos de píxeles de imagen. El componente invocado proporciona los desplazamientos de píxeles de barrido e inclinación. El componente puede utilizar técnicas estándar de reconocimiento de objetos para reconocer un objeto en imágenes sucesivas y establecer el ajuste inicial en base a la diferencia en posiciones 20 del objeto. En el bloque 702, el sistema invoca el componente de desplazamiento de píxeles de ajuste, que determina los desplazamientos de píxeles de velocidad que son atribuibles a la velocidad del avión, el giro de la cámara, y las orientaciones del avión y la cámara deseados. En los bloques 703-704, el sistema calcula desplazamientos de píxeles debidos a una inestabilidad de la imagen no deseada, restando los desplazamientos de píxeles de velocidad y los desplazamientos de píxeles de giro de la cámara de los desplazamientos de píxeles de la 25 imagen. En el bloque 705, el sistema de estabilización muestra la imagen estabilizada seleccionando la parte de la pantalla que comienza en los desplazamientos recién calculados. En el bloque 706, el sistema invoca el ajuste para el componente de análisis de imagen proporcionando desplazamientos de píxeles para calcular un cambio en la velocidad de barrido e inclinación de la cámara para ayudar a garantizar que la corrección de la imagen no supere el número máximo de píxeles permitidos. En el bloque 707, el sistema ajusta la velocidad de barrido e inclinación de la
30 cámara. Puede invocarse al sistema para que procese todos los fotogramas o sólo un subconjunto de fotogramas (por ejemplo, cada 10 fotogramas).
[0042] La figura 8 es un diagrama de flujo que ilustra el procesamiento de los desplazamientos de píxeles de análisis para el componente de velocidad en una realización. El componente viene dado por la velocidad del avión VEaircraft en el fotograma de referencia de tierra, la orientación del avión CBE, y la orientación de la cámara CCB. En el
35 bloque 801, el componente invoca los desplazamientos de píxeles de ajuste para el componente de velocidad del avión para calcular desplazamientos de píxeles atribuibles a la velocidad del avión. En el bloque 802, el componente invoca los desplazamientos de píxeles de ajuste para el componente de giro de la cámara para calcular los desplazamientos de píxeles atribuibles al giro de la cámara. En los bloques 803-804, el componente combina los desplazamientos de píxeles para las direcciones de barrido e inclinación.
40 [0043] La figura 9 es un diagrama de flujo que ilustra el procesamiento de los desplazamientos de píxeles de ajuste para la velocidad del avión en una realización. En el bloque 901, el componente calcula una matriz de transformación para la transformación del fotograma de referencia de tierra al fotograma de referencia de la cámara tal como sigue:
CCE = CCBCBE (3)
45 [0044] En el bloque 902, el componente calcula el campo visual de la cámara en el fotograma de referencia de tierra como:
LE = CCET (1,0,0)T (4)
[0045] donde LE es el campo visual de la cámara en el fotograma de referencia de tierra y donde el superíndice T representa la transpuesta de la matriz o vector. En el bloque 903, el componente devuelve la distancia o rango K 50 para el objeto en el centro de la cámara. El rango puede venir dado por un telémetro o calculando la distancia utilizando la altitud del objetivo. Por ejemplo, si el objeto se encuentra a nivel del mar, entonces la distancia puede
calcularse en base a la altitud del avión y el ángulo de campo visual. En el bloque 904, el componente transforma la velocidad del avión en el fotograma de referencia de la cámara como:
VC
aircraft = CCE * VEaircraft (5)
[0046] En el bloque 905, el componente normaliza la velocidad del avión como:
(6)
[0047] donde
es la velocidad normalizada del avión en radianes por hora. Por ejemplo, si la velocidad del avión en la dirección de barrido es de 100 km/h y la distancia hasta el objeto es de 1 km, entonces la velocidad normalizada es de 100 rad/h, lo que significa que el avión se mueve en la dirección de barrido 100 veces la distancia al objeto en una hora. En el bloque 906, el componente calcula la diferencia en unidades de barrido como:
(7)
[0048] donde T es el período de refresco de fotogramas. Por ejemplo, cuando la velocidad normalizada es de 100 rad/h y la velocidad de refresco es 15 veces por segundo, entonces el cambio en unidades de barrido es:
(8)
[0049] En el bloque 907, el componente calcula el desplazamiento de píxeles del avión en la dirección de barrido convirtiendo la diferencia en unidades de barrido en la correspondiente factorización de desplazamiento de píxeles en el campo de visión (o zoom) de la cámara. El componente calcula el desplazamiento de píxeles como:
APO(S) = SC * P/Z (9)
[0050] donde APO(S) es el desplazamiento de píxeles en la dirección de barrido, Z es el factor de zoom, y P es la densidad de píxeles. Por ejemplo, si las unidades de barrido son 1/540rad y hay 2000 píxeles en la dirección de barrido con un campo de visión de 0.93 rad (1 km de campo de visión a 1 km de distancia), el desplazamiento de píxeles es:
(10)
[0051] En los bloques 908-909, el componente calcula el desplazamiento de píxeles en la dirección de inclinación de manera similar.
[0052] La figura 10 es un diagrama de flujo que ilustra el procesamiento de los desplazamientos de píxeles de ajuste para el componente de giro de la cámara en una realización. El componente recibe las velocidades de barrido e inclinación de la cámara instantánea del controlador del cardán. Por otra parte, el componente puede calcularlas en base a las orientaciones del avión y la cámara. En el bloque 1001, el componente calcula la diferencia en unidades de barrido como:
SC = IS * T (11)
[0053] donde IS es la velocidad de barrido instantánea de la cámara medida con un giroscopio proporcional. En el bloque 1002, el componente calcula la diferencia en unidades de inclinación como:
C=IT* (12)
[0054] donde IT es la velocidad de inclinación instantánea de la cámara medida con un giroscopio proporcional. En el bloque 1003, el componente calcula el desplazamiento de píxeles de la cámara en la dirección de barrido convirtiendo la diferencia en unidades de barrido en un desplazamiento de píxeles correspondiente, factorizando en el campo de visión (o zoom) de la cámara. En el bloque 1004, el componente calcula el desplazamiento de píxeles en la dirección de inclinación de manera similar.
[0055] La figura 11 es un diagrama de flujo que ilustra el procesamiento del ajuste para el análisis de imágenes mediante estabilización en una realización. Al componente se le pasan los desplazamientos de píxeles correspondientes a los ajustes realizados por el sistema de estabilización. En los bloques de 1101-1102, el componente convierte los desplazamientos de píxeles en ángulo de barrido correspondiente en radianes y ángulo de inclinación en radianes, factorizando en el campo de visión de la cámara. En los bloques 1103-1104, el componente calcula el error del ángulo resultante de los desplazamientos de píxeles como:
AE(S) = SC* K (13)
AE(T) = C* K (14)
[0056] donde AE es el error del ángulo y K es la distancia al centro de la imagen. En los bloques de 1105-1106, el componente calcula los ajustes para los errores del ángulo como:
A(S) = (W/ T) * AE(S) (15)
A(T)= (W/ )* AE( ) (16)
[0057] donde A(S) es el ajuste para la velocidad de barrido en radianes por segundo y W es un factor de ponderación que controla el ancho de banda del bucle de retroalimentación. El factor de ponderación controla la velocidad a la cual pueden realizarse ajustes a la velocidad de barrido e inclinación. El sistema de estabilización compara el ajuste a la velocidad de barrido de la cámara proporcionada por el giroscopio y utiliza la diferencia de velocidad para controlar la velocidad de los motores del cardán.
[0058] Otros detalles de procedimientos para el funcionamiento de cámaras aéreas de acuerdo con otras realizaciones de la invención se describen en la solicitud de patente americana nº 60/440.983, presentada el 17 de Enero de 2003, y titulada: "Compensation for overflight velocity when stabilizing an airborne camera" y la solicitud de patente americana 60/440.977, presentada el 17 de Enero de 2003, y titulada "Method and apparatus for stabilizing payload, including airborne cameras", que se incorporan aquí por referencia.
[0059] Un experto en la materia apreciará que, aunque se han descrito aquí realizaciones específicas del sistema de estabilización para fines de ilustración, pueden realizarse diversas modificaciones sin apartarse del ámbito de la invención. Por ejemplo, los principios del sistema de estabilización pueden utilizarse en un mecanismo de transporte aparte de un avión, tal como un satélite, un cohete, un misil, un tren, un automóvil, etc. Además, la cámara incluso puede ser fija o no moverse respecto a un objeto en el vídeo. En consecuencia, la invención no queda limitada salvo por las reivindicaciones adjuntas.

Claims (12)

  1. REIVINDICACIONES
    1. Procedimiento para estabilizar una imagen de un objeto que se está tomado de una cámara de vídeo (105), moviéndose la cámara de vídeo mediante un mecanismo de transporte y controlándose mediante un controlador de campo visual (104), estando configurado dicho controlador de campo visual para controlar el campo visual de dicha cámara de vídeo, comprendiendo el procedimiento:
    recibir, de dicha cámara de vídeo, una pluralidad de imágenes del objeto; y
    para cada una de la pluralidad de imágenes recibidas,
    recibir, de un telémetro, una distancia de la cámara de vídeo al objeto;
    reconocer el objeto en la imagen;
    determinar una diferencia entre la posición del objeto en la imagen y la posición del objeto en una imagen capturada previamente;
    calcular un ajuste de estabilización entre fotogramas en base a la distancia al objeto y la diferencia entre la posición del objeto en la imagen y la posición del objeto en una imagen capturada previamente, en el que dicho ajuste de estabilización entre fotogramas especifica desplazamientos de píxeles correspondientes a desplazamientos en la dirección vertical y la dirección horizontal de una pantalla;
    ajustar la posición de un área de la imagen mostrada en base al ajuste de estabilización entre fotogramas, en el que la imagen recibida es más grande que la imagen mostrada y el ajuste de la visualización de la imagen mueve un área de la imagen mostrada dentro de la imagen recibida de acuerdo con los desplazamientos de píxeles especificados;
    controlar el controlador de campo visual por lo menos parcialmente mediante:
    el cálculo de un campo visual para el controlador de campo visual en base al ajuste de estabilización entre fotogramas,
    el ajuste de la orientación del controlador de campo visual en base al ajuste de campo visual calculado,
    el cálculo de una velocidad de barrido o inclinación del controlador de campo visual en base al ajuste de estabilización entre fotogramas, y
    el establecimiento de una velocidad de barrido o inclinación del controlador de campo visual respecto a la velocidad de barrido o inclinación calculada.
  2. 2.
    Procedimiento según la reivindicación 1, caracterizado por el hecho de que el mecanismo de transporte es un vehículo aéreo.
  3. 3.
    Procedimiento según cualquiera de las reivindicaciones 1 a 2, caracterizado por el hecho de que el control del controlador de campo visual especifica una velocidad de movimiento de barrido o inclinación de la cámara de vídeo.
  4. 4.
    Procedimiento según cualquiera de las reivindicaciones 1 a 2, caracterizado por el hecho de que la distancia al objeto se calcula en base al campo visual de la cámara de vídeo y la diferencia de altitud entre el objeto y la cámara de vídeo.
  5. 5.
    Procedimiento según cualquiera de las reivindicaciones 1 a 4, caracterizado por el hecho de que la velocidad del mecanismo de transporte se mide respecto a la velocidad del objeto.
  6. 6.
    Procedimiento según cualquiera de las reivindicaciones 1 a 5, caracterizado por el hecho de que la velocidad del mecanismo de transporte es respecto a la velocidad de la tierra.
  7. 7.
    Procedimiento según cualquiera de las reivindicaciones 1 a 6, caracterizado por el hecho de que el cálculo del ajuste de estabilización entre fotogramas se basa además en el campo visual de la cámara de vídeo.
  8. 8.
    Aparato para estabilizar la visualización de un objeto en fotogramas de imagen capturados por una cámara de vídeo aérea (105), comprendiendo el aparato:
    un controlador de campo visual mecánico (104) para controlar el campo visual de la cámara de vídeo a una velocidad de ajuste del campo visual específica, en el que la velocidad de ajuste del campo visual incluye una velocidad de ajuste de barrido o inclinación; y
    un componente de estabilización electrónica configurado para recibir imágenes de la cámara de vídeo, y en el que para cada una de la pluralidad de imágenes recibidas, el componente de estabilización electrónica está configurado además para:
    recibir, de un telémetro, una distancia de la cámara de vídeo al objeto;
    reconocer el objeto en la imagen;
    determinar una diferencia entre la posición del objeto en la imagen y la posición del objeto en una imagen capturada previamente;
    calcular un ajuste de estabilización entre fotogramas en base a la distancia al objeto y la diferencia entre la posición del objeto en la imagen y la posición del objeto en una imagen capturada previamente, en el que dicho ajuste de estabilización entre fotogramas especifica desplazamientos de píxeles en la dirección vertical y en la dirección horizontal de la pantalla;
    ajustar la posición de un área visualizada de la imagen en base al ajuste de estabilización entre fotogramas, en el que la imagen recibida es más grande que la imagen visualizada y el componente de estabilización electrónica está configurado además para mover un área de la imagen visualizada en la imagen recibida de acuerdo con los desplazamientos de pixeles;
    convertir (706) los desplazamientos de píxeles en un ajuste de la velocidad de barrido o inclinación para el controlador de campo visual mecánico; y
    proporcionar (707) al controlador de campo visual mecánico el ajuste de la velocidad de barrido o inclinación.
  9. 9.
    Aparato según la reivindicación 8, caracterizado por el hecho de que el componente de estabilización electrónica está configurado, además, para ajustar el ajuste de estabilización entre fotogramas para tener en cuenta la velocidad y la orientación de un vehículo de transporte aéreo y la orientación de la cámara de vídeo respecto al vehículo de transporte aéreo.
  10. 10.
    Aparato según la reivindicación 8, caracterizado por el hecho de que el controlador de campo visual mecánico es un sistema de cardán motorizado.
  11. 11.
    Aparato según la reivindicación 8, caracterizado por el hecho de que el componente de estabilización electrónica está configurado, además, para mantener el objeto de las imágenes en la misma posición respecto a la pantalla cuando se visualiza.
  12. 12.
    Aparato según la reivindicación 8, caracterizado por el hecho de que el ajuste de la velocidad de barrido o inclinación se basa en un flujo de imágenes especificado por el usuario.
ES04702245T 2003-01-17 2004-01-14 Jerarquización cooperativa de estabilización mecánica y electrónica para un sistema de cámara aérea Expired - Lifetime ES2379533T3 (es)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US44097603P 2003-01-17 2003-01-17
US44098303P 2003-01-17 2003-01-17
US44097703P 2003-01-17 2003-01-17
US440976P 2003-01-17
US440977P 2003-01-17
US440983P 2003-01-17
US10/726,334 US7876359B2 (en) 2003-01-17 2003-12-01 Cooperative nesting of mechanical and electronic stabilization for an airborne camera system
US726334 2003-12-01
PCT/US2004/001053 WO2004068403A2 (en) 2003-01-17 2004-01-14 Cooperative nesting of mechanical and electronic stabilization for an airborne camera system

Publications (1)

Publication Number Publication Date
ES2379533T3 true ES2379533T3 (es) 2012-04-27

Family

ID=32831095

Family Applications (2)

Application Number Title Priority Date Filing Date
ES12001328.9T Expired - Lifetime ES2487848T3 (es) 2003-01-17 2004-01-14 Jerarquización cooperativa de estabilización mecánica y electrónica para un sistema de cámara aérea
ES04702245T Expired - Lifetime ES2379533T3 (es) 2003-01-17 2004-01-14 Jerarquización cooperativa de estabilización mecánica y electrónica para un sistema de cámara aérea

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES12001328.9T Expired - Lifetime ES2487848T3 (es) 2003-01-17 2004-01-14 Jerarquización cooperativa de estabilización mecánica y electrónica para un sistema de cámara aérea

Country Status (7)

Country Link
US (1) US7876359B2 (es)
EP (2) EP1590768B1 (es)
AT (1) ATE547894T1 (es)
AU (1) AU2004207369B2 (es)
CA (1) CA2513450C (es)
ES (2) ES2487848T3 (es)
WO (1) WO2004068403A2 (es)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602415B2 (en) 2003-01-17 2009-10-13 Insitu, Inc. Compensation for overflight velocity when stabilizing an airborne camera
US7000883B2 (en) 2003-01-17 2006-02-21 The Insitu Group, Inc. Method and apparatus for stabilizing payloads, including airborne cameras
WO2005048605A1 (en) * 2003-11-14 2005-05-26 The Commonwealth Of Australia Synthetic electronic imaging system
US7643066B2 (en) 2004-02-19 2010-01-05 Robert Bosch Gmbh Method and apparatus for producing frame accurate position data in a PTZ dome camera with open loop control
US7742077B2 (en) * 2004-02-19 2010-06-22 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7382400B2 (en) * 2004-02-19 2008-06-03 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7773116B1 (en) * 2006-02-08 2010-08-10 Lockheed Martin Corporation Digital imaging stabilization
US8140200B2 (en) * 2006-11-09 2012-03-20 Insitu, Inc. Turret assemblies for small aerial platforms, including unmanned aircraft, and associated methods
US7643063B2 (en) * 2006-12-29 2010-01-05 The Boeing Company Dual loop stabilization of video camera images
US7936319B2 (en) * 2007-03-08 2011-05-03 Lockheed Martin Corporation Zero-lag image response to pilot head mounted display control
US20090096664A1 (en) * 2007-10-10 2009-04-16 Northrop Grumman Systems Corporation Method, Apparatus and Computer Program Product for Providing Stabilization During a Tracking Operation
US20090201380A1 (en) * 2008-02-12 2009-08-13 Decisive Analytics Corporation Method and apparatus for streamlined wireless data transfer
US8045161B2 (en) * 2008-03-18 2011-10-25 The Board Of Trustees Of The University Of Illinois Robust determination of the anisotropic polarizability of nanoparticles using coherent confocal microscopy
US20120113266A1 (en) * 2009-04-07 2012-05-10 Nextvision Stabilized Systems Ltd Methods of manufacturing a camera system having multiple image sensors
EP2390709A1 (en) * 2010-05-26 2011-11-30 Harman Becker Automotive Systems GmbH Display system with fixed screen image
FR2968499B1 (fr) * 2010-12-06 2013-06-14 Astrium Sas Procede d'utilisation d'un capteur d'image.
JP5784353B2 (ja) * 2011-04-25 2015-09-24 オリンパス株式会社 画像表示装置
US8536503B2 (en) 2011-11-01 2013-09-17 Raytheon Company Faceted retro-mirror for line-of-sight jitter sensing
US9055222B2 (en) * 2012-02-24 2015-06-09 Htc Corporation Electronic device and method for image stabilization
US9359075B1 (en) 2013-04-02 2016-06-07 Hood Technology Corporation Helicopter-mediated system and method for launching and retrieving an aircraft
US10583920B2 (en) 2013-04-02 2020-03-10 Hood Technology Corporation Multicopter-assisted system and method for launching and retrieving a fixed-wing aircraft
US10569868B2 (en) 2013-04-02 2020-02-25 Hood Technology Corporation Multicopter-assisted system and method for launching and retrieving a fixed-wing aircraft
JP6255706B2 (ja) * 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
CN103363960B (zh) * 2013-07-16 2016-03-16 中测新图(北京)遥感技术有限责任公司 一种基于dlt系数大幅面数字航摄仪影像拼接方法
CN103335635B (zh) * 2013-07-17 2015-09-30 中测新图(北京)遥感技术有限责任公司 航摄仪子相机倾斜角度调节方法
US8908102B1 (en) * 2013-09-03 2014-12-09 Google Inc. Generating and/or modifying motion compensation parameters for video stabilization
US9348197B2 (en) 2013-12-24 2016-05-24 Pv Labs Inc. Platform stabilization system
JP6244954B2 (ja) 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
US10696414B2 (en) 2015-04-21 2020-06-30 Gopro, Inc. Aerial capture platform
CN112722300A (zh) 2015-04-21 2021-04-30 高途乐公司 空中捕获平台
CN104869310A (zh) * 2015-05-18 2015-08-26 成都平行视野科技有限公司 基于移动设备gpu和角速度传感器的视频拍摄防抖方法
CN110254734A (zh) 2015-05-27 2019-09-20 高途乐公司 使用稳定用常平架的常平架系统
US9509894B1 (en) * 2015-06-02 2016-11-29 Google Inc. Capturing images using controlled vibration
US10752357B2 (en) 2016-03-22 2020-08-25 Hood Technology Corporation Rotorcraft-assisted system and method for launching and retrieving a fixed-wing aircraft into and from free flight
US10696420B2 (en) 2016-08-17 2020-06-30 Hood Technology Corporation Rotorcraft-assisted system and method for launching and retrieving a fixed-wing aircraft into and from free flight
US10362228B2 (en) 2016-10-22 2019-07-23 Gopro, Inc. Fast attitude error correction
US11204612B2 (en) 2017-01-23 2021-12-21 Hood Technology Corporation Rotorcraft-assisted system and method for launching and retrieving a fixed-wing aircraft
US11524797B2 (en) 2017-05-11 2022-12-13 Hood Technology Corporation Aircraft-retrieval system
US10988257B2 (en) 2017-05-11 2021-04-27 Hood Technology Corporation Aircraft-retrieval system
US11414187B2 (en) 2017-09-06 2022-08-16 Hood Technology Corporation Parasail-assisted systems and methods for launching and retrieving a fixed-wing aircraft into and from free flight
US11027844B2 (en) 2017-09-06 2021-06-08 Hood Technology Corporation Rotorcraft-assisted system for launching and retrieving a fixed-wing aircraft into and from free flight
US11667398B2 (en) 2017-09-06 2023-06-06 Hood Technology Corporation Multicopter-assisted systems and methods for launching and retrieving a fixed-wing aircraft into and from free flight
US11312492B1 (en) 2017-11-09 2022-04-26 Hood Technology Corporation Rotorcraft-assisted systems and methods for launching and retrieving a fixed-wing aircraft into and from free flight
RU2733324C2 (ru) * 2017-11-10 2020-10-01 Публичное акционерное общество Арзамасское научно-производственное предприятие "ТЕМП-АВИА" Система стабилизации изображения на подвижном основании
US11115604B2 (en) 2018-01-02 2021-09-07 Insitu, Inc. Camera apparatus for generating machine vision data and related methods
US10827123B1 (en) 2018-01-05 2020-11-03 Gopro, Inc. Modular image capture systems
US11481997B1 (en) * 2018-03-09 2022-10-25 Snap Inc. Presentation of information from the sky
EP3776065A4 (en) * 2018-03-30 2021-12-29 DRS Network & Imaging Systems, LLC Method and system for scanning of a focal plane array during earth observation imaging
US11235892B2 (en) 2019-05-22 2022-02-01 Hood Technology Corporation Aircraft retrieval system and method
CN110290327B (zh) * 2019-07-01 2020-12-29 戈尔电梯（天津）有限公司 一种电梯监控摄像去抖方法及系统
US20240239531A1 (en) * 2022-08-09 2024-07-18 Pete Bitar Compact and Lightweight Drone Delivery Device called an ArcSpear Electric Jet Drone System Having an Electric Ducted Air Propulsion System and Being Relatively Difficult to Track in Flight

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US758684A (en) * 1903-09-16 1904-05-03 Westinghouse Electric & Mfg Co Moisture-proof case or receptacle.
US3085354A (en) * 1957-01-31 1963-04-16 Westinghouse Electric Corp Multi-gimbal flight simulator
GB1116801A (en) 1963-03-22 1968-06-12 Dehavilland Aircraft Improvements in or relating to homing systems
US3567163A (en) * 1964-10-08 1971-03-02 Martin Marietta Corp Guidance system
US3464115A (en) 1965-11-22 1969-09-02 Robert C Baker Plane of occlusion indicator
US3464116A (en) * 1967-04-06 1969-09-02 Us Air Force Four-axis satellite-tracking mount
US3638502A (en) 1969-12-01 1972-02-01 Westinghouse Canada Ltd Stabilized camera mount
GB2149259B (en) 1983-11-04 1987-08-05 Ferranti Plc Improvements relating to sightline stabilising apparatus
GB8602605D0 (en) * 1986-02-03 1986-03-12 Short Brothers Ltd Mirror assembly
US5347910A (en) 1985-10-15 1994-09-20 The Boeing Company Target acquisition system
CA1268654A (en) * 1985-10-24 1990-05-08 Arkady Kutman Camera support and housing
US4728839A (en) * 1987-02-24 1988-03-01 Remote Technology Corporation Motorized pan/tilt head for remote control
US4989466A (en) 1989-08-02 1991-02-05 Goodman Ronald C Gyroscopically stabilized sensor positioning system
US5116118A (en) 1990-06-28 1992-05-26 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Geometric fiedlity of imaging systems employing sensor arrays
US5259037A (en) * 1991-02-07 1993-11-02 Hughes Training, Inc. Automated video imagery database generation using photogrammetry
US5184521A (en) 1991-11-18 1993-02-09 Nelson Tyler Gyroscopically stabilized apparatus
IL100634A (en) * 1992-01-12 1996-12-05 Israel State Stabilized support for instruments such as forward looking infrared (FLIR) units
DE69434657T2 (de) 1993-06-04 2007-02-15 Sarnoff Corp. System und Verfahren zur elektronischen Bildstabilisierung
US5687249A (en) 1993-09-06 1997-11-11 Nippon Telephone And Telegraph Method and apparatus for extracting features of moving objects
EP0667708A1 (en) 1994-02-11 1995-08-16 Israel Aircraft Industries, Ltd. Modular imaging apparatus
US6195122B1 (en) * 1995-01-31 2001-02-27 Robert Vincent Spatial referenced photography
US5589901A (en) * 1995-05-15 1996-12-31 Means; Kevin P. Apparatus and method for synchronizing search and surveillance devices
JPH09186927A (ja) 1995-12-28 1997-07-15 Sony Corp 追尾装置および追尾方法
US6072571A (en) 1996-04-22 2000-06-06 The United States Of America As Represented By The Secretary Of The Navy Computer controlled optical tracking system
US6100925A (en) 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
US5967458A (en) 1997-06-12 1999-10-19 Hughes Electronics Corporation Slaved reference control loop
US5954310A (en) * 1997-10-03 1999-09-21 Autonomous Effects, Inc. Apparatus and method for positioning a payload about multiple axes
US6396961B1 (en) 1997-11-12 2002-05-28 Sarnoff Corporation Method and apparatus for fixating a camera on a target point using image alignment
US5897223A (en) 1997-11-17 1999-04-27 Wescam Inc. Stabilized platform system for camera
DE19814951C2 (de) * 1998-04-03 2000-08-31 Zeiss Optronik Gmbh Vorrichtung und Verfahren zur digitalen Bildstabilisierung
US6377906B1 (en) 2000-02-03 2002-04-23 Independence Technology, L.L.C. Attitude estimation in tiltable body using modified quaternion data representation
FR2809911B1 (fr) 2000-06-06 2003-01-03 Centre Nat Etd Spatiales Dispositif de prise de vue embarque sur un engin spatial, engin spatial et procede de prise de vue le comprenant
US7038709B1 (en) 2000-11-01 2006-05-02 Gilbert Verghese System and method for tracking a subject
US6424804B1 (en) * 2000-12-27 2002-07-23 Cessna Aircraft Company Modular airborne flir support and extension structure
US7474335B2 (en) * 2001-01-31 2009-01-06 International Business Machines Corporation Method, apparatus and program storage device for image position stabilizer
US6995788B2 (en) 2001-10-10 2006-02-07 Sony Computer Entertainment America Inc. System and method for camera navigation
US20020130953A1 (en) * 2001-03-13 2002-09-19 John Riconda Enhanced display of environmental navigation features to vehicle operator
US7014141B2 (en) * 2001-07-13 2006-03-21 Mission Technologies, Inc. Unmanned airborne reconnaissance system
US6672535B2 (en) * 2002-04-22 2004-01-06 Aerial View Systems, Inc. Camera systems for tracking objects from an aircraft
US6849980B1 (en) * 2003-02-21 2005-02-01 Che Ram Souza Voigt Cross plane wide-gap motor system for gimbal
US6820531B1 (en) * 2003-12-01 2004-11-23 Textron Systems Corporation Positioning system with continuous-range inclination and rotation angles

Also Published As

Publication number Publication date
EP1590768B1 (en) 2012-02-29
AU2004207369A1 (en) 2004-08-12
ES2487848T3 (es) 2014-08-25
WO2004068403A3 (en) 2009-06-18
WO2004068403A2 (en) 2004-08-12
CA2513450A1 (en) 2004-08-12
EP1590768A4 (en) 2010-06-16
EP2463622A3 (en) 2012-07-25
ATE547894T1 (de) 2012-03-15
AU2004207369B2 (en) 2007-12-20
US20040183917A1 (en) 2004-09-23
EP1590768A2 (en) 2005-11-02
EP2463622A2 (en) 2012-06-13
CA2513450C (en) 2012-11-27
EP2463622B1 (en) 2014-05-21
US7876359B2 (en) 2011-01-25
AU2004207369B8 (en) 2004-08-12

Similar Documents

Publication Publication Date Title
ES2379533T3 (es) Jerarquización cooperativa de estabilización mecánica y electrónica para un sistema de cámara aérea
US8405723B2 (en) Compensation for overflight velocity when stabilizing an airborne camera
US10848654B2 (en) Oblique scanning aerial cameras
US20200191568A1 (en) Multi-View Aerial Imaging
US9641736B2 (en) Wide-area aerial camera systems
US11281931B2 (en) Multi-view scanning aerial cameras
CN111586256B (zh) 一种基于二维快速反射镜的动态扫描宽幅成像控制系统及方法
JP2017520002A (ja) 高高度航空カメラシステム
KR101450702B1 (ko) 지상면의 연직촬영 유지를 통한 고정밀 항공촬영 편집방법이 적용된 시스템
CN111026165A (zh) 基于机载光电系统的瞄准线广域扫描控制方法
JPH06105216A (ja) 電子ジンバルシステム
US11284008B2 (en) Multiplexed multi-view scanning aerial cameras
US11831856B2 (en) Multiplexed mutli-view scanning aerial cameras
JPH0743647A (ja) 手振れ補正機能を有する光学機器
CN115993112A (zh) 一种可见光/红外直观飞行器侦测探头
US20240348909A1 (en) Shaped-aperture scanning aerial cameras
RU2011143209A (ru) Способ инерциального автосопровождения заданного объекта визирования и система для его осуществления
Hamilton Strapdown optical stabilization system for EO sensors on moving platforms