EA008402B1 - Размещаемая на транспортном средстве система сбора и обработки данных - Google Patents

Размещаемая на транспортном средстве система сбора и обработки данных Download PDF

Info

Publication number
EA008402B1
EA008402B1 EA200500513A EA200500513A EA008402B1 EA 008402 B1 EA008402 B1 EA 008402B1 EA 200500513 A EA200500513 A EA 200500513A EA 200500513 A EA200500513 A EA 200500513A EA 008402 B1 EA008402 B1 EA 008402B1
Authority
EA
Eurasian Patent Office
Prior art keywords
image forming
sensor
focal axis
vehicle
image
Prior art date
Application number
EA200500513A
Other languages
English (en)
Other versions
EA200500513A1 (ru
Inventor
Честер Л. Смитерман
Лео Дж. Питерз III
Туй Ву Мэй
Original Assignee
М7 Визьюал Интелидженс, Лп
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32030892&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=EA008402(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by М7 Визьюал Интелидженс, Лп filed Critical М7 Визьюал Интелидженс, Лп
Publication of EA200500513A1 publication Critical patent/EA200500513A1/ru
Publication of EA008402B1 publication Critical patent/EA008402B1/ru

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53—Determining attitude

Abstract

Размещенная на транспортном средстве система сбора и обработки данных, которая может использоваться для сбора различных типов данных с самолета в полете или с других движущихся транспортных средств, таких как автомобиль, спутник, поезд и т.д. В различных вариантах осуществления система может включать в себя модули компьютерного пульта управления для управления транспортным средством и работой системой, глобальные системы позиционирования, связанные с возможностью обмена информацией с одним или более компьютерных пультов управления, блоки матрицы камер для формирования изображений объекта, проецируемого через апертуру, связанные с возможностью обмена информацией с одним или более компьютерных пультов управления, блоки определения пространственной ориентации, связанные с возможностью обмена информацией с одним или более компьютерных пультов управления и с одним или более блоков матрицы камер, и модуль монтажа, размещенный в пределах одного или более компьютерных пультов управления, предназначенный для сбора необработанных данных из системы глобального позиционирования, из блока определения пространственной ориентации и из ретинального блока матрицы камер, и для обработки необработанных данных в ортотрансформированные изображения.

Description

Перекрестные ссылки на связанные заявки
Заявители испрашивают приоритет предварительной патентной заявки США № 60/412 504 на размещаемую на транспортном средстве систему сбора и обработки данных от 20 сентября 2002.
Область техники
Настоящее изобретение относится к области дистанционного формирования изображений, более конкретно, к системе формирования цифровых изображений с высоким разрешением высокой точностью и низкими искажениями в пределах очень больших зон обзора.
Предшествующий уровень техники
Дистанционное зондирование и формирование изображений являются широко распространенными технологиями, имеющими множество разнообразных и чрезвычайно важных практических применений таких, как создание геологических карт и геологический анализ, обзор и планирование в военной области, и метеорологическое прогнозирование. Аэрофотосъемка и спутниковая фотосъемка и формирование изображений являются особенно полезными методами дистанционного формирования изображений, которые за последние годы стали основываться на сборе и обработке цифровых изображений, спектральных, пространственных данных, данных рельефа и данных расположения и ориентации транспортных средств. Пространственные данные, которые характеризуют развитие и местоположение недвижимого имущества, дорог и магистралей, угроз для экологии и состояние окружающей среды, инфраструктуры коммунальных услуг (например, телефонные линии, трубопроводы) и геофизические особенности - могут теперь накапливаться, обрабатываться и передаваться в цифровом формате для обеспечения высоко точного картографирования и получения данных наблюдения для различных применений (например, для динамического картографирования системы глобального позиционирования (СР8)). Данные рельефа могут использоваться для улучшения пространственной точности и точности определения положения всей системы и могут быть получены или из существующих наборов данных цифровой модели рельефа (ЦМР, ΌΕΜ), или из спектральных измеренных данных активных устройств измерения излучения на основе доплеровского эффекта, или с помощью пассивных стереографических вычислений.
Основными проблемами, стоящими перед некоторыми такими применениями дистанционного зондирования и формирования изображений, являются пространственное разрешение и спектральная точность. Проблемы фотосъемки, такие как сферические аберрации, астигматизм, кривизна поля изображения, кома, искажение и хроматические аберрации, являются хорошо известными проблемами, с которыми имеют дело при любом применении зондирования/формирования изображения. Некоторые применения требуют очень высокого разрешения изображения - часто с дюймовыми допусками. В зависимости от конкретной используемой системы (например, расположенной на самолете, спутнике или космическом корабле), существующие цифровые устройства формирования изображения могут располагаться где угодно от нескольких футов до миль от соответствующей цели, что приводит к очень высокому коэффициенту масштабирования. Обеспечение изображений с очень высоким коэффициентом масштабирования, которые также имеют дюймовые допуски разрешения, создает сложную проблему даже для самой надежной системы формирования изображения. Таким образом, традиционные системы обычно должны идти на некоторый компромисс между качеством разрешения и размером целевой области, для которой может формироваться изображение. Если система разрабатывается для обеспечения цифровых изображений с высоким разрешением, то зона обзора (поле зрения) (ЕОУ) устройства формирования изображения обычно является малой. Если система обеспечивает большое поле зрения, то обычно разрешение спектральных и пространственных данных уменьшается, а искажения увеличиваются.
Формирование ортогональных изображений (ортоизображений) является методом, который использовался в попытке решить эту проблему. В общем случае, при формировании ортоизображения создается составное изображение объекта путем компилирования отличающихся фрагментов изображений объекта. Как правило, в применении к формированию изображений с воздуха, цифровое устройство формирования изображения, которое имеет конечную дальность действия и разрешающую способность, последовательно записывает изображения фиксированных частей целевой области. Эти изображения затем совмещают в соответствии с некоторой последовательностью для формирования составного изображения целевой области.
Часто такие процессы формирования изображения отнимают очень много времени и являются очень трудоемкими. Во многих случаях эти процессы требуют итерационной обработки, которая в известной мере ухудшает качество и разрешение изображения особенно в случаях, когда обрабатываются тысячи фрагментов изображения. В случаях, когда данные для создания изображения могут обрабатываться автоматически, эти данные часто периодически преобразуют и дискретизируют, что уменьшает точность цветопередачи и резкость изображения с каждой последовательной манипуляцией. Если используют системы автоматической коррекции или выравнивания, то такие системы могут быть чувствительными к аномалиям изображения (например, к необычно ярким или темным объектам), что приводит к слишком большой или к недостаточной коррекции и к ненадежной интерпретации данных изображения. В случаях, когда требуется или необходима ручная обработка изображений, затраты времени и труда являются огромными.
Поэтому существует потребность в системе создания ортоизображений, которая обеспечивает эф
- 1 008402 фективное и универсальное формирование изображений для очень больших РОУ и связанных с ними наборов данных, при поддержании качества, точности, точности определения положения и четкости изображения. Дополнительно, алгоритмы автоматизации широко применяют на каждой фазе планирования, сбора, управления и обработки всех связанных операций.
Сущность изобретения
Настоящее изобретение относится к размещаемой на транспортном средстве системе сбора и обработки данных с использованием дистанционных сенсоров. Данная система может включать в себя модули компьютерного пульта управления, которые управляют транспортным средством и работой системы в реальном времени. Система может также включать в себя системы глобального позиционирования, которые связаны и осуществляют обмен данными с компьютерными пультами. Дополнительно, камеры и/или блоки матрицы камер могут использоваться для формирования изображения объекта, проецируемого через апертуру. Блоки матрицы камер соединяют с возможностью обмена информацией с компьютерными пультами. Блок матрицы камер имеет корпус для монтажа, первый сенсор формирования изображения, присоединенный в центре корпуса, имеющий первую фокальную ось, проходящую через апертуру. Блок матрицы камер также имеет второй сенсор формирования изображения, присоединенный к корпусу и смещенный от первого сенсора формирования изображения по оси, который имеет вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения. Блок матрицы камер имеет третий сенсор формирования изображения, присоединенный к корпусу и смещенный от первого сенсора формирования изображения по оси в сторону, противоположную второму сенсору формирования изображения, который имеет третью фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения. Таким образом может использоваться любое количество от одной до η камер, где η может быть любым нечетным или четным числом.
Система может также включать в себя блок определения пространственной ориентации (БОПО, АМи), такой как инерционные, оптические или подобные блоки измерения, соединенные с возможностью обмена информацией с компьютерными пультами и блоками матрицы камер. БОПО может определять углы рыскания, тангажа и/или крена самолета в любой момент времени и последовательные позиции дифференциальной системы глобального позиционирования (ΌΟΡ8) могут использоваться для определения курса (направления полета) транспортного средства относительно геодезического севера. Данные БОПО объединяют с точными данными ΌΟΡ8 для создания надежной системы БОПО в реальном времени. Система может дополнительно включать в себя модуль монтажа, размещенный в пределах компьютерных пультов. Модуль монтажа включает в себя первый компонент для выполнения начальной обработки входного изображения. Модуль монтажа также включает в себя второй компонент для определения географических границ входного изображения, причем второй компонент используется совместно с первым компонентом. Модуль монтажа дополнительно включает в себя третий компонент для отображения входного изображения на составное изображение с точным географическим местоположением. Третий компонент используется совместно с первым и вторым компонентами. Модуль монтажа также включает в себя четвертый компонент для цветового выравнивания входных изображений, отображаемых на составное изображение. Четвертый компонент может использоваться совместно с первым, вторым и третьим компонентами. Дополнительно, модуль монтажа может включать в себя пятый компонент для плавного сопряжения границ между смежными входными изображениями, отображаемыми на составное изображение. Пятый компонент используется совместно с первым, вторым, третьим и четвертым компонентами.
Шестой компонент, дополнительная передняя наклонная и/или дополнительная тыловая наклонная система матрицы камер, может быть реализована для получения данных наклонного изображения и для объединения данных изображения с результатами определения пространственной ориентации и местоположения для создания цифровой модели рельефа с использованием стереографических методов. Создание цифровой модели рельефа может выполняться в реальном времени на борту транспортного средства или обрабатываться позднее. Этот шестой компонент работает совместно с другими компонентами. Все компоненты могут монтироваться на жесткой платформе для обеспечения совместной регистрации данных сенсора. Колебания, турбулентность и другие силы могут действовать на транспортное средство, таким образом создавая ошибки юстировки между сенсорами. Использование общей жесткой платформы для установки сенсоров обеспечивает значительное преимущество перед другими системами, которые не используют такую архитектуру совместной регистрации.
Краткое описание чертежей
Изобретение поясняется далее на примерах осуществления, иллюстрируемых чертежами, на которых одинаковыми ссылочными позициями обозначены соответствующие элементы и на которых представлено следующее:
фиг. 1 - размещенная на транспортном средстве система сбора и обработки данных настоящего изобретения;
фиг. 2 - размещенная на транспортном средстве система сбора и обработки данных по фиг. 1 с блоком матрицы камер настоящего изобретения, показанным более подробно;
- 2 008402 фиг. 3 - блок матрицы камер в соответствии с определенными аспектами настоящего изобретения; фиг. 4 - один из вариантов осуществления образца формирования изображений, получаемых с помощью блока матрицы камер по фиг. 1;
фиг. 5 - образец формирования изображений, иллюстрирующий определенные аспекты настоящего изобретения;
фиг. 6 - полоса изображения (монтаж маршрутных аэрофотоснимков) в соответствии с настоящим изобретением;
фиг. 7 - другой вариант осуществления полосы изображения в соответствии с настоящим изобретением;
фиг. 8 - один из вариантов осуществления процесса формирования изображения в соответствии с настоящим изобретением;
фиг. 9 - схематичное представление совмещения фотоснимков, сделанных с помощью блока матрицы камер для создания отдельного кадра;
фиг. 10 - структурная схема логического устройства обработки согласно некоторым вариантам осуществления настоящего изобретения;
фиг. 11 - изображение нижнего обзора с дискретизацией с повышенной частотой в поперечном направлении с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения;
фиг. 12 - изображение нижнего обзора с дискретизацией с повышенной частотой в поперечном направлении с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения;
фиг. 13 - изображение нижнего обзора с дискретизацией с повышенной частотой вдоль линии полета с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения;
фиг. 14 - изображение нижнего обзора с дискретизацией с повышенной частотой вдоль линии полета с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения;
фиг. 15 - изображение нижнего обзора с постепенным увеличением с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения;
фиг. 16 - изображение нижнего обзора с постепенным увеличением с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения;
фиг. 17 - изображение нижнего обзора с постепенным увеличением с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения; и фиг. 18 - схема архитектуры системы согласно некоторым вариантам осуществления настоящего изобретения.
Подробное описание изобретения
Хотя создание и использование различных вариантов осуществления настоящего изобретения подробно описано ниже, понятно, что настоящее изобретение предусматривает множество применимых изобретательских концепций, которые могут быть воплощены в широком разнообразии определенных контекстов. Конкретные описанные варианты осуществления являются просто иллюстрациями конкретных способов создания и использования данного изобретения и не ограничивают объем изобретения.
На фиг. 1 показана размещаемая на транспортном средстве система 100 сбора и обработки данных, соответствующая настоящему изобретению. Дополнительные аспекты и варианты осуществления настоящего изобретения показаны на фиг. 2 и 18. Система 100 включает в себя один или большее количество компьютерных пультов 102 управления. Компьютерные пульты управления содержат один или большее количество компьютеров 104 для управления транспортным средством и работой системы. Примерами функций компьютерного пульта управления являются управление системами цифровых цветных сенсоров, которые могут быть связаны с системой сбора и обработки данных, обеспечивая пилота отображаемыми данными, координация запуска генерируемых спутником СР8 секундных импульсов (РР8) (количество которых может быть 20 или больше импульсов в секунду), регистрация данных, настройка и управление сенсорами, проверка и выдача сигнала тревоги для ошибочных событий, запись и индексирование фотоснимков, хранение и обработка данных, возможность планирования полета, позволяющая автоматизировать навигацию транспортного средства, и обеспечение отображения в реальном времени необходимой информации. Коммуникационный интерфейс между компьютерным пультом управления и средством управления автопилотом транспортного средства обеспечивает возможность действительного управления траекторией полета транспортного средства в реальном времени. Это обеспечивает более точное управление траекторией движения транспортного средства, по сравнению с обеспечиваемым человеком. Все эти функции могут быть реализованы при помощи различных компьютерных программ, которые синхронизированы с РР8 сигналами системы СР8 и учитывают различные электрические задержки устройств измерения.
Система 100 включает в себя одну или большее количество дифференциальных систем 106 глобального позиционирования (ЭСР8). Системы 106 глобального позиционирования используются для навигации и определения точной траектории полета во время работы транспортного средства и системы. Для достижения этого, системы 106 глобального позиционирования соединяют с возможностью обмена
- 3 008402 информацией с компьютерным пультом 102 управления так, что информация от систем 106 глобального позиционирования может быть получена и обработана без прерывания полета. Нулевое или большее количество модулей СР8 могут располагаться в известных точках наблюдения для обеспечения регистрации суб-секундных изменений спутниковой СР8. чтобы скорректировать точность системы 100.
Могут использоваться СР8 и/или службы позиционирования наземного базирования. что целиком устраняет потребность в наземных пунктах управления. Этот метод приводит к повышенной субсекундной точности определения местоположения транспортного средства для сбора данных.
Один или большее количество БОПО 108. которые обеспечивают в реальном времени информацию углов рыскания. тангажа и крена. которая используется для точного определения ориентации транспортного средства в момент сбора данных. также связаны с возможностью обмена данными с компьютерным пультом 102. Существующий блок определения пространственной ориентации (БОПО) (например РО8 Арр1ашх ЛУ) использует три высокоэффективных оптоволоконных гироскопа. по одному гироскопу для измерения каждого из углов рыскания. тангажа и крена. Могут также использоваться БОПО других производителей. и БОПО. которые используют другие устройства инерциальных измерений.
Дополнительно. БОПО может использоваться для определения мгновенной ориентации транспортного средства и для повышения устойчивости системы к статистическим ошибкам в отсчетах данных БОПО. С БОПО может быть связан один или более многочастотных приемников ЭСР8 110. Данные многочастотных приемников ЭСР8 110 могут объединяться с данными ориентации БОПО - углами рыскания. тангажа. и крена - для более точного определения местоположения платформы дистанционных сенсоров в трехмерном пространстве. Дополнительно. направление геодезического севера может определяться с помощью вектора. сформированного посредством последовательных местоположений ΌΟΡ8. зарегистрированных синхронно с РР8 сигналами СР8.
Один или более блоков 112 матрицы камер для формирования изображения объекта. проецируемого через апертуру. также соединены с возможностью обмена информацией с одним или более компьютерных пультов 102 управления. Блоки 112 матрицы камер. которые описаны более подробно ниже. предоставляют системе сбора и обработки данных возможность фиксировать с высокой точностью с высоким разрешением последовательно сканированную или построчно сканированную цветную цифровую фотографию.
Система может также включать в себя оборудование 114 электропитания постоянного тока и преобразования. предназначенное для преобразования мощности питания постоянного тока и для преобразования напряжения постоянного тока в напряжение переменного тока для обеспечения электропитания системы. Система может дополнительно включать в себя навигационный дисплей 116. который в графической форме отображает местоположение транспортного средства относительно плана полета для использования пилотом (на борту или дистанционно) транспортного средства. чтобы обеспечить точные траектории полета в горизонтальной и вертикальной плоскостях. Система может также включать в себя модуль ЕМи. содержащий лидар. 8ЛР (радиолокатор с синтезированной апертурой) 118 или переднюю и тыловую наклонные матрицы камер для фиксации трехмерных данных рельефа. Модуль ЕМи 118 может включать в себя лазерный модуль 120. модуль 122 управления ЕМи и компьютер 124 управления ЕМи. Устройства управления температурой. такие как полупроводниковые модули охлаждения. могут также использоваться при необходимости для обеспечения надлежащих температурных условий для системы.
Система также включает в себя модуль монтажа. который не показан. размещенный в компьютерном пульте 102 управления. Модуль монтажа. который описан более подробно ниже. обеспечивает системе возможность сбора данных. полученных системой 106 глобального позиционирования. БОПО 108 и системой 112 камер. и обработки этих данных для получения пригодных для использования ортокарт.
Система 100 также может использовать метод самосинхронизирующейся модели полета. которая обеспечивает возможность микрокоррекции точности по положению смежных траекторий полета для достижения точности. которая превышает точность. присущую самим сенсорам БОПО и ЭСР8.
Методология планирования всего полета используется для микропланирования всех аспектов заданий. Входной информацией являются различные параметры задания (широта/долгота. разрешение. цвет. точность и т.д.). а выходной информацией являются подробные оперативные цифровые карты и файлы данных. которые хранятся на борту транспортного средства сбора данных и используются для навигации и предупреждения об опасности в реальном времени. Возможность передавать данные планирования полета непосредственно в автопилот является дополнительной интегрированной возможностью. Может использоваться компьютерная программа. которая автоматически управляет траекторией полета. корректировкой ориентации. графическим дисплеем. перемещая карты траектории транспортного средства. проверяет условия возникновения опасности и корректирующие действия. уведомляет пилота и/или экипаж обо всех состояниях системы и обеспечивает отказоустойчивую работу и управление. Параметры надежных операций могут постоянно контролироваться и сообщаться. Хотя существующая система использует укомплектованный людьми экипаж. данная система спроектирована также для работы на беспилотном транспортном средстве.
Фиг. 2 показывает другую иллюстрацию настоящего изобретения. На фиг. 2 блок 112 матрицы ка
- 4 008402 мер показан более подробно. Как показано, блок 112 матрицы камер дает возможность получать изображения из наклонного тылового, наклонного переднего и надирного (соответствующего точке стояния) положений. Фиг. 3 описывает более подробно блок матрицы камер настоящего изобретения. Фиг. 3 обеспечивает блок 300 матрицы камер, находящийся на борту летательного аппарата над объектом 302 (например, местностью). В иллюстративных целях на фиг. 3 относительный размер блока 300 и относительное расстояние между ним и местностью 302 изображены не в масштабе. Блок 300 матрицы камер содержит корпус 304, в котором сенсоры 306, 308, 310, 312 и 314 формирования изображения расположены на вогнутой криволинейной оси 316. Радиус кривизны оси 316 может значительно изменяться, обеспечивая возможность создания едва заметных или очень больших степеней вогнутости оси 316. Альтернативно, ось 316 может быть полностью линейной - не имеющей вообще никаких искривлений. Сенсоры 306, 308, 310, 312 и 314 формирования изображения связаны с корпусом 304, или непосредственно, или опосредованно, с помощью соединительных элементов 318.
Соединительные элементы 318 могут содержать множество фиксированных или динамических, постоянных или временных соединительных устройств. Например, соединительные элементы 318 могут содержать простые сварные соединения, съемные зажимные приспособления или управляемые электромеханическим образом универсальные шарниры.
Дополнительно, система 100 может иметь встроенную навигационную систему реального времени для обеспечения визуального отображения с биологической обратной связью пилоту транспортного средства, или дистанционного отображения в случае работы в беспилотном транспортном средстве. Пилот способен корректировать в реальном времени местоположение транспортного средства для обеспечения более точной траектории полета. Пилот может находиться на борту транспортного средства или располагаться удаленно и использовать дисплей полета для управления транспортным средством по каналу связи.
Система 100 может также использовать разработанные отказоустойчивые методы, которые предусматривают методологию дискового запоминающего устройства с программным перемежением, допускающую выход из строя одного или двух жестких дисков без потерь целевых данных, которые хранятся на устройствах. Данная методология дискового запоминающегося устройства с программным перемежением обеспечивает превосходную отказоустойчивость и портативность относительно других методологий аппаратных средств, таких как ΡΑΙΌ-5 (матрица независимых дисковых накопителей с избыточностью).
В системе 100 может также быть реализована разработанная методология, которая предоставляет возможность осуществления короткого этапа калибровки непосредственно перед сбором данных задания. Этап методологии калибровки корректирует параметры настройки камеры, главным образом время экспонирования, на основе взятия выборок интенсивности окружающего света и установки близких к оптимальным значений непосредственно перед достижением области, представляющей интерес. Затем используется алгоритм скользящего среднего для посекундной корректировки камеры для создания улучшенных, непротиворечивых результатов фотосъемки. Это улучшает цветную обработку ортокарт. Дополнительно, калибровка может использоваться для проверки или установки точного пространственного местоположения каждого сенсорного устройства (камеры, ΌΡΟ, БОПО, ЕМи и т.д.). Таким образом могут учитываться изменения, которые могут происходить в пространственном местоположении этих устройств, и могут поддерживаться показатели точности всей системы.
Дополнительно, в системе 100 может быть реализована разработанная методология, которая предоставляет возможность калибровки точного местоположения и ориентации каждого сенсорного устройства (камеры, ΌΡΟ, БОПО, ЕМи и т.д.) на транспортном средстве при полете над областью, которая содержит множество известных, видимых, высокоточных географических местоположений. Программа использует эти данные в качестве входных данных и выводит микропозиционные данные, которые затем используются для точной обработки ортокарт.
Как показано на фиг. 3, корпус 304 содержит простую полость, в которой располагаются сенсоры 306, 308, 310, 312 и 314 формирования изображения. Хотя фиг. 3 изображает матрицу из 5 камер, данная система одинаково хорошо работает при использовании любого количества камер-сенсоров от 1 до любого числа. Сенсоры 306-314 связаны через соединительные элементы 318 или все вместе с одним пересекающим поперечным элементом конструкции, или по отдельности с боковыми поперечными элементами конструкции, расположенными между противоположными стенками корпуса 304. В альтернативных вариантах осуществления сам корпус 304 может содержать только поддерживающий поперечный элемент конструкции с вогнутым искривлением, с которым сенсоры 306-314 формирования изображения присоединены через соединительные элементы 318. В других вариантах осуществления корпус 304 может содержать гибридную комбинацию полости и поддерживающего поперечного элемента конструкции. Корпус 304 дополнительно содержит апертуру 320, сформированную в его поверхности, между сенсорами формирования изображения и объектом 302. В зависимости от конкретного типа транспортного средства, на котором установлено оборудование, апертура 320 может содержать только пустоту, или она может содержать защитный экран или окно для поддержания целостности среды внутри корпуса 304. Если для какого-либо сенсора используется защитная прозрачная пластина, могут применяться специ
- 5 008402 альные покрытия для пластины для улучшения качества данных сенсора. Дополнительно, апертура 320 может содержать линзу или другое оптическое устройство для улучшения или изменения характера изображений, регистрируемых сенсорами. Апертура 320 формируется с размерами и формой, достаточными для обеспечения сенсорам 306-314 формирования изображения надлежащих линий визирования целевой области 322 на местности 302.
Сенсоры 306-314 формирования изображения расположены в пределах или вдоль корпуса 304 так, что фокальные оси всех сенсоров сходятся и пересекают друг друга в пределах области пересечения, ограниченной апертурой 320. В зависимости от типа накапливаемых данных изображения, используемых определенных сенсоров формирования изображения и другой оптики или оборудования, может быть необходимо или желательно смещать область пересечения или точку сходимости выше или ниже апертуры 320. Сенсоры 306-314 формирования изображения отделены друг от друга угловыми интервалами. Точный угол смещения между сенсорами формирования изображения может изменяться в значительной степени в зависимости от количества используемых сенсоров формирования изображения и от типа накапливаемых данных формирования изображения. Угловое смещение между сенсорами формирования изображения может также быть неодинаковым, если требуется, чтобы обеспечить необходимое смещение изображения или юстировку. В зависимости от количества используемых сенсоров формирования изображения и конкретной конфигурации матрицы, фокальные оси всех сенсоров формирования изображения могут пересекаться в одной и той же точке, или они могут пересекаться во множестве точек, которые все находятся в непосредственной близости друг от друга и в пределах области пересечения, определенной апертурой 320.
Как показано на фиг. 3, сенсор 310 формирования изображения расположен по центру в пределах корпуса 304 на оси 316. Сенсор 310 формирования изображения имеет фокальную ось 324, направленную перпендикулярно корпусу 304 для совмещения линии визирования сенсора формирования изображения с зоной 326 формирования изображения области 322. Сенсор 308 формирования изображения расположен в пределах корпуса 304 на оси 316, рядом с сенсором 310 формирования изображения. Сенсор 308 формирования изображения выровнен так, что его линия визирования совпадает с зоной 328 формирования изображения области 322, и так, что его фокальная ось 330 сходится и пересекается с осью 324 в пределах области, ограниченной апертурой 320. Сенсор 312 формирования изображения расположен в пределах корпуса 304 рядом с сенсором 310 формирования изображения, на противоположной стороне оси 316 от сенсора 308 формирования изображения. Сенсор 312 формирования изображения выровнен так, что его линия визирования совпадает с зоной 332 формирования изображения области 322, и так, что его фокальная ось 334 сходится и пересекается с осями 324 и 330 в пределах области, ограниченной апертурой 320. Сенсор 306 формирования изображения расположен в пределах корпуса 304 на оси 316 рядом с сенсором 308. Сенсор 306 формирования изображения выровнен так, что его линия визирования совпадает с зоной 336 формирования изображения области 322, и так, что его фокальная ось 338 сходится и пересекается с другими фокальными осями в пределах области, ограниченной апертурой 320. Сенсор 314 формирования изображения расположен в пределах корпуса 304 рядом с сенсором 312, на противоположной стороне оси 316 от сенсора 306. Сенсор 314 формирования изображения выровнен так, что его линия визирования совпадает с зоной 340 формирования изображения области 322, и так, что его фокальная ось 344 сходится и пересекается с другими фокальными осями в пределах области, ограниченной апертурой 320.
Сенсоры 306-314 формирования изображения могут содержать множество цифровых устройств формирования изображения, которые включают в себя, например, камеры сканирования отдельной области, камеры линейного сканирования, инфракрасные сенсоры, гиперспектральные и/или сейсмические сенсоры. Каждый сенсор может быть отдельным устройством формирования изображения, или может сам содержать матрицу формирования изображения. Все сенсоры 306-314 формирования изображения могут иметь гомогенный характер, или они могут быть комбинацией различных устройств формирования изображения. Для простоты ссылки, сенсоры 306-314 формирования изображения далее упоминаются как камеры 306-314, соответственно.
В широкоформатных или цифровых фотокамерах искажение в линзах является обычно источником проблем формирования изображения. Каждая отдельная линза должна быть тщательно откалибрована для определения точных факторов искажения. В одном из вариантов осуществления данного изобретения используют малоформатные цифровые камеры, имеющие размеры угла линзы 17° или меньше. Это эффективно и до допустимой степени уменьшает видимое искажение.
Камеры 306-314 поочередно расположены в пределах корпуса 304 на оси 316 так, что фокальные оси камер сходятся на апертуре 320, пересекают фокальную ось 324, и совмещают поле зрения с целевой зоной напротив ее соответствующего расположения в матрице, что приводит к «перекрестной», ретинальной зависимости между камерами и объектом(ами) формирования изображения. Блок 300 матрицы камер конфигурирован так, что примыкающие границы зон 326, 328, 332, 336 и 340 формирования изображений незначительно перекрываются.
Если соединительные элементы 318 имеют постоянный и стационарный характер (например, сварное соединение), то пространственная зависимость между апертурой 320, камерами и их линиями визи
- 6 008402 рования остается фиксированной, как и пространственное соотношение между зонами 326, 328, 332, 336 и 340 формирования изображений. Такая конфигурация может быть желательной, например, при спутниковом наблюдении, когда блок 300 матрицы камер остается по существу на неизменяемом расстоянии от области 322. Расположение и выравнивание камер установлены так, что зоны 326, 328, 332, 336 и 340 обеспечивают полный охват области 322 формирования изображения. Однако если соединительные элементы 318 являются временными или настраиваемыми, то может потребоваться выборочно корректировать вручную или автоматически дистанционно расположение или выравнивание камер, чтобы сдвигать, сужать или расширять зоны 326, 328, 332, 336 и 340 - и таким образом улучшать или изменять качество изображений, получаемых блоком 300 матрицы камер.
Камера 310 определена в качестве основной камеры. Плоскость изображения 326 камеры 310 служит эталонной плоскостью. Ориентации других камер 306, 308, 312 и 314 измеряются относительно эталонной плоскости. Относительные ориентации каждой камеры измеряются в углах рыскания, тангажа и крена, требуемых для поворота плоскости изображения камеры так, чтобы она стала параллельной эталонной плоскости. Порядок вращений следующий: крен, тангаж и рыскание.
На фиг. 2 изображения зон 336, 328, 326, 332 и 340, сформированные с помощью камер 306-314, соответственно, показаны как вид сверху. Снова, из-за «перекрестного» расположения, изображение зоны 336 снято камерой 306, изображение зоны 340 снято камерой 314, и так далее. В одном из вариантов осуществления настоящего изобретения изображения иные, чем снятые центральной камерой 310, имеют трапециевидную форму после преобразования перспективы. Камеры 306-314 формируют матрицу по оси 316, т.е. в большинстве применений они ориентированы вертикально вниз. В альтернативном варианте осуществления вторая матрица камер, которая сконфигурирована подобно матрице камер 306-314, выровнена относительно первой матрицы камер для получения косоугольной проекции, обеспечивая перспективу вперед. Угол наклона от горизонтали ориентированного вперед блока матрицы камер может изменяться с учетом целей и параметров задания, но обычно значения углов равны 25-45°. Другие альтернативные варианты осуществления, предусматривающие изменение установки матриц камер, включены в объем настоящего изобретения. Во всех таких вариантах осуществления относительное местоположение и ориентация камер точно измеряются и калибруются для облегчения обработки изображений в соответствии с настоящим изобретением.
В одном из вариантов осуществления настоящего изобретения, внешний механизм (например, синхро-сигнал СР8) используется для одновременного запуска камер для получения массива входных изображений. Модуль монтажа аэрофотоснимков затем обрабатывает отдельные входные изображения из такого массива в орто-корректированное составное изображение (или монтаж аэрофотоснимков, фотоплан), без каких-либо видимых швов между смежными изображениями. Модуль монтажа аэрофотоснимков выполняет ряд задач, содержащих: определение географических границ и размерностей каждого входного изображения; отображение каждого входного изображения на фотоплан с точным географическим позиционированием; цветовое выравнивание изображений в фотоплане; и сопряжение смежных входных изображений на их общих швах. Точный порядок выполняемых задач может изменяться в зависимости от размера и характера данных входных изображений. В определенных вариантах осуществления модуль монтажа аэрофотоснимков выполняет только одно преобразование для исходного входного изображения во время формирования фотоплана. Это преобразование может быть представлено матрицей 4x4. Путем объединения множества матриц преобразования в одну матрицу, продолжительность обработки уменьшается, а исходная резкость входного изображения сохраняется.
При отображении входных изображений на фотоплан, особенно когда формирование фотоплана выполняется с высоким разрешением, пиксели на фотоплане (т.е. выходные пиксели) могут не отображаться какими-либо пикселями во входных изображениях (т.е. входных пикселей). Деформированные линии могут потенциально привести к искажениям на фотоплане. Определенные варианты осуществления настоящего изобретения преодолевают это с помощью системы сверх-дискретизации, где каждый входной и выходной пиксель дополнительно делится на сетку из η х т суб-пикселей. Преобразование выполняется на суб-пиксельной основе. Конечное значение выходного пикселя является средним значением его субпикселей, для которых существует соответствующий входной субпиксель. Большие значения η и т формируют фотопланы с более высоким разрешением, но требуют дополнительного времени обработки.
При обработке данных изображения модуль монтажа аэрофотоснимков может использовать следующую информацию: расположение в пространстве (например, координаты х, у, ζ) фокуса каждой камеры в момент съемки входного изображения; ориентация в пространстве (т.е. углы рыскания, тангажа и крена) плоскости изображения каждой камеры относительно плоскости земли целевой области в момент времени съемки входного изображения; поля зрения каждой камеры (т.е. в направлении движения и перпендикулярно направлению движения); и цифровую модель местности (ЦММ, ΌΤΜ) данной области. Ориентация в пространстве может быть обеспечена с помощью БОПО, связанного с системой. Цифровые модели местности (ЦММ) или цифровые модели поверхности (ЦМП, Ό8Μ) могут создаваться из информации, полученной с помощью использования модуля 118 лидара. Лидар подобен более традиционному радиолокатору и может представлять собой лазерный локатор. В радиолокаторе радиоволны передаются
- 7 008402 в атмосферу, которая рассеивает часть энергии назад в приемник радиолокатора. Лидар также передает и принимает электромагнитное излучение, но с более высокой частотой, так как он работает в ультрафиолетовой, видимой и инфракрасной области электромагнитного спектра. При работе лидар передает свет к целевой области. Переданный свет взаимодействует и изменяется целевой областью. Часть этого света отражается/рассеивается назад на прибор лидар, где он может анализироваться. Изменение в свойствах света дает возможность определять некоторые свойства целевой области. Время, необходимое свету, чтобы дойти до целевой области и назад в лидар, используется для определения расстояния до объекта.
Наборы данных ЦММ и ЦМП могут таким образом быть получены от блока матрицы камер. Могут также использоваться традиционные средства получения данных рельефа, такие как стереографические методы.
В настоящее время существуют три основных типа лидаров: дальномерный лидар, лидар дифференциального поглощения (ДП, ΌΙΑΕ) и доплеровский лидар. Дальномерный лидар является самым простым лидаром и используется для измерения расстояния от лидара до сплошной или твердой цели. Лидар дифференциального поглощения используется для измерения химических концентраций (таких как озон, водяной пар, загрязнители) в атмосфере. Лидар дифференциального поглощения использует две различные лазерные длины волн, которые выбираются так, чтобы одна длина волны поглощалась молекулами, представляющими интерес, в то время как другая длина волны не поглощалась. Различие в интенсивно сти двух возвращаемых сигналов может использоваться для определения концентрации исследуемых молекул. Доплеровский лидар используется для измерения скорости цели. Когда свет, передаваемый от лидара, попадает на цель, движущуюся к лидару или от лидара, длина волны света, отраженного от цели/рассеянного целью, будет несколько изменена. Это известно как доплеровский сдвиг, и поэтому его называют доплеровским лидаром. Если цель движется от лидара, то возвращаемый свет будет иметь более длинную длину волны (иногда называют красным сдвигом), при движении к лидару возвращаемый свет будет иметь более короткую длину волны (синий сдвиг). Цель может быть или твердой целью, или атмосферным объектом (например, микроскопической пылью и аэрозольными частицами, переносимыми ветром).
Фокальная точка камеры используется как центр преобразования перспективы. Ее местоположение в пространстве определяется, например, с помощью последующей обработки фазы многочастотной несущей системой СР8, установленной на летательном аппарате-носителе. Смещения по трем измерениям фокальной точки камеры должны быть тщательно измерены относительно центра антенны СР 8. Эти смещения используют совместно с данными местоположения антенны СР8 и ориентацией летательного аппарата-носителя для определения точного местоположения фокальной точки камеры. Местоположение антенны СР8 определяется с помощью послеполетной обработки собранных данных СР8 относительно подобных наземных антенн СР8, развернутых в точно наблюдаемых точках.
Один или большее количество БОПО (например, РО8 Арр1ашх АУ) устанавливаются на борту для определения ориентации. Ориентация эталонной плоскости БОПО относительно плоскости земли целевой области измеряется и регистрируется с короткими интервалами, с точностью лучше, чем одна сотая градуса. Ориентация эталонной плоскости БОПО определяется как последовательность поворотов, которые могут выполняться относительно осей этой плоскости для того, чтобы сделать ее параллельной плоскости земли. Термин «выравнивание» также используется для описания этой операции.
Ориентация центральной камеры 310 (т.е. плоскость ее изображения) относительно БОПО должна быть тщательно откалибрована. Ориентация каждой из других камер относительно центральной камеры 310 также должна быть тщательно откалибрована. Эта относительная калибровка более эффективна, чем прямая калибровка каждой камеры. Когда блок 300 матрицы камер устанавливается повторно, необходимо будет повторно калибровать только центральную камеру 310. Фактически, к входному изображению от центральной камеры 310 применяется последовательность из двух преобразований. Сначала, плоскость изображения центральной камеры совмещается с плоскостью БОПО. Затем, плоскость БОПО снова совмещается с плоскостью земли. Эти преобразования, однако, объединяют в одну операцию путем умножения на соответствующие им матрицы преобразования. Для изображений от каждой из других камер, сначала выполняется дополнительное преобразование для совмещения ее с плоскостью изображения центральной камеры.
Местоположение фокальной точки центральной камеры 310 определяется так, как описано выше. Компоненты х и у этого местоположения определяют местоположение точки 400 стояния монтажа аэрофотоснимков на земле. Углы поля зрения (ЕОУ) каждой камеры известны, таким образом размеры каждого входного изображения могут определяться с помощью компонента ζ фокальной точки этой камеры. Средняя высота над уровнем моря местности определяется с помощью вычисления средней высоты над уровнем моря точек в ЦММ области, и затем каждое входное изображение проектируется на воображаемую горизонтальную плоскость при этой высоте. Затем применяется смещение рельефа с использованием ЦММ данной области. ЦММ может быть получена из многих источников, которые включают в себя: 30-или 10-метровая ЦММ И8С8, доступная для большей части территории США; коммерческая ЦММ; или ЦММ, полученная лидаром или 8АК ЕМИ, установленном на летательном аппарате-носителе, который обеспечивает сбор данных одновременно с камерами.
- 8 008402
Помимо географически правильного размещения, результирующее составное изображение также должно иметь согласование цветов по всему изображению и не иметь видимых швов в соединениях между двумя смежными изображениями. Настоящее изобретение обеспечивает ряд методов для достижения этой цели.
Характеристикой обычной камеры является время экспонирования (т.е. время, когда затвор фотообъектива остается открытым для попадания света в плоскость изображения). Чем дольше время экспонирования, тем светлее становится результирующее изображение. Время экспонирования должно настраиваться к изменениям в окружающем освещении, вызванным такими условиями, как: облачность; угол и расположение солнца относительно камеры; и т.д. Оптимальное время экспонирования может также зависеть от ориентации камеры относительно источников освещения (например, камеры, ориентированные по направлению к освещенному солнцем объекту, обычно принимают больше окружающего света, чем те, которые ориентированы в направлении к затененному объекту). Время экспонирования настраивается для сохранения средней интенсивности изображения в пределах определенного требуемого диапазона. Например, в 24-битовых цветных изображениях каждый красный, зеленый и синий компонент может иметь значения интенсивности от 0 до 255. Однако в большинстве случаев желательно поддерживать среднюю интенсивность на среднем значении (т.е. 127).
В настоящем изобретении модуль управления экспонированием управляет временем экспонирования для каждой из камер или сенсоров формирования изображения. Он исследует каждое входное изображение и вычисляет среднюю интенсивность изображения. Основываясь на скользящем среднем значении (т.е. на средней интенсивности последнего числа X изображений), модуль управления экспонированием решает, увеличить ли или уменьшить время экспонирования. Модуль может использовать среднее значение за более длительный промежуток времени для реализации более медленной реакции на изменения в условиях освещения при меньшей чувствительности к необычно темным или светлым изображениям (например, асфальтированным дорогам или воде). Модуль управления экспонированием управляет временем экспонирования для каждой камеры отдельно.
В системах, где камеры устанавливаются без механизмов компенсации движения вперед, должно существовать максимальное предельное значение для времени экспонирования. Установка времени экспонирования на значение, которое больше максимального значения, может привести к появлению вызванной движением нерезкости. Например, предположим, что камеры устанавливаются на самолете, летящем со скоростью 170 миль/ч (или приблизительно 3 дюйма/мс). Предположим, что необходимое разрешение пикселя - 6 дюймов. Движение вперед во время получения изображения должно быть ограничено размером половины пикселя, которое в этом случае равно 3 дюймам. Таким образом, например, максимальное значение экспонирования равно 1 мс.
При управлении качеством формирования изображения полезно иметь возможность определять, вызваны ли изменения в интенсивности света изменением в рассеянном свете или присутствием необычно светлых или темных объектов (например, отражающих свет водоемов, металлических крыш, асфальта и т. д.). Определенные применения данного изобретения связаны с аэрофотосъемкой или наблюдением. Замечено, что изображения земли с воздуха обычно содержат растительность, которая имеет более постоянную отражающую способность, чем водоемы или искусственные структуры, такие как дороги и здания. Конечно, на изображениях растительности обычно преобладает зеленый цвет (т.е. значение зеленого компонента является самым большим из значений красного, зеленого и синего компонентов). Поэтому корреляция интенсивности может быть реализована более точно путем фокусировки на пикселях с преобладанием зеленого цвета.
Модуль управления экспонированием вычисляет среднюю интенсивность изображения путем выбора только пикселей, в которых преобладает зеленый цвет. Например, если изображение имеет 1 миллион пикселей, и в 300000 из них преобладает зеленый цвет, то только эти 300000 пикселей с преобладанием зеленого цвета используются в вычислении средней интенсивности. Это приводит к процессу формирования изображения, который менее чувствителен к смещению, вызванному искусственными структурами и водоемами, в пикселях которых обычно не преобладает зеленый цвет. Как отмечено выше, желательно поддерживать значение интенсивности, приблизительно равное 127. Когда значение интенсивности больше 127 (т.е. переэкспонирование), время экспонирования уменьшается для получения меньшего количества света. Точно так же, когда значение интенсивности ниже 127 (т. е. недоэкспонирование), время экспонирования увеличивается для получения большего количества света. Например, рассмотрим систему, пролетающую над целевой областью местности, имеющей много белых крыш, для которых интенсивности очень высоки. Средняя интенсивность для снятых изображений будет иметь тенденцию к высокому значению. В самых обычных системах время экспонирования уменьшается для компенсации. В данном примере, однако, уменьшение времени экспонирования не является правильным, потому что средняя интенсивность изображений смещена вследствие наличия ярких крыш. Уменьшение времени экспонирования привело бы к созданию изображений, где земля темнее, чем она должна быть. Напротив, если в соответствии с настоящим изобретением обрабатываются только пиксели с преобладанием зеленого цвета, то пиксели, представляющие чрезмерно яркие крыши, смещают среднюю интенсивность, а время экспонирования не изменяется.
- 9 008402
Таким образом, модуль управления экспонированием уменьшает различия интенсивности между входными изображениями. Тем не менее, дополнительная обработка обеспечивается для улучшения тонального выравнивания. Существует множество факторов (например, физические характеристики линз, атмосферные условия, пространственные/позиционные отношения устройств формирования изображений), которые вызывают неодинаковый прием света от плоскости изображения. Больше света принимается в центре камеры или сенсора, чем на краях.
Модуль монтажа аэрофотоснимков согласно настоящему изобретению решает эту проблему с помощью функции антивиньетирования (исправления колебаний яркости по полю изображения), как показано на фиг. 5. Множество фокальных линий (столбцов) 500, 502, 504, 506 и 508 сходятся от плоскости 509 изображения и пересекаются в фокусе 510, когда они распространяются по целевой области 512 формирования изображения (например, по рельефу местности). Линии 500-508 могут быть линиями индивидуального разрешения одной камеры или сенсора, или могут представлять фокальные оси множества независимых камер или сенсоров. Для целей описания линия 504 служит осью, а точка 513, в которой линия 504 пересекает плоскость 509 изображения, служит основной точкой. Модуль управления экспонированием применяет функцию антивиньетирования, умножая исходную интенсивность входного пикселя на зависящий от фокальной линии коэффициент антивиньетирования. Поскольку поверхность приема является плоскостью с системой координат, каждая линия будет иметь множество строк разрешения (не показаны). Эта зависимость может быть выражена для пикселя р на линии х и строке у следующим образом:
настроенная интенсивность>=<исходная интенсивность>*£ (х);
где £(х) - функция в виде: £(х)=С08(угла относительно оси)**4.
Угол 514 относительно оси: нуль для центральной линии 504; больше для линий 502 и 506; и еще больше для линий 500 и 508. Полный угол 516 поля зрения (угол БОУх) показан между линиями 504 и 508.
Функция £ (х) может аппроксимироваться с помощью множества линейных сегментов между линиями. Для точки, находящейся в пределах линейного сегмента между любыми заданными линиями с1 и с2, коэффициент настройки вычисляется следующим образом:
коэффициент настройки для с>=£(с1)+[£(с2)-£(с1)*(с-с1)/(с2-с1)]; где £(с1) и £(с2) - значения функции углов относительно оси для линий с1 и с2, соответственно. Каждый набор входных изображений должен быть сшит в мозаичное изображение (монтаж аэрофотоснимков, фотоплан). Даже при том, что модуль управления экспонированием регулирует количество света, которое принимает каждая камера или сенсор, результирующие входные изображения могут все равно отличаться по интенсивности. Настоящее изобретение обеспечивает модуль выравнивания интенсивности, который сравнивает область перекрытия со смежными входными изображениями для дополнительного выравнивания относительной интенсивности. Поскольку смежные входные изображения регистрируются одновременно, области перекрытия теоретически должны иметь одинаковую интенсивность в обоих входных изображениях. Однако из-за различных факторов значения интенсивности обычно отличаются. Некоторые такие факторы, которые вызывают изменение интенсивности, могут включать в себя, например то, что модуль управления экспонированием подвергается влиянию необычно ярких или темных объектов, существующих в поле зрения только конкретной камеры, или когда углы визирования камер отличаются (т.е. камеры, которые наклонены сильнее, принимают меньше света, чем те, которые расположены более вертикально).
Для выравнивания двух смежных изображений, одно из них выбирается в качестве эталонного изображения, а другое является вторичным изображением. Корреляционный вектор (£К., ГС. £В) определяется с использованием, например, следующего процесса. Пусть V является вектором 3x1, представляющим значения (К., С и В) пикселя
К ν= С В
Корреляционная матрица С может быть получена следующим образом:
ГВ 0 0
С= 0 ΓΟ- 0
0 Ο ГВ
где ЕК=Αν§Ιι7Αν§Ιη:
Ауд1г=средняя интенсивность красного цвета области перекрытия на эталонном изображении; Ауд1и=средняя интенсивность красного цвета области перекрытия на новом изображении; и БС и БВ получают подобным образом.
Корреляционная матрица масштабирует значения пикселей вторичного изображения так, что средняя интенсивность области перекрытия вторичного изображения становится идентичной средней интенсивности области перекрытия эталонного изображения. Второе изображение может выравниваться отно
-10008402 сительно эталонного изображения путем умножения его значений пикселей на корреляционную матрицу·
Таким образом, в одном из вариантов осуществления процесса выравнивания согласно настоящему изобретению центральное изображение рассматривается как эталонное изображение. Эталонное изображение сначала копируется в составное изображение (или фотоплан). Области перекрытия между эталонным изображением и смежным изображением (например, ближайшим левым изображением) коррелируются для вычисления корреляционной матрицы выравнивания (КМВ). КМВ умножается на векторы, представляющие пиксели смежного изображения для того, чтобы сделать интенсивность области перекрытия идентичной на обоих изображениях. Один из вариантов осуществления этой зависимости может быть выражен следующим образом:
Пусть 1(центральной области)=Средняя интенсивность области перекрытия в центральном изображении;
1(смежной области)=Средняя интенсивность перекрытия в смежном изображении; тогда коэффициент выравнивания=1(це игральной области)/1(смежной области).
Коэффициент выравнивания для каждого цветного канала (т.е. красного, зеленого и синего) вычисляется независимо. Эти три значения формируют КМВ. Выровненное смежное изображение копируется на фотоплан. Плавный переход на границе скопированного изображения обеспечивается с помощью «сведения на нет» с помощью маски. Эта маска имеет ту же самую размерность, что и смежное изображение, и содержит множество элементов. Каждый элемент в маске указывает вес соответствующего пикселя смежного изображения на фотоплане. Вес равен нулю для приграничных пикселей (т.е. выходное значение берется из эталонного изображения) и увеличивается постепенно в направлении смежного изображения, пока он не станет единицей по достижении выбранной ширины смешивания. Вне области смешивания фотоплан будет полностью определяться пикселями смежного изображения. Точно так же анализируются и обрабатываются перекрытия между всеми другими составляющими входными изображениями для вычисления корреляционных векторов и для выравнивания интенсивности изображений.
Корреляционная матрица определяется с использованием, например, следующего процесса со ссылкой на фиг. 6. Фиг. 6 показывает полосу (монтаж маршрутных аэрофотоснимков) 600, сформированную в соответствии с настоящим изобретением. Основной фотоплан 602 и новый фотоплан 604, добавленный по маршруту (или по направлению движения) 606, накладываются друг на друга в области 608. Пусть V будет вектором, который представляет значения К, О и В пикселя
К ν = а в
Пусть 11 будет шириной перекода области 608, а у будет расстоянием по направлению движения 606 от границы 610 области перекрытия до точки А, в которой значения пикселя представляет вектор V.
Пусть С будет корреляционной матрицей
ЕК 0 0
С = 0 ГС 0
0 0 ЕВ
Выровненное значение V, обозначенное V', определяется следующим образом:
У'=[у/И.1+(1-у/Ь) • С] X V, для 0<у<И;
ν’=ν, для у>=11;
где I - единичная матрица
1 0 0
1= 0 1 0
0 0 ί
Следует отметить, что методика «сведения на нет» также используется в комбинации с плавным
переходом для минимизации видимости шва.
Если мозаики (фотопланы, монтаж аэрофотоснимков) длинные, различия в интенсивности в перекрытии могут изменяться от одного конца фотоплана к другому. Вычисление единственного корреляционного вектора, чтобы избежать создания видимых швов, может быть невозможным. Фотоплан может делиться на множество сегментов, соответствующих расположению исходных входных изображений, которые составляют мозаику. Описанный выше процесс применяется к каждому сегменту отдельно для обеспечения лучшей локальной последовательности цветов.
При этом усовершенствованном алгоритме пиксели на границе двух сегментов могут создать вертикальные швы (принимая направление линии полета с севера на юг). Чтобы избежать этой проблемы, коэффициенты выравнивания для пикселей в этой области должны «переключаться» от коэффициента выравнивания одного сегмента к коэффициенту выравнивания другого сегмента. Это объясняется со
-11 008402 ссылкой на фиг. 7.
Фиг. 7 изображает монтаж маршрутных аэрофотоснимков («полосу») 700, сформированный в соответствии с настоящим изобретением. Основная мозаика (фотоплан) 702 и новый сегмент 704 перекрываются в области 706. Фотоплан 702 и другой новый сегмент 708 перекрываются в области 710. Сегменты 704 и 708 перекрываются в области 712, и все области 706, 710 и 712 перекрываются и совмещаются в области 714. Для целей объяснения, точка 716 служит началом координат для оси у 718 и оси х 720. Направление по оси у 718 представляет движение по траектории полета системы формирования изображения. Точка 716 расположена в нижней левой части области 714.
Согласно настоящему изобретению размеры монтажа маршрутной аэрофотосъемки определяются с помощью минимального и максимального значений х и у составляющих фотопланов. Выходной монтаж маршрутных аэрофотоснимков инициализируется к цвету фона. Первый фотоплан переносится на монтаж маршрутных аэрофотоснимков. Затем обрабатывается следующий (по траектории полета) фотоплан. Значения интенсивности областей перекрытия нового фотоплана и первого фотоплана коррелируются, отдельно для каждого цветового канала. Новый фотоплан делится на множество сегментов, соответствующих исходным входным изображениям, которые составляют фотоплан. Для нового фотоплана создается матрица маски, которая содержит множество элементов маски. Элемент маски содержит корреляционную матрицу для соответствующего пикселя в новом фотоплане. Все элементы в маске инициализируют в единицу. Размер маски может быть ограничен только областью перехода новой мозаики. Вычисляется корреляционная матрица для центрального сегмента. Обрабатывается область маски, соответствующая центральному сегменту. Значения элементов на краю области перекрытия устанавливаются соответственно корреляционному зектору. Затем, постепенно двигаясь от первого фотоплана по монтажу маршрутных аэрофотоснимков, компоненты корреляционной матрицы или увеличиваются, или уменьшаются (в зависимости от того, меньше они или больше единицы, соответственно), пока они не становятся единицей на предопределенном расстоянии перехода. Затем подобным образом обрабатывается область маски, соответствующая сегменту, примыкающему к центральному сегменту. Однако область 814, сформированная первым фотопланом и центральным и смежными сегментами нового изображения, требует специальной обработки. Поскольку корреляционная матрица для смежных сегментов не может быть идентична матрице для центрального сегмента, может появиться шов на границе двух сегментов в области перекрытия 714 с первым фотопланом. Поэтому угол зависит от корреляционных матриц для обоих сегментов. Для ячейки А маски, которая расположена на расстоянии х от границы с центральным сегментом и на расстоянии у от края перекрытия, ее корреляционная матрица является взвешенным по расстоянию средним значением двух сегментов, которое оценивается следующим образом:
Для пикселя А(х, у) в области 714 на расстоянии х до границы с центральным сегментом, его выровненные значения вычисляются, как взвешенные по расстоянию средние значения для значений, вычисленных с использованием двух сегментов;
VI является выровненным вектором КОВ, основанным на сегменте 704;
У2 является выровненным вектором КОВ, основанным на сегменте 708;
V ' является объединенным окончательным выровненным вектором КОВ
V=((ά-х)/ά).νΐ+(κ/ά).ν2;
где ось χ является линией, проходящей через основание области перекрытия;
ось у является линией, проходящей через левую сторону области перекрытия сегментов 704 и 708;
является шириной перехода; и ά является шириной области перекрытия сегментов 704 и 708.
Подобным образом вычисляются области маски, соответствующие другим смежным сегментам.
Дополнительно согласно настоящему изобретению применяется фильтр точности воспроизведения цветов (т.е. балансировки белого). Он умножает компоненты К и В на определяемый коэффициент для улучшения точности воспроизведения цветов. Данный коэффициент может быть определен путем калибровки камер и линз. Фильтр точности воспроизведения цветов гарантирует, что цвета в изображении сохраняют свою точность, как непосредственно воспринимается человеческим глазом. В устройстве регистрации изображения элементы, принимающие красный, зеленый и синий свет, могут иметь различную чувствительность к цвету, который они должны регистрировать. Применяется процесс «балансировки белого», в котором регистрируется изображение белого объекта. Теоретически, пиксели в изображении белого объекта должны иметь эквивалентные значения К, С и В. В действительности, однако, из-за различной чувствительности и других факторов, средние значения цвета для каждого К, 6 и В могут быть аудК, а\дС и аудВ, соответственно. Для выравнивания компонентов цвета, значения К, С иВ пикселей умножают на следующие отношения:
значения В умножают на отношение аудС/аудЯ; и значения В умножают на отношение аудС/аудВ.
Конечным результатом является то, что изображение белого объекта имеет равные компоненты Я6В.
В большинстве приложений монтаж маршрутных аэрофотоснимков обычно охватывает большую
-12008402 область неводной поверхности. Таким образом, средняя интенсивность для монтажа маршрутных аэрофотоснимков вряд ли будет искажена аномалиями, такими как сильно отражающие поверхности. Настоящее изобретение обеспечивает модуль нормализации интенсивности, который нормализует среднюю интенсивность каждого монтажа маршрутных аэрофотоснимков так, чтобы среднее значение и стандартное (среднеквадратичное) отклонение имело требуемое значение. Например, значение 127 является нормой в фотограмметрии. Стандартное отклонение 51 помогает распространить значение интенсивности по оптимальному диапазону для визуального восприятия особенностей изображения. Каждый монтаж маршрутных аэрофотоснимков, возможно, был реализован при различных условиях освещения и поэтому может иметь различные профили данных формирования изображения (т.е. среднюю интенсивность и стандартное отклонение). Данный модуль осуществляет нормировку для монтажей маршрутных аэрофотоснимков так, что все они имеют те же самые среднюю интенсивность и стандартное отклонение, что позволяет сшивать их без видимых швов.
Эта нормализация интенсивности содержит вычисление средней интенсивности для каждого канала Я, С и В и для всех каналов. Затем вычисляется полное стандартное отклонение. Каждое значение Я, С и В каждого пикселя преобразуется к новому среднему значению и стандартному отклонению:
новое значение=новое среднее значение+(старое значение-старое среднее значение)*(новое стандартное отклонение/старое стандартное отклонение).
Затем множество смежных монтажей маршрутных аэрофотоснимков объединяют для создания фотоплана из элементов для области, представляющей интерес. Законченные элементы фотоплана могут соответствовать элементарным квадратным участкам или четвертям элементарных квадратных участков И8С8 (геологической службы США). Сшивание монтажей маршрутных аэрофотоснимков в фотопланы подобно их сшиванию фотопланов для генерации монтажа маршрутных аэрофотоснимков, только теперь роль фотопланов выполняют указанные монтажи. На линии шва между двумя монтажами маршрутных аэрофотоснимков могут возникнуть проблемы, если такая линия пересекает приподнятые относительно земли конструкции, например здания, мосты и т.д. Эта классическая проблема в фотограмметрии является результатом параллакса, вызванного одним и тем же объектом, наблюдаемым из двух разных точек зрения. При формировании изображения здания, например, один монтаж маршрутных аэрофотоснимков может представлять вид с одной стороны здания, в то время как другой представляет вид с другой стороны здания. После сшивания изображений вместе результирующий фотоплан может выглядеть подобно вигваму. Чтобы решить эту проблему, зависящий от рельефа процесс создания фотоплана может быть реализован с управлением размещением линии шва. Например, данные изображения, собранные с помощью лидара или ЦМР или проанализированные из их данных, могут обрабатываться для определения конфигурации и формы изображений, когда их соединяют вместе. Таким образом, в некоторых смонтированных изображениях, линия шва может быть не прямой линией, а может содержать линию шва, которая смещена назад и вперед для огибания поднятых относительно земли структур.
На фиг. 8 представлен один из вариантов осуществления процесса 800 формирования изображения в соответствии с настоящим изобретением, как описано выше. Процесс 800 начинается с получения последовательности 802 из одного или большего количества необработанных изображений. Изображения 802 затем обрабатываются процессом 804 балансировки белого с преобразованием их в последовательность промежуточных изображений. Данная последовательность 802 затем обрабатывается посредством функции 806 антивиньетирования перед переходом к процессу 808 ортотрансформирования. Как отмечено выше, ортотрансформирование может основываться на данных 810 расположения и ориентации от системы или платформы сенсоров формирования изображения, и на данных 812 ЦММ. Данные 812 ЦММ могут формироваться из данных 810 расположения и, например, из данных 814 ЦММ Ы8С8 или данных 816 лидара. Последовательность 802 ортотрансформируется, и обработка продолжается с помощью цветового выравнивания 818. После цветового выравнивания последовательность 802 преобразуется с помощью модуля 820 монтажа в составное изображение 822. Модуль 820 выполняет монтаж и процесс «сведения на нет» в течение этого преобразования. Затем одно или большее количество составных изображений 822 дополнительно объединяются на этапе 824 с помощью градиентного соединения и «сведения на нет» для получения полосы 826 изображения. Полосы изображения обрабатываются путем нормализации 828 интенсивности. Затем нормализованные полосы 828 соединяют вместе на этапе 830, опять с помощью градиентного соединения и «сведения на нет» для получения окончательного фотоплана 832 из элементов. Монтаж аэрофотоснимков, выполняемый таким образом на этапе 830, может быть реализован как зависящий от рельефа монтаж, основанный на данных 812 ЦММ или данных 816 лидара.
Фиг. 9 схематически показывает, как фотоснимки, сделанные с помощью блока матрицы камер, могут совмещаться для формирования отдельного кадра.
Фиг. 10 является структурной схемой логического устройства обработки согласно определенным вариантам осуществления настоящего изобретения. Как показано на структурной схеме 1000, логическое устройство обработки принимает один или большее количество наборов входной информации, которая может включать в себя результаты 1002 измерения высоты (рельефа), результаты 1004 определения пространственной ориентации и/или совокупность 1006 фотоснимков и изображений от сенсора. Некоторая входная информация может проходить через начальный этап обработки, предшествующий анализу, как
- 13 008402 показано на этапе 1008, в котором результаты определения пространственной ориентации объединяются с данными от наземных пунктов управления. Результаты 1002 измерения высоты (рельефа) и результаты 1004 определения пространственной ориентации могут объединяться для генерации обработанных данных 1010 высоты (рельефа). Обработанные данные 1010 высоты (рельефа) могут затем использоваться для генерации рельефа ЦМР 1014 и ЦММ 1016. Точно так же результаты 1006 определения пространственной ориентации могут объединяться с совокупностью 1006 фотоснимков и изображений от сенсора для генерации изображений 1012 с географической привязкой, которые затем подвергают обработке 1018 изображений, которая может включать в себя цветовое выравнивание и градиентную фильтрацию.
В зависимости от используемого набора данных (1020), ЦММ 1016 или ЦМР И868 1022 объединяются с обработанными изображениями 1018 для генерации ортотрансформированных изображений 1024. Ортотрансформированные изображения 1024 затем подаются в блок самосинхронизации траекторий полета 1026. Затем следует монтаж 1028 выровненных проекций для генерации окончательных выходных фотоснимков 1030.
Настоящее изобретение может использовать определенную степень дискретизации с повышенной частотой в поперечном направлении для улучшения качества выходного изображения. Фиг. 11 является изображением нижнего обзора 1100 дискретизации с повышенной частотой в поперечном направлении с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения, где показана минимальная дискретизация с повышенной частотой в поперечном направлении. На этом изображении центральная область 1102, соответствующая точке стояния, съемка которой осуществляется центральной камерой, только немного перекрывается с левой областью 1104 точки стояния и правой областью 1106 точки стояния, так что перекрытие минимально. Фиг. 12 является изображением нижнего обзора дискретизации с повышенной частотой в поперечном направлении 1200 с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения, где показана повышенная степень дискретизации с повышенной частотой в поперечном направлении. На этом изображении центральная область 1202 точки стояния имеет более высокую степень перекрытия с левой областью 1204 точки стояния и правой областью 1206 точки стояния.
В дополнение к использованию дискретизации с повышенной частотой в поперечном направлении, как показано на фиг. 11 и 12, настоящее изобретение может также использовать дискретизацию с повышенной частотой в направлении по линии полета. Фиг. 13 является изображением нижнего обзора дискретизации с повышенной частотой по линии полета 1300 с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения, где показана определенная степень дискретизации с повышенной частотой по линии полета, но минимальная дискретизация с повышенной частотой в поперечном направлении. Центральные области 1302 и 1304, соответствующие точкам стояния, перекрываются по линии полета, но не перекрываются в поперечном направлении с левыми областями 1306 и 1308 точки стояния или с правыми областями 1310 и 1312 точки стояния.
Фиг. 14 является изображением нижнего обзора дискретизации с повышенной частотой по направлению полета с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения, где показана значительная дискретизация с повышенной частотой по линии полета, и значительная дискретизация с повышенной частотой в поперечном направлении. Можно заметить, что каждая из центральных областей 1402-1406 точки стояния значительно перекрывается друг с другом, а так же с левыми областями 1408-1412 точки стояния и правыми областями 1414-1418 точки стояния. Левые области 1408-1412 точки стояния перекрываются так же, как и правые области 1414-1418 точки стояния. Соответственно, каждая точка на поверхности дискретизируется по меньшей мере дважды, и в некоторых случаях четыре раза. Этот метод использует тот факт, что в области изображения, которую снимают два или более раз с помощью различных сенсоров камер, удвоение разрешения изображения возможно в боковом направлении (поперек направления движения) и в направлении линии полета (по направлению движения) для полного увеличения разрешения в четыре раза. Практически, увеличение разрешения изображения/сенсора несколько меньше чем в два раза в каждом из измерений, приблизительно 40% по каждому измерению, или 1,4х1,4=~2 раза. Это обусловлено статистическими изменениями выравнивания/ориентации суб-пикселей. В действительности, сетка из пикселей редко является точно эквидистантной сетке из пикселей перекрытия. Если бы очень точные поперечные выравнивания сенсоров камер были осуществлены на суб-пиксельном уровне, то могло быть реализовано увеличение разрешения изображения в четыре раза.
Фиг. 15 является изображением нижнего обзора 1500 с последовательным увеличением с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения. Центральная область 1502 точки стояния ограничена с левого и правого краев внутренней левой областью 1504 точки стояния и внутренней правой областью 1506 точки стояния, соответственно. Внутренняя левая область 1504 точки стояния ограничена с левого края внешней левой областью 1508 точки стояния, в то время как внутренняя правая область 1506 точки стояния ограничена с правого края внешней правой областью 1510 точки стояния. Следует отметить, что эти области имеют минимальную степень перекрытия и дискретизации с повышенной частотой между собой.
Фиг. 16 является изображением нижнего обзора 1600 последовательного увеличения с транспорт
- 14 008402 ного средства согласно некоторым вариантам осуществления настоящего изобретения. Центральная область 1602 точки стояния ограничена с левого и правого краев внутренней левой областью 1604 точки стояния и внутренней правой областью 1606 точки стояния, соответственно. Внутренняя левая область 1604 точки стояния ограничена с левого края внешней левой областью 1608 точки стояния, в то время как внутренняя правая область 1606 точки стояния ограничена с правого края внешней правой областью 1610 точки стояния. Следует отметить, что, как указано выше, эти области имеют минимальную степень перекрытия и дискретизации с повышенной частотой между собой. В пределах каждой из областей 16041610 точки стояния существует центральная область изображения 1614-1620, которая показана темносерым цветом.
Фиг. 17 является изображением нижнего обзора 1700 последовательного увеличения с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения. В центре образца 1700, левая внутренняя область 1702 точки стояния и правая внутренняя область 1704 точки стояния перекрываются в центре. Левая средняя область 1706 точки стояния и правая средняя область 1708 точки стояния располагаются частично вне областей 1702 и 1704, соответственно, каждая из них совместно использует область перекрытия с соответствующей смежной областью приблизительно на 50%. Внешняя левая область 1710 точки стояния и внешняя правая область 1712 точки стояния расположены частично вне областей 1706 и 1708, соответственно, каждая из них совместно использует области перекрытия с соответствующей смежной областью приблизительно на 50%. Центральная область изображения 1714, которая расположена в центре образца 1700, содержит центральные части областей 1702-1712 точки стояния.
Фиг. 18 изображает схемное решение архитектуры системы 1800 согласно некоторым вариантам осуществления настоящего изобретения. Система 1800 может включать в себя один или большее количество спутников ΟΡ8 1802 и один или большее количество спутников 8АТСОМ (искусственных спутников коммерческой системы связи) 1804. Данная система может также включать в себя одну или большее количество систем позиционирования ΟΡ8 1806, которая функционально связана с одним или большим количеством модулей 1808, которые получают данные местоположения от лидара, ΟΡ8 и/или X, Υ, Ζ и вводят эту информацию в одно или более приложений 1812 системы сбора данных. Одно или более приложений 1812 системы сбора данных могут также принимать спектральные данные от матрицы 1822 камер. Ό6Ρ8 1810 может осуществлять связь с одним или более спутников 8АТСОМ 1804 через беспроводной канал связи 1826. Один или более спутников 8АТСОМ 1804 могут, в свою очередь, осуществлять связь с одним или более приложений 1812 системы сбора данных.
Одно или более приложений 1812 системы сбора данных могут взаимодействовать с автопилотом 1816, системой 88Ό и/или системой Кеа1Т1те 8Шс11С 1820, которые могут также взаимодействовать друг с другом. Система 88Ό 1814 может быть функционально связана с КеаГПте ΌΕΜ 1818. Наконец, Кеа1Т1те ΌΕΜ 1818 и Кеа1Т1те 8Ше11С 1820 могут быть связаны с запоминающим устройством, таким как дисковый массив 1824.
Описанные выше модули, алгоритмы и процессы могут быть реализованы по многим технологиям и во многих конфигурациях.
Варианты осуществления настоящего изобретения могут содержать функциональные экземпляры программного обеспечения или аппаратных средств, или их комбинации. Кроме того, модули и процессы настоящего изобретения могут объединяться вместе в одном функциональном экземпляре (например, в одной программе) или могут содержать функционально связанные отдельные функциональные устройства (например, множество соединенных между собой блоков процессора/памяти). Все такие реализации входят в объем настоящего изобретения.
Сформулированные варианты осуществления и примеры представлены для лучшего объяснения настоящего изобретения и его практического применения и, таким образом, для предоставления возможности специалистам изготавливать и использовать данное изобретение. Однако специалистам должно быть понятно, что предыдущее описание и примеры представлены только для иллюстрации. Сформулированное описание не исчерпывает и не ограничивает изобретение точной раскрытой формой. В свете приведенного выше возможны множество модификаций и разновидностей без отклонения от сущности объема формулы изобретения.

Claims (20)

  1. ФОРМУЛА ИЗОБРЕТЕНИЯ
    1. Система формирования карты поверхности, содержащая передатчик системы глобального позиционирования, транспортное средство, находящееся над поверхностью, модуль измерения рельефа, закрепленный на транспортном средстве, антенну системы глобального позиционирования, закрепленную на транспортном средстве, блок определения пространственной ориентации, закрепленный на транспортном средстве, матрицу элементов формирования изображений, закрепленную на транспортном средстве, содержащую
    - 15 008402 корпус, апертуру, расположенную в корпусе, имеющую в нем область пересечения, первый сенсор формирования изображения, связанный с корпусом, имеющий первую фокальную ось, проходящую через апертуру в пределах области пересечения, и второй сенсор формирования изображения, связанный с корпусом и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения, компьютер, связанный с модулем измерения рельефа, антенной системой глобального позиционирования, блоком определения пространственной ориентации и первым и вторым сенсорами формирования изображения, который коррелирует по меньшей мере часть данных изображений от первого и второго сенсоров формирования изображения части поверхности на основе входной информации от одного или более из модуля измерения рельефа, антенны системы глобального позиционирования и блока определения пространственной ориентации.
  2. 2. Система по п.1, дополнительно содержащая третий сенсор формирования изображения, связанный с корпусом и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения.
  3. 3. Система по п.2, в которой фокальная ось третьего сенсора формирования изображения находится в общей плоскости с фокальными осями первого и второго сенсоров формирования изображения.
  4. 4. Система по п.2, в которой фокальные оси первого и второго сенсоров формирования изображения лежат в первой общей плоскости, а фокальная ось третьего сенсора формирования изображения лежит в плоскости, перпендикулярной к первой общей плоскости.
  5. 5. Система по п.1, в которой фокальная ось первого сенсора формирования изображения располагается вертикально.
  6. 6. Система по п.5, в которой фокальная ось второго сенсора формирования изображения располагается в первой плоскости с фокальной осью первого сенсора формирования изображения и под первым углом к ней, и фокальная ось третьего сенсора формирования изображения располагается с другой стороны по отношению ко второму сенсору формирования изображения от первого сенсора формирования изображения в первой общей плоскости и под вторым углом, имеющим ту же самую величину, что и первый угол.
  7. 7. Система по п.6, дополнительно содержащая пятый и шестой сенсоры формирования изображения, расположенные на противоположных сторонах от первого сенсора формирования изображения, фокальные оси которых располагаются во второй плоскости, общей с фокальной осью первого сенсора формирования изображения, перпендикулярно к первой общей плоскости и под третьим и четвертым углами от фокальной оси первого сенсора формирования изображения, имеющими одинаковую величину.
  8. 8. Система формирования карты поверхности, содержащая передатчик системы глобального позиционирования, транспортное средство, находящееся над поверхностью, модуль измерения рельефа, закрепленный на транспортном средстве, антенну системы глобального позиционирования, закрепленную на транспортном средстве, блок определения пространственной ориентации, закрепленный на транспортном средстве, первый сенсор формирования изображения, закрепленный на транспортном средстве, фокальная ось которого расположена в направлении поверхности, который формирует изображение, содержащее матрицу пикселей, компьютер, связанный с модулем измерения рельефа, антенной системы глобального позиционирования, блоком определения пространственной ориентации и первым сенсором формирования изображения, который генерирует значения вычисленной долготы и вычисленной широты для координаты, соответствующей по меньшей мере одному пикселю в матрице, на основе входной информации от одного или более из модуля измерения рельефа, антенны системы глобального позиционирования и блока определения пространственной ориентации.
  9. 9. Система по п.8, в которой передатчик системы глобального позиционирования расположен на спутнике.
  10. 10. Система по п.8, в которой передатчик системы глобального позиционирования является наземным.
  11. 11. Система по п.8, в которой средством измерения рельефа является лидар.
  12. 12. Система по п.8, в которой блок определения пространственной ориентации является гироскопом.
  13. 13. Система по п.8, в которой фокальная ось первого сенсора формирования изображения вертикальна и проходит через апертуру, причем система дополнительно содержит второй сенсор формирования изображения, связанный с транспортным средством и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апер
    - 16 008402 туру и пересекающую первую фокальную ось в пределах области пересечения. и третий сенсор формирования изображения. соединенный с транспортным средством и смещенный от первого сенсора формирования изображения в противоположном направлении от второго сенсора формирования изображения. имеющий третью фокальную ось. проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения.
  14. 14. Система по п.13. в которой транспортное средство имеет вектор направления. причем фокальная ось второго сенсора формирования изображения лежит в плоскости. перпендикулярной к вектору направления транспортного средства.
  15. 15. Система формирования карты поверхности. содержащая передатчик системы глобального позиционирования.
    транспортное средство. находящееся над поверхностью.
    модуль измерения рельефа. закрепленный на транспортном средстве.
    антенну системы глобального позиционирования. закрепленную на транспортном средстве. блок определения пространственной ориентации. закрепленный на транспортном средстве.
    матрицу элементов формирования изображений. закрепленную на транспортном средстве. содержащую корпус.
    апертуру. расположенную в корпусе. имеющую в ней перекрестную область.
    первый сенсор формирования изображения. связанный с корпусом. имеющий фокальную ось. проходящую через апертуру в пределах области пересечения. который формирует первую матрицу пикселей. и второй сенсор формирования изображения. связанный с корпусом и смещенный от первого сенсора формирования изображения. имеющий вторую фокальную ось. проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения. который формирует вторую матрицу пикселей.
    компьютер. связанный с одним или более из модуля измерения рельефа. антенны системы глобального позиционирования. блока определения пространственной ориентации. первого сенсора формирования изображения и второго сенсора формирования изображения. который вычисляет истинную долготу и истинную широту по меньшей мере одной точки на поверхности. соответствующей по меньшей мере одному пикселю в матрице. на основе входной информации от одного или более из модуля измерения рельефа. антенны системы глобального позиционирования и блока определения пространственной ориентации.
  16. 16. Система по п.15. которая дополнительно содержит третий сенсор формирования изображения. связанный с корпусом и смещенный от первого сенсора формирования изображения. имеющий вторую фокальную ось. проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения.
  17. 17. Система по п.16. в которой фокальная ось третьего сенсора формирования изображения находится в общей плоскости с фокальными осями первого и второго сенсоров формирования изображения.
  18. 18. Система по п.16. в которой фокальные оси первого и второго сенсоров формирования изображения лежат в первой общей плоскости. а фокальная ось третьего сенсора формирования изображения лежит в плоскости. перпендикулярной к первой общей плоскости.
  19. 19. Система по п.16. в которой фокальная ось третьего сенсора формирования изображения лежит в первой общей плоскости с фокальными осями первого и второго сенсоров формирования изображения. причем система дополнительно содержит четвертый сенсор формирования изображения. имеющий фокальную ось. лежащую в плоскости. перпендикулярной к первой общей плоскости.
  20. 20. Система по п.16. в которой фокальная ось третьего сенсора формирования изображения лежит в первой общей плоскости с фокальными осями первого и второго сенсоров формирования изображения. и система дополнительно содержит четвертый и пятый сенсоры формирования изображения. имеющие фокальные оси. лежащие в первой общей плоскости и пересекающие фокальную ось первого сенсора формирования изображения в пределах области пересечения.
EA200500513A 2002-09-20 2003-09-18 Размещаемая на транспортном средстве система сбора и обработки данных EA008402B1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US41250402P 2002-09-20 2002-09-20
PCT/US2003/029375 WO2004028134A2 (en) 2002-09-20 2003-09-18 Vehicule based data collection and porcessing system

Publications (2)

Publication Number Publication Date
EA200500513A1 EA200500513A1 (ru) 2006-06-30
EA008402B1 true EA008402B1 (ru) 2007-04-27

Family

ID=32030892

Family Applications (1)

Application Number Title Priority Date Filing Date
EA200500513A EA008402B1 (ru) 2002-09-20 2003-09-18 Размещаемая на транспортном средстве система сбора и обработки данных

Country Status (7)

Country Link
US (1) US7127348B2 (ru)
EP (1) EP1540937A4 (ru)
JP (1) JP2006507483A (ru)
AU (1) AU2003273338A1 (ru)
CA (1) CA2534968C (ru)
EA (1) EA008402B1 (ru)
WO (1) WO2004028134A2 (ru)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012142026A1 (en) * 2011-04-11 2012-10-18 Gentex Corporation Image synchronization for a multiple imager system and method thereof
RU2508525C1 (ru) * 2012-09-17 2014-02-27 Федеральное Государственное Унитарное Предприятие "Сибирский Научно-Исследовательский Институт Геологии, Геофизики И Минерального Сырья" Фотограмметрический способ определения превышений подвижного объекта над земной поверхностью и устройство для аэрогеофизической разведки, реализующее этот способ
RU2530217C2 (ru) * 2009-12-01 2014-10-10 Сажем Дефанс Секюрите Устройство для отображения критической и второстепенной информации и летательный аппарат, содержащий такое устройство
RU2597024C1 (ru) * 2015-05-05 2016-09-10 Владимир Германович Андронов Способ оперативного определения угловых элементов внешнего ориентирования космического сканерного снимка
RU182554U1 (ru) * 2018-05-21 2018-08-22 Публичное акционерное общество "Транснефть" (ПАО "Транснефть") Устройство определения планово-высотного положения магистрального нефтепровода
RU2666061C2 (ru) * 2013-04-04 2018-09-05 Ниссан Мотор Ко., Лтд. Устройство распознавания сигнала регулирования движения
RU2668275C2 (ru) * 2013-12-19 2018-09-28 Форд Глобал Технолоджис, ЛЛК Способ обнаружения затенения антенны транспортного средства

Families Citing this family (201)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7893957B2 (en) 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
US8483960B2 (en) 2002-09-20 2013-07-09 Visual Intelligence, LP Self-calibrated, remote imaging and data processing system
US8994822B2 (en) 2002-08-28 2015-03-31 Visual Intelligence Lp Infrastructure mapping system and method
USRE49105E1 (en) 2002-09-20 2022-06-14 Vi Technologies, Llc Self-calibrated, remote imaging and data processing system
US7424133B2 (en) 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
JP5069463B2 (ja) * 2003-04-25 2012-11-07 ギリアード サイエンシーズ， インコーポレイテッド 抗ウイルス性ホスホネート類似物
US7298869B1 (en) 2003-07-21 2007-11-20 Abernathy Donald A Multispectral data acquisition system and method
US7415335B2 (en) * 2003-11-21 2008-08-19 Harris Corporation Mobile data collection and processing system and methods
US7308342B2 (en) * 2004-01-23 2007-12-11 Rafael Armament Development Authority Ltd. Airborne reconnaissance system
US7283909B1 (en) * 2004-03-24 2007-10-16 Olsen Michael A Overlaying orthorectified aerial images with map information tied to a state plane coordinate system
US7751653B2 (en) * 2004-05-13 2010-07-06 Color Savvy Systems Limited Method for collecting data for color measurements from a digital electronic image capturing device or system
US7599559B2 (en) * 2004-05-13 2009-10-06 Color Savvy Systems Limited Method for collecting data for color measurements from a digital electronic image capturing device or system
US20060041375A1 (en) * 2004-08-19 2006-02-23 Geographic Data Technology, Inc. Automated georeferencing of digitized map images
WO2006058190A2 (en) 2004-11-23 2006-06-01 Color Savvy Systems Limited Method for deriving consistent, repeatable color measurements from data provided by a digital imaging device
US7363157B1 (en) * 2005-02-10 2008-04-22 Sarnoff Corporation Method and apparatus for performing wide area terrain mapping
US7634152B2 (en) * 2005-03-07 2009-12-15 Hewlett-Packard Development Company, L.P. System and method for correcting image vignetting
US8850011B2 (en) * 2005-04-21 2014-09-30 Microsoft Corporation Obtaining and displaying virtual earth images
TWI269244B (en) * 2005-06-10 2006-12-21 Inventec Appliances Corp Global positioning system
US7542828B2 (en) * 2005-07-01 2009-06-02 Lockheed Martin Corporation Unmanned air vehicle, integrated weapon platform, avionics system and control method
FR2889316B1 (fr) * 2005-07-27 2009-05-08 Airbus France Sas Systeme pour afficher sur un premier mobile une indication de position dependant d'une position d'un second mobile
IL169934A (en) * 2005-07-27 2013-02-28 Rafael Advanced Defense Sys Real-time geographic information system and method
US7411196B2 (en) * 2005-08-18 2008-08-12 Itt Manufacturing Enterprises, Inc. Multi-sensors and differential absorption LIDAR data fusion
CN101957195B (zh) * 2005-09-12 2014-11-26 特里伯耶拿有限公司 测量仪器和使用测量仪器提供测量数据的方法
US8619313B2 (en) * 2005-10-28 2013-12-31 Hewlett-Packard Development Company, L.P. Scanning device with plural image capture zones on a platen
US7437062B2 (en) * 2005-11-10 2008-10-14 Eradas, Inc. Remote sensing system capable of coregistering data from sensors potentially having unique perspectives
US20070162197A1 (en) * 2006-01-12 2007-07-12 Global Aerospace, Llc Airplane system for an atmospheric turbulence analysis system
US7400293B2 (en) * 2006-01-12 2008-07-15 Global Aerospace, Llc Atmospheric turbulence analysis system
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US20070188610A1 (en) * 2006-02-13 2007-08-16 The Boeing Company Synoptic broad-area remote-sensing via multiple telescopes
IL175835A0 (en) * 2006-05-22 2007-07-04 Rafael Armament Dev Authority Methods and systems for communicating and displaying points-of-interest
US7924210B2 (en) * 2006-06-02 2011-04-12 Zimmerman Associates, Inc. System, method, and apparatus for remote measurement of terrestrial biomass
US8947531B2 (en) * 2006-06-19 2015-02-03 Oshkosh Corporation Vehicle diagnostics based on information communicated between vehicles
US8139109B2 (en) 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
US7831089B2 (en) * 2006-08-24 2010-11-09 Microsoft Corporation Modeling and texturing digital surface models in a mapping application
US7873238B2 (en) * 2006-08-30 2011-01-18 Pictometry International Corporation Mosaic oblique images and methods of making and using same
US7725257B2 (en) * 2006-09-05 2010-05-25 Honeywell International Inc. Method and system for navigation of an ummanned aerial vehicle in an urban environment
US7840352B2 (en) * 2006-09-05 2010-11-23 Honeywell International Inc. Method and system for autonomous vehicle navigation
US8315794B1 (en) 2006-09-05 2012-11-20 Honeywell International Inc. Method and system for GPS-denied navigation of unmanned aerial vehicles
WO2008044911A1 (en) 2006-10-09 2008-04-17 Tele Atlas B.V. Method and apparatus for generating an orthorectified tile
WO2008048088A1 (en) * 2006-10-20 2008-04-24 Tele Atlas B.V. Computer arrangement for and method of matching location data of different sources
CA2669351C (en) * 2006-11-16 2017-09-05 Commonwealth Scientific And Industrial Research Organisation Digital terrain mapping with gps and laser system
US8593518B2 (en) 2007-02-01 2013-11-26 Pictometry International Corp. Computer system for continuous oblique panning
US8520079B2 (en) 2007-02-15 2013-08-27 Pictometry International Corp. Event multiplexer for managing the capture of images
US8385672B2 (en) 2007-05-01 2013-02-26 Pictometry International Corp. System for detecting image abnormalities
US9262818B2 (en) 2007-05-01 2016-02-16 Pictometry International Corp. System for detecting image abnormalities
US7991226B2 (en) 2007-10-12 2011-08-02 Pictometry International Corporation System and process for color-balancing a series of oblique images
US7962265B2 (en) * 2007-11-28 2011-06-14 Honeywell International Inc. Vehicular linear sensor system
US8531472B2 (en) 2007-12-03 2013-09-10 Pictometry International Corp. Systems and methods for rapid three-dimensional modeling with real façade texture
JP4970296B2 (ja) * 2008-01-21 2012-07-04 株式会社パスコ オルソフォト画像の生成方法、および撮影装置
US20090245581A1 (en) * 2008-03-31 2009-10-01 Sean Dey Airborne terrain acquisition and processing system with fluid detection
US8497905B2 (en) * 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
US8675068B2 (en) 2008-04-11 2014-03-18 Nearmap Australia Pty Ltd Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
US7899311B1 (en) 2008-04-29 2011-03-01 Optech International, Inc. Removable shutter for a camera
US20090276108A1 (en) * 2008-05-01 2009-11-05 Ajith Kuttannair Kumar System and method for processing images of wayside equipment adjacent to a route
US8588547B2 (en) 2008-08-05 2013-11-19 Pictometry International Corp. Cut-line steering methods for forming a mosaic image of a geographical area
US8712610B2 (en) * 2008-09-18 2014-04-29 General Electric Company System and method for determining a characterisitic of an object adjacent to a route
US7772539B2 (en) * 2008-10-10 2010-08-10 General Electric Company System and method for determining characteristic information of an object positioned adjacent to a route
US8417451B2 (en) * 2008-12-08 2013-04-09 John A. Hersey Autonomous cooperative surveying
WO2010068186A1 (en) * 2008-12-09 2010-06-17 Tele Atlas B.V. Method of generating a geodetic reference database product
US8284250B2 (en) * 2009-01-16 2012-10-09 Microsoft Corporation Determining trigger rate for a digital camera
US8401222B2 (en) 2009-05-22 2013-03-19 Pictometry International Corp. System and process for roof measurement using aerial imagery
DE112009004831B4 (de) 2009-05-29 2017-03-02 Toyota Jidosha Kabushiki Kaisha Spektrummessvorrichtung für einen beweglichen körper
US9036147B2 (en) 2009-05-29 2015-05-19 Toyota Jidosha Kabushiki Kaisha Spectrum measuring apparatus
CN102449448B (zh) 2009-05-29 2014-05-21 丰田自动车株式会社 移动体用光谱测定装置
US9851219B2 (en) * 2009-07-09 2017-12-26 Honeywell International Inc. Methods and systems for route-based scrolling of a navigational map
US9330494B2 (en) 2009-10-26 2016-05-03 Pictometry International Corp. Method for the automatic material classification and texture simulation for 3D models
US8665316B2 (en) * 2009-11-24 2014-03-04 Microsoft Corporation Multi-resolution digital large format camera with multiple detector arrays
US8542286B2 (en) * 2009-11-24 2013-09-24 Microsoft Corporation Large format digital camera with multiple optical systems and detector arrays
FR2953940B1 (fr) * 2009-12-16 2012-02-03 Thales Sa Procede de geo-referencement d'une zone imagee
KR101001842B1 (ko) * 2010-01-28 2010-12-17 팅크웨어(주) 차량용 내비게이션 및 내비게이션 시스템의 블랙박스 정상 위치 유도 방법
US8477190B2 (en) 2010-07-07 2013-07-02 Pictometry International Corp. Real-time moving platform management system
US8862299B2 (en) 2011-11-16 2014-10-14 Flextronics Ap, Llc Branding of electrically propelled vehicles via the generation of specific operating output
CN102455185B (zh) * 2010-10-20 2013-11-20 关鸿亮 一种机载合成孔径雷达航线规划方法
US8459619B2 (en) 2010-10-24 2013-06-11 Oshkosh Corporation Gas spring control system and method
US8823732B2 (en) 2010-12-17 2014-09-02 Pictometry International Corp. Systems and methods for processing images with edge detection and snap-to feature
JP2014511155A (ja) * 2011-03-31 2014-05-12 ビジュアル インテリジェンス，エルピー 自己較正リモートイメージング及びデータ処理システム
EP2719163A4 (en) 2011-06-10 2015-09-09 Pictometry Int Corp SYSTEM AND METHOD FOR FORMING A VIDEO STREAM CONTAINING REAL-TIME DATA GIS DATA
US11231502B2 (en) 2011-06-30 2022-01-25 The Regents Of The University Of Colorado Remote measurement of shallow depths in semi-transparent media
US11933899B2 (en) 2011-06-30 2024-03-19 The Regents Of The University Of Colorado Remote measurement of shallow depths in semi-transparent media
US11313678B2 (en) 2011-06-30 2022-04-26 The Regents Of The University Of Colorado Remote measurement of shallow depths in semi-transparent media
US10684362B2 (en) 2011-06-30 2020-06-16 The Regents Of The University Of Colorado Remote measurement of shallow depths in semi-transparent media
JP5787695B2 (ja) 2011-09-28 2015-09-30 株式会社トプコン 画像取得装置
US10377379B2 (en) * 2011-10-29 2019-08-13 Robotic Research, Llc Method and system for utilizing the energy storage provided by a vehicle's mass in the form of potential and kinetic energy to optimize fuel consumption
US9183538B2 (en) 2012-03-19 2015-11-10 Pictometry International Corp. Method and system for quick square roof reporting
WO2014031284A1 (en) * 2012-08-21 2014-02-27 Visual Intelligence, LP Infrastructure mapping system and method
KR102027771B1 (ko) * 2013-01-31 2019-10-04 한국전자통신연구원 차량 속도 적응형 장애물 검출 장치 및 방법
US9881163B2 (en) 2013-03-12 2018-01-30 Pictometry International Corp. System and method for performing sensitive geo-spatial processing in non-sensitive operator environments
US9244272B2 (en) 2013-03-12 2016-01-26 Pictometry International Corp. Lidar system producing multiple scan paths and method of making and using same
US9275080B2 (en) 2013-03-15 2016-03-01 Pictometry International Corp. System and method for early access to captured images
US9753950B2 (en) 2013-03-15 2017-09-05 Pictometry International Corp. Virtual property reporting for automatic structure detection
US9065985B2 (en) 2013-03-15 2015-06-23 Tolo, Inc. Diagonal collection of oblique imagery
US9999038B2 (en) 2013-05-31 2018-06-12 At&T Intellectual Property I, L.P. Remote distributed antenna system
JP5886241B2 (ja) * 2013-06-10 2016-03-16 株式会社パスコ 携帯型撮影装置
MX2016008890A (es) 2014-01-10 2017-01-16 Pictometry Int Corp Sistema y metodo de evaluacion de estructura de aeronave no tripulada.
US9292913B2 (en) 2014-01-31 2016-03-22 Pictometry International Corp. Augmented three dimensional point collection of vertical structures
CA2938973A1 (en) 2014-02-08 2015-08-13 Pictometry International Corp. Method and system for displaying room interiors on a floor plan
KR101427369B1 (ko) 2014-03-27 2014-08-08 (주)아세아항측 이동식 라이다를 활용한 실내지도의 실시간 갱신시스템
KR101427364B1 (ko) 2014-03-27 2014-08-08 (주)아세아항측 라이다 장치를 이용한 3d 실내지도 생성용 스캔시스템
WO2016053438A2 (en) * 2014-07-21 2016-04-07 King Abdullah University Of Science And Technology STRUCTURE FROM MOTION (SfM) PROCESSING FOR UNMANNED AERIAL VEHICLE (UAV)
US9874878B2 (en) * 2014-07-22 2018-01-23 Sikorsky Aircraft Corporation System and method for adaptive multi-scale perception
US10063280B2 (en) 2014-09-17 2018-08-28 At&T Intellectual Property I, L.P. Monitoring and mitigating conditions in a communication network
US9615269B2 (en) 2014-10-02 2017-04-04 At&T Intellectual Property I, L.P. Method and apparatus that provides fault tolerance in a communication network
US9503189B2 (en) 2014-10-10 2016-11-22 At&T Intellectual Property I, L.P. Method and apparatus for arranging communication sessions in a communication system
US9973299B2 (en) 2014-10-14 2018-05-15 At&T Intellectual Property I, L.P. Method and apparatus for adjusting a mode of communication in a communication network
US9312919B1 (en) 2014-10-21 2016-04-12 At&T Intellectual Property I, Lp Transmission device with impairment compensation and methods for use therewith
US9769020B2 (en) 2014-10-21 2017-09-19 At&T Intellectual Property I, L.P. Method and apparatus for responding to events affecting communications in a communication network
US9800327B2 (en) 2014-11-20 2017-10-24 At&T Intellectual Property I, L.P. Apparatus for controlling operations of a communication device and methods thereof
US10009067B2 (en) 2014-12-04 2018-06-26 At&T Intellectual Property I, L.P. Method and apparatus for configuring a communication interface
US10243784B2 (en) 2014-11-20 2019-03-26 At&T Intellectual Property I, L.P. System for generating topology information and methods thereof
US9954287B2 (en) 2014-11-20 2018-04-24 At&T Intellectual Property I, L.P. Apparatus for converting wireless signals and electromagnetic waves and methods thereof
US9997819B2 (en) 2015-06-09 2018-06-12 At&T Intellectual Property I, L.P. Transmission medium and method for facilitating propagation of electromagnetic waves via a core
US9544006B2 (en) 2014-11-20 2017-01-10 At&T Intellectual Property I, L.P. Transmission device with mode division multiplexing and methods for use therewith
US9461706B1 (en) 2015-07-31 2016-10-04 At&T Intellectual Property I, Lp Method and apparatus for exchanging communication signals
WO2016119065A1 (en) * 2015-01-29 2016-08-04 Rocky Mountain Equipment Canada Ltd. Uav navigation and sensor system configuration
DE102015001247A1 (de) * 2015-01-31 2016-08-04 Audi Ag Verfahren zur Bereitstellung von Information über zumindest ein Objekt in einem Umgebungsbereich eines Kraftfahrzeugs und System
US9876570B2 (en) 2015-02-20 2018-01-23 At&T Intellectual Property I, Lp Guided-wave transmission device with non-fundamental mode propagation and methods for use therewith
US9705561B2 (en) 2015-04-24 2017-07-11 At&T Intellectual Property I, L.P. Directional coupling device and methods for use therewith
US10224981B2 (en) 2015-04-24 2019-03-05 At&T Intellectual Property I, Lp Passive electrical coupling device and methods for use therewith
US9793954B2 (en) 2015-04-28 2017-10-17 At&T Intellectual Property I, L.P. Magnetic coupling device and methods for use therewith
US9871282B2 (en) 2015-05-14 2018-01-16 At&T Intellectual Property I, L.P. At least one transmission medium having a dielectric surface that is covered at least in part by a second dielectric
US9490869B1 (en) 2015-05-14 2016-11-08 At&T Intellectual Property I, L.P. Transmission medium having multiple cores and methods for use therewith
US10650940B2 (en) 2015-05-15 2020-05-12 At&T Intellectual Property I, L.P. Transmission medium having a conductive material and methods for use therewith
US9917341B2 (en) 2015-05-27 2018-03-13 At&T Intellectual Property I, L.P. Apparatus and method for launching electromagnetic waves and for modifying radial dimensions of the propagating electromagnetic waves
US9866309B2 (en) 2015-06-03 2018-01-09 At&T Intellectual Property I, Lp Host node device and methods for use therewith
US9912381B2 (en) 2015-06-03 2018-03-06 At&T Intellectual Property I, Lp Network termination and methods for use therewith
US10812174B2 (en) 2015-06-03 2020-10-20 At&T Intellectual Property I, L.P. Client node device and methods for use therewith
US9913139B2 (en) 2015-06-09 2018-03-06 At&T Intellectual Property I, L.P. Signal fingerprinting for authentication of communicating devices
US9820146B2 (en) 2015-06-12 2017-11-14 At&T Intellectual Property I, L.P. Method and apparatus for authentication and identity management of communicating devices
US9865911B2 (en) 2015-06-25 2018-01-09 At&T Intellectual Property I, L.P. Waveguide system for slot radiating first electromagnetic waves that are combined into a non-fundamental wave mode second electromagnetic wave on a transmission medium
US9640850B2 (en) 2015-06-25 2017-05-02 At&T Intellectual Property I, L.P. Methods and apparatus for inducing a non-fundamental wave mode on a transmission medium
US9509415B1 (en) 2015-06-25 2016-11-29 At&T Intellectual Property I, L.P. Methods and apparatus for inducing a fundamental wave mode on a transmission medium
US9628116B2 (en) 2015-07-14 2017-04-18 At&T Intellectual Property I, L.P. Apparatus and methods for transmitting wireless signals
US9853342B2 (en) 2015-07-14 2017-12-26 At&T Intellectual Property I, L.P. Dielectric transmission medium connector and methods for use therewith
US10044409B2 (en) 2015-07-14 2018-08-07 At&T Intellectual Property I, L.P. Transmission medium and methods for use therewith
US9847566B2 (en) 2015-07-14 2017-12-19 At&T Intellectual Property I, L.P. Method and apparatus for adjusting a field of a signal to mitigate interference
US10148016B2 (en) 2015-07-14 2018-12-04 At&T Intellectual Property I, L.P. Apparatus and methods for communicating utilizing an antenna array
US10205655B2 (en) 2015-07-14 2019-02-12 At&T Intellectual Property I, L.P. Apparatus and methods for communicating utilizing an antenna array and multiple communication paths
US9882257B2 (en) 2015-07-14 2018-01-30 At&T Intellectual Property I, L.P. Method and apparatus for launching a wave mode that mitigates interference
US10090606B2 (en) 2015-07-15 2018-10-02 At&T Intellectual Property I, L.P. Antenna system with dielectric array and methods for use therewith
US9871283B2 (en) 2015-07-23 2018-01-16 At&T Intellectual Property I, Lp Transmission medium having a dielectric core comprised of plural members connected by a ball and socket configuration
US9948333B2 (en) 2015-07-23 2018-04-17 At&T Intellectual Property I, L.P. Method and apparatus for wireless communications to mitigate interference
US9912027B2 (en) 2015-07-23 2018-03-06 At&T Intellectual Property I, L.P. Method and apparatus for exchanging communication signals
US9749053B2 (en) 2015-07-23 2017-08-29 At&T Intellectual Property I, L.P. Node device, repeater and methods for use therewith
US9967173B2 (en) 2015-07-31 2018-05-08 At&T Intellectual Property I, L.P. Method and apparatus for authentication and identity management of communicating devices
US9904535B2 (en) 2015-09-14 2018-02-27 At&T Intellectual Property I, L.P. Method and apparatus for distributing software
US9769128B2 (en) 2015-09-28 2017-09-19 At&T Intellectual Property I, L.P. Method and apparatus for encryption of communications over a network
US9876264B2 (en) 2015-10-02 2018-01-23 At&T Intellectual Property I, Lp Communication system, guided wave switch and methods for use therewith
US10355367B2 (en) 2015-10-16 2019-07-16 At&T Intellectual Property I, L.P. Antenna structure for exchanging wireless signals
KR101741473B1 (ko) 2015-11-19 2017-05-30 삼성중공업 주식회사 위치 추적 장치
AU2017221222B2 (en) 2016-02-15 2022-04-21 Pictometry International Corp. Automated system and methodology for feature extraction
US10671648B2 (en) 2016-02-22 2020-06-02 Eagle View Technologies, Inc. Integrated centralized property database systems and methods
US9860075B1 (en) 2016-08-26 2018-01-02 At&T Intellectual Property I, L.P. Method and communication node for broadband distribution
US10811767B2 (en) 2016-10-21 2020-10-20 At&T Intellectual Property I, L.P. System and dielectric antenna with convex dielectric radome
US10312567B2 (en) 2016-10-26 2019-06-04 At&T Intellectual Property I, L.P. Launcher with planar strip antenna and methods for use therewith
US10225025B2 (en) 2016-11-03 2019-03-05 At&T Intellectual Property I, L.P. Method and apparatus for detecting a fault in a communication system
US10178445B2 (en) 2016-11-23 2019-01-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for load balancing between a plurality of waveguides
US10637149B2 (en) 2016-12-06 2020-04-28 At&T Intellectual Property I, L.P. Injection molded dielectric antenna and methods for use therewith
US10727599B2 (en) 2016-12-06 2020-07-28 At&T Intellectual Property I, L.P. Launcher with slot antenna and methods for use therewith
US10694379B2 (en) 2016-12-06 2020-06-23 At&T Intellectual Property I, L.P. Waveguide system with device-based authentication and methods for use therewith
US10819035B2 (en) 2016-12-06 2020-10-27 At&T Intellectual Property I, L.P. Launcher with helical antenna and methods for use therewith
US10243270B2 (en) 2016-12-07 2019-03-26 At&T Intellectual Property I, L.P. Beam adaptive multi-feed dielectric antenna system and methods for use therewith
US10359749B2 (en) 2016-12-07 2019-07-23 At&T Intellectual Property I, L.P. Method and apparatus for utilities management via guided wave communication
US10547348B2 (en) 2016-12-07 2020-01-28 At&T Intellectual Property I, L.P. Method and apparatus for switching transmission mediums in a communication system
US10446936B2 (en) 2016-12-07 2019-10-15 At&T Intellectual Property I, L.P. Multi-feed dielectric antenna system and methods for use therewith
US10168695B2 (en) 2016-12-07 2019-01-01 At&T Intellectual Property I, L.P. Method and apparatus for controlling an unmanned aircraft
US10139820B2 (en) 2016-12-07 2018-11-27 At&T Intellectual Property I, L.P. Method and apparatus for deploying equipment of a communication system
US10389029B2 (en) 2016-12-07 2019-08-20 At&T Intellectual Property I, L.P. Multi-feed dielectric antenna system with core selection and methods for use therewith
US9893795B1 (en) 2016-12-07 2018-02-13 At&T Intellectual Property I, Lp Method and repeater for broadband distribution
US10601494B2 (en) 2016-12-08 2020-03-24 At&T Intellectual Property I, L.P. Dual-band communication device and method for use therewith
US9998870B1 (en) 2016-12-08 2018-06-12 At&T Intellectual Property I, L.P. Method and apparatus for proximity sensing
US9911020B1 (en) 2016-12-08 2018-03-06 At&T Intellectual Property I, L.P. Method and apparatus for tracking via a radio frequency identification device
US10530505B2 (en) 2016-12-08 2020-01-07 At&T Intellectual Property I, L.P. Apparatus and methods for launching electromagnetic waves along a transmission medium
US10938108B2 (en) 2016-12-08 2021-03-02 At&T Intellectual Property I, L.P. Frequency selective multi-feed dielectric antenna system and methods for use therewith
US10389037B2 (en) 2016-12-08 2019-08-20 At&T Intellectual Property I, L.P. Apparatus and methods for selecting sections of an antenna array and use therewith
US10326689B2 (en) 2016-12-08 2019-06-18 At&T Intellectual Property I, L.P. Method and system for providing alternative communication paths
US10069535B2 (en) 2016-12-08 2018-09-04 At&T Intellectual Property I, L.P. Apparatus and methods for launching electromagnetic waves having a certain electric field structure
US10777873B2 (en) 2016-12-08 2020-09-15 At&T Intellectual Property I, L.P. Method and apparatus for mounting network devices
US10103422B2 (en) 2016-12-08 2018-10-16 At&T Intellectual Property I, L.P. Method and apparatus for mounting network devices
US10264586B2 (en) 2016-12-09 2019-04-16 At&T Mobility Ii Llc Cloud-based packet controller and methods for use therewith
US10340983B2 (en) 2016-12-09 2019-07-02 At&T Intellectual Property I, L.P. Method and apparatus for surveying remote sites via guided wave communications
US9838896B1 (en) 2016-12-09 2017-12-05 At&T Intellectual Property I, L.P. Method and apparatus for assessing network coverage
DE102016224886B3 (de) * 2016-12-13 2018-05-30 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Ermittlung der Schnittkanten von zwei sich überlappenden Bildaufnahmen einer Oberfläche
US9973940B1 (en) 2017-02-27 2018-05-15 At&T Intellectual Property I, L.P. Apparatus and methods for dynamic impedance matching of a guided wave launcher
RU2657334C1 (ru) * 2017-03-06 2018-06-13 Открытое акционерное общество "Завод им. В.А. Дегтярева" Способ согласования линии визирования оптического прибора с продольной осью наземного транспортного средства
US10298293B2 (en) 2017-03-13 2019-05-21 At&T Intellectual Property I, L.P. Apparatus of communication utilizing wireless network devices
US10097241B1 (en) 2017-04-11 2018-10-09 At&T Intellectual Property I, L.P. Machine assisted development of deployment site inventory
SE542644C2 (en) 2017-05-30 2020-06-23 Photon Sports Tech Ab Method and camera arrangement for measuring a movement of a person
DE102017114962B4 (de) * 2017-07-05 2019-08-29 Dallmeier Electronic Gmbh & Co. Kg Multi-Sensor-Kamera
CN107193287B (zh) * 2017-07-12 2023-07-04 中国科学院上海技术物理研究所 一种机载多路高光谱相机电路集成系统
JP6932062B2 (ja) * 2017-10-23 2021-09-08 株式会社クボタ 配管竣工図作成システム及び配管施工図作成方法、並びに配管竣工図作成システムに用いる飛行体、管接合位置算出装置
JP7059650B2 (ja) * 2018-01-25 2022-04-26 積水ハウス株式会社 防水シートの診断方法
US10683067B2 (en) 2018-08-10 2020-06-16 Buffalo Automation Group Inc. Sensor system for maritime vessels
US10936907B2 (en) 2018-08-10 2021-03-02 Buffalo Automation Group Inc. Training a deep learning system for maritime applications
US10782691B2 (en) 2018-08-10 2020-09-22 Buffalo Automation Group Inc. Deep learning and intelligent sensing system integration
US11657072B2 (en) 2019-05-16 2023-05-23 Here Global B.V. Automatic feature extraction from imagery
WO2021030912A1 (en) * 2019-08-21 2021-02-25 Abdelrahman Ahmed Shaker Systems and methods for multi-sensor mapping using a single device that can operate in multiple modes
KR102204564B1 (ko) * 2020-03-27 2021-01-19 주식회사 디지털커브 측량 안테나를 사용하여 위치 정보를 획득하는 무인 비행체를 제어하는 방법 및 무인 비행체로부터 획득된 위치 정보에 기반하여 위치 정합 이미지를 생성 방법
US20220196828A1 (en) * 2020-12-17 2022-06-23 Aptiv Technologies Limited Radar Reference Map Generation
CA3104464A1 (en) * 2020-12-30 2022-06-30 First Resource Management Group Inc. Method and system for producing a digital terrain model
CN113030905A (zh) * 2021-04-07 2021-06-25 中国科学院大气物理研究所 气溶胶激光雷达数据质控的方法及系统
CN114252151A (zh) * 2021-11-29 2022-03-29 中国科学院国家空间科学中心 一种星载光学仪器在轨工作模式自主调整方法及其装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4689748A (en) * 1979-10-09 1987-08-25 Messerschmitt-Bolkow-Blohm Gesellschaft Mit Beschrankter Haftung Device for aircraft and spacecraft for producing a digital terrain representation
US5517419A (en) * 1993-07-22 1996-05-14 Synectics Corporation Advanced terrain mapping system
US5878356A (en) * 1995-06-14 1999-03-02 Agrometrics, Inc. Aircraft based infrared mapping system for earth based resources
US6125329A (en) * 1998-06-17 2000-09-26 Earth Satellite Corporation Method, system and programmed medium for massive geodetic block triangulation in satellite imaging
EP1069547A1 (en) * 1997-12-25 2001-01-17 Toyota Jidosha Kabushiki Kaisha Method and apparatus for processing digital map data
US20020060784A1 (en) * 2000-07-19 2002-05-23 Utah State University 3D multispectral lidar

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1699136A (en) 1929-01-15 eliel
US2104976A (en) 1936-02-29 1938-01-11 Leon T Eliel Apparatus for aerial photography
US2433534A (en) 1944-04-14 1947-12-30 Chicago Aerial Survey Company Stereoscopic camera
US2955518A (en) 1958-07-03 1960-10-11 Texas Instruments Inc Aerial camera
US3518929A (en) 1967-03-06 1970-07-07 Gen Electric Three dimensional camera
DE3043577C2 (de) * 1980-11-19 1983-11-17 Messerschmitt-Bölkow-Blohm GmbH, 8000 München Photogrammetrische Vorrichtung für Fluggeräte und Raumflugkörper zur digitalen Geländedarstellung
DE3219032C3 (de) 1982-05-19 1988-07-07 Messerschmitt Boelkow Blohm Stereophotogrammetrisches aufnahme- und auswerteverfahren
US4650305A (en) 1985-12-19 1987-03-17 Hineslab Camera mounting apparatus
US5104217A (en) 1986-03-17 1992-04-14 Geospectra Corporation System for determining and controlling the attitude of a moving airborne or spaceborne platform or the like
US4724449A (en) 1986-03-25 1988-02-09 Douglas Wright Method and apparatus for stereoscopic photography
CA1314623C (en) 1988-09-20 1993-03-16 Naoshi Suzuki Image pickup system capable of obtaining a plurality of stereo images with different base height ratios
US4935629A (en) * 1988-10-24 1990-06-19 Honeywell Inc. Detector array for high V/H infrared linescanners
US4956705A (en) 1989-03-10 1990-09-11 Dimensional Visions Group Electronic method and apparatus for stereoscopic photography
US5555018A (en) * 1991-04-25 1996-09-10 Von Braun; Heiko S. Large-scale mapping of parameters of multi-dimensional structures in natural environments
EP0589554B1 (en) 1992-09-25 1998-06-10 Texaco Development Corporation Airborne survey method and apparatus
US5467271A (en) * 1993-12-17 1995-11-14 Trw, Inc. Mapping and analysis system for precision farming applications
US5604534A (en) * 1995-05-24 1997-02-18 Omni Solutions International, Ltd. Direct digital airborne panoramic camera system and method
DE19714396A1 (de) * 1997-04-08 1998-10-15 Zeiss Carl Fa Photogrammetrische Kamera
US6281970B1 (en) * 1998-03-12 2001-08-28 Synergistix Llc Airborne IR fire surveillance system providing firespot geopositioning
US6456938B1 (en) * 1999-07-23 2002-09-24 Kent Deon Barnard Personal dGPS golf course cartographer, navigator and internet web site with map exchange and tutor
US6422508B1 (en) 2000-04-05 2002-07-23 Galileo Group, Inc. System for robotic control of imaging data having a steerable gimbal mounted spectral sensor and methods
DE10034601B4 (de) * 2000-07-14 2013-05-23 Leica Geosystems Ag Kamerasystem mit mindestens zwei ersten und zweiten Kameras
US6597991B1 (en) * 2001-03-28 2003-07-22 Agrosense Ltd. System and method for remote monitoring of water stress status of growing crops
US6747686B1 (en) 2001-10-05 2004-06-08 Recon/Optical, Inc. High aspect stereoscopic mode camera and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4689748A (en) * 1979-10-09 1987-08-25 Messerschmitt-Bolkow-Blohm Gesellschaft Mit Beschrankter Haftung Device for aircraft and spacecraft for producing a digital terrain representation
US5517419A (en) * 1993-07-22 1996-05-14 Synectics Corporation Advanced terrain mapping system
US5878356A (en) * 1995-06-14 1999-03-02 Agrometrics, Inc. Aircraft based infrared mapping system for earth based resources
EP1069547A1 (en) * 1997-12-25 2001-01-17 Toyota Jidosha Kabushiki Kaisha Method and apparatus for processing digital map data
US6125329A (en) * 1998-06-17 2000-09-26 Earth Satellite Corporation Method, system and programmed medium for massive geodetic block triangulation in satellite imaging
US20020060784A1 (en) * 2000-07-19 2002-05-23 Utah State University 3D multispectral lidar

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2530217C2 (ru) * 2009-12-01 2014-10-10 Сажем Дефанс Секюрите Устройство для отображения критической и второстепенной информации и летательный аппарат, содержащий такое устройство
WO2012142026A1 (en) * 2011-04-11 2012-10-18 Gentex Corporation Image synchronization for a multiple imager system and method thereof
US8717433B2 (en) 2011-04-11 2014-05-06 Gentex Corporation Image synchronization for a multiple imager system and method thereof
RU2508525C1 (ru) * 2012-09-17 2014-02-27 Федеральное Государственное Унитарное Предприятие "Сибирский Научно-Исследовательский Институт Геологии, Геофизики И Минерального Сырья" Фотограмметрический способ определения превышений подвижного объекта над земной поверхностью и устройство для аэрогеофизической разведки, реализующее этот способ
RU2666061C2 (ru) * 2013-04-04 2018-09-05 Ниссан Мотор Ко., Лтд. Устройство распознавания сигнала регулирования движения
RU2668275C2 (ru) * 2013-12-19 2018-09-28 Форд Глобал Технолоджис, ЛЛК Способ обнаружения затенения антенны транспортного средства
RU2597024C1 (ru) * 2015-05-05 2016-09-10 Владимир Германович Андронов Способ оперативного определения угловых элементов внешнего ориентирования космического сканерного снимка
RU182554U1 (ru) * 2018-05-21 2018-08-22 Публичное акционерное общество "Транснефть" (ПАО "Транснефть") Устройство определения планово-высотного положения магистрального нефтепровода

Also Published As

Publication number Publication date
AU2003273338A1 (en) 2004-04-08
US7127348B2 (en) 2006-10-24
US20040167709A1 (en) 2004-08-26
WO2004028134A2 (en) 2004-04-01
CA2534968C (en) 2013-06-18
JP2006507483A (ja) 2006-03-02
CA2534968A1 (en) 2004-04-01
EA200500513A1 (ru) 2006-06-30
EP1540937A2 (en) 2005-06-15
WO2004028134A3 (en) 2005-03-31
EP1540937A4 (en) 2008-11-12

Similar Documents

Publication Publication Date Title
US9797980B2 (en) Self-calibrated, remote imaging and data processing system
US7127348B2 (en) Vehicle based data collection and processing system
US7725258B2 (en) Vehicle based data collection and processing system and imaging sensor system and methods thereof
US8994822B2 (en) Infrastructure mapping system and method
JP6282275B2 (ja) インフラストラクチャマッピングシステム及び方法
US6928194B2 (en) System for mosaicing digital ortho-images
CN103038761B (zh) 自校准的远程成像和数据处理系统
CN110930508B (zh) 二维光电视频与三维场景融合方法
USRE49105E1 (en) Self-calibrated, remote imaging and data processing system
Nasrullah Systematic analysis of unmanned aerial vehicle (UAV) derived product quality
US7768631B1 (en) Method and system for providing a known reference point for an airborne imaging platform
JP2009509125A (ja) 画像に関連する位置を決定するための方法および装置
US11415990B2 (en) Optical object tracking on focal plane with dynamic focal length
JP2014511155A (ja) 自己較正リモートイメージング及びデータ処理システム
KR20080033287A (ko) 이미지와 관련된 위치를 결정하는 방법 및 장치
Hsieh et al. Generation of Digital Surface Temperature Model from Thermal Images Collected by Thermal Sensor on Quadcopter UAV
Ethrog CCD CAMERA CALIBRATION BASED ON THE SUN'S IMAGES