EA034651B1 - Устройство формирования многоспектральных изображений - Google Patents

Abstract

Компоновка объективов для соединения с держателем сменного объектива цифровой камеры, имеющей один сенсор. Компоновка объективов содержит корпус; одно установочное соединительное кольцо, установленное на корпусе, для соединения с держателем объектива цифровой камеры; по меньшей мере два объектива, по существу, с идентичным фокусным расстоянием, установленные в корпусе; и фильтр с отличающимися одной или несколькими полосами пропускания, ассоциированный с каждым из указанных объективов, так что фильтры пропускают к сенсору излучение по меньшей мере одной полосы видимого спектра и одной полосы невидимого спектра, выбранной из группы, состоящей из полос ближнего инфракрасного спектра и полос ультрафиолетового спектра; объективы имеют, по существу, идентичное поле зрения и, по существу, идентичный круг изображения на плоскости сенсора камеры.

Description

Область техники, к которой относится изобретение

Настоящее изобретение относится в общем к камерам и, в частности, к многоспектральным устройствам формирования изображений для получения многоспектральных изображений.

Уровень техники

Получение изображений нескольких спектров используется в многочисленных и разнообразных приложениях и областях.

На фиг. 1 показана обычная цифровая однообъективная зеркальная (DSLR) камера 1. ПЗС (прибор с зарядовой связью) сенсоры 3 и КМОП (комплементарная структура металл-оксид-полупроводник) сенсоры 3 современных DSLR-камер и беззеркальных камер потребительского уровня чувствительны к свету в полном спектре, который обычно составляет примерно от 170 до 1150 нм. Такая чувствительность ПЗС- и КМОП-сенсоров превосходит возможности человеческого восприятия, ограниченного видимой областью спектра примерно от 400 до 700 нм.

В некоторых DSLR/беззеркальных камерах с держателем 2 сменного объектива сенсоры чувствительны к свету за пределами границ человеческого восприятия. Однако большинство производителей камер используют УВ-ИК-фильтр (не показан), отсекающий ультрафиолетовое и инфракрасное излучение, который устанавливается перед сенсором, чтобы блокировать инфракрасное и ультрафиолетовое излучение для предотвращения искажения полученных изображений, ограничивая полосу пропускания света только видимой (VIS) областью спектра примерно от 400 до 700 нм (спектральная область света, видимого человеческим глазом).

В некоторых DSLR/беззеркальных камерах с держателем сменного объектива УФ-ИК-фильтр может быть удален из камеры, позволяя камере работать в качестве полноспектральной камеры, охватывающей область длин волн, далеко выходящую за пределы видимого света. Наиболее совершенные КМОП-сенсоры сегодня чувствительны к свету за пределами границы 1000 нм (ближнее инфракрасное излучение (NIR)) и 200 нм (ультрафиолетовое излучение (UV)). Изъятие фильтра позволяет захватывать изображение в трех разных и раздельных областях спектра с использованием только одного объектива. Здесь можно устанавливать различные многодиапазонные фильтры с несколькими полосами пропускания, позволяющие захватывать изображение в одном из четырех сочетаний трех диапазонов, а именно ближнего инфракрасного излучения (NIR), либо красного, зеленого и синего света (RGB), либо ультрафиолетового излучения (UV) (эти возможные сочетания имеют вид NIR;G;B, NIR;G;UV, R;G;UV, R;G;B). Типичный сенсор потребительской камеры основан на матрице Байера, что означает, что схема размещения цветных фильтров на пиксельной матрице сенсора изображения имеет вид RGGB. Такая схема размещения не позволяет захватывать больше трех разных диапазонов RGB-спектра, поскольку не существует эффективных способов выделения больше одного диапазона в диапазоне длин волн зеленого света.

Обычные многоспектральные камеры обычно изготавливают под заказ, так что их высокая стоимость представляет барьер для многих. В то же время многоспектральные камеры, установленные на беспилотных летательных аппаратах, используются в сельском хозяйстве для захвата изображений, предоставляющих фермеру полезную информацию, помогающую этому фермеру повысить урожайность своих посевов. Такие камеры используются также для проведения медицинских анализов дантистами и дерматологами и даже в мире косметики. Существующие технологии варьируются, поскольку известны только несколько типов технологий для многоспектральных камер:

многокамерная система (каждая отдельная в системе камера принимает свет в своем узком диапазоне длин волн);

камера на основе призмы (один объектив, несколько сенсоров);

камера с вращающимся фильтром (одно фокусное расстояние, временной промежуток между полученными изображениями разных длин волн);

многоцветный сенсор на основе схемы RGBU (красный, зеленый, синий, ультрафиолет) или любая другая цветовая съемка с помощью сенсора (вместо типичной схемы RGGB (красный, зеленый, зеленый, синий) матрицы Байера цветных фильтров).

Известно довольно много упрощенных двухдиапазонных технических решений, охватывающих видимый диапазон (шириной от 400 до 700 нм) и ближний инфракрасный диапазон, с использованием двух синхронизированных камер, но эти технические решения не могут считаться многоспектральными. Обычные 4-диапазонные технические решения, основаны ли они на вращающемся фильтре, призме или конструкции с несколькими объективами, имеют довольно низкое качество из-за низкой разрешающей способности и плохого совмещения цветовых каналов. Многоспектральные камеры всех типов, подробно описанных выше, являются очень дорогостоящими и обычно обладают более низкой разрешающей способностью и низким качеством по сравнению с DSLR-камерами или беззеркальными камерами потребительского уровня. Существующим многокамерным и многообъективным техническим решениям присущи также большие проблемы, связанные с совмещением матриц для различных цветов и фокусировкой захватываемых изображений. При использовании вращающегося фильтра, например, почти невозможно скорректировать хроматическую аберрацию, поскольку объектив неподвижен, что делает невозможной фокусировку излучения в ближнем инфракрасном диапазоне (NIR) и в ультрафиолетовом диапазоне

- 1 034651 (UV) через один и тот же объектив. Использование камеры с вращающимся фильтром на беспилотном летательном аппарате (БПЛА (unmanned aerial vehicle (UAV))) представляет другую проблему. Поскольку изображения захватывают в разные моменты и с разных углов, пока БПЛА летит, временной промежуток в 33 мс между захваченными изображениями может привести к расстоянию ~1 м между точками, из которых камера захватила эти изображения, если этот БПЛА летит со скоростью 100 км/ч.

Эффективное многоспектральное устройство для анализа изображений в сельском хозяйстве должно иметь по меньшей мере 3 узкополосных цветовых спектральных диапазона (канала) с длинами волн: 550; 650 или 740 нм; 850 или 950 нм и предпочтительно имеет 5 или 6 цветовых диапазонов.

Сенсоры сегодняшних камер потребительского уровня, КМОП-сенсоры или ПЗС-сенсоры, способны воспринимать свет в довольно широком спектре, чего достаточно для многих многоспектральных приложений, таких как приложение, определяющее нормализованный относительный индекс растительности (NDVI (Normalized Difference Vegetation Index)) и используемое в сельском хозяйстве. Однако типичный сенсор камеры потребительского уровня основан на сенсоре матрицы Байера, что означает, что расположение цветных фильтров на пиксельной матрице сенсора изображения соответствует схеме RGGB. Для использования камеры на основе системы фильтрации Байера для получения 4, 5 или 6 каналов неизбежно необходимо использовать две камеры. Способ соединения двух камер для приложений такого рода известен и был реализован и опубликован Министерством сельского хозяйства США (USDA) в документе Авиационная многоспектральная система для захвата изображения на основе двух камер потребительского уровня для дистанционного контроля посевов сельскохозяйственных культур (An Airborne Multispectral Imaging System Based on Two Consumer-Grade Cameras for Agricultural Remote Sensing http://www.mdpi.com/2072-4292/6/6/5257. Такое сочетание является дорогостоящим и имеет довольно много недостатков.

Ряд главных проблем в области захвата изображений с использованием многоспектральных камер связан с вопросами калибровки и совмещения пикселей разных цветовых матриц, особенно если соответствующие изображения считываются разными камерами. Тогда как промежуток времени между захватом изображений может варьироваться в пределах до нескольких сот секунд, расстояние между точками захвата этих изображений может достигать нескольких десятков сантиметров. Анализ данных, полученных посредством многоспектральных приложений, применяющих быстродвижущиеся камеры, такие как камеры, установленные на аппаратах БПЛА, используют такие метрические показатели, как индекс NDVI или индекс NDRE (нормализованный относительный индекс красного края (Normalized Difference Red Edge Index)), при вычислении которых обычно вычитают и/или делят величины цветовых матриц (NDVI=(NIR-VIS)/(NIR+VIS)). Таким образом, использование нескольких камер в таких приложениях особенно проблематично, поскольку расстояния между фокусными точками и неточность совмещения могут привести к ошибочному анализу данных.

Совмещение различных цветовых матриц является одной из наиболее важных проблем, с которой сталкиваются производители многоспектральных камер. Как указано выше, для определения метрических индексов NDVI и NDRE и других возможных параметров используют разности между цветными матрицами. Калибровка аппаратуры камер или объективов, которые захватывают изображения различных цветовых матриц, точна только до некоторой степени, но эта калибровка никогда не может быть точной на уровне пикселей при работе с камерами, имеющими высокую разрешающую способность. При работе с камерами, имеющими короткие эффективные объективы, еще более проблематичным является совмещение цветовых каналов, изображения которых считывают разные камеры. Цифровое выравнивание изображений матриц после считывания на основе обычно используемых метрических показателей минимальной разности может оказывать отрицательное влияние на процесс, поскольку цифровое согласование (такое как применение методов глобальной оценки движения) ограничено совмещением цифровых цветовых матриц в точке, где имеет место минимальная разность между этими матрицами. Такой способ может на деле свести к минимуму или даже полностью исключить наиболее важные данные, а именно разницу между матрицами.

Получение (захват) многоспектральных изображений используется также для медицинского анализа дантистами и дерматологами, для анализа состояния кожи, стоматологического осмотра и других исследований и даже в мире косметики. Однако присутствующие сегодня на рынке устройства для таких целей также являются довольно дорогостоящими и имеют два главных недостатка (в дополнении к их стоимости): вес и доступность для пользователя. Современные устройства являются весьма дорогостоящими для обычного потребителя и для малого бизнеса, поскольку их изготавливают на заказ. Эффективная многоспектральная аппаратура для анализа кожи, волос и зубов должна иметь по меньшей мере 3 узкополосных цветовых диапазона (канала) для областей светового спектра с длинами волн 365, 550, 650 нм. Предпочтительно такая аппаратура содержит 5 или 6 цветовых диапазонов.

Исключение УВ-ИК-фильтра часто используется для модификации камеры и превращения ее в камеру инфракрасного или ультрафиолетового диапазона для применения в астрономии, медицине или в области эстетики. Установка многодиапазонного фильтра с несколькими полосами пропускания в такой полноспектральной камере может позволить захватывать изображения в трех раздельных диапазонах, поскольку сенсоры в таких камерах имеют в большинстве случаев матрицу типа RGGB. Это означает,

- 2 034651 что изображения в каналах красного, зеленого и синего цветов (R, G и В) можно захватывать по отдельности, но при этом невозможно захватывать по отдельности изображения в каналах красной и ближней инфракрасной областей спектра, поскольку свет в обеих этих областях воспринимают одни и те же чувствительные к красному свету пиксели в сенсоре.

Известны также технические решения для захвата трехмерных (3D) изображений с использованием двух объективов в камере с одним или двумя сенсорами. Такое техническое решение было разработано фирмой Цейс почти сто лет назад, а более новая версия такого технического решения была разработана также компанией Панасоник примерно в 2010 г. для рынка потребительской электроники (что, как представляется, создает стимул для развития трехмерного телевидения 3D TV). Однако эти технические решения не рассматривают такие проблемы, связанные с многоспектральностью, как баланс экспозиции, хроматическая аберрация и совмещение фокусов, поскольку такие решения основаны на идентичных объективах и идентичных спектральных полосах, где такие проблемы просто не возникают.

Мобильные платформы, такие как смартфоны или аналогичные универсальные процессорные платформы, предназначенные для беспилотных летательных аппаратов (таких как аппарат SnapDragon Flight, разработанный фирмой Qualcomm), могут быть идеальными с точки зрения цены, массы и интеграции с мощным процессором в качестве основы для многоспектральной аппаратуры для считывания изображений. Сенсоры в современных смартфонах способны воспринимать довольно широкий спектр светового излучения, которого вполне достаточно для многих многоспектральных приложений, таких как использование NDVI (нормализованный относительный индекс растительности), применяемого в сельском хозяйстве. Некоторые конструкции такого типа (подобно SnapDragon Flight) содержат только одну камеру, и в последние годы ряд поставщиков, таких как компания LG Electronics, даже разработали смартфон с возможностью съемки 3D-изображений, оснащенный двумя камерами. Однако сейчас нет доступных многоспектральных смартфонов, будь то для дистанционного наблюдения посевов в сельском хозяйстве или анализа кожи, волос и стоматологических вопросов. Это совсем не удивительно, потому что имеется довольно много проблем, требующих инновационного подхода для того, чтобы можно было реализовать такую легкую и компактную аппаратуру.

Однако типичный сенсор потребительской камеры основан на матрицы Байера, что означает, что цветные фильтры на пиксельной матрице в сенсоре расположены по схеме RGGB. Для того чтобы использовать камеру на основе системы фильтров по схеме Байера для захвата изображения в 4, 5 или 6 цветовых каналов, применение двух камер становится неизбежным. Способ соединения двух видеокамер для приложений такого рода известен и был реализован и опубликован Министерством сельского хозяйства США (USDA) в документе Авиационная многоспектральная система для захвата изображения на основе двух камер потребительского уровня для дистанционного контроля посевов сельскохозяйственных культур (An Airborne Multispectral Imaging System Based on Two Consumer-Grade Cameras for Agricultural Remote Sensing http://www.mdpi.com/2072-4292/6/6/5257. Такое сочетание не практично для легких БПЛА и бытовых потребителей из-за большого веса и стоимости.

Точно такие же проблемы присущи области анализа кожи, где вместо каналов VIS+NIR используются каналы VIS+Near UV (видимый свет плюс ближний ультрафиолет) для наблюдения поверхности кожи и подкожных слоев. В этом варианте тоже имеют место такие же самые проблемы хроматической аберрации и фокусировки.

Одна из дополнительных проблем в области смартфонов или мобильных устройств для анализа кожи состоит в типе объектива. Для анализа кожи одна из нескольких камер должна быть способна захватывать свет в узком диапазоне (пик) 365 нм. Объективы из обычного стекла не пропускают свет в этом диапазоне, так что для объективов ближней ультрафиолетовой области спектра (NUV) необходимо использовать другой материал, такой как плавленый кварц или плавленый оксид кремния.

Следовательно, уже давно ощущается необходимость в многоспектральной аппаратуре для захвата изображений, подходящей для использования в качестве быстро перемещающейся камеры или камеры для установки на БПЛА или в качестве устройства для анализа кожи, и при этом было бы очень желательно, чтобы такая камера обеспечивала совмещение разных цветовых матриц и фокусировку захваченных изображений, и все это при относительно низкой стоимости.

Краткое изложение существа изобретения

Настоящее изобретение относится к сменным компоновкам объективов для получения многоспектральных изображений в цифровых камерах с держателем для сменных объективов. Компоновка объективов содержит корпус, имеющий одно кольцо для соединения с держателем и по меньшей мере два объектива. Каждый объектив расположен (предпочтительно точно) перед центром участка сенсора, ассоциированного с этим объективом, в соответствии с числом объективов. Разные объективы пропускают свет в нескольких, предпочтительно по меньшей мере четырех разных спектральных диапазонах светового излучения от инфракрасного излучения до ультрафиолетового излучения, создавая тем самым возможность - с использованием полосно-пропускающих фильтров - воспринимать выбранные спектральные диапазоны с заданными длинами волн, выбранными в соответствии с требованиями конкретного приложения. Эти объективы имеют, по существу, идентичные поля зрения и подобные (по существу, идентичные) круги изображения на плоскости сенсора. Объективы имеют также, по существу, идентич

- 3 034651 ные фокусные расстояния; они расположены на неодинаковых расстояниях от сенсора или один или несколько таких объективов содержат оптический элемент для коррекции хроматической аберрации, возникающей из-за различия длин волн света, проходящего через разные объективы.

В частности, компоновка объектива позволяет захватывать многоспектральные изображения через несколько (два или более) объективов предпочтительно с использованием промышленного стандартного держателя для одного объектива. Компоновка объектива расширяет возможности одиночной цифровой камеры, оснащенной стандартным сенсором (который предпочтительно не имеет УВ-ИК-фильтра и чувствителен к полному спектру светового излучения от ~170 до ~1100 нм, как большинство современных КМОП- или ПЗС-сенсоров), превращая эту одиночную камеру в высококачественную в высокой степени синхронизированную и отличающуюся хорошим совмещением многоспектральную камеру.

Таким образом, настоящее изобретение позволяет захватывать многоспектральные изображения в нескольких - от четырех до двенадцати и даже более диапазонах посредством нескольких (двух или более) объективов с использованием одного держателя объектива с одиночной цифровой камерой, оснащенной стандартным сенсором. Более того, настоящее изобретение позволяет оптимальным образом использовать всю поверхность сенсора камеры и в то же время отфильтровывать накладывающиеся одна на другую части изображения, захватываемые разными объективами.

Согласно настоящему изобретению предложена компоновка объективов, соединяемая с держателем сменного объектива в цифровой камере, имеющей единственный сенсор; компоновка объективов содержит корпус; одно соединительное кольцо для присоединения держателя, установленное на корпусе для соединения с держателем объектива в цифровой камере; по меньшей мере два объектива с идентичными, по существу, фокусными расстояниями, установленные в корпусе; и свой отличный от других полоснопропускающий фильтр с одной или несколькими полосами пропускания, ассоциированный с каждым объективом и пропускающий по меньшей мере один диапазон в видимой области спектра и один диапазон в невидимой области спектра, выбранный из группы, содержащей ближнюю инфракрасную область спектра и ультрафиолетовую область спектра, и пропускающий свет в этом диапазоне к сенсору; где эти объективы имеют, по существу, идентичные поля зрения и, по существу, идентичные круги изображения в плоскости сенсора камеры.

Предложен также способ получения многоспектральных изображений; способ включает получение изображений посредством единственного сенсора через по меньшей мере два объектива с практически идентичными фокусными расстояниями, эти объективы имеют, по существу, идентичное поле зрения и, по существу, идентичную окружность изображения в плоскости сенсора; каждый объектив ассоциирован со своим отличным от других полосно-пропускающим фильтром с одной или несколькими полосами пропускания, пропускающим по меньшей мере один диапазон в видимой области спектра и по меньшей мере один диапазон в невидимой области спектра, выбранный из группы, содержащей ближнюю инфракрасную область спектра и ультрафиолетовую область спектра, и пропускающий свет в этом диапазоне к сенсору; и сохранение захваченных изображений от нескольких объективов в одном файле изображения.

Предложена также согласно настоящему изобретению многоспектральная камера, содержащая цифровую камеру, имеющую держатель для сменного объектива, затвор и единственный сенсор; и сменная компоновка объективов содержит корпус; одно соединительное кольцо для присоединения держателя, установленное на корпусе для соединения с держателем объектива в цифровой камере; по меньшей мере два объектива с идентичными, по существу, фокусными расстояниями, так что каждый объектив установлен таким образом, что его фокусный центр находится перед центром соответствующей части сенсора; и свой отличный от других полосно-пропускающий фильтр с одной или несколькими полосами пропускания, ассоциированный с каждым объективом и пропускающий по меньшей мере один диапазон в видимой области спектра и один диапазон в невидимой области спектра, выбранный из группы, содержащей ближнюю инфракрасную область спектра и ультрафиолетовую область спектра, и пропускающий свет в этом диапазоне к сенсору; объективы имеют, по существу, идентичные поля зрения и, по существу, идентичные круги изображения в плоскости сенсора камеры; и одно кольцо для соединения с держателем, установленное на корпусе, для соединения с держателем объектива в цифровой камере.

Настоящее изобретение относится также к способу цифрового совмещения по меньшей мере пары цифровых изображений объекта после захвата этих изображений, способ содержит получение цифровых изображений объекта, сохраненных в виде цветных матриц, через каждый по меньшей мере из двух объективов, по существу, с идентичными фокусными расстояниями, по существу, идентичным полем зрения и, по существу, идентичными окружностями изображения в плоскости по меньшей мере одного сенсора; каждый объектив ассоциирован со своим отличным от других полосно-пропускающим фильтром с одной или несколькими полосами пропускания, так что каждый объектив захватывает изображение в одном спектральном диапазоне, сходном с одним из спектральных диапазонов, захватываемых другим объективом, и по меньшей мере в одном спектральном диапазоне, отличном от спектрального диапазона, захватываемого другим объективом, отделение цветовой матрицы, захваченной в сходном спектральном диапазоне, от многодиапазонных изображений, полученных разными объективами, и согласование матриц для почти идентичных спектральных диапазонов от каждого из объективов с целью цифрового совмещения изображений, полученных всеми объективами, после захвата этих изображений.

- 4 034651

Согласно вариантам настоящего изобретения указанные выше фильтры пропускают свет по меньшей мере в одном видимом и/или невидимом спектральном диапазоне к сенсору. Для освещения объекта во время захвата его изображения используют лампу-вспышку, которая может представлять собой специализированную лампу-вспышку, согласованную с полосой пропускания фильтра для невидимой области спектра.

Далее согласно настоящему изобретению предложено устройство для цифрового совмещения, по меньшей мере, пары цифровых изображений объекта после захвата этих изображений, это устройство содержит по меньшей мере два объектива, по существу, с идентичными фокусными расстояниями, по существу, идентичным полем зрения и, по существу, идентичными окружностями изображения в плоскости сенсора, для получения цветовых матриц для цифровых изображений объекта через каждый объектив; каждый объектив ассоциирован с полосно-пропускающим фильтром с одной или несколькими полосами пропускания, так что этот фильтр имеет один спектральный диапазон, сходный с одним из спектральных диапазонов, захватываемых другим объективом, и по меньшей мере один спектральный диапазон, отличный от спектрального диапазона, захватываемого другим объективом, и процессор для отделения цветовой матрицы, захваченной в сходном спектральном диапазоне, от многодиапазонных изображений, полученных разными объективами, и согласования матриц для идентичных, по существу, спектральных диапазонов от каждого из объективов с целью цифрового совмещения изображений, полученных всеми объективами, после захвата этих изображений.

Должно быть понятно, что объективы могут быть установлены в одной камере или в двух или более разных камерах.

Настоящее изобретение далее относится к мобильному многоспектральному устройству для захвата изображений, имеющему несколько объективов, и/или несколько сенсоров, и/или несколько камер для захвата многоспектральных изображений. В частности, такое мобильное устройство для захвата изображений конфигурировано таким образом, чтобы обеспечить цифровое совмещение цветовых каналов в составе многоспектральных изображений. Камеры (по меньшей мере две) расположены и юстированы таким образом, чтобы захватывать изображения идентичных насколько это возможно полей зрения. Разные камеры допускают прохождение света в нескольких, предпочтительно по меньшей мере четырех, разных спектральных диапазонах от красного света до ближнего ультрафиолетового излучения или от синего света до ближнего инфракрасного излучения, что позволяет с использованием полоснопропускающих фильтров воспринимать изображение в выбранных спектральных диапазонах в зависимости от конкретных приложений. Эти камеры имеют, по существу, идентичное поле зрения и, по существу, идентичные круги изображения в плоскости сенсора соответствующей камеры. Объективы этих камер также имеют, по существу, идентичное фокусное расстояние и отличаются низкими искажениями. Для освещения в диапазоне чувствительности, согласованном со фильтром для невидимой (например, ближней ультрафиолетовой или ближней инфракрасной) области спектра, используется по меньшей мере одна специализированная фотовспышка, хотя предпочтительно может быть установлена также вторая фотовспышка для освещения в видимом диапазоне. Для достижения, по существу, идентичных окружностей изображений в плоскости сенсора объективы камеры либо оба расположены на неодинаковых расстояниях от сенсора, либо по меньшей мере один из объективов содержит оптический элемент для коррекции хроматической аберрации, возникающей из-за различия длин волн света, проходящего сквозь разные объективы.

Таким образом, согласно настоящему изобретению предложено многоспектральное устройство для захвата изображения, содержащее мобильную процессорную платформу; по меньшей мере две камеры, каждая из которых имеет объектив, фильтр по меньшей мере с одной или несколькими полосами пропускания и по меньшей мере один сенсор заодно с платформой; фильтры пропускают свет, по меньшей мере, в видимой и невидимой (например, ближней инфракрасной или ближней ультрафиолетовой) областях спектра к сенсорам; и объективы имеют, по существу, идентичное фокусное расстояние, по существу, идентичное поле зрения и, по существу, идентичную окружность изображения в плоскости сенсора камеры. Разные камеры позволяют прохождение света в нескольких, предпочтительно по меньшей мере в четырех разных спектральных диапазонах светового излучения от красной до ближней ультрафиолетовой области спектра или от синей до ближней инфракрасной области спектра. Для освещения в диапазоне чувствительности, согласованном со фильтром для невидимой (например, ближней ультрафиолетовой или ближней инфракрасной) области спектра, используется по меньшей мере одна специализированная фотовспышка, хотя предпочтительно может быть установлена также вторая фотовспышка для освещения в видимом диапазоне.

Согласно вариантам настоящего изобретения каждый из объективов содержит фильтр для захвата изображения по меньшей мере в одном сходном цветовом спектральном диапазоне, что создает возможность цифрового совмещения разных цветовых каналов в захваченных изображениях, где термин сходство означает наложение по меньшей мере на 50%.

Краткое описание чертежей

Настоящее изобретение можно будет далее понять и оценить из следующего подробного описания, рассматриваемого вместе с чертежами, на которых:

- 5 034651 фиг. 1 представляет упрощенное изображение известной DSLR-камеры с держателем объектива; фиг. 2 представляет упрощенное изображение компоновки объективов согласно некоторым вариантам настоящего изобретения;

фиг. 3 представляет упрощенное изображение сенсора согласно некоторым вариантам настоящего изобретения;

фиг. 4 представляет упрощенное изображение сенсора согласно некоторым вариантам настоящего изобретения;

фиг. 5 представляет упрощенный вид сверху другой конструкции объектива для многоспектральной камеры согласно некоторым вариантам настоящего изобретения;

фиг. 6a и 6b представляют упрощенные изображения возможных компоновок объективов согласно некоторым вариантам настоящего изобретения;

фиг. 7 представляет упрощенное изображение хроматической аберрации;

фиг. 8 представляет упрощенное изображение коррекции хроматической аберрации в паре объективов согласно некоторым вариантам настоящего изобретения;

фиг. 9a и 9b представляют упрощенные изображения видов спереди и сбоку физической перегородки, помещенной между двумя объективами, согласно некоторым вариантам настоящего изобретения;

фиг. 10a и 10b представляют упрощенные изображения компоновки объективов с отсекающими окнами согласно некоторым вариантам настоящего изобретения; и фиг. 11 представляет упрощенное изображение многоспектрального мобильного телефона согласно некоторым вариантам настоящего изобретения.

Подробное описание изобретения

Настоящее изобретение относится к сменной компоновке объективов для получения многоспектральных изображений, предназначенной для использования в цифровой камере с держателем сменных объективов. Компоновка объективов содержит корпус с одним кольцом для соединения с держателем и по меньшей мере два согласованных объектива. Каждый объектив расположен (предпочтительно точно) перед центром того участка сенсора, который ассоциирован с этим объективом, в соответствии с числом объективов. Разные объективы пропускают свет в нескольких, предпочтительно по меньшей мере четырех разных спектральных диапазонах (по меньшей мере 4 диапазона для 2 объективов) в пределах спектра от ближней инфракрасной области спектра до синей области спектра и, возможно, до ближней ультрафиолетовой области спектра, что позволяет с использованием полосно-пропускающих фильтров воспринимать излучение в выбранных спектральных диапазонах с заданными длинами волн, выбранными в соответствии с желаемым приложением. Эти объективы имеют, по существу, идентичное поле зрения и, по существу, идентичные круги изображения в плоскости сенсора. Эти объективы имеют, по существу, идентичное фокусное расстояние, и либо расположены на слегка различных расстояниях от сенсора, либо по меньшей мере один из этих объективов содержит оптический элемент, корректирующий хроматическую аберрацию, возникающую из-за различия длин волн светового излучения, проходящего через разные объективы. Предпочтительно слова по существу, идентичный в этом случае означают идентичность по меньшей мере на 90%. Далее должно быть понятно, что согласно вариантам настоящего изобретения объективы могут иметь, по существу, идентичное поле зрения и/или, по существу, идентичные круги изображения, и/или, по существу, идентичное фокусное расстояние, либо какое-либо сочетание этих показателей.

В частности, компоновка объективов позволяет получать многоспектральные изображения через несколько (два или более) объективов, предпочтительно с использованием стандартного промышленного держателя одиночного объектива (такого как держатель F-mount фирмы Никон (Nikon), держатель Emount фирмы Сони (Sony), или держатель Микро три четверти (Micro Four Thirds) или C-Mount производства Панасоник/Олимпус (Panasonic/Olympus), или какой-либо держатель для DSLR-камеры или беззеркальной цифровой камеры). Компоновка объективов расширяет возможности одиночной цифровой камеры, оснащенной стандартным сенсором (который предпочтительно не имеет УВ-ИК-фильтра и чувствителен к световому излучению в полном спектре с длинами волн от ~170 до ~1100 нм, как и большинство современных сенсоров КМОП-типа или ПЗС-типа), превращая такую камеру в высококачественную в высокой степени синхронизированную и совмещенную многоспектральную камеру.

Узкополосный или широкополосный фильтр и/или многодиапазонный фильтр с несколькими полосами пропускания, ассоциированные с объективами, являются различными для каждого объектива. Эти фильтры могут быть реализованы в виде покрытия, нанесенного на объектив, или могут быть сменными и устанавливаемыми перед объективом (между объектом и объективом) или сзади него (между объективом и частью сенсора, воспринимающей свет, прошедший сквозь этот конкретный объектив), все, как это известно, или каким-либо другим подходящим образом.

Эти несколько объективов могут иметь фиксированную фокусировку или могут иметь регулируемую фокусировку. В случае регулируемой фокусировки для регулирования фокуса всех нескольких объективов создан единый общий механизм фокусировки, автоматической или ручной, действующий путем перемещения оптических элементов нескольких объективов, которые (элементы) нужно перемещать.

Согласно некоторым вариантам указанные несколько объективов могут представлять собой объек

- 6 034651 тивы с переменным фокусным расстоянием. В таком случае, будь то автоматичная или ручная регулировка, подвижные элементы всех объективов, которые нужно перемещать для достижения эффекта изменения фокусировки, перемещаются совместно.

Для достижения одинаковой экспозиции разных частей сенсора (поскольку настоящее изобретение использует единственную камеру) апертуры для разных объективов задают заранее или устанавливают вручную в соответствии с принимаемой длиной волны. Это необходимо, поскольку изображения получают с одинаковым временем экспозиции (например, если объективы фиксируют изображение в ближнем инфракрасном диапазоне от 850 до 950 нм и видимое изображение в диапазоне от 400 до 700 нм, для получения одинаковой экспозиции может потребоваться, чтобы было различие в апертуре (F-стоп)). Если объектив для видимого спектра (VIS) имеет F8, тогда наиболее вероятно, что объектив для ближнего инфракрасного спектра, выполняющий съемку, по существу, с идентичными полем зрения и фокусным расстоянием, будет использовать F5.6).

Изображения от нескольких объективов сохраняют в одном кадре изображения, в формате RAW, JPEG или в каком-либо другом формате, поддерживаемом камерой.

Согласно некоторым вариантам обеспечивается оптимальное или максимальное использование полной поверхности сенсора в составе камеры, и при этом отфильтровываются накладывающиеся один на другой участки изображений, захваченные разными объективами. Это предпочтительно достигается посредством маскирования и/или физического разбиения (секционирования). Предпочтительно настоящее изобретение содержит рамку, блокирующую свет, границу или перегородку вокруг каждого объектива или между объективами, ограничивающую или отсекающую круг света, проходящего через каждый объектив, до размера предварительно заданной прямоугольной области на чувствительной поверхности сенсора в камере. Размер этой области определяют в зависимости от числа объективов, установленных на держателе.

Поскольку приложения, которые могут получить выигрыш от использования многоспектральных изображений, анализируют эти изображения путем сравнения цветовых матриц одной с другой, существенно важно, чтобы разные матрицы были идентичны по своим полям зрения и разрешающей способности. Поскольку объективы пропускают свет в выбранных и ограниченных спектральных диапазонах, настоящее изобретение описывает способы коррекции хроматической аберрации, вызываемой различием углов, под которыми излучение разных диапазонов выходит из объективов, изготовленных из идентичного материала (будь то стекло или пластмасса). Настоящее изобретение предлагает два возможных способа решения этой проблемы, не требующих обработки захваченных изображений после их захвата. Один из предлагаемых способов решения проблемы аберрации состоит в проектировании объективов на основе идентичных окружностей изображения и полей зрения, проектируя при этом оптические элементы в соответствии с этими двумя спецификациями. Коррекция аберрации может быть осуществлена в этом случае либо путем использования объективов, немного отличающихся один от другого по глубине фокусировки, либо посредством добавления в один или в оба объектива оптического элемента, который корректирует аберрацию (выравнивает размер круга изображения одного объектива с аналогичным размером в другом объективе). Можно также использовать сочетание обоих этих решений.

Кроме того, настоящее изобретение предлагает метод совмещения разных цветовых матриц после их захвата наиболее надежным способом, что не в состоянии предложить никакая обычная многоспектральная камера с несколькими объективами. Настоящее изобретение позволяет точно совмещать пиксели в матрицах путем захвата изображений в одном из цветовых диапазонов через оба объектива и совмещения всех матриц цифровым способом после захвата, что основано на согласовании этих двух сходных цветовых матриц. Например, если объектив 1 захватывает изображения в нескольких спектральных диапазонах, каждый из которых имеет ширину 60 нм, а центры диапазонов соответствуют длинам волн 450, 550 и 850 нм, тогда цифровое совмещение изображений после захвата может быть осуществлено путем согласования изображений, захваченных объективами 1 и 2, для диапазона 550 нм, что позволяет точно совместить пиксели, поскольку эти матрицы содержат аналогичные данные. Это осуществляется путем захвата изображений каждым из этих объективов через фильтры, содержащие сходный спектральный диапазон света. Матрицу или канал, принявший изображение в этом сходном диапазоне, отделяют от многодиапазонных изображений, захваченных разными объективами, например, с помощью процессора. Затем матрицу для этого сходного светового диапазона используют для цифрового совмещения изображений, захваченных всеми объективами, после захвата. Для целей настоящего изобретения сходными считаются цветовые матрицы, соответствующие, по существу, накладывающимся один на другой (по меньшей мере на 50%) спектральным диапазонам длин волн.

Все другие матрицы тогда будут совмещены точно, поскольку они были захвачены одновременно с рассматриваемой матрицей для света с длиной волны 550 нм на обеих половинах сенсора. Можно, конечно, иметь, по существу, идентичную полосу для такого совмещения с использованием какого-либо из диапазонов RGB, однако предпочтительным выбором является зеленый диапазон, поскольку обычно матрица зеленого цвета является самой четкой и резкой из этих трех диапазонов RGB, и большинство DSLR-камер и беззеркальных камер оснащены сенсорами на основе матрицы Байера по схеме RGGB, что обеспечивает наивысшее качество изображения в зеленом диапазоне.

- 7 034651

Следует понимать, что этот способ может также быть использован в ситуации, когда несколько камер (несколько сенсоров) собраны на одной платформе, а не просто одна камера, имеющая несколько объективов на одном сенсоре. Один пример такой реализации описан подробно ниже применительно к мобильной платформе. Таким образом, способ цифрового совмещения двух или более захваченных изображений содержит захват изображений по меньшей мере через два объектива, при этом по меньшей мере два фильтра пропускают свет в выбранном спектральном диапазоне сквозь каждый из объективов по меньшей мере к одному сенсору, где эти объективы имеют, по существу, идентичное фокусное расстояние, по существу, идентичное поле зрения и, по существу, аналогичную окружность изображения в плоскости сенсора. Один из этих фильтров, ассоциированный с каждым объективом, позволяет захватывать изображение по меньшей мере в одном выбранном сходном спектральном диапазоне (наложение по меньшей мере 50%), позволяя осуществлять цифровое совмещение разных цветовых каналов в захваченных изображениях после захвата на основе согласования изображений в сходном диапазоне, полученных каждым объективом.

Кроме того, однокамерная реализация настоящего изобретения описывает способ обхода ограничения диаметра объектива. Поскольку каждый объектив должен быть расположен точно перед своей соответствующей частью сенсора, диаметр такого объектива обычно ограничен размерами сенсора. Если, например, размеры сенсора типа APS-C Sensor, используемого некоторыми камерами, равны 23.2x15.4 мм, тогда компоновка объективов, собранная из двух объективов, ограничена использованием объективов с размером 011.6 мм. Однако, поскольку полный диаметр объективов позволяет свету проходить в пределах всего круга изображения, части которого оказываются за пределами сенсора (поскольку круг изображения является круглым, а сенсор имеет прямоугольную форму), настоящее изобретение предлагает способ использования объективов большего диаметра, обрезая края этих объективов (или только смежные края). Это позволяет использовать объективы размером до 015.4 мм. Другой способ применения объективов даже большего диаметра состоит в использовании конструкции типа двойной системы оборачивающих призм, что подробно описано ниже, как это обычно используется в бинокулярных устройствах, чтобы позволить применять объективы еще большего диаметра.

Компоновку объективов можно также подгонять к другому держателю с использованием кольцевого адаптера объектива (например, переходного адаптера от конструкции типа F-держатель к конструкции типа Micro Four Thirds, или к конструкции типа Е-держатель, либо к держателю другого типа). Предпочтительно компоновка объективов также позволяет независимо калибровать фокус для каждого из нескольких объективов.

Также предпочтительно камера имеет функции радиосвязи (например, согласно стандарту WiFi, стандарту связи в ближней зоне (NFC), стандарту Bluetooth и/или сотовому стандарту LTE, либо другому стандарту). Если нужно, камерой можно управлять через универсальную последовательную шину (USB) или по радио. Также предпочтительно такая камера должна быть способна передавать захваченные изображения по кабелю (например, USB) и/или по радио процессорной платформе (такой как компьютер, планшетный компьютер, персональный компьютер, плата обработки изображения или смартфон).

Настоящее изобретение предлагает эффективный способ использования по меньшей мере двух объективов по меньшей мере в одной компоновке объективов, обходя RGGB-ограничение фильтра Байера путем специального выделения по меньшей мере двух областей поверхности сенсора по меньшей мере двум объективам, предназначенным для пропускания разных спектральных диапазонов. Один из примеров вариантов показан на фиг. 2a и 2b. На фиг. 2a и 2b показана компоновка объективов 4, имеющая держатель 5 и несколько объективов 6 (здесь показаны два объектива). Например, как показано в этом варианте изобретения, если компоновка объективов содержит два объектива, один из которых имеет многодиапазонный фильтр с несколькими полосами пропускания в диапазонах NIR (ближний инфракрасный), G (зеленый) и UV (ультрафиолет), а другой имеет многодиапазонный фильтр с несколькими полосами пропускания в диапазонах R (красном), G (зеленом) и B (синем), камера может захватывать по меньшей мере 5 спектральных диапазонов или даже 6 спектральных диапазонов излучения, если фильтр для зеленого света в каждом объективе пропускает свет своего, отличного от другого объектива, участка зеленой области спектра. Использование четырех объективов с одним сенсором, как показано на фиг. 2с, позволит захватывать до 12 различных спектральных диапазонов излучения с применением единственного сенсора.

Сенсоры в современных камерах обладают довольно высокой разрешающей способностью, сенсоры APS-C (Advanced Photo System тип -С) имеют разрешающую способность до 24 и 28 Мп; сенсор Full Frame имеет разрешающую способность 36 Мп и даже 50 Мп). Разрешающая способность, поддерживаемая этими камерами, продолжает расти, и можно вполне обоснованно предположить, что в будущем такие камеры будут поддерживать еще более высокую разрешающую способность. Аналогично, прогресс в области технологий и материалов для создания объективов, как можно видеть на примере многих камер в составе смартфонов, позволяет интегрировать высококачественные объективы малого диаметра, позволяющие захватывать изображения с высокой разрешающей способностью.

Прогресс в технологии покрытий объективов и оптической фильтрации позволяет создавать эффек

- 8 034651 тивные светофильтры с несколькими полосами пропускания. Однако получение изображений в разных длинах волн посредством единственного сенсора в одной камере создает проблемы обеспечения сбалансированной экспозиции, как подробно описано ниже. Например, в некоторых случаях оптимальный Fстоп для ИК-съемки может быть на 1 или 2 стопов (в зависимости от диапазона съемки) меньше оптимального F-стоп для съемки видимого изображения.

Настоящее изобретение позволяет использовать все эти технологии, комбинируя их для достижения эффективного и экономически доступного технического решения, обладающего исключительно высокими качеством и точностью, посредством применения инновационных, но все же простых в реализации технических решений.

Настоящее изобретение относится к компоновке объективов, содержащей корпус, на котором установлены по меньшей мере два объектива с практически идентичными кругами изображения и фокусными расстояниями. Объективы (например, 2, 3, 4, 5 или даже 8) выполнены с возможностью пропускать различные диапазоны спектра электромагнитного излучения через фильтры с одной или несколькими полосами пропускания, которые расположены перед или между объективами и сенсором камеры или выполнены в виде покрытия на объективе (или на одном из его оптических компонентов).

Компоновка объектива согласно настоящему изобретению, установлена на DSLR- или беззеркальной камере, имеющей держатель для сменных объективов, с целью создания высокоточной, но недорогой многоспектральной камеры. Согласно настоящему изобретению несколько компоновок объективов могут использоваться с одной камерой, заменяя компоновки объективов в соответствии с потребностями пользователя и конкретным приложением. Пользователь может снимать многоспектральные изображения в 8 или 12 диапазонах спектра с большого расстояния, а затем заменять эту компоновку объективов на компоновку объективов с большей глубиной фокусировки для более подробного (близкого) рассмотрения объекта в тех же самых или в других спектральных диапазонах. Г ибкость замены компоновок объективов согласно настоящему изобретению позволяет лучше использовать многоспектральный анализ при удаленном наблюдении за сельскохозяйственными объектами, в медицинских исследованиях или других научных приложениях.

Согласно настоящему изобретению камера полного спектра используется с указанной компоновкой объективов. В такой камере полного спектра сенсор камеры экспонируется светом с более широком спектральным диапазоном, чем видимый диапазон спектра, либо в связи с отсутствием УВ-ИК-фильтра, либо в результате удаления такого фильтра, если он был первоначально установлен изготовителем, либо в результате замены его другим фильтром, пропускающим свет в более широком спектральном диапазоне.

Согласно настоящему изобретению компоновка объективов содержит по меньшей мере два объектива. Для достижения наилучшего возможного согласования между изображениями от двух (или более) объективов и обеспечения возможности полного использовании сенсора камеры согласно настоящему изобретению предлагается ряд различных расположений компонентов.

Большинство DSLR- и беззеркальных камер с держателями сменных объективов имеют сенсоры различного размера. Разрешающая способность 12, 16, 24 или 50 Мп может изменяться от сенсоров размером даже меньше чем 17,3x13 мм (Micro Four Thirds) до таких больших сенсоров как 36x24 мм (полный кадр (Full Frame)). Например, Sony Alpha 5000 имеет сенсор APS-C 23,2x15,4 мм. Для получения двух изображений, идентичных, насколько это возможно, через два объектива на одном и том же сенсоре, предпочтительно установить объективы точно перед сенсором, когда фокусный центр каждого из объективов располагается точно перед центром участка сенсора, который ему соответствует. Один из примеров такого расположения показан на фиг. 3. На фиг. 3 показан сенсор 7 с двумя объективами 8 на нем. Каждый объектив 8 установлен так, что его фокусный центр расположен перед центром соответствующей этому объективу половины сенсора. Таким образом, размер сенсора представляется реальным ограничителем для размера объективов, которые могут быть использованы, поскольку, (например) если нужно применить два объектива перед сенсором 23.2x15.4 мм, это означает, что максимальный диаметр объектива может быть не более 11.6 мм (половина горизонтального размера сенсора). Если нужно использовать четыре объектива, тогда максимальный диаметр объективов может быть не больше 7.7 мм (половина вертикального размера сенсора, использующего 11.6x7.7 мм) (см., например, фиг. 4, где показаны четыре объектива 11, установленных на одном сенсоре 10, так что фокусный центр каждого объектива находится перед центром 12 соответствующей четверти сенсора).

Для того чтобы такой вариант был эффективным, каждый из небольших объективов должен представлять на поверхности сенсора круг изображения диаметром по меньшей 13.923 мм (размер диагонали прямоугольника 11.6x7.7 мм) с целью полностью закрыть выделенный ему участок сенсора. Однако согласно настоящему изобретению такое ограничение можно преодолеть по меньшей мере двумя различными способами. Один из способов состоит в использовании для каждого из объективов системы оборачивающих призм, часто применяемой в биноклях и показанной на фиг. 5. Такая система оборачивающих призм содержит смещенные призмы, следствием чего является хорошо всем известная изогнутая форма многих биноклей. Такая конструкция позволяет использовать объективы намного большего диаметра

- 9 034651 (практически неограниченного размера), тогда как окуляр монокулярного элемента с системой оборачивающих призм помещен в держатель для сменных объективов в составе камеры и обращен к сенсору. Таким образом, изображения, захваченные объективом 13, проходят через систему 14' оборачивающих призм к окуляру 14 и затем к сенсору 15. Эта система оборачивающих призм может в качестве альтернативы быть реализована в каждом из других рассматриваемых здесь вариантов.

Другой, и более предпочтительный, способ согласно настоящему изобретению состоит в усечении, обрезании краев соседних объективов. Края окружностей изображения, проходящих сквозь объективы, необходимо в конечном итоге отсечь, чтобы предотвратить неэффективное наложение окружностей изображения на поверхности сенсора. Благодаря усечению накладывающихся один на другой краев изображений от объективов настоящее изобретение позволяет использовать объективы большего диаметра. Это можно видеть на фиг. 6а, где показано применение объективов 16, выступающих за края сенсора 17, что позволяет использовать всю площадь поверхности этого сенсора. На фиг. 6b можно видеть сами усеченные объективы 16. Они усечены по совмещенным краям 19 отсечения. Как можно видеть, центры 20 объективов расположены над центрами соответствующих половин сенсора. В показанном примере для такого же сенсора типа Sony APS-C размером 23.2x15.4 мм усечение накладывающихся один на другой краев двух смежных объективов позволяет использовать объективы диаметром до 15.4 мм. Когда четыре объектива (не показаны) собраны в один компоновка объективов, можно использовать объективы диаметром до 11.6 мм. Таким образом, настоящее изобретение предлагает эффективные способы преодоления размерных ограничений объективов без ущерба для расположения объективов перед центрами соответствующих участков сенсора.

Настоящее изобретение также предлагает эффективные способы сбалансировать уровни экспозиции на разных объективах, входящих в компоновку объективов. Поскольку невозможно устанавливать время экспозиции независимо для каждого объектива в компоновке объективов и поскольку чувствительность сенсора может варьироваться при экспонировании светом в разных узких и широких спектральных диапазонах, может быть необходимо сбалансировать уровни экспозиции разных объективов. Например, в таком случае для достижения сбалансированной экспозиции и во избежание избыточной или недостаточной экспозиции одного или всех изображений оптимальный размер диафрагмы (F-stop) для захвата инфракрасного изображения может быть на 1 или 2 единицы (в зависимости от захватываемого диапазона) меньше, чем для захвата видимого изображения (например, F8 для видимого света против F5.6 для ближнего инфракрасного света диапазона 800 нм и F11 для видимого света против F5.6 для ближнего инфракрасного света диапазона 950 нм). Если экспозиция разных объективов не сбалансирована, одно из полученных изображений может оказаться недостаточно экспонированным (слишком темным), либо другое (в случае компоновки объективов, собранной из двух объективов) изображение может иметь избыточную экспозицию (слишком светлое). Настоящее изобретение предлагает три возможных способа решения проблемы балансирования экспозиции. Первый способ состоит в различной установке ирисовой диафрагмы для каждого из объективов, т.е. в установке своей, конкретной величины диафрагмы (F-стоп (F-stop)) для каждого из объективов в соответствии с тем, какой спектральный диапазон излучения пропускает этот конкретный объектив. В этом варианте объектив для инфракрасного диапазона 800 нм будет иметь размер диафрагмы F8 или F5.6, если соседний с ним объектив представляет собой объектив для 3 видимых диапазонов (между 400-700 нм), тогда как этот объектив для видимого света будет иметь размер диафрагмы F8 или F11.

Второе решение согласно настоящему изобретению состоит в добавлении покрытия или фильтра с нейтральной плотностью к объективу для видимого света. Такой нейтральный фильтр равномерно уменьшает или модифицирует интенсивность составляющих света со всеми длинами волн или цветами, не меняя оттенков цветопередачи. Такой фильтр может быть использован для уменьшения интенсивности света в нужной степени для достижения требуемого баланса между объективами. Более сложное и дорогостоящее техническое решение состоит в том, чтобы позволить независимо устанавливать размер ирисовой диафрагмы для каждого из объективов. Это менее предпочтительное решение, поскольку размер ирисовой диафрагмы не фиксирован.

Настоящее изобретение также предлагает два практических способа решения главной проблемы захвата многоспектральных изображений с использованием единственного сенсора, которая состоит в хроматической аберрации. Хроматическая аберрация, известная также как цветная окантовка или пурпурная окантовка, является общей проблемой в оптике. Хроматическую аберрацию вызывает дисперсия в линзах и объективах, когда свет различного цвета распространяется с разными скоростями при прохождении через объектив. Эту проблему схематично иллюстрирует фиг. 7. Здесь можно видеть, что объектив 21 разделяет свет на три спектральных области - красную 23, зеленую 24 и синюю 25. Однако на этой иллюстрации только зеленый свет 24 сфокусирован на сенсоре в фокальной плоскости 22. Хроматическая аберрация проявляется особенно сильно, когда система работает в широком спектральном диапазоне. Объектив, способный корректировать и фокусировать изображения в видимой области спектра (400-700 нм), не будет способен решить проблему хроматической аберрации в диапазоне длин волн от 200 до 850 нм и шире. Хотя компоновка объективов, собранная из большого числа объективов, пропускает различные спектральные диапазоны через независимые объективы и захватывает изображения

- 10 034651 на разных участках плоскости сенсора, необходимо корректировать хроматическую аберрацию, что позволить осуществлять эффективный анализ захватываемых изображений. Проблему можно также решать с использованием специального программного обеспечения для обработки изображения после захвата, но это менее эффективно, чем решать проблему до захвата изображения.

Первый способ коррекции аберрации состоит в использовании в одной компоновке объективов, немного отличающихся один от другого объективов, так что каждый объектив адаптирован к пропусканию света в конкретном спектральном диапазоне или диапазонах. При поддержании идентичными для объективов угла зрения и круга изображения конструкцию объективов изменяют для достижения идентичной глубины фокусировки. Это может сделать специалист в данной области техники. Второй способ решения проблемы продольной хроматической аберрации состоит в том, чтобы расположить объективы в компоновке объективов в разных плоскостях, т.е. на разных расстояниях от сенсора, как показано на фиг. 8. В этом примере объектив 26, пропускающий зеленый свет, расположен ближе к сенсору 27, а объектив 28, пропускающий красный свет, расположен дальше от сенсора 27. При таком подходе точка 29 фокуса для зеленого света и точка 30 фокуса для красного света совпадают с фокальной плоскостью сенсора 27. Это является простым и практичным способом решения проблемы при использовании идентичных объективов. Установка объектива, пропускающего зеленый и ультрафиолетовый свет, ближе к сенсору, чем объектива, пропускающего свет в ближней инфракрасной области спектра, позволяет получить идентичные с точки зрения размера и угла зрения изображения, что важно для анализа изображений после съемки.

Для эффективного использования всей площади поверхности сенсора настоящее изобретение предлагает несколько способов предотвращения наложения одной на другой окружностей изображения, прошедших через объективы, и смешивания этих окружностей на плоскости сенсора. Один из способов блокирования такого смешивания состоит в использовании физических перегородок, устанавливаемых между объективами. На фиг. 9а и 9b показан пример одного из вариантов компоновки объективов на соответствующих упрощенных видах спереди и сбоку. Два объектива 32 установлены в компоновке объективов перед сенсором 31. Между объективами расположена физическая перегородка для уменьшения или предотвращения наложения изображений, фиксируемых сенсором 31. Такая тонкая перегородка или несколько перегородок (в зависимости от числа объективов, входящих в компоновку объективов), помещенных перпендикулярно сенсору точно по границам участков сенсора, специально выделенных для объективов, установленных над этими участками, предотвращают смешивание изображений и на практике отсекают участки окружностей изображения, где могло бы происходить смешивание. В некоторых случаях, где в камере используется механический затвор между объективами и сенсором, предпочтительно использовать сочетание двух или всех описанных выше средств предотвращения наложения изображений.

Другой практический способ физического отсечения границ изображения, которые могли бы смешиваться, заключается в нанесении покрытия на объективы или в создании окна между объективами и сенсором. Такие окна или участки покрытия прямоугольной формы предотвращают попадание света, который мог бы смешиваться, на сенсор. Пример одного из вариантов представлен на фиг. 10а и 10b, где показана компоновка объективов 34, собранная из двух объективов или окуляров 35. Как показано на фиг. 10а, световой поток, входящий через один окуляр (оптический элемент, ближайший к сенсору), содержит лучи, попадающие во второй окуляр, вызывая нежелательное смешивание. Согласно различным вариантам настоящего изобретения, как показано на фиг. 10b, были добавлены отсекающие окна 36 для предотвращения такого смешивания.

Поскольку изображения, прошедшие сквозь несколько объективов, образующих компоновку объективов, оканчивающихся на разных участках одного и того же сенсора, их сохраняют в конечном итоге бок о бок и/или одно над другим и сохраняют в одном файле, в любом формате (JPG, RAW и т.п.), поддерживаемом камерой, в которой установлена компоновка объективов.

Настоящее изобретение также относится к мобильному многоспектральному устройству для захвата изображений, имеющему по меньшей мере две камеры, интегрированные с мобильной процессорной платформой для захвата многоспектральных изображений. Каждая камера содержит по меньшей мере один сенсор, интегрированный с указанной платформой, объектив и по меньшей мере один или несколько фильтров с несколькими полосами пропускания, пропускающих по меньшей мере один спектральный диапазон видимого света и по меньшей мере один спектральный диапазон невидимого (ближнего инфракрасного или ближнего ультрафиолетового) света к сенсору. Эти объективы имеют, по существу, идентичное фокусное расстояние, по существу, идентичное поле зрения и, по существу, идентичные круги изображения на плоскости сенсора в камере. Различные камеры позволяют прохождение света в нескольких, предпочтительно по меньшей мере в четырех разных спектральных диапазонах от красного до ближнего ультрафиолетового диапазона или от синего до ближнего инфракрасного диапазона. По меньшей мере одна фотовспышка, предпочтительно специализированная фотовспышка подсвечивает в чувствительном диапазоне, совпадающем с полосой пропускания фильтра для невидимого (например, ближнего ультрафиолетового или ближнего инфракрасного) света. Предпочтительно должна быть установлена вторая фотовспышка для подсветки в видимом диапазоне. Такое устройство для захвата изображения может быть реализовано с использованием нескольких объективов, и/или нескольких сенсоров, и/или

- 11 034651 нескольких камер. Необходимо иметь запоминающее устройство для сохранения захваченных изображений в виде двух согласованных файлов или в виде одного файла. Обычно мобильные процессорные платформы и смартфоны оснащены запоминающими устройствами различных типов: внутренним запоминающим устройством и MicroSD. Настоящее изобретение описано ниже применительно к камерам, хотя в качестве альтернативы оно может быть реализовано в виде по меньшей мере двух объективов по меньшей мере с двумя фильтрами, установленными по меньшей мере на одном собирающем свет сенсоре.

В частности, мобильное устройство конфигурировано для осуществления цифрового совмещения цветовых каналов в многоспектральных изображениях. Камеры (по меньшей мере две) расположены и совмещены таким образом, чтобы захватывать изображения насколько только это возможно идентичных полей зрения. Разные камеры позволяют прохождение нескольких, предпочтительно по меньшей мере четырех разных спектральных диапазонов светового излучения от ближнего инфракрасного излучения до ультрафиолетового или ближнего ультрафиолетового, что позволяет, используя полоснопропускающие фильтры, воспринимать излучение в выбранных спектральных диапазонах в зависимости от приложения. Камеры имеют, по существу, идентичное поле зрения и, по существу, идентичные круги изображения в плоскостях своих сенсоров. Объективы камер имеют, по существу, идентичные фокусные расстояния и небольшие искажения. Для достижения аналогичности кругов изображения на плоскости сенсора объективы камер расположены либо на неодинаковых расстояниях от сенсора, либо содержат оптический элемент для коррекции хроматической аберрации, возникающей из-за различия длины волны света, проходящего через разные объективы.

В частности, сочетание двух камер позволяет получать многоспектральные изображения с использованием двух камер полного спектра (без фильтров или покрытий для УВ-ИК-отсечки), оснащенных фильтрами с несколькими полосами пропускания, или с использованием одной камеры для видимого диапазона длин волн (например, от 400 до 700 нм) и второй камеры без фильтров или покрытия для отсечки ультрафиолетового и/или инфракрасного диапазона, где эта вторая камера чувствительна к полному спектру светового излучения в диапазоне длин волн от ~350 до ~1000 нм (как большинство современных КМОП-сенсоров для смартфонов), что превращает такое сочетание камер в единую легкую высококачественную в высокой степени синхронизированную и совмещенную многоспектральную мобильную платформу для захвата и обработки изображений, а при использовании в составе смартфона такая платформа обладает многочисленными функциями проводной и беспроводной связи.

Поскольку вследствие использования сенсора с матрицей Байера каждая камера способна захватывать изображение в 3 узких диапазонах, настоящее изобретение позволяет захватывать многоспектральные изображения в нескольких - от четырех до двенадцати и даже более спектральных диапазонах посредством нескольких (от двух до четырех) камер.

В одном из возможных вариантов настоящего изобретения, как показано на фиг. 11, для анализа кожи две камеры 4 и 5 должны быть помещены близко одна к другой в смартфоне 1 или на аналогичной мобильной платформе для одновременного захвата изображений. Каждая камера предпочтительно должна иметь специализированную светодиодную (LED) лампу-вспышку 3, 6, согласованную со спектром полосы захвата изображения для каждого фильтра в камере, например фотовспышка черного цвета в диапазоне длин волн 365-370 нм для камеры ближнего ультрафиолетового диапазона и фотовспышка видимого света для камеры видимого диапазона. Предпочтительно каждая камера построена также для захвата изображения в сходном спектральном диапазоне (по меньшей мере 50% наложения), здесь это показано как зеленый диапазон, с целью обеспечить возможность цифрового совмещения цветов или частотных диапазонов в захваченных изображениях, как описано выше применительно к устройству для захвата изображения, имеющему компоновку объективов.

Для облегчения захвата изображения с целью анализа кожи камеры должны быть установлены на стороне экрана, что позволит пользователю видеть поле зрения камеры, как это делается сегодня при съемках селфи (как можно видеть на фиг. 11). Захваченные изображения могут быть представлены бок о бок или по отдельности в зависимости от предпочтений пользователя.

Интеграция с платформой, способной обрабатывать данные, позволит реализовать как анализ сельскохозяйственных съемок, так и анализ кожи, а также осуществлять анализ полученных изображений прямо на борту и в автономном режиме с использованием общих средств анализа, таких как индексы NDVI, NDRE или программное обеспечение для анализа кожи.

Фильтры с узкой или широкой полосой пропускания и/или многодиапазонные фильтры с несколькими полосами пропускания, ассоциированные с каждым объективом, отличаются для каждого объектива. Они могут быть реализованы в виде покрытия на объективах и/или установлены перед объективами (между объектом и объективом) или сзади такого объектива (между линзами и сенсором, воспринимающим свет, прошедший через этот конкретный объектив), все как известно в технике.

Изображения от нескольких объективов или камер могут быть сохранены в одном файле изображения или в виде двух согласованных файлов, будь то в формате RAW, JPEG или в каком-либо другом формате, поддерживаемом камерой.

Таким образом, мобильное устройство для захвата изображения согласно настоящему изобретению

- 12 034651 позволяют осуществить описанный выше способ совмещения разных цветовых матриц после захвата наиболее надежным способом, который неспособна предложить обычная многоспектральная камера с несколькими объективами. Как описано выше, эти варианты настоящего изобретения позволяют точно совмещать пиксели матриц путем захвата одного из нескольких цветовых диапазонов через оба объектива и совмещения всех матриц с использованием предлагаемого алгоритма цифрового совмещения изображений после захвата на основе согласования этих двух сходных цветовых матриц. Например, если объектив/камера 1 захватывает спектральные диапазоны шириной 60 нм, центры которых соответствуют длинам волн 450, 550 и 650 нм, а объектив/камера 2 захватывает диапазоны шириной 60 нм, центры которых соответствуют длинам волн 550 и 850 нм, тогда цифровое совмещение после захвата будет произведено путем согласования двух изображений в диапазоне длин волн 550 нм, захваченных объективом 1 и объективом 2, что позволит осуществлять точное совмещение, поскольку эти матрицы содержат сходные данные. Это осуществляется путем захвата изображений через фильтры, имеющие, по существу, идентичные полосы пропускания, через объективы. Матрицу или канал, принявший свет, по существу, в идентичном спектральном диапазоне, отделяют от многодиапазонных изображений, захватываемых разными объективами/камерами. Затем матрица, по существу, для идентичного светового диапазона используется для цифрового совмещения после захвата изображений, захваченных всеми объективами/камерами.

Все другие матрицы будут затем совмещены точно, поскольку они были захвачены одновременно в диапазоне 550 нм на обеих половинах сенсора. Можно, конечно, иметь сходный диапазон для каждого совмещения с использованием какого-либо из диапазонов в области спектра RGB, однако предпочтительным выбором является зеленым, поскольку обычно цветовая матрица зеленого света является наиболее резкой из этих трех цветовых диапазонов, а также большинство камер оснащены сенсорами по схеме Байера RGGB, которая обеспечивает наивысшее качество зеленого диапазона.

Должно быть понятно, что мобильная платформа для захвата изображения обладает функциями радиосвязи (например, WiFi, связь в ближней зоне (NFC), Bluetooth и/или сотовая связь согласно стандарту LTE или другими), обычно имеющимися в мобильной платформе. Если нужно, камерами можно управлять по шине USB или беспроводным способом. Аналогично, камеры способны передавать захваченные изображения по кабелю (например, USB) и/или беспроводным способом процессорной платформе (такой как компьютер, планшет, персональный компьютер, плата обработки изображения или смартфон).

Хотя настоящее изобретение было описано на ограниченном числе вариантов, должно быть понятно, что могут быть внесены многочисленные вариации, модификации и другие приложения настоящего изобретения. Далее должно быть понятно, что настоящее изобретение не ограничивается тем, что было описано выше просто в качестве примера. Напротив, изобретение ограничивается исключительно следующей формулой изобретения.

Claims (23)

1. Сменная компоновка объективов для соединения с держателем сменного объектива цифровой камеры, имеющей единственный сенсор для формирования изображения, содержащая корпус;

одно установочное соединительное кольцо, установленное на указанном корпусе, для соединения с указанным держателем объектива цифровой камеры;

по меньшей мере два установленных в указанном корпусе объектива, по существу, с идентичными фокусными расстояниями; и ассоциированный с каждым из указанных объективов и отличающийся для каждого из объективов фильтр с одной или несколькими полосами пропускания, причем обеспечивается возможность прохода через указанные фильтры к указанному сенсору электромагнитного излучения по меньшей мере одной полосы видимого спектра и одной полосы невидимого спектра, выбранной из группы, состоящей из полос ближнего инфракрасного спектра и полос ультрафиолетового спектра;

при этом указанные объективы имеют, по существу, идентичное поле зрения и, по существу, идентичный круг изображения на плоскости сенсора в камере.

2. Компоновка объективов по п.1, в которой фильтры выбраны таким образом, чтобы обеспечить пропускание через указанные объективы по меньшей мере четырех разных полос спектра.

3. Компоновка объективов по п.1 или 2, в которой фильтры выбраны таким образом, чтобы пропускать через оба объектива одну одинаковую полосу спектра, обеспечивая совмещение цветных матриц обоих объективов после захвата изображения на основе соответствия указанной одинаковой полосы спектра, захваченной обоими объективами.

4. Компоновка объективов по любому из пп.1-3, в которой хроматическая аберрация скорректирована путем позиционирования объективов на немного отличающихся расстояниях от указанного сенсора; и/или включения по меньшей мере в один из указанных объективов оптического элемента, который выравнивает размер круга изображения одного объектива с размером круга изображения другого объекти- 13 034651 ва.

5. Компоновка объективов по любому из пп.1-4, дополнительно содержащая блокирующую свет рамку, расположенную между объективами.

6. Компоновка объективов по п.5, в которой блокирующая свет рамка выбрана из группы, включающей следующие элементы: маскирующее окно, бордюр и перегородка, расположенная между объективами.

7. Компоновка объективов по любому из пп.1-6, в которой каждый объектив расположен перед центром участка сенсора, ассоциированного с указанным объективом.

8. Компоновка объективов по любому из пп.1-7, в которой указанный фильтр выполнен в виде по меньшей мере одного из следующих элементов: покрытие, фильтр, установленный перед объективом, фильтр, установленный сзади объектива.

9. Компоновка объективов по п.8, в которой указанный фильтр установлен над указанным участком сенсора, который воспринимает свет, проходящий через конкретный объектив.

10. Компоновка объективов по любому из пп.1-9, дополнительно содержащая один механизм фокусировки для одновременного регулирования фокусировки всех объективов.

11. Компоновка объективов по любому из пп.1-10, дополнительно содержащая по меньшей мере одну систему оборачивающих призм, ассоциированную с каждым объективом.

12. Способ получения многоспектральных изображений, характеризующийся тем, что фиксируют изображения на одном сенсоре изображения через по меньшей мере два объектива, имеющих, по существу, идентичное фокусное расстояние, причем указанные объективы также имеют, по существу, идентичное поле зрения и, по существу, идентичный круг изображения на плоскости сенсора;

при этом каждый указанный объектив ассоциирован с отличающимся фильтром с одной или несколькими полосами пропускания;

пропускают через указанные фильтры к сенсору по меньшей мере одну полосу видимого спектра и по меньшей мере одну полосу невидимого спектра; и сохраняют указанные фиксированные изображения от указанных нескольких объективов в одном файле изображения.

13. Способ по п.12, в котором пропускают через указанные фильтры по меньшей мере четыре разные спектральные полосы.

14. Способ по п.12 или 13, в котором корректируют хроматическую аберрацию по меньшей мере одним из следующих способов: позиционируют объективы на неодинаковых расстояниях от сенсора; или включают по меньшей мере в один объектив оптический элемент, который выравнивает размер круга изображения от одного объектива с размером круга изображения от другого объектива.

15. Способ по любому из пп.12-14, в котором обрезают объективы для предотвращения наложения изображений.

16. Способ по любому из пп.12-15, в котором дополнительно получают изображения с помощью каждого из объективов и фильтров, которые пропускают одинаковую спектральную полосу;

отделяют матрицу, которая была захвачена излучением указанной одинаковой спектральной полосы от указанных изображений в нескольких спектральных полосах, полученных указанными отличающимися объективами; и выполняют цифровое совмещение изображений, полученных с помощью всех объективов, используя указанную матрицу для одинаковой спектральной полосы.

17. Способ по любому из пп.12-16, в котором выполняют независимую калибровку фокусировки для каждого объектива.

18. Способ по любому из пп.12-17, в котором выполняют балансировку уровней экспозиции указанных объективов методом, выбранным из группы, включающей a) предварительную установку размера апертур (F стоп) указанных объективов в соответствии с длинами волн для выполнения съемки в течении одного и того же времени экспозиции; b) добавление покрытия или фильтра с нейтральной плотностью к указанному объективу для видимого спектрального диапазона; c) установку вручную апертуры/ирисовой диафрагмы/F стоп.

19. Способ по любому из пп.12-18, в котором указанную невидимую спектральную полосу выбирают из группы, состоящей из инфракрасных спектральных полос и ультрафиолетовых спектральных полос.

20. Многоспектральная камера, содержащая цифровую камеру, имеющую держатель для сменного объектива, затвор и один сенсор; и сменную компоновку объективов по п.1, причем каждый объектив установлен таким образом, что его фокусный центр расположен перед центром участка сенсора, соответствующего указанному объективу.

21. Камера по п.20, в которой фильтры выбраны таким образом, чтобы обеспечить возможность прохождения через указанные объективы по меньшей мере четырех различных полос спектра.

22. Камера по п.20 или 21, в которой хроматическая аберрация скорректирована по меньшей мере

- 14 034651 одним из следующих методов:

расположение объективов в указанной компоновке объективов на неодинаковых расстояниях от сенсора, так что точка фокуса каждого из объективов совпадает с фокальной плоскостью сенсора; или включение по меньшей мере в один из объективов оптического элемента, который выравнивает размер круга изображения одного объектива с размером круга изображения другого объектива; или выбор объективов с немного отличающимся фокусным расстоянием и расположение их в компоновке объективов таким образом, чтобы обеспечить идентичные угол зрения и круг изображения.

23. Камера по любому из пп.20-22, которая дополнительно содержит блокирующую свет рамку, расположенную между объективами или прикрепленную к сенсору.