JP2018526664A - マルチスペクトル撮像装置 - Google Patents

マルチスペクトル撮像装置 Download PDF

Info

Publication number
JP2018526664A
JP2018526664A JP2017563330A JP2017563330A JP2018526664A JP 2018526664 A JP2018526664 A JP 2018526664A JP 2017563330 A JP2017563330 A JP 2017563330A JP 2017563330 A JP2017563330 A JP 2017563330A JP 2018526664 A JP2018526664 A JP 2018526664A
Authority
JP
Japan
Prior art keywords
lens
lenses
filter
sensor
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017563330A
Other languages
English (en)
Other versions
JP6983663B2 (ja
Inventor
ドビル,イラ
Original Assignee
アグローウィング エルティーディー
アグローウィング エルティーディー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アグローウィング エルティーディー, アグローウィング エルティーディー filed Critical アグローウィング エルティーディー
Publication of JP2018526664A publication Critical patent/JP2018526664A/ja
Application granted granted Critical
Publication of JP6983663B2 publication Critical patent/JP6983663B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/14Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/14Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
    • G02B13/146Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation with corrections for use in multiple wavelength bands, such as infrared and visible light, e.g. FLIR systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/16Housings; Caps; Mountings; Supports, e.g. with counterweight
    • G02B23/18Housings; Caps; Mountings; Supports, e.g. with counterweight for binocular arrangements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Cameras In General (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

単一のイメージセンサを有するデジタルカメラの交換レンズマウントに接続するための複合レンズであって、その複合レンズは、本体と;デジタルカメラのレンズマウントに接続するための、本体上に取り付けられた単一のマウント接続リングと;本体に取り付けられる実質的に同一の焦点距離の少なくとも2つのレンズと;センサまでフィルターを通る、光の近赤外線バンドおよび紫外線バンドから成る群から選択される、少なくとも1つの可視バンドの通過、および1つの不可視バンドの通過を可能にする、レンズの各々に関連する異なるシングルバンドパスフィルタまたはマルチバンドパスフィルタと;を含み、それらのレンズは、イメージセンサのセンサ面において、同一の視野のレンズ、および実質的に同一のイメージサークルのレンズである。
【選択図】図2c

Description

本発明は、一般的に、カメラに関し、特にマルチスペクトルの画像をキャプチャするためのマルチスペクトル撮像装置に関する。
マルチスペクトル撮像は、様々な応用および分野において使用される。
図1は従来のDSLR(デジタル一眼レフ)カメラ(1)を示す。今日のコンシューマー級のDSLRカメラ、およびミラーレスカメラの、CCD(電荷結合素子)センサおよびCMOS(相補型金属酸化膜半導体)センサ(3)は、通常約170nmから1150nmまでの「フルスペクトル」に対して感度がある。CCDセンサとCMOSセンサのこの感度は、約400nmから700nmの可視光線に制限されている人間の知覚を上回る。
交換レンズマウント(2)を備えるいくつかのDSLR/ミラーレスカメラでは、センサは、人間の知覚を越える光のスペクトルに対して感度がある。しかしながら、ほとんどのカメラ製造業者は、約400nmから700nmまでの可視(VIS)スペクトル(人間の目に見える光のスペクトル)における光のバンドの通過を制限して、赤外線および紫外線光がキャプチャ画像を「破損させること」を防ぐために、センサの前に設置されるUVIRカットフィルター(図示せず)を使用する。
交換レンズマウントを備えるいくつかのDSLR/ミラーレスカメラでは、UVIRカットフィルタをカメラから取り外すことができ、カメラが可視光線をはるかに上回る光の波長をカバーして、「フルスペクトル」カメラとして動作することを可能にする。今日の最も高度なCMOSセンサは、1000nm(NIR)および200nm(UV)を越える光に対して感度がある。フィルタを取り外すことで、単一レンズを使用して、スペクトルの3本の異なる特殊なバンドをキャプチャすることが可能となる。当業者は、以下の3本のバンドの4つの組合せのうちの1つをキャプチャすることを可能にする、異なるマルチバンドパスフィルタを設置することができる:NIR、赤色、緑色、および青色、またはUV(NIR;G;B、NIR;G;UV、R;G;UV、R;G;B)。コンシューマーカメラの典型的なセンサはベイヤー配列に基づいており、そのことは、画像センサの画素配列上のカラーフィルターの配置がRGGBであることを意味する。緑色波長の単一バンドよりも効率的な分離する方法が存在しないため、そのような配置は、RGBスペクトルを超える3本の特殊なバンドのキャプチャを可能にしない。
従来のマルチスペクトルカメラは通常特注で作られ、それらの高いコストが、多くの人々に対する課題となる。なお、ドローンに取り付けられたマルチスペクトルカメラが、有益な情報を提供する画像をキャプチャするために農業の中で使用され、それによって作物収穫量の向上を支援する。そのようなカメラは、歯科医と皮膚科医による医学的分析のみならず、化粧品の世界でも使用される。以下のマルチスペクトルカメラのためのいくらかのタイプの技術が存在する故、既存の技術は多様である:
1.マルチカメラ(光のナローバンドの波を取得する各カメラ);
2.プリズムベースのカメラ(単一のレンズ、複数のセンサー);
3.回転フィルターカメラ(単一の焦点距離、異なる波長のキャプチャ画像間の時間経過));
4.マルチカラーセンサベースのRGBU(赤緑青UV)、または(ベイヤーカラーフィルタアレイの典型的なRGGB(赤緑緑青)の代わりの)センサによる他のいかなるカラーキャプチャ。
公知のかなり多数の簡易化されたデュアルバンドのソリューションが存在し、それらは、視覚的な(幅400nm〜700nm)バンドおよび近赤外線のバンドを含み、2つの同期したカメラを使用するが、マルチスペクトルとして見なすことはできない。回転フィルタ、プリズムまたはマルチレンズの設計のいずれかに基づく従来の4つのバンドソリューションは、低解像度によりやや低品質であり、乏しいカラーチャンネルの位置合わせである。上記された全てのマルチスペクトルカメラタイプは、非常に高価であり、コンシューマー級のDSLRカメラまたはミラーレスカメラと比較したとき、通常低解像度であり、低品質である。既存のマルチカメラとマルチレンズソリューションは、異なるカラーマトリックスの位置合わせおよびキャプチャ画像の焦点に関する大きな課題も示す。回転フィルタが使用されるとき、例えば、レンズが固定されるので色収差を補正することがたいてい不可能であり、それが、同じレンズを通る近赤外線(NIR)およびUVの光のバンドの焦点を合わせることを不可能にする。無人航空機(UAV)上にそのような回転フィルタを備えるカメラを使用することは、別の課題を示す。UAVが飛んでいる間に、画像が異なる時間に、および異なる角度からキャプチャされるので、キャプチャ画像間の33msのタイムラップは、UAVが100Kmphで飛んでいる場合、カメラの視点において〜1mの差にもたらす可能性があった。
農業的分析のための有効なマルチスペクトル装置は、光のスペクトルの少なくとも3つのナローカラーバンド(チャンネル)を含むに違いなく、そのカラーバンドは;550nm;650nmまたは740nm;850nmまたは950nmであって、好ましくは5つまたは6つのカラーバンドを含む。
CMOSまたはCCDの、今日のコンシューマー級のカメラのセンサは、光のいくぶん広域なスペクトルをキャプチャすることができ、農業において使用されるNDVI(正規化差植生指数)などの多くのマルチスペクトルの応用に対して十分である。しかしながら、コンシューマー級のカメラの典型的なセンサは、ベイヤー配列センサに基づき、そのことは、画像センサの画素配列上のカラーフィルターの配置がRGGBであることを意味する。4、5または6チャンネルをキャプチャする目的でベイヤーフィルタリングシステムベースのカメラを使用するために、2つのカメラが、必然的に使用されるに違いない。この種の応用のために2つのカメラを組み合わせることは公知であり、実行され、そして「An Airborne Multispectral Imaging System Based on Two Consumer−Grade Cameras for Agricultural Remote Sensin g」、http://www.mdpi.com/2072−4292/6/6/5257においてUSDAによって公開されている。そのような組み合わせは高価で、かなり多数の不利益を有する。
特にこれらが異なるカメラによって取得される場合、マルチスペクトルの撮像の主な課題のいくつかは、異なるカラーマトリックスの較正および画素合わせである。獲得の時間は単に1秒の数100分の1だけ変動する一方、視点に数十センチメートルのギャップがある可能性がある。UAVによって運ばれるカメラなどの速く動くカメラを利用するマルチスペクトルの応用によって取得されたデータの分析は、NDVIまたはNDREのような測定基準を使用し、典型的には、互いのカラーマトリックスの値を減算するおよび/または除算する((NDVI=(NIR―VIS)/(NIR+VIS))。したがって、焦点間の差異および不正確な位置合せがデータの誤った分析を導く可能性があるため、そのような応用において複数のカメラを使用することは特に問題となる。
異なるカラーマトリックスの位置合せは、マルチスペクトルカメラの製造業者が直面する最も本質的な問題の1つである。上記されるように、NDVIのNDREの測定基準等は、カラーマトリックス間の差異の分析を伴う。異なるカラーマトリックスをキャプチャするカメラまたはレンズのハードウェア較正は、ある点に対しては正確であるが、高解像度カメラを処理するときその点が画素であることはない。有効性に欠けるレンズを備えるカメラを扱うとき、異なるカメラによって取得されるカラーチャンネルを位置合わせすることが、さらなる課題となる。デジタルマッチング(大域的な動き推定技術(global motion estimation techniques)の実施など)はそのようなマトリックス間の最小の差異の点において異なる色のマトリックスを位置合わせせざるをえないため、最小差異の通常使用する基準に基づいたマトリックスの取得後のデジタルな位置合せが、プロセスに対して不利益となりうる。そのような技術は、最も重要なデータ、すなわちマトリックス間の差異を実際に最小化するか、さらに縮小する可能性がある。
マルチスペクトルの画像取得もまた、皮膚の分析、歯の検査などのための歯科医と皮膚科医による医学的分析のためのみならず、さらに化粧品の世界でも使用される。しかしながら、これらの実施のための市販の現在の装置もまた、いくぶん高価であり、以下の2つの主な欠点(それらのコストに加えて)を有する:重量およびユーザーアクセス可能性。それらは特注で作られるため、現在の装置は、コンシューマーと小企業の観点から高価である。皮膚、髪、および歯の分析のための有効なマルチスペクトル装置は、光のスペクトルの少なくとも3つのナローカラーバンド(チャンネル)を含むに違いなく、そのカラーバンドは;365nm;550nm;650nmである。好ましくは、そのカラーバンドは、5つ、または6つのカラーバンドを含む。
UVIRカットフィルタの取り外しは、天文学的な目的、医学的な目的、または審美的な目的のための、赤外線または紫外線カメラへカメラを変更するためにしばしば使用される。そのようなフルスペクトルカメラにマルチバンドパスフィルタを設置することは、3つの特殊なバンドのキャプチャを可能にしてもよい。なぜなら、そのようなカメラにおいて使用されるセンサは、ほとんどの場合、RGGBのマトリックスを有するためである。これは、R、G、およびB(赤緑青)のチャンネルが個別にキャプチャされ得ることを意味するが、赤と近赤外線のチャンネルは、両方ともセンサの同様な赤に対して感度のある画素によってキャプチャされるので、それらのチャンネルを個別にキャプチャする方法は存在しない。
シングルまたはデュアルセンサカメラを備える2つのレンズを使用して、3D画像をキャプチャするためのソリューションも存在する。そのようなソリューションはほとんど100年前にZeissによって開発され、そのようなソリューションの新しいバージョンが、(3Dテレビが登場したような)家電市場のために、およそ2010年にパナソニックによって開発された。しかしながら、これらのソリューションは、露光バランス、色収差、および位置合わせされた焦点のマルチスペクトルの課題に対処しない。なぜなら、それらは同一のレンズおよび同一のスペクトルバンド幅に基づき、そのような問題は発生しないからである。
スマートフォン、またはドローン(Qualcomm’s SnapDragon Flight(商標登録)などの)のために設計された類似のユニバーサルな処理ボードのようなモバイルプラットフォームは、マルチスペクトルの画像装置の基盤として、価格、重量、および強力なプロセッサの組み込みの観点から理想的でありうる。今日のスマートフォンのセンサは、光のいくぶん広域な範囲をキャプチャすることができ、農業において使用されるNDVI(正規化差植生指数)などの多くのマルチスペクトルの応用に対して十分である。これらの設計のいくつか(SnapDragon Flight(商標登録)のような)は、シングルカメラを含み、近年、LGエレクトロニクスのようなベンダーは、2つのカメラを装備する3D画像キャプチャスマートフォンをさらに設計した。しかしながら、農業的なリモートセンシング、または皮膚、髪、および歯の分析のいずれかのために、利用可能なマルチスペクトルのスマートフォンは存在しない。このことは、そのような光およびコンパクトな装置の効率的な実施形態を可能にするために、革新的なアプローチが必要である、かなり多数の課題が存在するため、驚くべきことではない。
しかしながら、コンシューマーカメラの典型的なセンサは、ベイヤー配列に基づいており、そのことは、画像センサの画素配列上のカラーフィルターの配置がRGGBであることを意味する。4、5または6チャンネルのためのベイヤーフィルタリングシステムベースのカメラを使用するためには、2つのカメラの使用は避けられない。この種の応用のために2つのカメラを組み合わせることは公知であり、実行され、そして「An Airborne Multispectral Imaging System Based on Two Consumer−Grade Cameras for Agricultural Remote Sensin g」、http://www.mdpi.com/2072−4292/6/6/5257においてUSDAによって公開されている。そのような組み合わせは、その重たい重量および高いコストのため、軽いUAVおよびコンシューマーにとって実用的ではない。
まさに同様な課題は、皮膚の分析に関連しており、そこでは、VIS+NIRのチャンネルではなく、むしろVIS+近紫外線が、表面の観察、および皮下の観のために使用される。色収差と焦点の同様な課題は、この実施において発生する。
スマートフォンまたはモバイル機器を分析する、皮膚に対する付加的な1つの課題は、レンズのタイプである。皮膚の分析の目的のために、複数のカメラの1つは、365nm(ピーク)のナローバンドをキャプチャすることができるに違いない。簡易なガラスレンズは、そのようなバンドの透過を可能にせず、溶融石英または溶融シリカなどの異なる材料は、NUVレンズのために使用されるに違いない。
従って、速く動くカメラまたはUAVに運ばれるカメラ、または皮膚の分析デバイスとして使用するための適切なマルチスペクトル撮像装置に対する長年の必要性が存在しており、もしそのようなカメラが、キャプチャ画像の異なるカラーマトリックスおよび焦点の位置合せを全て比較的低価格で提供するならば、非常に望ましいだろう。
本発明は、交換レンズマウントを有するデジタルカメラのための交換可能なマルチスペクトルの撮像複合レンズ(imaging lens−compound)に関する。複合レンズは、単一のマウント接続リング、および少なくとも2つのレンズを有する本体を含む。各レンズは、レンズの数に従って、そのレンズに関連するセンサの一部分の中心の前に位置する(好ましくは正確に)。異なるレンズは、IRからUVまでのスペクトルの光の、複数の、好ましく少なくとも4つの異なるバンドの通過を可能にし、したがって、バンドパスフィルタを使用することによって、応用に応じて選択されたスペクトルの定義された波長の選択されたバンドの検知を可能にする。レンズは、センサ面において、実質的に同一の視野のレンズ、および類似の(実質的に同一の)イメージサークルのレンズである。レンズはまた、実質的に同一の焦点距離のレンズであり、レンズがセンサから不等な距離に位置するか、または1つ以上のレンズが異なるレンズを通過する光の異なる波長により作成される色収差を補正するために光学素子を含む。
特に複合レンズは、好ましくは業界標準の単一のレンズマウントを使用して、複数(2つ以上)のレンズを通るマルチスペクトル画像のキャプチャを可能にする。複合レンズは、標準の画像センサ(好ましくは、UVIRカットフィルタを有さず、最も現代的なCMOSセンサまたはCCDセンサのような〜170nmから〜1100nmまでの光のフルスペクトルに感度がある)を装備した単一のデジタルカメラの質を向上させ、そのデジタルカメラを高品質で、高度に同期および位置合わせされるマルチスペクトルカメラに変える。
したがって、本発明は、標準の画像センサを装備した単一のデジタルカメラとともに単一のレンズマウントを使用して、複数(2つ以上)のレンズを通る、4〜12以上のバンドのマルチスペクトル画像をキャプチャすることを可能にする。さらに、本発明は、異なるレンズによってキャプチャされる画像の重複部をフィルタリングしながら、カメラのセンサの全面の最適な使用を可能にする。
本発明に従って、単一の画像センサを有するデジタルカメラの交換レンズマウントに接続するための複合レンズが提供され、その複合レンズが、本体と;デジタルカメラのレンズマウントに接続するための本体上に取り付けられた単一のマウント接続リングと;本体内に取り付けられた実質的に同一の焦点距離の少なくとも2つのレンズと;センサまでフィルタを通ってきた光の近赤外線バンドおよび紫外線バンドから構成される群から選択される、少なくとも1つの可視バンドの通過、および1つの不可視バンドの通過を可能にする、レンズの各々に関連する異なるシングルバンドパスフィルタまたはマルチバンドパスフィルタと;を含み、そのレンズは、カメラのセンサ面において、実質的に同一の視野のレンズ、および実質的に同一のイメージサークルのレンズである。
本発明によれば、マルチスペクトル画像をキャプチャする方法もまた提供され、その方法は、実質的に同一の焦点距離の少なくとも2つのレンズを通る単一の画像センサ上で画像をキャプチャする工程であって、そのレンズが、センサ面において、実質的に同一の視野のレンズ、および実質的に同一のイメージサークルのレンズであり;各レンズが異なるシングルバンドパスフィルタまたはマルチバンドパスフィルタに関連する、工程と;センサまでフィルタを通ってきた光の近赤外線バンドおよび紫外線バンドから構成される群から選択される、少なくとも1つの可視バンド、および少なくとも1つの不可視バンドを通す工程と;単一の画像ファイル内の複数のレンズからキャプチャされた画像を保存する工程と、を含む。
本発明によれば、マルチスペクトルカメラもまた提供され、マルチスペクトルカメラは、交換レンズマウント、シャッターおよび単一のセンサを有するデジタルカメラと;交換可能な複合レンズであって:本体と;デジタルカメラのレンズマウントに接続するための本体上に取り付けられた単一のマウント接続リングと;本体内に取り付けられた実質的に同一の焦点距離の少なくとも2つのレンズであって、それらのレンズ各々が、センサのそれぞれの一部の中央の前に配されたその焦点中心に取り付けられている、レンズと;センサまでフィルタを通ってきた光の近赤外線バンドおよび紫外線バンドから構成される群から選択される少なくとも1つの可視バンドの通過、および少なくとも1つの不可視バンドの通過を可能にする、レンズの各々に関連する異なるシングルバンドパスフィルタまたはマルチバンドパスフィルタであって;そのレンズは、カメラのセンサ面において、同一の視野のレンズ、および実質的に同一のイメージサークルのレンズである、バンドパスフィルタと;デジタルカメラのレンズマウントに接続するための本体上の単一のマウント接続リングと;を含む交換可能な複合レンズと、を含む。
本発明は、また物体の少なくとも1対のデジタル画像の取得後のデジタルな位置合わせを提供する方法に関し、その方法は、少なくとも1つのセンサのセンサ面において、実質的に同一の焦点距離の、実質的に同一の視野の、および実質的に同一のイメージサークルの少なくとも2つのレンズの各々を介して、カラーマトリックスとして記憶された、物体のデジタル画像取得する工程であって、各レンズが、他のレンズによってキャプチャされた1つの光のバンド、および他のレンズによってキャプチャされた光のバンドとは異なる少なくとも1つの光のバンドに類似している1つの光のバンドをキャプチャするように、シングルバンドパスフィルタまたはマルチバンドパスフィルタで関連付けられている工程と、異なるレンズによって取得されるマルチバンド画像からの類似の光のバンドによってキャプチャされたカラーマトリックスを分割する工程と、すべてのレンズによって取得される画像の取得後のデジタルな位置合わせのための各レンズからの実質的に同一の光のバンドマトリックスとマッチングする工程と、を含む。
本発明の実施形態に従って、フィルタは、センサまでフィルタを介する少なくとも光の可視バンドおよび不可視バンドの通過を可能にする。フ不可視フィルタのパスバンドをマッチングする専用のフラッシュであるラッシュ光は、撮像中に物体を照らすために配置される。
本発明によれば、物体の少なくとも1対のデジタル画像の取得後のデジタルな位置合わせを提供するための装置がさらに提供され、その装置は、少なくとも2つのレンズであって、それらのレンズは、各レンズを介して物体のデジタル画像を取得するカラーマトリックスのための、センサ面において、実質的に同一の焦点距離のレンズ、実質的に同一の視野のレンズ、および実質的に同一のイメージサークルのレンズであり、1つの類似の光のバンド、および少なくとも1つの異なる光のバンドを含むシングルバンドパスフィルタまたはマルチバンドパスフィルタに関連付けられているレンズと、異なるレンズによって取得されたマルチバンド画像からの類似の光のバンドによってキャプチャされたカラーマトリックスを分割するため、およびすべてのレンズによって取得される画像の取得後のデジタルな位置合わせのための各レンズからの実質的に同一の光のバンドマトリックスとマッチングするためのプロセッサと、を含む。
レンズが、単一のカメラまたは2つ以上の異なるカメラに取り付けることができることが理解されるだろう。
本発明は、さらに、マルチスペクトルの画像をキャプチャするための、複数のレンズ、および/または複数のセンサ、および/または複数のカメラを有する、モバイルのマルチスペクトル撮像装置に関する。特に、モバイルの撮像装置はマルチスペクトルの画像におけるカラーチャンネルのデジタルな位置合わせを可能にするように構成される。カメラ(少なくとも2つ)はできるだけ同一である視野をキャプチャするために位置決め、および位置合わせされる。異なるカメラは、赤から近UVまで、または青から近IRまでのスペクトルの光の、複数の、好ましくは少なくとも4つの異なるバンドの通過を可能にし、従って、バンドパスフィルタを使用することにより、応用に応じて、スペクトルの定義された波長の選択されたバンドの感知を可能にする。そのカメラは、それらセンサ面において、実質的に同一の視野のカメラ、および実質的に同一のイメージサークルのカメラである。カメラのレンズも、実質的に同一の焦点距離のレンズ、および低歪みのレンズである。少なくとも1つの専用のフラッシュが、不可視(例えば近紫外線またはNIR)なフィルタをマッチングする感応範囲を照らすために提供されるが、視覚的なバンドを照らす第2のフラッシュが、好ましくは設置されるだろう。センサ面において実質的に同一のイメージサークルを達成するために、カメラのレンズが、センサから不等な距離に位置決めされるか、少なくとも1つのレンズが、それらの異なるレンズを通過する光の異なる波長により生じる色収差を補正するために光学素子を含む。
したがって、本発明によれば、マルチスペクトル撮像装置が提供され、マルチスペクトル撮像装置は、モバイル処理プラットフォームと;少なくとも2つのカメラであって、それぞれが、プラットフォームに一体化された、レンズ、少なくとも1つのシングルバンドパスフィルタまたはマルチバンドパスフィルタ、および少なくとも1つのセンサを含む、カメラと;を含み、そのフィルタが、センサまでフィルタを通る、光の少なくとも可視のおよび不可視(例えば近赤外線または近紫外線)のバンドの通過を可能にし、そのレンズが、カメラのセンサ面において、実質的に同一の焦点距離のレンズ、実質的に同一の視野のレンズ、および実質的に同一のイメージサークルのレンズである。異なるカメラは、赤から近UVまで、または青から近IRまでのスペクトルの光の、複数の、好ましくは少なくとも4つの異なるバンドの通過を可能にする。少なくとも1つの専用のフラッシュが、不可視(例えば近紫外線またはNIR)なフィルタをマッチングする感応範囲を照らすために提供されるが、視覚的なバンドを照らす第2のフラッシュも、好ましくは設置されるだろう。
本発明の実施形態によれば、レンズの各々は、スペクトルの少なくとも1つの類似するカラーバンドをキャプチャするフィルタを含み、キャプチャした画像において異なるカラーチャンネルの取得後のデジタルな位置合わせを可能にし、ここで、「類似する」は、少なくとも50%重複することを意味する。
本発明はさらに、図面と併せて、以下の詳細な説明から、理解され認識されるだろう。
先行技術であるレンズマウントを備えるDSLRカメラの概略的な図である。 本発明のいくつかの実施形態に従う複合レンズの概略的な図である。 本発明のいくつかの実施形態に従う、センサの概略的な図である。 本発明の代替的な実施形態に従う、センサの概略的な図である。 本発明のいくつかの実施形態に従う、マルチスペクトルカメラのための別のレンズ設計の概略的な上面図である。 本発明のいくつかの実施形態に従う、可能なレンズ配置の概略的な図である。 本発明のいくつかの実施形態に従う、可能なレンズ配置の概略的な図である 色収差の概略的な図である。 本発明のいくつかの実施形態に従う、1対のレンズの色収差補正の概略的な図である。 本発明のいくつかの実施形態に従う、2つのレンズ間に位置する物理的な分割の、概略的な正面図である。 本発明のいくつかの実施形態に従う、2つのレンズ間に位置する物理的な分割の、概略的な側面図である。 本発明のいくつかの実施形態に従う、クロップウィンドウを含んだ複合レンズの概略的な図である。 本発明のいくつかの実施形態に従う、クロップウィンドウを含んだ複合レンズの概略的な図である。 本発明のいくつかの実施形態に従う、マルチスペクトルの携帯電話の概略的な図である。
本発明は、交換レンズマウントを有するデジタルカメラのための交換可能なマルチスペクトル撮像複合レンズに関する。複合レンズは、単一のマウント接続リングと、少なくとも2つのマッチングレンズとを備えた本体を含む。レンズは、レンズの数に従って、各レンズ関連するセンサの一部の中心の前に、(好ましくは正確に)位置決めされる。異なるレンズは、NIRから青まで、および好ましくは近UVまでのスペクトルの(2つのレンズに対する少なくとも4つのバンドにおける)光の複数の、好ましくは少なくとも4つの異なるバンドの通過を可能にし、したがって、バンドパスフィルタを使用することにより、望ましい応用に従って選択される、スペクトルの定義された波長の選択されたバンドの感知を可能にする。そのレンズは、センサ面において、実質的に同一の視野のレンズ、および実質的に同一のイメージサークルのレンズである。そのレンズは、実質的に同一の焦点距離でもあり、センサから多少異なる距離に位置決めされるか、少なくとも1つのレンズが、異なるレンズを通過する光の異なる波長により生じる色収差を補正する光学素子を含む。好ましくは、この場合の、「実質的に同一」は、少なくとも90%同一であることを意味する。本発明の実施形態によると、レンズは、実質的に同一の視野のレンズ、および/または実質的に同一の焦点距離のレンズ、および/または実質的に同一のイメージサークルのレンズ、もしくは任意の組み合わせのレンズであり得ることが更に理解されよう。
特に、複合レンズは、好ましくは業界標準の単一レンズマウント(ニコンのFマウント、ソニーのEマウント、パナソニック/オリンパスマイクロフォーサーズもしくはCマウント、または任意の類似するDSLRもしくはミラーレスのデジタルカメラマウントなど)を使用して、複数の(2つ以上の)レンズを介してマルチスペクトル画像をキャプチャすることを可能にする。複合レンズは、標準の画像センサ(好ましくは、UVIRカットフィルタを有さず、最も現代的なCMOSセンサまたはCCDセンサのような〜170nmから〜1100nmの波長までの光のフルスペクトルに感度がある)を装備した単一のデジタルカメラの質を向上させ、そのデジタルカメラを高品質で、高度に同期および位置合わせされるマルチスペクトルカメラに変える。
レンズに関連付けられる、ナローバンドパスもしくはワイドバンドパス、および/またはマルチプルバンドパスのフィルタは、各レンズに対して異なる。それらは、良く知られているように、もしくは他のいかなる適切な方式において、レンズ上のコーティングとして実施することができ、または交換可能で、レンズの前(物体およびレンズとの間)、もしくはレンズの後ろ(レンズと、特定のレンズを通過する光を感知するセンサの一部との間)に取り付けることができる。
マルチプルレンズは、固定焦点のレンズになり得るか、調整可能な焦点を有し得る。調整可能な焦点の場合には、自動または手動の単一の焦点メカニズムが、動く必要のあるマルチプルレンズの光学素子を共に動かすことによって、マルチプルレンズの全ての焦点を調節するために提供される。
いくつかの実施形態によると、マルチプルレンズは、ズームレンズになり得る。そのような場合において、自動的なズームまたは手動のズームであるかに関わらず、ズーム効果を生成するために動く必要がある全てのマルチプルレンズの要素のズームは、ともに動く。
センサの異なる部分に対する均一な露光を達成するために(本発明は単一のカメラを活用するので)、異なるレンズのアパーチャーを予め設定するか、または取得した波長に従って手動で設定する。この操作は、画像が同じ露光時間で取得されるため必要である。(例えば、レンズが850nmから950nmのNIR画像、および400nmから700nmの可視画像をキャプチャしている場合、アパーチャーにおける差異(Fストップ)が、均一な露光を得るために必要である可能性がある。VISレンズがF8である場合、実質的に同一の視野および焦点距離をキャプチャするNIRレンズは、F5.6を使用している可能性が最も高い。)
マルチプルレンズからの画像は、カメラがサポートするRAW、JPEGであれ、他のいかなるフォーマットのいずれかであれ、単一の画像ファイルに保存される。
いくつかの実施形態によれば、異なるレンズによってキャプチャされる画像の重複部をフィルタリングしている間、カメラセンサの全表面を最適かつ最大限に使用することが可能になる。これは好ましくは、マスキングおよび/または物理的な分割により達成される。好ましくは、本発明は、各レンズの周りに、またはレンズの間に、遮光フレーム、遮光ボーダー、または遮光パーティションを含み、各レンズを通って来る光のサークルを、カメラのセンサ上の所定の長方形の空間のサイズに、制限するかまたは切り取る。この空間のサイズは、マウントに取り付けられたレンズの数によって決定される。
マルチスペクトル画像から利益を得ることができる本出願は、カラーマトリックスを互いと比較しながら画像を分析するので、異なるマトリックスがそれらの視野と解像度において同一であることが必要である。レンズは、光の、選択され制限されたバンドの通過を可能にするので、本発明は、同一のレンズ物質(ガラスまたはプラスチックのいずれか)を通過する間に光のバンドが取る異なる角度によって引き起こされる色収差を補正する方法を開示する。本発明は、取得された画像の取得後の処理を必要とせずに収差の問題を解決する2つの可能な方法を開示する。収差の問題を解決する、一つの示唆される方法は、同一のイメージサークルと視野に基づいてレンズを設計する一方で、これらの2つの仕様に適合するように光学素子を設計する。そのような場合には、収差補正は、焦点深度に関して僅かに異なるレンズを使用することによって、または、一方または両方のレンズに光学素子を追加することによって、達成することができ、収差を補正する(一方のレンズのイメージサークルのサイズと他のレンズのそれを位置合わせする)。これらの両方の解決策を組み合わせて使用することも可能である。
さらに、本発明は、最も信頼性の高い方法で異なるカラーマトリックスの取得後の位置合わせ方法を提案し、この方法は、従来のマルチレンズマルチスペクトルカメラには提供できないものである。本発明は、両方のレンズを介して色バンドの1つをキャプチャし、かつ、取得後のデジタルな位置合わせに従って全てのマトリックスを位置合わせすることにより、マトリックスのピクセルが正確な位置合わせを可能にし、これはこれらの2つの類似のカラーマトリックスのマッチングに基づく。例えば、レンズ(1)が60nm幅のバンドをキャプチャする場合、その中心は450nm、550nmおよび650nmであり、レンズ(2)は550nmおよび850nmの60nm幅のバンドをキャプチャし、次に、取得後のデジタルな位置合わせは、レンズ(1)および(2)の550nm画像のマッチングにより行われ、これは、これらのマトリックスが類似のデータを含むので、ピクセルの正確な位置合わせが可能になる。これは、同様の光バンドを含むフィルタを介して、各レンズにより画像を取得することによって達成される。同様の光バンドを受信したマトリックスまたはチャンネルは、プロセッサによるもののように、異なるレンズによって取得されたマルチバンド画像から分割される。次に、同様の光バンドマトリックスが、全てのレンズによって取得された画像の取得後のデジタルな位置合わせのために利用される。本発明の目的上、同様のことは、実質的に重なる(少なくとも50%)スペクトル波長のカラーマトリックスを意味する。
他のすべてのマトリックスは、両方の半分のセンサ上の550nmで同時にキャプチャされるので、正確に位置合わせされる。勿論、RGBレンジバンドのいずれかを使用してそのような位置合わせのための実質的に同一のバンドを有することができるが、しかしながら、通常は緑色のマトリックスが3色の中で最も鮮明で、ほとんどのDSLRとミラーレスカメラには緑色のバンドの最高品質を保証するベイヤーRGGBセンサが装備されているため、好ましい選択肢は緑色である。
この技術は、単一のセンサ上に複数のレンズを有する単一のカメラだけでなく、単一のプラットフォーム上の複数のカメラ(複数のセンサ)と共に使用することもできることが理解されよう。そのような実装の一例を、モバイルプラットフォームに関して以下で詳細に記載する。このように、2つ以上のキャプチャされた画像のデジタルな位置合わせのための方法は、少なくとも2つのレンズを介して画像をキャプチャする工程を含み、少なくとも2つのフィルタは、光の選択されたバンドを、各レンズを通して少なくとも1つのセンサに通過させることを可能にし、レンズは、センサ面において実質的に同一の焦点距離、実質的に同一の視野、および実質的に同様のイメージサークルのレンズである。各レンズに付随するフィルタの1つは、少なくとも1つの選択された同様のスペクトルの色バンド(少なくとも50%の重複)のキャプチャを可能にし、各レンズによって取得された類似のバンドのマッチングに基づく、キャプチャされた画像内の異なる色チャンネルの取得後のデジタルな位置合わせを可能にする。
さらに、本発明の単一のカメラ実装は、レンズの直径制限を避ける方法を開示する。レンズがセンサの対応する部分の正面に正確に配置されなければならないので、レンズの直径は典型的には、センサのサイズによって制限される。例えば、特定のカメラで使用されるAPS−Cセンサの寸法が23.2mm×15.4mmである場合、デュアル複合レンズはΦ11.6mmのレンズに制限されるようだ。しかしながら、レンズの全直径が、イメージサークル全体の光の通過を可能にし、イメージサークルの一部は、センサを越えて落ち(fall beyond)(イメージサークルは円形で、センサは長方形であるため)、本発明はレンズの端(あるいは単なる隣接縁部)を切り取る一方、より大きな直径のレンズを使用する方法を開示する。これは、最大015.4mmのレンズの使用を可能にする。さらに大きな直径のレンズを使用する別の方法は、はるかに大きな対物レンズを使用することを可能にするために、双眼鏡で一般的に使用されているように、下に詳細に記載される、ダブルポロプリズム設計を使用することである。
複合レンズは、レンズアダプターリング(例えば、Fマウントからマイクロフォーサーズまで、またはEマウントまたは他のマウント)を使用して異なるマウントに調整されてもよい。好ましくは、複合レンズは、その複数のレンズの各々の独立した焦点較正を可能にする。
さらに好ましくは、カメラは無線機能(例えばWiFi、NFC、Bluetooth(登録商標)、セルラLTEまたはその他)を有する。所望の場合には、カメラはUSB、または無線を介して制御することができる。また、好ましくは、カメラは、有線を通じて(例えば、USB)および/またはワイヤレスで(コンピュータ、タブレット、PC、撮像ボード、またはスマートフォンなど)処理プラットフォームに、キャプチャされた画像を転送できる。
本発明は、単一の複合レンズにおいて少なくとも2つのレンズを使用する効率的な方法を提案し、スペクトルの異なるバンドを通過させるように設計された少なくとも2つのレンズに、センサ空間の少なくとも2つの領域を割り当てることによって、ベイヤーフィルタのRGGB制限を回避する。例示的な1つの実施形態は図2aおよび図2bで示される。図2aおよび図2bは、レンズマウント(5)および複数のレンズ(6)(ここでは2つのレンズとして図示)を有する複合レンズ(4)を示す。例えば、本発明のこの実施形態に示されているように、複合レンズは、2つのレンズを含み、その一方はNIR、GおよびUVのマルチバンドパスフィルタを有し、他方はR、GおよびBのマルチバンドパスフィルタを有する場合で、各レンズのGバンドパスフィルタが、異なる狭い緑色波長をカメラに通過させることが可能な場合、カメラは少なくとも5つのバンドまたは6つのバンドをキャプチャすることができる。図2cに示すように、単一のセンサで4つのレンズを使用すると、単一のセンサを使用して最大12の異なるバンドをキャプチャできる。
現在のカメラのセンサは、かなり高解像度である(最大24および28MPで、フルフレームセンサーは36MP、さらには50MPのAPS−C(Advanced Photo System type C)センサ)。これらのカメラでサポートされている解像度は向上されており、今後このようなカメラではるかに高い解像度がサポートされると想定することは合理的である。同様に、多くのスマートフォンカメラに見られるように、レンズ技術および材料の進歩は、高品質の小径レンズを統合することを可能にし、高解像度の画像のキャプチャを可能にする。
レンズコーティングおよび光学フィルタリング技術の進歩により、効果的な光のマルチバンドパスフィルタの作成が可能になる。しかし、単一のカメラの単一のセンサ上で異なる波長画像を取得することは、以下に詳細に記載するように、バランスのとれた露光という点で課題が提示される。例えば、ある場合には、IRキャプチャのための最適なFストップは、(キャプチャされたバンドに応じて)視覚的画像キャプチャのそれよりも1または2絞り小さい可能性があるだろう。
本発明は、これらの技術をすべて利用できるようにし、革新的だがシンプルな解決策を通じて、極めて高い品質と精度の効果的で手ごろな解決策のためにこれらを組み合わせる。
本発明は、実質的に同一のイメージサークルおよび焦点距離の少なくとも2つのレンズが取り付けられた本体を含む複合レンズに関する。(例えば、2,3,4,5またはさらに8つの)レンズは、レンズとカメラセンサの前またはその間に配置されるか、または、またはレンズ自体上のコーティング(またはその光学構成要素の1つ)の形態の、単一または複数のバンドパスフィルタを通るスペクトルの様々なバンドの通過を可能にするように設計される。
本発明に係る複合レンズは、高精度だが安価なマルチスペクトルカメラを形成するために、交換レンズマウントを有するDSLRまたはミラーレスカメラに取り付けられる。本発明によれば、複数の複合レンズは、ユーザのニーズおよび特定の用途に応じて複合レンズを交換することによって、単一のカメラと共に使用することができる。ユーザは、スペクトルの8バンドまたは12バンドのマルチスペクトル画像を長距離から取り込み、かつ、複合レンズを、より長い焦点深度の複合レンズで、同じバンドまたは異なるバンドのより詳細な(近くの)視野へ変更する。本発明に係る、複合レンズの交換の柔軟性は、農業リモートセンシング、健康診断および他の科学的応用のマルチスペクトル分析をより良く使用できるようにする。
本発明によれば、フルスペクトルカメラが複合レンズと共に使用される。このようなフルスペクトルカメラは、UVIRフィルタがないために、または、製造元によってもともと取り付けられたか、またはスペクトルのより広い範囲の通過を可能にするフィルタによって置き換えられている場合にそのようなフィルタを取り除いたために、カメラのセンサを視覚スペクトルより広いスペクトルに露光する。
本発明によれば、少なくとも2つのレンズが複合レンズに含まれる。2つ(またはそれ以上)のレンズからの画像の間の最も近い可能性のあるマッチングを達成し、カメラのセンサを完全に使用可能にするために、本発明による多数の異なる構成の構成が開示される。
交換レンズマウントを備えたDSLRおよびミラーレスカメラのほとんどは、サイズの異なるセンサを有する。12,16,24または50メガピクセルの寸法は、17mm×13mm(マイクロフォーサーズ)より小さいセンサから最大36mm×24mm(フルフレーム)までのセンサまで変更できる。例えば、Sony Alpha5000は、23.2mm×15.4mmのAPS−Cセンサを有する。同じセンサ上の2つのレンズを通して可能な限り同一の2つの画像を取得するために、各レンズの焦点中心が、それに対応するセンサの部分の中心の正面に正確に位置するとき、レンズをセンサの正面に正確に設定することが好ましい。そのような配置の1つの例が図3に示される。図3では、センサ(7)は、2つのレンズ(8)とともにその上に示される。レンズ(8)はそれぞれ、センサのそのそれぞれの半分の中心の前にその焦点中心で取り付けられる。したがって、センサのサイズは、例えば、23.2mm×15.4mmのセンサの前で2つのレンズを使用する必要がある場合などのように、使用可能なレンズのサイズには実質的な制限があるように見えるが、このことはレンズの最大直径は11.6mm(センサの水平サイズの半分)を超えることはできないことを意味する。4つのレンズを使用する場合、レンズの最大直径は7.7mm(センサの垂直寸法の半分、11.6mm×7.7mmを利用)を超えることができない。例えば、図4を参照すると、単一のセンサ(10)に取り付けられた4つのレンズ(11)が示されており、各レンズの焦点中心がセンサのそれぞれの四分の一の中心(12)の前にある。
このような実施形態が効果的であるためには、小型レンズの各々は、センサの専用部分を完全に覆うために、少なくとも13.923mmの直径(11.6mm×7.7mmの対角線寸法)のイメージサークルをセンサ上に提示すべきである。しかしながら、本発明によれば、そのような制限は少なくとも2つの異なる方法で克服することができる。1つの方法は、双眼鏡でよく使用されるように、および図5に示されるように、複合レンズの各レンズにポロプリズム設計を使用することである。ポロプリズム設計はオフセットされたプリズムを有し、多くの双眼鏡によく見られる「曲がった」形状になる。そのような設計は、(実際には無制限のサイズの)はるかに大きな直径の対物レンズの使用を可能にし、一方、ポロプリズム単眼の「接眼レンズ」は、カメラの交換可能なマウントにセットされ、センサに面する。したがって、対物レンズ(13)を介してキャプチャされた画像は、ポロプリズム(14’)を通過して接眼レンズ(14)に達し、次にセンサ(15)に達する。代替的に、このポロプリズム設計は、本明細書に記載の他の実施形態のそれぞれにおいて実施することができる。
もう一つの好ましい方法は、本発明の実施形態によれば、隣接したレンズを切り取ることである。レンズを通過するイメージサークルの端は、センサ上のイメージサークルが非効率的に重なることを防ぐために、最終的には切り取られる必要があるだろう。レンズの重なる端を切り取ることによって、本発明は、より大きな直径のレンズが使用できるようになる。これは図6aで見ることができ、これは、センサの全表面積を使用でき、センサ(17)の端を越えて伸張するレンズ(16)の使用を示す。図6bでは、切り取られたレンズ(16)それ自身を確認できる。それらはマッチング切取端(19)に沿って切り取られる。確認できるように、レンズ中心(20)は対応する半分のセンサの中心の上に配置される。図示された例では、15.4mm×23.2mmの同一のSonyAPS−Cセンサについては、2つの隣接したレンズの重なる端を切り取ることで、最大15.4mmの直径を備えたレンズの使用を可能にする。単複合レンズに4つのレンズ(図示せず)を入れて、最大11.6mmの直径のレンズを使用することができる。したがって、本発明は、センサの対応する部分の中心の前のレンズの位置取りを損なうことなく、レンズのサイズ制限を克服する効果的な方法を開示する。
本発明はまた、複合レンズに含まれている様々なレンズの露光レベルのバランスを保つ効果的な方法を開示する。複合レンズの各レンズのために露光時間を独立して設定することができず、かつ、センサの感度は、スペクトルの狭いかまたは広い様々なバンドに露光される時に変わりうるので、様々なレンズの露光レベルのバランスを保つ必要性がある可能性があるだろう。例えば、そのような場合には、バランスのとれた露光を達成し、イメージのうち一つまたはすべての露光過度または露光不足を回避するために、IRキャプチャのための最適なFストップは、(キャプチャされたバンドに応じて)視覚的画像キャプチャのそれよりも1または2絞り小さい可能性があるだろう(例えば、VIS Vs. NIR800nmについてのF8 Vs. F5.6および、VIS Vs. NIR 950nmについてのFll Vs. F5.6)。様々なレンズの露光がバランスを保たれない場合、1つのキャプチャされた画像は露光不足になり(暗すぎる)可能性があり、または、他方は(ダブル複合レンズの場合)露光過度になる可能性がある(過度に明るい)。本発明は、露光バランスを解決する3つの可能な実施形態を開示する。第1の選択肢は、各レンズのための差分アイリス設定であり、すなわち、通過するバンドに応じて各レンズに対し特定のFストップを設定することである。この実施形態によれば、隣接したレンズが3本のVISバンド(400nm −700nmの間)の場合、NIR 800nmのレンズはF8またはF5.6であるだろうし、一方で、VISレンズはF8またはFl 1である。
本発明に係る第2の解決策は、VISレンズに中性濃度コーティング(a Neutral Density coating)またはフィルタを追加することである。中性濃度フィルタは、すべての波長または光の色の強度を等しく低下または修正し、演色の色調の変化を与えない。そのようなフィルタは、レンズ間の所望のバランスを達成するために望ましいように、強度を低下させるのに適する可能性がある。より複雑でより高価な解決法は、各レンズのための独立したアイリス設定を可能にする。アイリスが固定されないので、これはあまり好ましくない解決法である。
本発明はまた、単一のセンサ上のマルチスペクトルキャプチャの主な課題を克服する2つの実践的な方法を提案し、これは色収差である。「カラーフリンジ」または「パープルフリンジ」として知られる色収差は、光学の共通の問題である。色収差は、レンズを通過する間に様々な速度で移動する光の様々な色に伴って、レンズ分散によって引き起こされる。この問題は、図7に概略的に例証される。ここで、レンズ(21)が光を赤色(23)、緑色(24)および青色(25)の3つのスペクトルに分割することが見られる。しかしながら、図例では、緑色光(24)のみが焦点面(22)でセンサに集束される。色収差は、スペクトルの広い範囲を扱う時に特に深刻である。視覚的スペクトル(400nm〜700nm)の範囲内のイメージを修正することができ、焦点を合わせることができるレンズは、200nmから850nm、およびそれ以上の色収差を克服することができないだろう。マルチ複合レンズは、独立したレンズを介してスペクトルの異なるバンドを許容し、センサ面の異なる部分に画像をキャプチャするが、色収差は、キャプチャされた画像の効果的な分析を可能にするように補正されなければならない。取得後ソフトウェア解決策を使用して問題を解決することはできるが、事前に問題を解決するよりも効率が悪い。
収差を修正する第1の方法は、レンズを通過する光のバンドに応じて、複合レンズにおいてわずかに異なるレンズを使用することである。レンズの画角およびイメージサークルが同一のままである間に、レンズ設計が同一の焦点深度に変更される。これは任意の当業者によって行われる。軸上の色収差を解決する第2の方法は、図8に示すように、レンズを不均一な平面、すなわちセンサから異なる距離の複合レンズに埋め込むことである。この例示的な実施形態では、緑色光を通すレンズ(26)がセンサ(27)の近くに配置され、一方で、赤色光を通すレンズ(28)がセンサ(27)から遠くに配置される。このように、緑色焦点(29)および赤色焦点(30)の両方が、センサ(27)の焦点面と一致する。これは、同一のレンズを使用しながら、この問題を解決する単純で実践的な方法である。レンズを設定することで、緑色光および紫外光を、近赤外光を透過させるレンズよりもセンサに近い距離で透過でき、画像の取得後分析には不可欠な、寸法と画角の点で同一の画像をキャプチャすることができる。
センサの全表面積を効果的に使用するために、本発明は、イメージサークルがセンサ面で重なりかつ混ざることからレンズを通り抜けることを防ぐ、いくつかの方法を開示する。このように混ざることを阻止する1つの方法は、物理的な分割を使用することであり、これはレンズ間に置かれる。図9aおよび図9bは、それぞれの正面および側面の概略図において複合レンズの1つの典型的な実施形態を示す。2つのレンズ(32)がセンサ(31)の前の複合レンズに取りつけられる。物理的なパーティション(33)は、センサ(31)上でキャプチャされたイメージの重複を低減または防止するため、レンズ間で配置される。このような(複合レンズ中のレンズの数に依存する)薄いパーティション(複数可)は、センサ部分上のレンズ専用のセンサ部分の境界上で正確に、センサに対し垂直に配置され、混じることが生じる可能性があるイメージサークルが混ざることを防ぎ、かつ、実際には、それを「切り取る」。ある場合には、カメラの機械的なシャッターが、レンズとセンサとの間で利用される場合、上述した重複防止手段のうち2つまたはその全てを組み合わせることが好ましい。
混ざる可能性のあるイメージ境界を物理的に「切り取る」実践的な方法のもう一つは、レンズ上をコーティングすること、またはレンズとセンサとの間の「ウィンドウ」によるものである。このような「ウィンドウ」または長方形のコーティングは、混ざる可能性のある光がセンサを通り抜けることを防ぐ。例示的な1つの実施形態は、図10aおよび10bにおいて示され2つのレンズまたは接眼レンズ(35)を備える複合レンズ(34)を示す。図10aでは、1つの接眼レンズの方へ来る光(センサに最接近している光学素子)は、第2の接眼レンズに入射し、その結果好ましくない混合を引き起こす光線を有する。本発明の実施形態によれば、図10bの中で示されるように、切取ウィンドウ(36)は混合を防ぐために添加された。
複合レンズのマルチプルレンズを通過する画像が、最終的に同じ単一のセンサの様々な部分上に落ち着くと、それらは、複合レンズが取り付けられるカメラにサポートされる任意のフォーマット(JPG、RAWなど)で、最終的には左右および/または上下(side by side and/or top by bottom)に並んで保存され、または、その両方で、かつ、単一のファイル内に保存される。
本発明はまた、マルチスペクトルの画像をキャプチャするためのモバイル処理プラットフォームと少なくとも2台のカメラを一体化させる、モバイルマルチスペクトル撮像装置に関する。各カメラは、プラットフォームと一体化された少なくとも1つのセンサと、レンズと、少なくとも1つの単一またはマルチバンドパスフィルタとを含み、少なくとも可視および不可視(近赤外または近紫外)の光のバンドがフィルタを通ってセンサに通過することを可能にする。レンズは、カメラのセンサ面において実質的に同一の焦点距離、実質的に同一の視野、および実質的に同一のイメージサークルのレンズである。様々なカメラが、赤から近紫外線または青から近赤外線のスペクトルの光の複数、好ましくは少なくとも4つ、の異なるバンドを通過させる。少なくとも1つのフラッシュ、好ましくは専用フラッシュ、は不可視の(例えば近紫外線または近赤外線)フィルタとマッチングする感度の範囲における照明のために提供される。好ましくは、可視バンドを照らす第2のフラッシュが、同様に取り付けられるだろう。撮像装置は複数のレンズ、複数のセンサおよび/または複数のカメラで実行することができる。ストレージ手段は、キャプチャされた画像を2つの一致するファイルまたは単一のファイルとして保存するために必要である。典型的には、処理用モバイルプラットフォームおよびスマートフォンには、異なる種類のストレージ、すなわち内部MicroSDが備えられている。以下、カメラを参照して本発明を記載するが、あるいは、少なくとも1つの集光センサに取り付けられた少なくとも2つのフィルタを備える少なくとも2つのレンズとして実施することができる。
特に、モバイル撮像装置は、マルチスペクトル画像中の色チャンネルのデジタルな位置合わせを可能にするように構成される。カメラ(少なくとも2つ)は、可能な限り同一の視野をキャプチャするために位置取りされ、位置合わせされる。様々なカメラが、近赤外線から紫外線または近紫外線のスペクトルの光の複数、好ましくは少なくとも4つ、を通過させ、したがって、バンドパスフィルタを使用することにより、用途に応じて、スペクトルの定義された波長の選択されたバンドの感知を可能にする。カメラは、それらのセンサ面で実質的に同一の視野および本質的に同一のイメージサークルのものである。カメラのレンズはまた、実質的に同一の焦点距離、および低歪みのものである。センサの平面におけるイメージサークルの類似を達成するために、カメラのレンズは、センサからの不等間隔の距離で配置されるか、または、これらの様々なレンズを通過する光の様々な波長に起因して生成される色収差を補正するための光学素子を含む。
特に、二つのカメラを組み合わせることで、マルチバンドパスフィルタを備えた(UVIRカットフィルタまたはコーティングなしの)2つのフルスペクトルカメラを使用することにより、または(400nm〜700nmのような)可視範囲内の一つのカメラと、UVおよび/またはIRカットフィルタまたはコーティングを備えない別のカメラを使用することによって、マルチスペクトル画像のキャプチャが可能になり、これは(最新のCMOS Smartphonesセンサのように)350nm〜1000nmの光のフルスペクトルに対し感光性であり、複数の有線および無線通信機能を備えたスマートフォン設計を使用している時、組み合わされたカメラを、単一で、軽量で、高品質で、高度に同期され、位置合わせされたマルチスペクトル撮像および処理モバイルプラットフォームに変える。
各カメラは、センサのベイヤーマトリックスによって3つの狭いバンドをキャプチャすることができるので、本発明は複数の(2から4つ)カメラを介して、4から12およびさらに多くのバンドのマルチスペクトル画像をキャプチャすることを可能にする。
本発明の可能な実施形態の一つにおいては、図11に例証されるように、皮膚の分析のために、2つのカメラ(4)および(5)は同時に画像をキャプチャするためにスマートフォン(1)または同様のモバイルプラットフォームに、互いに接近して配置されるだろう。
各カメラは、好ましくは、カメラの各フィルタのキャプチャされたバンド幅に合致する専用のLEDフラッシュ(3)、(6)を有し、これは例えば、NUVカメラの場合は365nm〜370nmの不可視光線フラッシュであり、可視光カメラの場合は可視光フラッシュである。好ましくは、各カメラは、ここでは緑色バンドとして示されるスペクトルのバンド(少なくとも50%の重複)もキャプチャし、複合レンズを有する撮像装置を参照して上述されているように、キャプチャ画像内の色または周波数バンドのデジタルな位置合わせを可能にするように構成される。
簡単な皮膚分析の画像キャプチャのために、カメラはスクリーンの側面に取り付けられ、(図11に見られるように)自撮りをする時に今日行われるような、ユーザにカメラの視野を見ることを可能にする。取得された画像は、ユーザの好みに応じて、並んで、または別々に表示されることができる。
データを処理できるプラットフォームとの一体化により、農業および皮膚の分析の実施両方についての、取得された画像のオンボードリアルタイム分析およびオフライン分析が、NDVI、NDRE、皮膚分析ソフトウェアなどの一般的な分析ツールを用いて可能になる。
狭いかまたは広いバンドパスフィルタおよび/または各レンズと関連するマルチバンドパスフィルタは、各レンズによって異なる。それらは、知られているように、レンズ上のコーティングとして実装されること、および/または、レンズの前(物体とレンズの間)またはその後ろ(レンズと、その特定のレンズを通過する光を感知するセンサとの間)に取り付けられることができる。
複数のレンズまたはカメラからの画像は、RAW、JPEG、またはカメラでサポートされている他の形式のどれであろうと、単一の画像ファイルまたは2つのマッチするファイルとして保存することができる。
したがって、本発明のモバイル撮像装置は、従来のマルチレンズマルチスペクトルカメラが提供できない最も信頼性の高い方法で、上述した、異なるカラーマトリックスの取得後の位置合せの方法の実行を可能にする。上述の通り、本発明のこれらの実施形態は、両方のレンズを介して色バンドのうちの1つをキャプチャし、かつ、取得後のデジタルな位置合わせに従ってすべてのマトリックスを位置合わせすることによって、ピクセルの正確な位置合わせを可能にし、これは、二つの類似のカラーマトリックスのマッチングに基づいている。例えば、レンズ/カメラ(1)が、その中心が450nm、550nmおよび650nmである60nm幅バンドをキャプチャする場合、および、レンズ/カメラ(2)が550nmおよび850nmの60nm幅バンドをキャプチャする場合、次に、取得後のデジタルな位置合わせは、レンズ(1)および(2)の2つの550nm画像のマッチングにより行われ、これは、これらのマトリックスが類似のデータを含むので、ピクセルの正確な位置合わせが可能になる。これはレンズの各々によって、実質的に同一の光のバンドを含むフィルタを通って、画像を取得することにより達成される。実質的に同一の光のバンドを受信したマトリックスおよびチャンネルは、様々なレンズ/カメラによって取得されたマルチバンド画像から分割される。次に、実質的に同一の光のバンドのマトリックスが、全てのレンズ/カメラによって取得された画像の取得後のデジタルな位置合わせのために利用される。
その後、他のすべてのマトリックスが両方の半分のセンサ上の550nmで同時にキャプチャされたので、それらは正確に位置合わせされるだろう。勿論、RGBレンジバンドのいずれかを使用して、そのような位置合わせのために同様のバンドを有することが可能であるが、しかし、緑カラーマトリックスが通常3つのカラー範囲の中で最も鮮明であるので、好ましい選択肢は緑色のものであり、かつ、大抵のカメラはベイヤーRGGBセンサを備えており、これは緑色バンドの最高品質を保証する。
モバイルイメージングプラットフォームは、モバイルプラットフォームで提供されるような無線機能(例えば、WiFi、NFC、Bluetooth(登録商標)および/またはセルラLTEまたはその他)を有することが理解されよう。所望の場合には、カメラはUSBまたはワイヤレスで制御できる。同様に、カメラは、有線を通じて(例えば、USB)、および/または無線で、処理プラットフォーム(コンピュータ、タブレット、PC、撮像ボード、またはスマートフォンなど)にキャプチャされた画像を転送することができる。
限られた数の実施形態に関して、本発明を記載してきたが、本発明の多くの変形、修正および他の適用がなされ得ることが理解されるであろう。本発明は、単なる例として上に記載されたものに限定されないことがさらに理解されるであろう。むしろ、本発明は、続く請求項によって限定される。

Claims (41)

  1. 単一のイメージセンサを有するデジタルカメラの交換レンズマウントに接続するための複合レンズであって、該複合レンズが:
    本体と;
    デジタルカメラのレンズマウントに接続するための前記本体上に取り付けられた単一のマウント接続リングと;
    前記本体に取り付けられた実質的に同一の焦点距離の少なくとも2つのレンズと;
    センサまでフィルターを通る、光の近赤外線バンドおよび紫外線バンドから成る群から選択される、少なくとも1つの可視バンドの通過、および1つの不可視バンドの通過を可能にする、前記レンズの各々に関連する異なるシングルバンドパスフィルタまたはマルチバンドパスフィルタと;
    を含み、それらのレンズが、カメラのセンサ面において、実質的に同一の視野のレンズ、および実質的に同一のイメージサークルのレンズである、
    ことを特徴とする、複合レンズ。
  2. フィルターが、前記レンズを通るスペクトルの少なくとも4つの異なるバンドの通過を可能にするために選択される、請求項1に記載の複合レンズ。
  3. フィルターが、両方のレンズを通るスペクトルの1つの類似のバンドの通過を可能にするように選択され、両方のレンズによって取得される類似のバンドのマッチングに基づき両方のレンズのカラーマトリックスの取得後の位置合わせを可能にする、請求項1または請求項2に記載の複合レンズ。
  4. 色収差が、
    センサから多少異なる距離にレンズを位置決めすること;または、
    レンズの少なくとも1つおいて、1つのレンズのイメージサークルのサイズを、他のレンズのイメージサークルのサイズと位置合わせする光学素子を含むこと、
    のいずれか1つによって補正される、請求項1から3のいずれか1つに記載の複合レンズ。
  5. レンズ間に配されるまたはセンサに取り付けられる遮光フレームをさらに含む、請求項1から4のいずれか1つに記載の複合レンズ。
  6. 遮光フレームが、レンズ間に配されるもしくはセンサに取り付けられる、マスキングウィンドウ、ボーダー、およびパーティションを含む群から選択されるか、それらの組み合わせである、請求項4に記載の複合レンズ。
  7. 前記レンズが複合レンズに関連するセンサの一部の中心の前にそれぞれ位置決めされる、請求項1から6のいずれか1つに記載の複合レンズ。
  8. 前記フィルターが、コーティング、レンズの前に取り付けられたフィルター、レンズの後ろに取り付けられたフィルター、および特定のレンズを通過する光を感知するセンサの部分上に取り付けられたフィルター、の少なくとも1つとして実装される、請求項1から7のいずれか1つに記載の複合レンズ。
  9. 全てのレンズの焦点を同時に調整するための単一の焦点メカニズムをさらに含む、請求項1から8のいずれか1つに記載の複合レンズ。
  10. 各レンズに関連する少なくとも1つのポロプリズム設計をさらに含む、請求項1から9のいずれか1つに記載の複合レンズ。
  11. マルチスペクトル画像をキャプチャするための方法であって、該方法が:
    実質的に同一の焦点距離の少なくとも2つのレンズを介して単一のイメージセンサ上で画像をキャプチャする工程であって、それらのレンズが、センサ面において、実質的に同一の視野のレンズ、および実質的に同一のイメージサークルのレンズであり、前記レンズがそれぞれ、異なるシングルバンドパスフィルタまたはマルチバンドパスフィルタに関連する工程と;
    少なくとも1つの可視バンド、および少なくとも1つの不可視バンドを、センサまで前記フィルターに通過させる工程と;
    単一の画像ファイルにマルチプルレンズからのキャプチャされた画像を保存する工程と、
    を含むことを特徴とする、方法。
  12. 通過させる工程が、少なくとも4つの異なるスペクトルバンドを前記フィルターに通過させることを含む、請求項11に記載の方法。
  13. センサから不等な距離にレンズを位置決めすること、またはレンズの少なくとも1つにおいて、1つのレンズのイメージサークルのサイズと、他のレンズのイメージサークルのサイズとを、位置合わせする光学素子を含むこと、の少なくとも1つにより、色収差を補正する工程をさらに含む、請求項11または請求項12に記載の方法。
  14. 画像の重複を防止するためにレンズを切り取ることをさらに含む、請求項11から13のいずれか1つに記載の方法。
  15. 方法がさらに、
    レンズの各々により、類似の光のバンドの通過を可能にするフィルターを介して画像を取得する工程と;
    異なるレンズによって取得されるマルチバンド画像からの類似の光のバンドによってキャプチャされたマトリックスを分割する工程と;
    類似の光のバンドのマトリックスを利用するすべてのレンズによって取得される画像をデジタルに位置合わせする工程と、
    を含む、請求項11から14のいずれか1つに記載の方法。
  16. 各レンズに対して独立して較正する焦点をさらに含む、請求項11から15のいずれか1つに記載の方法。
  17. a)同じ露光時間中に取得物に対する波長に従って前記レンズのアパーチャーのサイズ(Fストップ)を予め設定する工程と;
    b)VISレンズに中性濃度コーティングまたはフィルターを追加する工程と;
    c)アパーチャー/アイリス設定/Fストップを手動で設定する工程と、
    を含む群から選択された方法によって、前記レンズの露光レベルのバランスをとる工程をさらに含む、請求項11から16のいずれか1つに記載の方法。
  18. 前記不可視バンドが、光の近赤外線バンドおよび近紫外線バンドから成る群から選択される、請求項11から17のいずれか1つに記載の方法。
  19. 交換レンズマウント、シャッター、および単一のセンサを有するデジタルカメラと;
    交換可能な複合レンズと、
    を含むマルチスペクトルカメラであって、交換可能な複合レンズが、
    本体と;
    デジタルカメラのレンズマウントに接続するための前記本体上に取り付けられた単一のマウント接続リングと;
    前記本体に取り付けられた実質的に同一の焦点距離の少なくとも2つのレンズであって、それらの前記レンズ各々が、センサのそれぞれの一部の中心の前に配されるその焦点中心に取り付けられるレンズと;
    センサまで前記フィルターを通る、光の近赤外線バンドおよび紫外線バンドから成る群から選択される、少なくとも1つの可視バンドの通過、および少なくとも1つの不可視バンドの通過を可能にする、前記レンズの各々に関連する異なるシングルバンドパスフィルタまたはマルチバンドパスフィルタであって、そのレンズは、カメラのセンサ面において、同一の視野のレンズ、および実質的に同一のイメージサークルのレンズである、シングルバンドパスフィルタまたはマルチバンドパスフィルタと;
    デジタルカメラのレンズマウントに接続するための前記本体上の単一のマウント接続リングと;
    を含むことを特徴とする、マルチスペクトルカメラ。
  20. フィルターが、前記レンズを通るスペクトルの少なくとも4つの異なるバンドの通過を可能にするために選択される、請求項19に記載のマルチスペクトルカメラ。
  21. 色収差が、
    各レンズの焦点がセンサの焦点面と一致するように、センサからの不等な距離で複合レンズ内にレンズを位置決めすること;
    レンズの少なくとも1つおいて、1つのレンズのイメージサークルのサイズを、他のレンズのイメージサークルのサイズと位置合わせする光学素子を含むこと;または、
    多少異なる焦点距離を有する前記レンズを選択し、同一の画角およびイメージサークルを有する複合レンズ内にそれらを配すること、
    の少なくとも1つによって補正される、請求項19または20に記載のマルチスペクトルカメラ。
  22. レンズ間に配された、またはセンサに取り付けられた、遮光フレームをさらに含む、請求項19から21のいずれか1つに記載の複合レンズ。
  23. 物体の少なくとも1対のデジタル画像の取得後のデジタルな位置合わせを提供するための方法であって、該方法が、
    少なくとも1つのセンサのセンサ面において、実質的に同一の焦点距離の、実質的に同一の視野の、および実質的に同一のイメージサークルの少なくとも2つのレンズの各々を介して、カラーマトリックスとして保存される物体のデジタル画像を取得する工程であって、各レンズが、他の前記レンズによってキャプチャされた1つの光のバンドと、他のレンズによってキャプチャされた光のバンドとは異なる少なくとも1つの光のバンドに類似している1つの光のバンドとをキャプチャするように、前記レンズの各々が、シングルバンドパスフィルタまたはマルチバンドパスフィルタに関連付けられる工程と;
    異なるレンズによって取得されるマルチバンド画像からの類似の光のバンドによってキャプチャされたカラーマトリックスを分割する工程と;
    すべてのレンズによって取得される画像の取得後のデジタルな位置合わせのための各レンズからの実質的に同一の光のバンドマトリックスをマッチングする工程と、
    を含むことを特徴とする、方法。
  24. フィルターが、センサまでフィルターを通る、光の少なくとも可視バンドおよび不可視バンドの通過を可能にする、請求項23に記載の方法。
  25. 撮像のために物体を照らすように配置される、不可視フィルターのパスバンドをマッチングするフラッシュをさらに含む、請求項24に記載の方法。
  26. 撮像のために物体を照らすように配置される、可視フィルターのパスバンドをマッチングする第2のフラッシュをさらに含む、請求項25に記載の方法。
  27. 物体の少なくとも1対のデジタル画像の取得後のデジタルな位置合わせを提供するための装置であって、その装置が、
    各レンズを介する物体のデジタル画像のカラーマトリックスを取得するための、センサ面において実質的に同一の焦点距離の、実質的に同一の視野の、および実質的に同一のイメージサークルの少なくとも2つのレンズであって、前記レンズの各々が、1つの類似の光のバンドと、少なくとも1つの異なる光のバンドと、を含む、シングルバンドパスフィルタまたはマルチバンドパスフィルタに関連する少なくとも2つのレンズと;
    異なるレンズによって取得されたマルチバンド画像からの類似の光のバンドによってキャプチャされたカラーマトリックスを分割するため、およびすべてのレンズによって取得される画像の取得後のデジタルな位置合わせのための各レンズからの実質的に同一の光のバンドマトリックスをマッチングするためのプロセッサと、
    を含むことを特徴とする、装置。
  28. フィルターが、センサまでフィルターを通る、光の少なくとも1つの可視バンドおよび1つの不可視バンドの通過を可能にする、請求項27に記載の装置。
  29. 画像取得中に物体を照らすように配置される、不可視フィルターのパスバンドをマッチングするフラッシュをさらに含む、請求項28に記載の装置。
  30. 画像取得中に物体を照らすように配置される、可視フィルターのパスバンドをマッチングする第2のフラッシュをさらに含む、請求項29に記載の装置。
  31. マルチスペクトル撮像装置であって:
    モバイル処理プラットフォームと;
    モバイル処理プラットフォームと一体化した少なくとも2つのカメラであって、各カメラが、レンズ、少なくとも1つのシングルバンドパスフィルタまたはマルチバンドパスフィルタ、および少なくとも1つのセンサを含む、少なくとも2つのカメラと、
    を含み、
    フィルターが、センサまでフィルターを通る、光の少なくとも1つの可視バンドおよび1つの不可視バンドの通過を可能にし、
    レンズが、センサ面において、実質的に同一の焦点距離のレンズ、類似の視野のレンズ、および実質的に類似のイメージサークルのレンズである、
    ことを特徴とする、マルチスペクトル撮像装置。
  32. 撮像のために物体を照らすように配置される、フィルターの不可視のパスバンドをマッチングするフラッシュをさらに含む、請求項31に記載のマルチスペクトル撮像装置。
  33. 撮像のために物体を照らすように配置される、フィルターの可視のパスバンドをマッチングする第2のフラッシュをさらに含む、請求項32に記載のマルチスペクトル撮像装置。
  34. 不可視のパスバンドをマッチングするフラッシュが専用のフラッシュである、請求項32または請求項33に記載のマルチスペクトル撮像装置。
  35. 前記少なくとも1つのセンサが、プラットフォームと一体化された2つのセンサを含み、各センサが前記レンズの少なくとも1つおよび前記フィルターの少なくとも1つに関連付けられる、請求項31から34のいずれか1つに記載のマルチスペクトル撮像装置。
  36. レンズがすべて、スペクトルの少なくとも1つの類似のカラーバンドをキャプチャするためにフィルターを含み、取得された画像内で異なるカラーチャンネルのデジタルな位置合わせを可能にする、請求項31から35のいずれか1つに記載のマルチスペクトル撮像装置。
  37. 前記フィルターの各々が、コーティング、レンズの前に取り付けられたフィルター、レンズの後ろに取り付けられたフィルター、および特定のレンズを通過する光を感知するセンサの部分上に取り付けられたフィルター、の少なくとも1つとして実装される、請求項31から36のいずれか1つに記載のマルチスペクトル撮像装置。
  38. マルチスペクトル画像をキャプチャするための方法であって、該方法が:
    モバイル処理プラットフォームと一体化した、少なくとも2つのレンズ、少なくとも2つのフィルター、および少なくとも1つのセンサを介してモバイル処理プラットフォームにおけるマルチスペクトル撮像装置により画像をキャプチャする工程であって、少なくとも2つのフィルターが、センサまでフィルターを通る、光の少なくとも可視バンド、および不可視(近赤外線または紫外線)バンドの通過を可能にし、レンズが、センサ面において、実質的に同一の焦点距離のレンズ、類似の視野のレンズ、および実質的に同一のイメージサークルのレンズであり、前記レンズの各々が、異なるシングルバンドパスフィルタまたはマルチバンドパスフィルタに関連する工程と;
    光の近赤外線バンドおよび紫外線バンドから成る群から選択される、少なくとも1つの可視バンドおよび少なくとも1つの不可視バンドを、センサまでフィルターに通過させる工程と;
    スペクトルの少なくとも1つの類似のカラーバンドを前記レンズの各々に通過させ、取得された画像における異なるカラーチャンネルのデジタルな位置合わせを可能にする工程と、
    を含むことを特徴とする、方法。
  39. 方法がさらに、
    レンズの各々により、実質的に同一の光のバンドを含む前記フィルター介して画像を取得する工程と;
    異なるレンズによって取得されるマルチバンド画像からの実質的に同一の光のバンドを受信したマトリックスを分割する工程と;
    レンズのすべてによって取得される画像の取得後のデジタルな位置合わせのための実質的に同一の光のバンドのマトリックスを利用する工程と、
    を含む、請求項38に記載の方法。
  40. 不可視のパスバンドをマッチングするフラッシュで、撮像される物体を照らす工程をさらに含む、請求項38または請求項39に記載の方法。
  41. フラッシュが専用のフラッシュである、請求項40に記載の方法。
JP2017563330A 2015-06-15 2016-06-15 マルチスペクトル撮像装置およびマルチスペクトルカメラ Active JP6983663B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562175450P 2015-06-15 2015-06-15
US62/175,450 2015-06-15
US201562260272P 2015-11-26 2015-11-26
US62/260,272 2015-11-26
US201662274810P 2016-01-05 2016-01-05
US62/274,810 2016-01-05
PCT/IL2016/050628 WO2016203470A1 (en) 2015-06-15 2016-06-15 Multispectral imaging apparatus

Publications (2)

Publication Number Publication Date
JP2018526664A true JP2018526664A (ja) 2018-09-13
JP6983663B2 JP6983663B2 (ja) 2021-12-17

Family

ID=57545560

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017563330A Active JP6983663B2 (ja) 2015-06-15 2016-06-15 マルチスペクトル撮像装置およびマルチスペクトルカメラ

Country Status (13)

Country Link
US (1) US10574911B2 (ja)
EP (1) EP3308209B1 (ja)
JP (1) JP6983663B2 (ja)
KR (1) KR20180018550A (ja)
CN (1) CN107750345B (ja)
AU (1) AU2016278201B2 (ja)
BR (1) BR112017027043B1 (ja)
CA (1) CA2988275C (ja)
EA (1) EA034651B1 (ja)
ES (1) ES2812225T3 (ja)
MX (1) MX2017016357A (ja)
PL (1) PL3308209T3 (ja)
WO (1) WO2016203470A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020064161A (ja) * 2018-10-16 2020-04-23 キヤノン株式会社 光学装置及びそれを備える撮像システム
WO2023145188A1 (ja) * 2022-01-31 2023-08-03 富士フイルム株式会社 撮像装置、処理装置、処理方法、プログラム、及び光学フィルタ
US11829053B2 (en) 2019-08-09 2023-11-28 Canon Kabushiki Kaisha Optical unit, optical apparatus, imaging apparatus, and imaging system
JP7532088B2 (ja) 2019-08-09 2024-08-13 キヤノン株式会社 光学ユニット、光学装置、及び撮像装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769436B2 (en) * 2017-04-19 2020-09-08 Sentera, Inc. Multiband filtering image collection and analysis
CN107197123B (zh) * 2017-05-05 2019-12-20 北京空间机电研究所 一种凝视型空间相机分时多光谱成像控制的相机系统及控制方法
WO2019054958A2 (en) * 2017-09-13 2019-03-21 Eski Osman MULTISPECTRAL IMAGING SYSTEM MOBILE
WO2019148122A1 (en) 2018-01-29 2019-08-01 Aerovironment, Inc. Multispectral filters
US10779476B2 (en) 2018-09-11 2020-09-22 Pollen Systems Corporation Crop management method and apparatus with autonomous vehicles
US10660277B2 (en) * 2018-09-11 2020-05-26 Pollen Systems Corporation Vine growing management method and apparatus with autonomous vehicles
BR112021011132A2 (pt) 2018-12-14 2021-08-31 Spectral Md, Inc. Sistemas de aprendizado por máquina e métodos para avaliação, predição de cicatrização e tratamento de feridas
WO2020123722A1 (en) * 2018-12-14 2020-06-18 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
US10904493B2 (en) * 2019-04-02 2021-01-26 The Boeing Company Filter alignment for multi-spectral composite image
EP3958055A4 (en) * 2019-04-18 2022-06-15 Sony Group Corporation INTERCHANGEABLE LENS, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US11195286B2 (en) 2019-08-12 2021-12-07 The Boeing Company Image-based target tracking
CN110493504B (zh) * 2019-08-29 2021-07-30 Oppo广东移动通信有限公司 图像传感器、成像系统和终端
CN110996006B (zh) * 2019-12-19 2022-04-15 苏州光测视界智能科技有限公司 一种工业相机镜头与ccd的转接环的控制方法
EP3884840A1 (de) * 2020-03-27 2021-09-29 Diaspective Vision GmbH Medizinische bildgebungsvorrichtung zur ortsaufgelösten aufnahme multispektraler videodaten
US11933991B2 (en) 2020-09-29 2024-03-19 Sony Group Corporation Optical apparatus for improving camera sensitivity and matching of identical perspectives
CN112291539A (zh) * 2020-10-29 2021-01-29 维沃移动通信有限公司 成像装置和电子设备
JP2024522792A (ja) * 2021-02-09 2024-06-21 サークル オプティクス,インコーポレイテッド 性能が改善された低視差レンズ設計
WO2022178341A1 (en) 2021-02-22 2022-08-25 Corning Incorporated Enhanced hybrid systems and methods for characterizing stress in chemically strengthened transparent substrates
CN113242364B (zh) * 2021-03-29 2023-04-18 杭州涂鸦信息技术有限公司 一种黑光摄像机
CN117321397A (zh) 2021-04-01 2023-12-29 康宁股份有限公司 用于改进的光散射偏振测量的光源强度控制系统和方法
AU2022439107A1 (en) 2022-02-01 2024-09-19 Landscan Llc Systems and methods for multispectral landscape mapping

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004344583A (ja) * 2003-05-26 2004-12-09 Minolta Co Ltd 診断支援システムおよび端末装置
JP2009153074A (ja) * 2007-12-21 2009-07-09 Olympus Corp 画像撮影装置
JP2010026490A (ja) * 2008-06-18 2010-02-04 Ricoh Co Ltd 撮像装置
JP2010245870A (ja) * 2009-04-07 2010-10-28 Olympus Corp マルチスペクトル撮影用レンズアダプタ装置、マルチスペクトル撮影装置、および画像処理装置
JP2011182237A (ja) * 2010-03-02 2011-09-15 Osaka Univ 複眼撮像装置及び該装置における画像処理方法
JP2011205587A (ja) * 2010-03-26 2011-10-13 Olympus Corp マルチバンドステレオ撮像装置
JP2012199805A (ja) * 2011-03-22 2012-10-18 Canon Inc 撮像装置
JP2013510681A (ja) * 2009-11-13 2013-03-28 カリフォルニア インスティチュート オブ テクノロジー 単一のイメージングチップ及び共役させられたマルチバンドパスフィルターを備えた立体のイメージングの小規模の内視鏡

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7439847B2 (en) * 2002-08-23 2008-10-21 John C. Pederson Intelligent observation and identification database system
SE0402576D0 (sv) * 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
JP2010128122A (ja) * 2008-11-27 2010-06-10 Olympus Corp 撮像装置
KR20110037448A (ko) * 2009-10-07 2011-04-13 (주)토핀스 열화상카메라용 일축형 렌즈모듈
CN201837812U (zh) * 2010-09-17 2011-05-18 上海恒光警用器材有限公司 全光谱照相机
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
CN102466520B (zh) * 2010-11-11 2014-12-17 香港纺织及成衣研发中心 多光谱成像颜色测量系统及其成像信号处理方法
US8665440B1 (en) * 2011-02-10 2014-03-04 Physical Optics Corporation Pseudo-apposition eye spectral imaging system
US9030528B2 (en) * 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
US20130111464A1 (en) * 2011-10-27 2013-05-02 3Dmedia Corporation Modular and open platform image capture devices and related methods
JP6177786B2 (ja) * 2011-11-04 2017-08-09 アイメックImec 集積フィルタとセンサアレイ上に投影された多重隣接画像コピーとを有するスペクトルカメラ
US8941722B2 (en) * 2012-01-03 2015-01-27 Sony Corporation Automatic intelligent focus control of video
US20130222603A1 (en) * 2012-02-28 2013-08-29 Aptina Imaging Corporation Imaging systems for infrared and visible imaging
JP2014048423A (ja) * 2012-08-30 2014-03-17 Canon Inc 撮像光学系、撮像装置および撮像システム
US9094540B2 (en) * 2012-12-13 2015-07-28 Microsoft Technology Licensing, Llc Displacing image on imager in multi-lens cameras
US9857569B2 (en) * 2014-10-31 2018-01-02 Everready Precision Ind. Corp. Combined lens module and image capturing-and-sensing assembly
CN204269898U (zh) * 2014-10-31 2015-04-15 高准精密工业股份有限公司 组合式透镜模组以及应用此模组的摄像感测组件
US20160136816A1 (en) * 2014-11-14 2016-05-19 James Charles Pistorino Sorting apparatus and method
CN104394306B (zh) * 2014-11-24 2018-02-27 北京中科虹霸科技有限公司 用于虹膜识别的多通道多区域镀膜的摄像头模组及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004344583A (ja) * 2003-05-26 2004-12-09 Minolta Co Ltd 診断支援システムおよび端末装置
JP2009153074A (ja) * 2007-12-21 2009-07-09 Olympus Corp 画像撮影装置
JP2010026490A (ja) * 2008-06-18 2010-02-04 Ricoh Co Ltd 撮像装置
JP2010245870A (ja) * 2009-04-07 2010-10-28 Olympus Corp マルチスペクトル撮影用レンズアダプタ装置、マルチスペクトル撮影装置、および画像処理装置
JP2013510681A (ja) * 2009-11-13 2013-03-28 カリフォルニア インスティチュート オブ テクノロジー 単一のイメージングチップ及び共役させられたマルチバンドパスフィルターを備えた立体のイメージングの小規模の内視鏡
JP2011182237A (ja) * 2010-03-02 2011-09-15 Osaka Univ 複眼撮像装置及び該装置における画像処理方法
JP2011205587A (ja) * 2010-03-26 2011-10-13 Olympus Corp マルチバンドステレオ撮像装置
JP2012199805A (ja) * 2011-03-22 2012-10-18 Canon Inc 撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020064161A (ja) * 2018-10-16 2020-04-23 キヤノン株式会社 光学装置及びそれを備える撮像システム
JP7378920B2 (ja) 2018-10-16 2023-11-14 キヤノン株式会社 光学装置及びそれを備える撮像システム
US11917279B2 (en) 2018-10-16 2024-02-27 Canon Kabushiki Kaisha Optical apparatus including lens portions and filters, and image pickup system including the same
US11829053B2 (en) 2019-08-09 2023-11-28 Canon Kabushiki Kaisha Optical unit, optical apparatus, imaging apparatus, and imaging system
JP7532088B2 (ja) 2019-08-09 2024-08-13 キヤノン株式会社 光学ユニット、光学装置、及び撮像装置
WO2023145188A1 (ja) * 2022-01-31 2023-08-03 富士フイルム株式会社 撮像装置、処理装置、処理方法、プログラム、及び光学フィルタ

Also Published As

Publication number Publication date
EP3308209A1 (en) 2018-04-18
PL3308209T3 (pl) 2020-12-14
US20180176488A1 (en) 2018-06-21
JP6983663B2 (ja) 2021-12-17
CN107750345A (zh) 2018-03-02
BR112017027043A2 (ja) 2018-08-21
EP3308209B1 (en) 2020-05-27
KR20180018550A (ko) 2018-02-21
US10574911B2 (en) 2020-02-25
EP3308209A4 (en) 2019-02-27
AU2016278201A1 (en) 2018-01-04
CA2988275A1 (en) 2016-12-22
CA2988275C (en) 2021-10-19
EA201890046A1 (ru) 2018-05-31
BR112017027043B1 (pt) 2022-12-06
MX2017016357A (es) 2018-12-06
WO2016203470A1 (en) 2016-12-22
AU2016278201B2 (en) 2021-08-12
ES2812225T3 (es) 2021-03-16
CN107750345B (zh) 2021-03-23
EA034651B1 (ru) 2020-03-03

Similar Documents

Publication Publication Date Title
JP6983663B2 (ja) マルチスペクトル撮像装置およびマルチスペクトルカメラ
CN113676628B (zh) 成像装置和图像处理方法
EP2594062B1 (en) Flash system for multi-aperture imaging
AU2011307151B2 (en) Digital multi-spectral camera system having at least two independent digital cameras
US20130258044A1 (en) Multi-lens camera
US20090147112A1 (en) Method and apparatus for achieving panchromatic response from a color-mosaic imager
KR20110125173A (ko) 촬상 장치
JP2005341175A5 (ja)
US20130300876A1 (en) Method and apparatus for multi-spectral imaging
WO2004057858A1 (en) A color imaging system and a method in a color imaging system
JP7378920B2 (ja) 光学装置及びそれを備える撮像システム
CN111133378B (zh) 摄像装置、信息获取方法及记录介质
CN105812661B (zh) 一种基于标准灯箱和灰卡的数码相机均匀性校正方法
CN107995400A (zh) 图像采集装置、摄影装置及图像采集方法
JP2010245870A (ja) マルチスペクトル撮影用レンズアダプタ装置、マルチスペクトル撮影装置、および画像処理装置
JP2015194567A (ja) 表示装置
US10728517B2 (en) Parallax mitigation for multi-imager systems and methods
CN108353123B (zh) 摄影装置及其控制方法
CN207782947U (zh) 图像采集装置及摄影装置
JP2012088169A (ja) 距離情報取得装置および撮像装置
EP2805514B1 (en) Apparatus for ambient light spectrum detection in digital photography
JP7532088B2 (ja) 光学ユニット、光学装置、及び撮像装置
CN113985508B (zh) 一种红外摄影滤镜、红外摄影组件及其相机
JP2021190975A (ja) 撮像装置
HRP20201279T1 (hr) Multispektralni uređaj za snimanje

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210617

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211124

R150 Certificate of patent or registration of utility model

Ref document number: 6983663

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150