CN107750345A - 多光谱成像仪 - Google Patents

多光谱成像仪 Download PDF

Info

Publication number
CN107750345A
CN107750345A CN201680034926.XA CN201680034926A CN107750345A CN 107750345 A CN107750345 A CN 107750345A CN 201680034926 A CN201680034926 A CN 201680034926A CN 107750345 A CN107750345 A CN 107750345A
Authority
CN
China
Prior art keywords
camera lens
camera
sensor
band
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680034926.XA
Other languages
English (en)
Other versions
CN107750345B (zh
Inventor
艾拉·迪维拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ai Gerong Co Ltd
Original Assignee
Ai Gerong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ai Gerong Co Ltd filed Critical Ai Gerong Co Ltd
Publication of CN107750345A publication Critical patent/CN107750345A/zh
Application granted granted Critical
Publication of CN107750345B publication Critical patent/CN107750345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/14—Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/14—Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
    • G02B13/146—Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation with corrections for use in multiple wavelength bands, such as infrared and visible light, e.g. FLIR systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/16—Housings; Caps; Mountings; Supports, e.g. with counterweight
    • G02B23/18—Housings; Caps; Mountings; Supports, e.g. with counterweight for binocular arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Cameras In General (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Abstract

本发明公开了一种用于连接到具有单个图像传感器的数码相机的可更换镜头座的镜头组合，所述镜头组合包括一镜体；一安装于用于连接到所述数码相机的镜头座镜体的单座连接环；安装在所述镜体中具有基本上相同焦距的至少两个镜头；以及与每个镜头连接以形成选自包括穿过滤光片到所述传感器的近红外谱带及紫外谱带组中的至少一个可见光谱带及一个不可见光谱带通路的一个不同的单带通或多带通滤光片，其中所述镜头在图像传感器的平面上的视场及像圈基本相同。

Description

多光谱成像仪
技术领域
本发明一般涉及相机，尤其涉及一种用于捕捉多光谱图像的多光谱成像仪。
背景技术
多光谱成像用于许多不同的应用和领域。
图1为常见的DSLR(数码单反)相机1。如今消费级DSLR及无反射镜相机的CCD(电荷耦合器件)及CMOS(互补金属氧化物半导体)传感器3为通常从大约170nm到1150nm的“全光谱”感光。该CCD及CMOS传感器的感光度超过限于大约400nm到700nm可见光的人类感知。
在一些具有可更换镜头座2的DSLR/无射镜反相机中，传感器对超出人类感知的光谱感光。然而，大多数相机制造商使用安装在传感器前面的UVIR截止滤光片(未在图中显示)，以阻止红外和紫外光“破坏”捕捉到的图像，并限制大约400mm到700mm(人眼可见的光谱)的可见光谱(VIS)中光波段的通路。
在一些具有可更换镜头座的DSLR/无反射镜相机中，可从相机中移除UVIR截止滤光片，从而使得相机作为覆盖远超出可见光的波长的“全光谱”相机进行操作。目前最先进的CMOS传感器对超过1000mm(NIR)和200mm(UV)的光感光。滤光片的移除可使得使用单镜头捕捉三种不同的且独特的光谱带。可以安装不同的多带通滤光片以捕捉三个频带的以下四种组合之一：NIR或红绿蓝或UV(NIR；绿；蓝、NIR；绿；UV，红；绿；UV和红；绿；蓝)。消费级相机的典型传感器基于Bayer矩阵，这意味着在图像传感器的像素阵列上的滤色片的排列是RGGB。这样的配置无法捕捉多于三个的RGB光谱的不同的谱带，因为没有有效的方法分离出绿色波长的多于一个的单谱带。
常规的多光谱照相机通常是定制的，并且它们的高成本给许多人带来障碍。然而，安装在无人机上的多光谱相机在农业中用于捕捉向农民提供有用信息以帮助其提高高作物的产量的图像。这种相机也被牙医和皮肤科医生，甚至在化妆品领域进行医学分析。现有技术是变化的，因为对于多光谱相机具有以下几种类型的技术：
1.多像机(每个像机捕获窄带光波)；
2.基于棱镜的相机(单镜头多传感器)；
3.旋转滤波片相机(单焦距，不同波长的捕捉图像键的延时拍摄)；
4.基于多色传感器的RGBU(红绿蓝UV)或任何其它的颜色捕捉(代替Bayer滤色片阵列的典型RGGB(红绿绿蓝))。
已知有相当一部分简化的双谱带解决方案，其包括使用两个同步像机的可见光(400mm到700mm宽)谱带和近红外谱带，但其不能被认为是多光谱的。基于旋转滤光片、棱镜或多镜头设计的4谱带解决方案由于分辨率低和颜色通道校正差，其质量相当低。当与消费级的DSLR或无反射镜相机相比时，上述所有多光谱相机类型都是非常昂贵的，并且通常其分辨率和质量都较低。现有的多相机和多镜头解决方案也在不同颜色矩阵校准及捕捉的图像焦距方面面临巨大的挑战。例如，当使用旋转滤光片时，当镜头固定时，几乎不可能校正色差，这使得不能通过同一镜头聚焦近红外(NIR)和UV光的谱带。在无人机(UAV)上使用具有这种旋转滤光片的像机面临另一个挑战。因为在无人机飞行的同时图像以不同的时间和不同的角度进行捕捉，如果无人机以100公里小时的速度飞行，则捕捉到的图像之间的33ms的时间演示可导致相机的1m的视角差。
用于农业分析的有效多光谱仪必须包括至少3个窄光谱色带(通道)：550mm；650mm或740nm；850mm或950mm，并且优选地包括5或6个色带。
当今的消费级相机的传感器(无论是CMOS或CCD)能够捕捉相当广的光谱，这对于许多例如农业中使用的NDVI(归一化差异植被指数)的多光谱应用来说是足够的。然而，消费级相机的典型传感器是基于拜耳矩阵传感器，这意味着在图像传感器的像素阵列上的滤光片的排列是RGGB。为了使用基于拜耳滤光系统的像机捕获4，5或6个通道，必须使用两个像机。用于这种应用的两个像机的组合是已知并进行实施的，由发布于美国农业部在“基于用于农业遥感的两个消费级相机的机载多光谱成像系统”http:www.mdd.com/2072-4292/ 6/6/5257。这种组合非常昂贵，且具有相当多的缺点。
多光谱成像的一些主要挑战是不同颜色矩阵的校准和像素调整，特别是当这些不同颜色矩阵是由不同的相机捕捉得到时。虽然获取时间可以仅相差百分之几秒，但在该视角上可能存在几十厘米的差距。使用诸如由无人机所承载的相机的快速移动相机对通过多光谱应用获得的数据的分析采用诸如NDVI或NDRE的度量，该度量通常从彼此中减去颜色矩阵的值(NDVI＝(NIR-VIS)(NIR+VIS))。因此，在这种应用中使用多个相机是特别有问题的，因为焦点的不同和不准确的校正会导致对数据的错误分析。
不同颜色矩阵的校准是多光谱相机制造商所面临的最基本问题之一。如上所述，NDVI和NDRE度量等涉及颜色矩阵之间差异的分析。捕捉不同颜色矩阵的相机或镜头的硬件校准对于某一个点是精确的，但是当处理高分辨率相机时，它就不再是像素精度的。当处理具有短的有效镜头的相机时，校准由不同相机获得的颜色通道甚至更具有挑战性。基于最小差异的通常使用的度量的矩阵采集后的数字调整对于该过程是不利的，因为数字匹配(例如实现全局运动估计技术)被限于以在这些矩阵之间的最小差异的点校准不同的颜色矩阵。该技术实际上可以最小化或者甚至减少最重要的数据，即矩阵之间的差异。
多光谱图像采集也用于牙医和皮肤科医生的医学分析、皮肤分析，牙科检查和甚至在化妆品领域。然而，市场上用于这些过程的现有设备也相当昂贵，并具有两个主要缺点(除了其成本)：重量和用户可接近性。由于当前的设备是定制的，其对消费者和小企业中来说是非常昂贵的。用于皮肤，头发和牙齿分析的有效多光谱仪必须包括至少3个窄光谱色带(通道)：365mm；550mm；650mm。优选地，它包括5或6个色带。
通常移除UVIR截止滤光片以将相机改造成用于天文、医学或美学目的的红外或紫外相机。在这种全光谱相机上安装多带通滤光片可捕捉三个不同的谱带，因为在这种相机中使用的传感器在大多数情况下具有一RGGB矩阵，这意味着可以单独捕获R、G和B(红绿蓝)通道，但是没有单独捕捉红色通道和近红外通道的方法，因为它们都是由传感器的相同红色感光像素捕捉的。
还存在采用带有单独或双传感器相机捕捉3D图像的解决方案。该解决方案是由蔡司在将近100年前开发出来的，而该解决方案的更新版本是在2010年由松下公司为消费电子市场(其似乎也是3DT V的崛起)而开发的。然而，这些解决方案不涉及曝光平衡、色差和校准聚焦的多光谱挑战，因为这些解决方案基于相同的透镜和相同的光谱带宽而不会产生上述问题。
像智能手机或者为无人机设计的类似的通用处理板(比如骁龙飞行平台)这样的移动平台作为多光谱成像仪的基础在在定价、重量和与强大处理器的集成方面是理想的。当今智能手机的传感器能够捕捉相当广泛的光，这对于许多例如农业中使用的NDVI(归一化差异植被指数)的多光谱应用来说是足够的。这些设计中的一些(如骁龙飞行平台)包括了一个单独的像机，并且近年来，像LG电子这样的供应商甚至设计了一种配备了两个相机的3D图像捕捉智能手机。然而，目前并没有无论是用于农业遥感，还是皮肤，头发和牙科分析的多光谱智能手机。这并不令人惊讶，因为存在一些挑战，这些挑战必需要创新的方法以能够实现这种光和紧凑仪器的有效实施例。
然而，消费相机的典型传感器基于拜耳矩阵，这意味着在图像传感器的像素阵列上的滤光片的排列是RGGB。。为了对于4，5或6个通道使用基于拜耳滤光系统相机，使用两个相机是不可避免的。用于这种应用的两个像机的组合是已知并进行实施的，由发布于美国农业部在“基于用于农业遥感的两个消费级相机的机载多光谱成像系统”http: www.mdd.com/2072-4292/6/6/5257。这种组合由于其沉重的重量和成本而不适用于轻型无人机和消费者。
同样的挑战与皮肤分析相关，在皮肤分析中，对表皮和下层皮肤采用VIS+近紫外通道而不是VIS+NIR通道。在该实施方式中出现了相同的色像差和聚焦的挑战,
对皮肤分析智能电话或移动设备的另一个挑战是镜头类型。为了皮肤分析的目的，多个相机中的一个相机应当能够捕捉(峰值)365mm的窄谱带。SIMPK玻璃镜头不能形成这种谱带的传输，并且不同的材料，例如熔融石英必须用于NUV镜头。
因此，长期以来需要一种适合用作快速移动或无人机承载的相机或皮肤分析设备的多光谱成像仪，并且如果该相机以相对较低的成本对所捕捉的图像的不同颜色矩阵和焦距进行校准，则该相机是非常理想的。
发明内容
本发明涉及一种用于具有可更换的透镜座的数码相机的可更换多光谱成像镜头组合。该镜头组合包括一个具有单个镜头座连接环和至少两个镜头的镜体。根据镜头的数量，每个镜头(优选精确地)位于在与该镜头连接的传感器部分中心的前面。不同的镜头形成从IR到UV的多个，优选至少四个不同的光谱带的通路，从而能够通过使用带通滤波器感光根据应用选择的光谱的限定波长的所选谱带。该透镜在传感器平面具有基本相同的视场和相似的(基本上相同的)像圈。该镜头也具有基本相同的焦距，并且或者定位于与距传感器不相等的距离处，或者一个或多个镜头包括一个光学元件，以校正由于光通过不同镜头的不同波长而产生的色差。
特别地，该镜头组合能够采用优选地一个工业标准单镜头座通过多个(两个或更多)镜头捕捉多光谱图像。该镜头组合增强了配备有标准图像传感器(其优选地不具有UVIR截止滤光片，并且像大多数调制解调器CMOS或CCD传感器一样对从170mm到1100mm的全光谱感光)的单独的数码相机，将它转变成高质量、高度同步和校准的多光谱相机。
因此，本发明能够使用配备有具有标准图像传感器的单个数码相机的单个镜头座通过多个(两个或更多)镜头捕捉四到十二和甚至更多个谱带的多光谱图像。此外，本发明能够优化利用相机传感器的整个表面，同时滤除由不同镜头捕捉的图像的重叠部分。
根据本发明提供了一种用于连接到具有单个图像传感器的数码相机的可更换镜头座的镜头组合，所述镜头组合包括一镜体；一安装于用于连接到该数码相机的镜头座镜体的单座连接环；安装在所述镜体中具有基本上相同焦距的至少两个镜头；以及与每个镜头连接以形成选自包括穿过滤光片到该传感器的近红外谱带及紫外谱带组中的至少一个可见光谱带及一个不可见光谱带通路的一个不同的单带通或多带通滤光片，其中该镜头在图像传感器的平面上的视场及像圈基本相同。
根据本发明，还提供了一种用于捕捉多光谱图像的方法，所述方法包括通过至少两个基本相同的焦距的镜头在单个图像传感器上捕捉图像，其中所述镜头在传感器平面处具有基本相同的视场和基本相同的像圈；每个镜头与不同的单或多带通滤光片相连接；通过该滤光片穿过包括近红外光谱带及紫外光谱带的组的至少一个可见光谱带和至少一个非可见光谱带到该传感器；以及将从多个镜头中捕捉的图像保存在一单图像文件中。
根据本发明，还提供一种多光谱相机，其包括：具有一可更换镜头座，一快门及一单传感器的数码相机；以及一可更换镜头组合，包括：一镜体；一安装于用于连接到该数码相机的镜头座本体的单座连接环；安装在所述主体中具有基本上相同焦距的至少两个镜头，每个镜头安装于该传感器各自部分中心前部的焦距中心处；以及与每个镜头连接以形成选自包括穿过滤光片到该传感器的近红外谱带及紫外谱带组中的至少一个可见光谱带及一个不可见光谱带通路的一个不同的单带通或多带通滤光片，其中该镜头在图像传感器的平面上的视场及像圈基本相同；以及用于与镜头座连接的主体上的单座连接环。
本发明还涉及一种用于对一对象的至少一对数字图像的获取后的数字校准方法，所述方法包括：获取所述对象的数字图像，所述数字图像存储为通过至少两个基本上相同的焦距及在传感器平面上基本上相同的视场和基本相同的像圈传感器的颜色矩阵，每个镜头与单个或多个带通滤光片相连接，使得每个镜头捕捉一个与另一个镜头捕捉的一个光谱带相似的光谱带及与由所述另一个镜头捕捉的所述光谱带不同的至少一个光谱带，将由所述相似的光谱带捕捉的所述颜色矩阵与由所述不同镜头捕捉的多谱带图像分离，并将来自每个镜头的基本上相同的光谱带矩阵进行匹配，以用于由所有镜头捕捉的图像的后采集数字校准。
根据本发明的实施例，该滤光片形成通过该滤光片到该传感器的至少可见光和不可见光谱带。与非可见光滤光片的通带相匹配的专用的闪光灯用于在成像期间照明该对象。
根据本发明，还提供了一种用于该对象的至少一对数字图像的获取后数字校准仪器，所述仪器包括：至少两个透镜，所述具有基本相同的焦距，及在传感器平面处具有基本相同的视野和基本相同的相圈的至少两个镜头，其用于通过每个镜头获取对象的数字图像的颜色矩阵，每个镜头与单个或多个带通滤光片相连接，一个相似的光谱带和至少一个不同的光谱带，以及一个处理器，该处理器用于分割通过来自不同镜头采集的多光谱图像的相似光谱带捕捉的颜色矩阵及匹配用于来自所有镜头采集的图像的后采集数字校正的基本相同光谱带矩阵。
该镜头可以安装在单个相机上或安装在两个或多个不同的相机上。
本发明还涉及一种移动多光谱成像仪，其具有用于捕捉多光谱图像的多个镜头和/或多个传感器和/或多个相机。具体地，移动成像仪可数字校准多光谱图像中的颜色通道。定位和校正该摄像机(至少两个)以捕捉尽可能相同的视场。不同的相机可形成从红色到近紫外光或从蓝色到近红外光的不同光谱带的多个优选至少四个通路，从而能够通过使用带通滤波片对光谱的所限定波长的所选谱带(取决于应用)进行感光。这些像机在其传感器平面上具有基本相同的视场和基本相同的相圈。该相机的镜头也具有基本相同的焦距和低失真。提供至少一个专用闪光灯用于在与不可见光(例如，近UV或NIR)滤光片匹配的感光范围内的照明，尽管优选地安装照明可见光谱带的第二闪光灯以在传感器的平面实现基本相同的相圈，相机的镜头或者定位于距离传感器不相等的距离处，或者至少一个镜头包括一用于校正由于光通过其不同镜头的不同波长而产生的色差的光学元件。
因此，根据本发明，提供一种多光谱成像仪，其包括一移动处理平台；至少两个相机，每个照相机包括一镜头、至少一个单或多带通滤光片和至少一个传感器，其中所述滤光片形成至少可见光的和不可见光(例如近红外光或近紫外光)谱带通过所述滤光片到达所述传感器的通路；并且所述镜头具有基本上相同的焦距，和在传感器平面处基本上相同的视场和基本相同的相圈。不同的相机形成多个优选至少四个从红色到近紫外光或从蓝色到近红外光的不同光谱带的通路。提供至少一个专用闪光灯用于在与不可见光(例如，近UV或NIR)滤光片匹配的感光范围内的照明，尽管优选还安装有照明该可见光谱带的第二闪光灯。
根据本发明的实施例，每个镜头包括捕捉至少一个相似光谱带的一个滤光片，其能够在捕捉的图像中的不同颜色通道中进行后捕捉数字校准，其中类似是指至少50％重叠。
附图说明
通过结合附图进行的详细说明将会进一步理解本发明，其中：
图1是具有镜头座的一现有技术DSLR相机的示意图；
图2是根据本发明一些实施例的一镜头组合的示意图；
图3是根据本发明的一些实施例的一传感器的示意图；
图4是根据本发明可选实施例的一传感器的示意图；
图5是根据本发明的一些实施例的用于一多光谱相机的另一个镜头设计的示意性顶视图；
图6A和6B是根据本发明的一些实施例的可能的镜头布置的示意图；
图7是色差的示意图；
图8是根据本发明的一些实施例的一对镜头的色差校正的示意图；
图9A和9B分别是根据本发明的一些实施例的防止在两个镜头之间的物理分区的的物理分割的示意性正视图和侧视图；
图10A和10B是根据本发明的一些实施例的具有剪裁窗口的一镜头组合的示意图；以及
图11是根据本发明的一些实施例的一多光谱移动电话的示意图。
具体实施方式
本发明涉及一种用于具有可更换的镜头座的数码相机的可更换多光谱成像镜头组合。该镜头组合包括一个具有单个镜头座连接环和至少两个互相匹配的镜头的镜体。根据镜头的数量，该镜头(优选精确地)位于在与每个镜头连接的传感器部分中心的前面。不同的镜头形成从近红外光到蓝色和可能的近紫外光谱带(对于2个镜头最少四个光谱带)的多个，优选至少四个不同的光谱带的通路，从而能够通过使用带通滤光片感光根据应用选择的光谱的限定波长的所选谱带。该镜头在传感器平面具有基本相同的视场和基本相同的像圈。该镜头也具有基本相同的焦距，并且或者定位于与距传感器稍微不同的距离处，或者一个镜头包括一个光学元件，以校正由于通过不同镜头的光的不同波长而产生的色差。优选地，在这种情况下基本上相同意味着至少90％相同。还应当理解为根据本发明的实施例，该镜头可以具有基本上相同的视场和/或基本上相同的像圈和/或基本上相同的焦距，或者具有其任何组合。
特别地，该镜头组合能够采用优选地一个工业标准单镜头座(如尼康的F-镜头座、索尼的E-镜头座、松下/奥林巴斯微型三分之四镜头座或C-镜头座，任何相似单反或无反数码相机镜头座)通过多个(两个或更多)镜头捕捉多光谱图像。该镜头组合增强了配备有一标准图像传感器(优选地，其没有UVIR截止滤光片，且像大多数现代的CMOS或者CCD传感器一样对从170nm到1100nm波长的全光谱感光)的单数码相机，将其转变成高质量，高度同步且校准的多光谱相机。
与该镜头相连接的窄或宽的带通和/或多带通滤光片对于每个镜头是不同的。它们如我们所知道的可以作为镜头上的涂层，或可替换的且和/或者安装在镜头的前面(在对象和镜头之间)，或者在镜头的后面(在镜头和对穿过该特定镜头的光进行感光的传感器之间)，或者是任何其他适合的方式。
多个镜头可以是固定焦距的或者可以具有可调焦距。在可调整聚焦的情况下，提供了自动或手动的单焦距机构，以通过一起移动需要移动的多个镜头的光学元件来调整所有多镜头的焦距。
根据一些实施例，该多个镜头可以是变焦镜头。在这种情况下，无论是自动变焦还是手动变焦，为产生变焦效果而需要移动的所有多个镜头元件的变焦一起移动。
为了实现对传感器不同部分的均衡曝光(由于本发明利用单个相机)，根据所获取的波长，预设或手动设置不同镜头的光圈。这是必须的，因为图像是在相同的曝光时间被捕捉的。(例如，如果镜头捕捉850nm到950nm的近红外光谱图像及400nm到700nm的可见光谱图像，可能需要光圈(f-光圈)的差异以获得均衡的曝光。如果VIS镜头具有F8光圈，则最有可能的是，捕捉基本上相同的视场和焦距的NIR镜头将使用F5.6光圈)。
来自多个镜头的图像保存在RAW，JPEG或者该相机支持的任何其它格式的单个图像文件中。
根据一些实施例，最优化和最大化利用了该相机传感器的整个表面，同时滤除由不同镜头捕捉的图像的重叠部分。这一过程优选地通过掩膜和/或一物理分区来完成。优选地，本发明包括一挡光框架、边框或每个镜头周围或者今天之间的隔板，以限制或裁剪穿过每个镜头的光圈为与相机传感器上预定矩形空间相同的大小。该空间的大小根据安装在座上的镜头的数量来确定。
由于可以从多光谱图像中受益的应用分析图像并同时将颜色矩阵彼此进行比较，所以不同的矩阵在其视野和分辨率方面相同的是很必要的。由于镜头形成选择和现代光谱带的通路，本发明公开了校正由光谱带超过相同镜头物质(玻璃或塑料)的同时所形成的不同角度引起的色像差的方法。本发明公开了解决该问题的两种可能的方法，该方法不需要进行对捕捉图像的采集后处理。一种解决像差问题的建议方式是在将光学元件设计为适合相同的像圈和视场的同时根据该相同的像圈和视场设计该镜头。在这种情况下，可以通过在焦点深度方面使用稍微不同的镜头或者通过在一个或两个校正色差(将一个镜头的像圈的大小通过另一个镜头的像圈的大小进行校准)的镜头中添加一光学元件完成色差校正。也可以使用这两种解决方案的组合。
此外，本发明提出了一种通过不需要常规的多镜头多色谱相机的最可靠的方式实现不同颜色矩阵的采集后校准方法。本发明能够通过两个镜头捕捉一个色谱带，并校准根据基于两种相似颜色矩阵的匹配的后采集数字校准的所有矩阵进行矩阵的像素精确校准。例如，如果镜头1捕捉了中心为450nm，550nm和650nm的60nm宽谱带，并且镜头2捕捉了中心为550nm和850nm的60nm宽谱带，则通过将镜头1和镜头2的两个550nm图像匹配进行后采集数字校准，这样就可进行像素精确校准，因为这些矩阵包含类似的数据。这是采用每个镜头通过包括相似光谱带的滤光片捕捉图像而完成的。从由不同镜头(例如从一处理器)捕捉的多谱带图像中分离接收相似光谱带的矩阵或通道。然后，相似的光谱带矩阵用于由所有镜头捕捉的图像的后采集数字校准。对于本发明的目的，相似的表示基本上重叠(至少50％)的光谱波长的颜色矩阵。
然后，当其他矩阵在传感器的两个半部上同时被捕捉时对该矩阵进行精确较准。当然，可以具有一基本相同谱带采用任何RGB范围谱带进行该校准，然而优选绿色谱带，因为通常绿色矩阵是三种颜色范围中最敏锐的，且大多数单反和无反射镜相机都配备有能确保绿色谱带最高质量的拜耳RGGB传感器。
应当理解该技术也可以与单个平台上的多个相机(多个传感器)一起使用，而不仅仅是在单个传感器上具有多个镜头的单个相机。以下是关于一移动平台对一该种应用实例的详细说明。因此，对两个或多个捕捉图像进行数字校准的方法包括通过至少两个镜头和至少两个形成通过每个镜头选择的光谱带到至少一个镜头之间的通路捕捉图像，其中所述镜头在传感器平面具有基本相同的焦距，基本相同的视场和基本相同的像圈。与每个镜头相连接的一个滤光片捕捉至少一个相似光谱色带(至少50％重叠)，其能够在每个镜头捕捉的相似谱带匹配的基础上对捕捉图像内的不同颜色通道进行采集后数字校准。
此外，本发明的单个相机实施例公开了一种摆脱镜头直径限制的方法。由于镜头必须精确地定位在传感器的相应部分的前面，镜头的直径通常受限于传感器的尺寸。例如，如果某一相机使用的APS-C传感器的尺寸是23.2mm×15.4mm，则双镜头组合似乎仅限于的镜头，然而，由于该镜头的主直径形成整个光圈的光的通路，且部分光在该传感器之外(因为该光圈是圆的而该传感器是矩形的)，本发明公开了一种使用较大直径的镜头且同时裁剪该镜头边缘(或者仅仅是相邻的边缘)的方法。这样可使用高达的镜头。使用更大直径的镜头的另一种方法是使用一种如以下详细描述的双筒望远镜中常用的双普罗棱镜设计，以便采用甚至更大的5个物镜。
该镜头组合也可以采用镜头转接环(例如从F-mount转接到微型4/3，E-镜头座或者任何其他镜头座)而调整到不同的镜头座。优选地，该镜头组合可对其多个镜头的每个镜头进行单独的焦距校准。
同样优选地，相机具有无线功能(例如，WiFi、NFC，蓝牙和/或蜂窝LTE或其它)。如果需要，可以通过USB或无线方式控制该像机。同样优选地，该相机能够通过有线(例如USB)和/或无线方式将捕捉的图像传输到一处理平台(例如计算机、平板、PC，图像处理板或智能电话)。
本发明提出了一种采用一单镜头组合中的至少两个相机通过将该传感器空间的至少两个区域用于穿过光谱不同谱带的至少两个镜头而摆脱拜耳滤光片的RGGB限制的有效方式。在图2a和2b中示出了一个示例性实施例。图2a和2b示出了具有一镜头座5和若干镜头6(此处为两个镜头)的一镜头组合4。例如，如本发明的该实施例所示，如果该镜头组合包括两个镜头，其中一个NIR，G和UV的多带通滤光片，而另一个具有R，G和B的多带通滤光片，如果每个镜头的G带通滤光片形成穿过该滤光片的一不同窄绿色波长，则该相机可捕捉5个甚至6个谱带。如图2C所示，使用具有单个传感器的四个镜头可采用单个传感器捕捉多达12个不同谱带。
目前的相机的传感器具有高达24和28MP的相当高的分辨率(APS-C(高级C照片系统)传感器和36MP甚至50MP的全帧传感器)。这些像机所支持的分辨率正不断提高，并且有理由假设在将来的这种像机将支持更高的分辨率。类似地，从许多智能电话相机可以看出，镜头技术和材料的进步使得可以集成能够捕获高分辨率图像的高质量的小直径镜头。
镜头涂层和滤光技术的进步可产生有效的多带通滤光片。然而，在单个相机上的单个传感器上捕捉不同的波长图像在平衡曝光方面存在如下文所详细描述的挑战。例如，在某些情况下，用于IR捕获的最佳F光圈可以小于可见光图像捕捉光圈的1或2个光圈(取决于所捕捉的谱带)。
本发明可利用所有这些技术，通过创新而简单的实现方案将其结合起来以获得极高的质量和精度的有效且经济的解决方案。
本发明涉及一种镜头组合，其包括其上安装有至少两个基本上相同的像圈和焦距的镜头的主体。镜头(例如2、3、4，5或8)旨在形成穿过单个或多个带通滤光片的不同光谱带的通路，该滤光片位于该镜头之前或者该镜头和该相机传感器之间，或者形成镜头涂层的形式(或者一光学构件涂层的形式)。
根据本发明的镜头组合安装在具有一可更换镜头座的一单反或无反射镜相机上，以形成一高精度且廉价的多光谱相机。根据本发明，多镜头组合可通过根据用户的需要和特定应用和通过更换镜头组合与单相机一同使用。用户可以从远距离拍摄8或12个光谱带的多光谱图像，然后采用用于带有相同或不同谱带的更多细节(更近的)的视角的长焦距的镜头组合更换该镜头。根据本发明，可更换镜头组合的灵活性可更好地利用农业遥感、医学检查和其他科学应用的多光谱分析。
根据本发明，全光谱相机与该镜头组合一起使用。如果该滤光片最初由制造商安装或者被一滤光片所取代以形成一更宽的光谱范围，这种全光谱相机由于缺少紫外滤光片或者由于移除了该滤光将相机的传感器曝光于比可见光谱更宽的光谱。
根据本发明，在该镜头组合中包括至少两个镜头。为了实现来自两个(或更多)镜头的图像之间的最接近的可能的匹配，并且能够充分利用该相机的传感器，根据本发明公开了多种不同的部件布置。
大多数具有可更换镜头座的单发或无反射镜相机具有不同尺寸的传感器。12、16，24或50百万像素的尺寸可以从甚至小于17.3mm×13mm(微型4/3)的传感器变化到多达36mm×24mm(全帧)的传感器。例如,索尼的AlAl5000具有23.2mm×15.4mm的APS-C传感器。为了通过同一传感器上的两个镜头捕捉尽可能相同的两个图像，优选的是，当每个镜头的焦距中心正好位于与其对应的传感器部分的中心的正前方时，将镜头精确地设置在传感器的前面。图3中给出了这种设置的一个例子。在图3为传感器7及其上的两个镜头8。每个镜头8及其焦距中心安装在该传感器各自一般的中心处。因此，如果(例如)需要在一23.2mm×15.4mm的传感器前面使用两个镜头时，传感器的大小似乎真正限制了所使用的镜头的大小，这意味着镜头的最大直径可以不大于11.6mm(传感器的水平尺寸的一半)。如果要使用四个镜头，那么镜头的最大直径可以不大于7.7mm(使用11.6mm×7.7mm的传感器的垂直尺寸的一半)。见，例如：图4示出了安装在单个传感器10上的四个镜头11，使得每个镜头的焦距中心在该传感器的四分之一的中心12的前面。
为了该实施例有效，每个小镜头应当在传感器上呈现直径至少13.923mm(对角线尺寸为11.6mm×7.7mm)的光圈以完全覆盖传感器的专用部分。然而，根据本发明，这种限制可以以至少两种不同的方式克服。一种方法是如经常在双筒望远镜中采用的用于该组合的每个镜头的普罗棱镜设计(如图5所示)。该普罗棱镜设计偏移棱镜而导致许多双目望远镜中所熟悉的“弯曲”形状。这种设计可使用大得多的直径物镜(实际上是不限制尺寸)，而该普罗棱镜的“目镜”设置在面向传感器的像机的可更换座内。因此，通过物镜13捕捉的图像通过该普罗棱镜14到达该目镜14然后到达该传感器15。或者该普罗棱镜设计可在文中所述的其他实施例中进行。
根据本发明的实施例的另一个优选的方式是裁剪相邻的镜头。穿过该镜头的光圈的边缘最终需要被裁剪，以防止像圈在传感器上的低效重叠。通过裁剪镜头的重叠边缘，本发明可使用较大直径的镜头。这一点可以在给出了延伸超过可使用传感器的整个表面区域的传感器17的边缘的镜头16的使用的图6A中看到。在图6b中，可以看到被裁剪的镜头16。该镜头沿着匹配的裁剪边缘19被裁剪。可以看出，镜头中心20设置在对应的半传感器的中心上方。在该说明实例中，对于相同的23.2mm×15.4mm的索尼APS-C传感器，将两个相邻镜头的重叠边缘进行裁剪使得能够使用直径高达15.4mm的镜头。对于单个镜头组合中具有四个镜头(未示出)的，可以使用高达11.6mm直径的镜头。因此，本发明公开了克服镜头尺寸限制而不改变将镜头定位于该传感器对应部分中心前方的有效方法。
本发明还公开了平衡镜头组合中包含的不同镜头曝光水平的有效方法。由于不能为该组合的每个镜头独立地设置曝光时间，并且由于传感器的感光度可能随着其曝光于光谱的不同窄或宽谱带而变化，因此需要平衡不同镜头的曝光水平。例如，在这种情况下，为了达到平衡的曝光并避免一个或全部图像的过度曝光或曝光不足，用于IR包装的最佳F光圈可以小于可见光图像捕捉光圈(例如用于VIS Vs NIR800nm和F11Vs的F8Vs，及用于VISVs，NIR 950nm的F5.6)1或2个光圈(取决于捕捉谱带)。如果不同镜头的曝光不平衡，则一个捕捉的图像可能曝光不足(太暗)，或者另一个图像(在双镜头组合的情况下)可能过度曝光(过亮)。本发明公开了三种解决曝光平衡的可能的实施例。第一实施例是对每个镜头的差分光圈设置，即，根据其通过的谱带设置每个镜头的特定F光圈。根据该实施例，如果NIR800nm镜头的相邻镜头为3VIS谱带(400nm到700nm之间)，该NIR 800nm镜头可具有一F8到F5.6光圈，而该VIS镜头的光圈为F8或F11。
根据本发明的第二解决方案是向VIS镜头添加一中性密度涂层或滤光片。中性密度滤光片平均地减少或改变光的所有波长或颜色的密度，而不改变色彩还原的色度。该滤光片可以适于将密度降低到期望值，以达到镜头之间所期望的平衡。更复杂和昂贵的解决方案是为每个镜头提供单独的光圈设置。这并不是优选的方案，因为光圈不是固定的。
本发明还提出了克服单个传感器上的多光谱捕捉的一主要挑战即色差的两个可行方法。色差又称“彩边现象”或“紫边现象”，是一种常见的光学问题。色差由镜头色散引起，不同颜色的光在通过一镜头时以不同的速度传播。图7图解说明了该问题。从该图可以看出，镜头21将光分离为三个光谱--红23，绿24和蓝25。然而，在该说明中，只有绿光24聚焦在焦平面22上的传感器上。当处理宽光谱时，色差是特别严重的，能够校正和聚焦在可见光谱范围内(400nm到700nm)的图像的镜头不能克服200nm到850nm及更高的色差。虽然多镜头组合使不同的光谱带穿过独立的镜头，并且在传感器平面的不同部分上捕捉图像，但是必须校正色差以对所捕捉的图像进行有效的分析。可以使用后获取软件解决方案来解决该问题，但该方案比之前的解决该问题的方案效率更低。
根据穿过镜头的光谱带，校正像差的第一方法是在该组合中使用稍有不同的镜头。尽管该镜头的视角和相圈保持相同，但是镜头设计改变为相同的焦深。这可以由任何本领域技术人员来完成。解决纵向色差的第二种方法是将该镜头嵌入到该组合中的不均匀平面上，即嵌入在离传感器不同的距离处(如图8所示)。在该示例性实施例中，通过绿光的镜头26设置得更靠近传感器，而通过红光的镜头28设置得离距传感器27更远。这样，绿色焦点29和红色焦点30都与传感器27的焦平面重合。这是在使用相同的镜头时解决该问题的简单实用的方法。将使得绿色和紫外光通过的镜头设置得更加比使得近红外光通过的镜头更加靠近该传感器可以在图像后获取分析最为必要的尺寸和视场角方面捕捉相同的图像。
为了有效地使用传感器的整个表面积，本发明公开了几种防止通过该镜头进入的像圈在传感器平面上重叠和混合的方法。阻止这种混合的一种方式是使用置于该镜头的物理分区。图9A和9B分别为镜头组合的一个示例性实施例的前图解视图和侧图解视图。两个镜头32安装在一传感器31前面的镜头组合上，一物理隔板33设置在该镜头之间以减少或防止在传感器上所捕捉图像的重叠。该其垂直于传感器放置的正好位于专用于传感器部分之上的镜头的传感器该部分边界的一个薄隔板或多个隔板(取决于镜头组合中的镜头数量)防止像圈混合并实际上‘裁剪’可能出现混合的像圈。在一些情况下，当使用镜头和传感器之间使用相机的机械快门时，优选地是采用两个或所有上述防止重叠方法的组合。
物理上‘裁剪’可能混合的图像边界的另一种实际方法是通过镜头上的涂层或者通过该镜头和该传感器之间的‘窗口’实现的。该“窗口”或矩形涂层防止了可能混合的光进入传感器。在图10A和10B中给出了一个示例性实施例，示出了具有两个具镜头或目镜35的镜头组合34。在图10A中，朝向一目镜(最靠近传感器的光学元件)的光具有进入第二目镜的光线，从而导致所不希望的混合。根据本发明的实施例，如图10B所示，已经添加了建材窗口36以防止这种混合。
当通过多个镜头组合的图像在同一单个传感器的不同部分上结束时，它们最终并排和/或者从上到下的顺序进行保存，或者采用两种顺序以该镜头组合安装在其上的相机支持的任何形式(JPG、RAW等)保存在单个文件中。
本发明还涉及一种移动多光谱成像仪，其具有至少两个与用于捕捉多光谱图像的移动处理平台集成在一起的相机。每个相机包括至少一个传感器，其与该平台，镜头和至少一个单或多带通滤光片集成，以形成通过该滤光片进入该传感器的至少一个可见光和一不可见光(近红外光或近紫外光)谱带的通路。所述镜头具有基本上相同的焦距，和传感器平面处的基本上相同的视场和基本相同的像圈。不同的相机形成多个优选至少四个从红色到近紫外光或从蓝色到近红外光的不同光谱带的通路。提供至少一个优选地专用闪光灯用于在与不可见光(例如，近UV或NIR)滤光片匹配的感光范围内的照明。优选地，也将安装对该可见光谱带进行照明的第二闪光灯。该成像仪可以由多个镜头和/或者多个传感器和/或在多个相机来实现。需要存储方法以用于将捕捉的图像存储为两个匹配文件或单个文件。典型地，处理移动平台和智能电话配备有不同种类的存储形式—内部存储卡和微型存储卡。本发明在下文中参考相机进行说明，尽管其也通过带有安装在之上一个光收集传感器上的最少两个滤光片的至少两个镜头进行参考。
具体地，移动成像仪可数字校准多光谱图像中的颜色通道。定位和校正该摄像机(至少两个)以捕捉尽可能相同的视场。不同的相机可形成从近红外光到近紫外光的不同光谱带的多个优选至少四个通路，从而能够通过使用带通滤波片对光谱的所限定波长的所选谱带(取决于应用)进行感光。这些像机在其传感器平面上具有基本相同的视场和基本相同的相圈。该相机的镜头也具有基本相同的焦距和低失真。为了在传感器平面上实现像圈的相似性，相机的镜头或者定位于距离传感器不相等的距离处，或者包括一光学元件，以校正由于光通过不同镜头的不同波长而产生的色差。
具体而言，这两个像机的组合能够通过使用配备有多带通滤光片的两个全光谱相机(没有UVIR截止滤光片或涂层)或者通过使用在可视光范围内的一个相机(如400mm到700mm)及没有UV和/或者UVIR截止滤光片或涂层(其对从350nm到1000nm的全光谱感光)的第二相机捕捉多光谱图像，使得该组合在使用具有多种有线和无线通信能力的智能电话设计时变为单个、重量轻、高质量，高度同步和校准的多光谱成像和处理移动平台。
由于每个相机能捕捉获3个窄谱带，且由于该传感器的拜耳矩阵，本发明能够通过多个(2-4个)相机捕捉4-12个甚至更多个谱带的多光谱图像。
在本发明的一个可能的实施例中，如图11所示，为了分析皮肤，将两个像机4和5互相靠近地放置在智能手机1或类似的移动平台上以同时进行图像捕捉。每个相机优选地具有一专用LED闪光灯3，6，其与相机的每个滤光片的捕捉带宽相匹配—例如，用于NUV相机的365nm-370nm近紫外光闪光灯，以及用于可见光相机的可见光闪光灯。优选地，每个相机还捕捉光谱的类似谱带(至少50％重叠)，这里示为绿色谱带，以能够如上述参考有镜头组合的成像仪在捕捉的图像中进行中进行颜色或频带的数字校准。
为容易地捕捉皮肤分析图像，将该相机安装在屏幕的侧面，使得用户看到相机的视场，如今天在进行自拍时所做的那样(如图11所示)。根据用户的偏好，所捕捉的图像可以并排或分开呈现。
与能够处理数据的平台的集成可采用诸如Nd VI、NRE或皮肤分析软件之类的通用分析工具对捕捉的图像进行农业及皮肤进行机载实时分析和离线分析。
与每个镜头相连接的窄或宽的带通和/或这多个带通滤光片对于每个镜头是不同的。它们如我们所知道的可以作为镜头上的涂层，和/或者安装在镜头的前面(在目标和镜头之间)，或者在镜头的后面(在镜头和对穿过该特定镜头的光进行感光的传感器之间)。
来自多个镜头或相机的图像可以保存在单个图像文件中,或者可以保存为两个匹配无论是RAW，JPEG或者相机支持的任何其它格式的文件。
因此，本发明的移动成像仪可通过不需要常规的多镜头多专用相机方法的最可靠的方式实现上述不同颜色矩阵的后采集校准方法。如上所述，本发明的这些实施例能够通过两个镜头捕捉一个色谱带，并校准根据基于两种相似颜色矩阵的匹配的后采集数字校准的所有矩阵进行矩阵的像素精确校准。例如，如果镜头/相机1捕捉了中心为450nm，550nm和650nm的60nm宽谱带，并且镜头/相机2捕捉了中心为550nm和850nm的60nm宽谱带，则通过将镜头1和镜头2的两个550nm图像匹配进行后采集数字校准，这样就可进行像素精确校准，因为这些矩阵包含类似的数据。这是通过基本上相同的光谱带的滤光片和每个镜头捕捉图像而完成的。从由不同镜头/像机捕捉的多谱带图像中分离接收基本上相同的光谱带的矩阵或通道。然后，基本上相同的光谱带矩阵用于由所有镜头/相机捕捉的图像的后采集数字校准。
然后，当其他矩阵在传感器的两个半部上同时被捕捉时对该矩阵进行精确较准。当然，可能有一相似谱带采用任何RGB范围谱带进行这种校准，然而，优选的选择是绿色，因为通常绿色矩阵是三种颜色范围的最灵敏的，并且大多照相机都配备有确保绿色谱带的最高质量的拜耳RGGB传感器。
移动成像平台最好具有如在移动平台中提供的无线能力(例如，WiFi、NFC、蓝牙和/或蜂窝LTE或其它)。如果需要，可以通过USB或无线方式控制该像机。同样，像机能够通过有线(例如USB)和/或无线方式将捕捉的图像传输到一处理平台(例如计算机、平板、PC、图像处理板或智能电话)。
尽管本发明已经通过有限数量的实施例进行了说明，但还可以对本发明进行许多变化、修改和其它应用。另外本发明并不限于上文仅以举例的方式描述的内容。相反，本发明仅由之后的权利要求来限定。

Claims (41)

1.一种用于连接到具有单个图像传感器的数码相机的可更换镜头座的组合，该镜头组合包括：
一镜体；安装在所述镜体上的一单座连接环，用于连接到所述数码相机的镜头座；
安装在所述镜体中具有基本上相同焦距的至少两个镜头；以及
与每个所述镜头连接以形成选自包括穿过滤光片到该传感器的近红外谱带及紫外谱带组中的至少一个可见光谱带及一个不可见光谱带通路的一个不同的单带通或多带通滤光片；
其中所述镜头在所述照相机的传感器平面具有基本相同的视场和基本相同的像圈。
2.根据权利要求1所述的镜头组合，其中选择所述滤光片以形成通过所述镜头的至少四个不同所述光谱带的通路。
3.根据权利要求1或2所述的镜头组合，其中选择所述滤光片以通过两个镜头形成一类似光谱带的通路，以能够进行基于两镜头捕捉的相似谱带的匹配的颜色矩阵的后获取校准。
4.根据权利要求1-3中任一项所述的镜头组合，其中色差通过以下至少一项进行校正：
将所述镜头置放在离该传感器稍微不同的距离：或者包括其中一个镜头及将一个镜头的像圈大小与另一个进行校准的一光学元件。
5.根据上述权利要求中任一项所述的镜头组合，还包括设置在所述镜头之间或安装到所述传感器的挡光框架。
6.根据权利要求4所述的镜头组合，其特征在于，所述挡光框架选自包括一遮光窗，一边框和一设置在镜头之间或安装到所述传感器的隔板或其组合的组。
7.根据上述权利要求中任一项所述的镜头组合，其中各所述镜头位于与其相连接的所述传感器部分的中心的前方。
8.根据上述权利要求中任一项所述的镜头组合，其中所述滤光片为以下中的至少一种：一涂层、安装在所述镜头前面的一滤光片、安装在所述镜头后面的一滤光片，以及安装在对穿过一特定镜头的光进行感光的所述传感器部分上方的一滤光片。
9.根据上述权利要求中任一项所述的镜头组合，还包括用于同时调节所有镜头的聚焦的单个聚焦机构。
10.根据上述权利要求中任一项所述的镜头组合，还包括至少一个与每个镜头连接的普罗棱镜设计。
11.一种用于捕捉多光谱图像的方法，所述方法包括：
通过至少两个基本相同的焦距的镜头在单个图像传感器上捕捉图像，其中所述镜头在传感器平面具有基本相同的视场和基本相同的像圈；
每个所述镜头与不同的单或多带通滤光片相连接；
使至少一个可见光谱带和至少一个非可见光谱带通过所述滤光片到达所述传感器；以及
在单个图像文件中保存多个镜头所述捕捉的图像。
12.根据权利要求11所述的方法，其中所述通过的步骤包括使至少四个不同的光谱带通过所述滤光片。
13.根据权利要求11或12所述的方法，其特征在于，还包括通过至少一个以下步骤校正色差：将所述镜头定位在离所述传感器不相等的距离处，或者在所述镜头的至少一个中包括光学元件，所述光学元件将一个镜头的像圈的大小与另一个镜头的像圈的大小进行校准。
14.根据权利要求11-13中的任一项所述的方法，其特征在于，还包括修剪所述镜头以防止图像重叠。
15.根据权利要求11-14中任一项所述的方法，其中所述方法还包括：
通过采用每个镜头捕捉通过形成相似光谱带通路的滤光片的图像；
分离不同镜头捕捉的多谱带图像中的相似光谱带捕捉的一矩阵；以及利用相似光谱带矩阵对由所有镜头捕捉的图像进行数字校准。
16.根据权利要求11-15中任一项所述的方法，其特征在于，还包括单独校准每个镜头的焦距。
17.根据权利要求11-16中任一项所述的方法，其特征在于，所述方法还包括通过所述组中选择的方法平衡所述镜头的曝光水平，所述方法包括：a)根据用于在相同曝光时间期间获得的波长预设所述镜头的光圈(F光圈)的大小；b)向所述VIS镜头中添加中性密度涂层或滤光片；c)手动设置光圈/光圈设置/F光圈。
18.根据权利要求11-17中任一项的所述方法，其中所述非可见光谱带选自近包括红外光谱带和近紫外光谱带的所述组。
19.一种多光谱相机，包括：具有一可更换镜头座的一数码相机，一快门和一单独传感器；以及
一种可更换镜头组合，包括：
一镜体；
安装在所述主体上的一单座连接环，用于连接到所述数码相机的镜头座；
至少两个基本上相同焦距且安装在所述镜体中的镜头，每个所述镜头及其焦距中心设置在传感器各自部分的中心的前面；
与每个镜头连接以形成选自包括穿过滤光片到该传感器的近红外谱带及紫外谱带组中的至少一个可见光谱带及一个不可见光谱带通路的一个不同的单带通或多带通滤光片；其中所述镜头在所述传感器平面处具有基本相同的视场和基本相同的像圈；以及
在所述镜体上的单座连接环，用于连接到所述数码相机的镜头座。
20.根据权利要求19所述的相机，其中选择所述滤光片以形成通过所述镜头的至少四个不同光谱带的通路。
21.根据权利要求19或20所述的相机，其中色差通过以下至少一项进行校正：
在距离传感器不相等的距离处将该镜头定位在所述组合中，使得每个镜头的焦点与传感器的焦平面重合；或者在所述镜头的至少一个中包括光学元件，所述光学元件将一个镜头的像圈的大小与另一个镜头的像圈的大小进行校准。
选择具有稍微不同焦距的所述镜头，并将其以相同的视角和像圈设置在所述组合中。
22.根据权利要求19-21中任一项所述的相机，还包括设置在透镜之间或安装到所述传感器的挡光框架。
23.一种用于对一对象的至少一对数字图像进行采集后数字校准的方法，所述方法包括：
获取所述对象的数字图像，所述数字图像存储为通过至少两个基本上相同的焦距及在传感器平面上基本上相同的视场和基本相同的像圈传感器的颜色矩阵；每个镜头与单个或多个带通滤光片相连接，使得每个镜头捕捉一个与另一个镜头捕捉的一个光谱带相似的光谱带和由所述另一个镜头捕捉的所述光谱带不同的至少一个光谱带；
将由所述相似的光谱带捕捉的所述颜色矩阵与由所述不同镜头捕捉的多谱带图像分离；以及
将来自每个镜头的基本上相同的光谱带矩阵进行匹配，以用于由所有镜头捕捉的图像的后采集数字校准。
24.根据权利要求23所述的方法，其中所述滤光片形成通过所述滤光片到所述传感器的至少可见光和不可见光谱带的所述通路。
25.根据权利要求24所述的方法，还包括一与非可见光滤光片的通带相匹配的闪光灯，其用于在成像期间照明一对象。
26.根据权利要求25所述的方法，还包括与一所述可见光滤光片的通带相匹配的第二闪光灯，其用于在成像期间照明该对象。
27.用于对一对象的至少一对数字图像进行采集后数字校准的仪器，所述仪器包括：
至少两个具有基本上相同的焦距，和传感器平面处的基本上相同的视场和基本相同的像圈的镜头，用于捕捉透过每个镜头的物体的数字图像的颜色矩阵；
每个所述镜头与单个或多个带通滤光片相连接，且该带通滤光片包括一个相似的光谱带和至少一个不同的光谱带；以及
分离不同镜头捕捉的多谱带图像中的相似光谱带捕捉的所述颜色矩阵及将来自每个镜头的基本上相同的光谱带矩阵进行匹配，以用于由所有镜头捕捉的图像的后采集数字校准的一处理器。
28.根据权利要求27所述的仪器，其中所述滤光器形成通过所述滤光片进入到所述传感器的至少可见光和不可见光谱带的所述通路。
29.根据权利要求28所述的仪器，还包括一与非可见光滤光片的通带相匹配的闪光灯，其用于在图像获取期间照明所述对象。
30.根据权利要求29所述的仪器，还包括与一可见光滤光片的通带相匹配的第二闪光灯，其用于在图像获取期间照明所述对象。
31.一种多光谱成像仪，包括：
一移动处理平台；
至少两个相机，每个相机包括一镜头、至少一个单或多带通滤光片和至少一个传感器；以及
其中所述滤光片形成通过所述滤光片进入到所述传感器的至少可见光和不可见光谱带的所述通路。
其中所述镜头在所述照相机的传感器平面具有基本相同的视场和基本相同的像圈。
32.根据权利要求31所述的仪器，还包括：与一可见光滤光片的通带相匹配的第二闪光灯，其用于在成像期间照明所述对象。
33.根据权利要求32所述的仪器，还包括与所述滤光片的可见光通带相匹配的一第二闪光灯，其用于照亮所述对象以进行成像。
34.根据权利要求32或33所述的仪器，其中与非可见光滤光通带相匹配的所述闪光灯为专用闪光灯。
35.根据权利要求31-34中任一项所述的仪器，其中所述至少一个传感器包括两个与所述平台集成的传感器，每个传感器与所述镜头和所述滤光片中的至少一个相连接。
36.根据权利要求31-35中的任一项所述的仪器，其中所有镜头包括用于捕捉光谱的至少一个相似色谱带的一个滤光片，其能够在捕捉的图像中的不同颜色通道中进行数字校准。
37.根据权利要求31-36中任一项所述的多光谱成像仪，其中每个所述滤光片为以下中的至少一种：一涂层、安装在所述镜头前面的一滤光片、安装在所述镜头后面的一滤光片，以及安装在对穿过一特定镜头的光进行感光的传感器部分上方的一滤光片。
38.一种用于捕获多光谱图像的方法，所述方法包括：
通过至少两个镜头，至少两个滤光片和与所述平台集成的至少一个传感器采用在移动处理平台上的一多光谱成像仪捕捉图像；
其中所述至少两个滤光片通过该滤光片到该传感器的至少一可见光和一不可见光(近红外光或紫外光)谱带的该通路；
其中所述镜头在一传感器平面上具有基本相同的视场和基本相同的像圈。
每个所述镜头与不同的单或多带通滤光片相连接；
使选自包括近红外光谱带和紫外光谱带的该组的至少一个可见光谱带和至少一个非可见光谱带从该滤光片进入到该传感器；以及
使光谱的至少一个相似的色带通过每个所述镜头，以能够在捕捉的图像中进行补贴颜色通道的数字校准。
39.根据权利要求38所述的方法，其中所述方法还包括：
采用每个镜头通过包括基本相同的光谱带的所述滤光片捕捉图像；
从由不同镜头捕捉的多谱带图像中分离接收基本上相同的光波段的矩阵；以及
利用基本上相同的光谱带矩阵进行所有镜头所捕捉的图像的后采集数字校准。
40.根据权利要求38或39所述的方法，还包括用匹配非可见通带的闪光照亮一待成像的对象。
41.根据权利要求40所述该方法，其中所述闪光灯为一专用闪光灯。
CN201680034926.XA 2015-06-15 2016-06-15 多光谱成像仪 Active CN107750345B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562175450P 2015-06-15 2015-06-15
US62/175,450 2015-06-15
US201562260272P 2015-11-26 2015-11-26
US62/260,272 2015-11-26
US201662274810P 2016-01-05 2016-01-05
US62/274,810 2016-01-05
PCT/IL2016/050628 WO2016203470A1 (en) 2015-06-15 2016-06-15 Multispectral imaging apparatus

Publications (2)

Publication Number Publication Date
CN107750345A true CN107750345A (zh) 2018-03-02
CN107750345B CN107750345B (zh) 2021-03-23

Family

ID=57545560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680034926.XA Active CN107750345B (zh) 2015-06-15 2016-06-15 多光谱成像仪

Country Status (13)

Country Link
US (1) US10574911B2 (zh)
EP (1) EP3308209B1 (zh)
JP (1) JP6983663B2 (zh)
KR (1) KR20180018550A (zh)
CN (1) CN107750345B (zh)
AU (1) AU2016278201B2 (zh)
BR (1) BR112017027043B1 (zh)
CA (1) CA2988275C (zh)
EA (1) EA034651B1 (zh)
ES (1) ES2812225T3 (zh)
MX (1) MX2017016357A (zh)
PL (1) PL3308209T3 (zh)
WO (1) WO2016203470A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493504A (zh) * 2019-08-29 2019-11-22 Oppo广东移动通信有限公司 图像传感器、成像系统和终端
CN112291539A (zh) * 2020-10-29 2021-01-29 维沃移动通信有限公司 成像装置和电子设备
CN113242364A (zh) * 2021-03-29 2021-08-10 杭州涂鸦信息技术有限公司 一种黑光摄像机
CN113260835A (zh) * 2018-12-14 2021-08-13 光谱Md公司 用于高精度多孔径光谱成像的系统和方法
US11948300B2 (en) 2018-12-14 2024-04-02 Spectral Md, Inc. Machine learning systems and methods for assessment, healing prediction, and treatment of wounds

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769436B2 (en) * 2017-04-19 2020-09-08 Sentera, Inc. Multiband filtering image collection and analysis
CN107197123B (zh) * 2017-05-05 2019-12-20 北京空间机电研究所 一种凝视型空间相机分时多光谱成像控制的相机系统及控制方法
WO2019054958A2 (en) * 2017-09-13 2019-03-21 Eski Osman MULTISPECTRAL IMAGING SYSTEM MOBILE
US11157736B2 (en) * 2018-01-29 2021-10-26 Aerovironment, Inc. Multispectral filters
US10660277B2 (en) * 2018-09-11 2020-05-26 Pollen Systems Corporation Vine growing management method and apparatus with autonomous vehicles
US10779476B2 (en) 2018-09-11 2020-09-22 Pollen Systems Corporation Crop management method and apparatus with autonomous vehicles
JP7378920B2 (ja) * 2018-10-16 2023-11-14 キヤノン株式会社 光学装置及びそれを備える撮像システム
US10904493B2 (en) * 2019-04-02 2021-01-26 The Boeing Company Filter alignment for multi-spectral composite image
KR20210151815A (ko) * 2019-04-18 2021-12-14 소니그룹주식회사 교환 렌즈, 정보 처리 장치, 정보 처리 방법, 및 프로그램
US11829053B2 (en) * 2019-08-09 2023-11-28 Canon Kabushiki Kaisha Optical unit, optical apparatus, imaging apparatus, and imaging system
US11195286B2 (en) 2019-08-12 2021-12-07 The Boeing Company Image-based target tracking
CN110996006B (zh) * 2019-12-19 2022-04-15 苏州光测视界智能科技有限公司 一种工业相机镜头与ccd的转接环的控制方法
EP3884840A1 (de) * 2020-03-27 2021-09-29 Diaspective Vision GmbH Medizinische bildgebungsvorrichtung zur ortsaufgelösten aufnahme multispektraler videodaten
US11933991B2 (en) 2020-09-29 2024-03-19 Sony Group Corporation Optical apparatus for improving camera sensitivity and matching of identical perspectives
WO2022173515A1 (en) * 2021-02-09 2022-08-18 Circle Optics, Inc. Low parallax lens design with improved performance
WO2022178341A1 (en) 2021-02-22 2022-08-25 Corning Incorporated Enhanced hybrid systems and methods for characterizing stress in chemically strengthened transparent substrates
US11860090B2 (en) 2021-04-01 2024-01-02 Corning Incorporated Light source intensity control systems and methods for improved light scattering polarimetry measurements
WO2023145188A1 (ja) * 2022-01-31 2023-08-03 富士フイルム株式会社 撮像装置、処理装置、処理方法、プログラム、及び光学フィルタ
WO2023149963A1 (en) 2022-02-01 2023-08-10 Landscan Llc Systems and methods for multispectral landscape mapping

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249744A1 (en) * 2011-04-04 2012-10-04 Primesense Ltd. Multi-Zone Imaging Sensor and Lens Array
JP2013510681A (ja) * 2009-11-13 2013-03-28 カリフォルニア インスティチュート オブ テクノロジー 単一のイメージングチップ及び共役させられたマルチバンドパスフィルターを備えた立体のイメージングの小規模の内視鏡
US20130111464A1 (en) * 2011-10-27 2013-05-02 3Dmedia Corporation Modular and open platform image capture devices and related methods
CN102466520B (zh) * 2010-11-11 2014-12-17 香港纺织及成衣研发中心 多光谱成像颜色测量系统及其成像信号处理方法
CN104394306A (zh) * 2014-11-24 2015-03-04 北京中科虹霸科技有限公司 用于虹膜识别的多通道多区域镀膜的摄像头模组及设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7439847B2 (en) * 2002-08-23 2008-10-21 John C. Pederson Intelligent observation and identification database system
JP2004344583A (ja) * 2003-05-26 2004-12-09 Minolta Co Ltd 診断支援システムおよび端末装置
SE0402576D0 (sv) * 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
JP2009153074A (ja) * 2007-12-21 2009-07-09 Olympus Corp 画像撮影装置
JP5505761B2 (ja) * 2008-06-18 2014-05-28 株式会社リコー 撮像装置
JP2010128122A (ja) * 2008-11-27 2010-06-10 Olympus Corp 撮像装置
JP2010245870A (ja) * 2009-04-07 2010-10-28 Olympus Corp マルチスペクトル撮影用レンズアダプタ装置、マルチスペクトル撮影装置、および画像処理装置
KR20110037448A (ko) * 2009-10-07 2011-04-13 (주)토핀스 열화상카메라용 일축형 렌즈모듈
JP2011182237A (ja) * 2010-03-02 2011-09-15 Osaka Univ 複眼撮像装置及び該装置における画像処理方法
JP2011205587A (ja) * 2010-03-26 2011-10-13 Olympus Corp マルチバンドステレオ撮像装置
CN201837812U (zh) * 2010-09-17 2011-05-18 上海恒光警用器材有限公司 全光谱照相机
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US8665440B1 (en) * 2011-02-10 2014-03-04 Physical Optics Corporation Pseudo-apposition eye spectral imaging system
JP5704984B2 (ja) * 2011-03-22 2015-04-22 キヤノン株式会社 撮像装置
IN2014CN03038A (zh) * 2011-11-04 2015-07-03 Imec
US8941722B2 (en) * 2012-01-03 2015-01-27 Sony Corporation Automatic intelligent focus control of video
US20130222603A1 (en) * 2012-02-28 2013-08-29 Aptina Imaging Corporation Imaging systems for infrared and visible imaging
JP2014048423A (ja) * 2012-08-30 2014-03-17 Canon Inc 撮像光学系、撮像装置および撮像システム
US9094540B2 (en) * 2012-12-13 2015-07-28 Microsoft Technology Licensing, Llc Displacing image on imager in multi-lens cameras
US9857569B2 (en) * 2014-10-31 2018-01-02 Everready Precision Ind. Corp. Combined lens module and image capturing-and-sensing assembly
CN204269898U (zh) * 2014-10-31 2015-04-15 高准精密工业股份有限公司 组合式透镜模组以及应用此模组的摄像感测组件
US20160136816A1 (en) * 2014-11-14 2016-05-19 James Charles Pistorino Sorting apparatus and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013510681A (ja) * 2009-11-13 2013-03-28 カリフォルニア インスティチュート オブ テクノロジー 単一のイメージングチップ及び共役させられたマルチバンドパスフィルターを備えた立体のイメージングの小規模の内視鏡
CN102466520B (zh) * 2010-11-11 2014-12-17 香港纺织及成衣研发中心 多光谱成像颜色测量系统及其成像信号处理方法
US20120249744A1 (en) * 2011-04-04 2012-10-04 Primesense Ltd. Multi-Zone Imaging Sensor and Lens Array
US20130111464A1 (en) * 2011-10-27 2013-05-02 3Dmedia Corporation Modular and open platform image capture devices and related methods
CN104394306A (zh) * 2014-11-24 2015-03-04 北京中科虹霸科技有限公司 用于虹膜识别的多通道多区域镀膜的摄像头模组及设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113260835A (zh) * 2018-12-14 2021-08-13 光谱Md公司 用于高精度多孔径光谱成像的系统和方法
US11948300B2 (en) 2018-12-14 2024-04-02 Spectral Md, Inc. Machine learning systems and methods for assessment, healing prediction, and treatment of wounds
US11989860B2 (en) 2018-12-14 2024-05-21 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
CN110493504A (zh) * 2019-08-29 2019-11-22 Oppo广东移动通信有限公司 图像传感器、成像系统和终端
CN112291539A (zh) * 2020-10-29 2021-01-29 维沃移动通信有限公司 成像装置和电子设备
CN113242364A (zh) * 2021-03-29 2021-08-10 杭州涂鸦信息技术有限公司 一种黑光摄像机

Also Published As

Publication number Publication date
EP3308209A1 (en) 2018-04-18
CA2988275C (en) 2021-10-19
AU2016278201A1 (en) 2018-01-04
JP2018526664A (ja) 2018-09-13
US10574911B2 (en) 2020-02-25
BR112017027043B1 (pt) 2022-12-06
US20180176488A1 (en) 2018-06-21
ES2812225T3 (es) 2021-03-16
WO2016203470A1 (en) 2016-12-22
EA034651B1 (ru) 2020-03-03
EP3308209A4 (en) 2019-02-27
AU2016278201B2 (en) 2021-08-12
EA201890046A1 (ru) 2018-05-31
MX2017016357A (es) 2018-12-06
KR20180018550A (ko) 2018-02-21
CN107750345B (zh) 2021-03-23
PL3308209T3 (pl) 2020-12-14
JP6983663B2 (ja) 2021-12-17
BR112017027043A2 (zh) 2018-08-21
CA2988275A1 (en) 2016-12-22
EP3308209B1 (en) 2020-05-27

Similar Documents

Publication Publication Date Title
CN107750345A (zh) 多光谱成像仪
AU2011307151B2 (en) Digital multi-spectral camera system having at least two independent digital cameras
US9787915B2 (en) Method and apparatus for multi-spectral imaging
WO2010052593A1 (en) Camera design for the simultaneous capture of near-infrared and visible images
KR20110125172A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
KR20110125173A (ko) 촬상 장치
WO2009076184A2 (en) Method and apparatus for achieving panchromatic response from a color-mosaic imager
CN113676628A (zh) 多光谱传感器、成像装置和图像处理方法
WO2021153473A1 (ja) レンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラム
CN105988215A (zh) 一种多光谱模组成像系统及其制造方法和应用
CN107995400A (zh) 图像采集装置、摄影装置及图像采集方法
CN105806480A (zh) 一种基于自适应微透镜阵列传感器的数字变焦光谱成像仪
US10728517B2 (en) Parallax mitigation for multi-imager systems and methods
US9110293B2 (en) Prismatic image replication for obtaining color data from a monochrome detector array
CN112104796B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US9857663B1 (en) Phase detection autofocus system and method
CN108024035B (zh) 成像装置和方法
EP2805514B1 (en) Apparatus for ambient light spectrum detection in digital photography
WO2023123095A1 (en) Camera system including multiple lenses and multiple image sensors, method for controlling the same, and electronic deivice
JP2021190975A (ja) 撮像装置
JP2005300509A (ja) 分光波長連続可変型マルチスペクトルカメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant