CN111512127B - 确定光谱信息的设备和方法 - Google Patents

确定光谱信息的设备和方法 Download PDF

Info

Publication number
CN111512127B
CN111512127B CN201880080526.1A CN201880080526A CN111512127B CN 111512127 B CN111512127 B CN 111512127B CN 201880080526 A CN201880080526 A CN 201880080526A CN 111512127 B CN111512127 B CN 111512127B
Authority
CN
China
Prior art keywords
light source
illumination
structured
imaging
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880080526.1A
Other languages
English (en)
Other versions
CN111512127A (zh
Inventor
查尔斯·马塞尔·亨利·维斯
布鲁斯·唐纳森·格里夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Manchester
Original Assignee
University of Manchester
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Manchester filed Critical University of Manchester
Publication of CN111512127A publication Critical patent/CN111512127A/zh
Application granted granted Critical
Publication of CN111512127B publication Critical patent/CN111512127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J2003/102—Plural sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J2003/102—Plural sources
    • G01J2003/104—Monochromatic plural sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G01N2021/1782—In-depth resolution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/061—Sources
    • G01N2201/06113—Coherent sources; lasers
    • G01N2201/0612—Laser diodes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/063—Illuminating optical parts
    • G01N2201/0635—Structured illumination, e.g. with grating

Abstract

本发明的实施方式提供了用于确定三维物体的光谱信息的设备，该设备包括：相对于该物体定位的空腔(110)；相对于该空腔定位的成像光源(120)，其中，成像源可控制以选择性地发射多个波长范围内的光；结构化光源(130)，向物体发射结构化照射，其中结构化光源包括围绕空腔布置的多个照射装置；一个或多个成像装置(140)，产生与物体的至少一部分有关的图像数据；控制单元，其中控制单元(1100)被布置成控制结构化光源以发射结构化照射并控制成像光源发射多个波长范围中选定的一个或多个波长范围内的光；数据存储单元(1120)，被布置为存储与结构化照射以及多个波长范围中选定的一个或多个波长范围中的每一个对应的图像数据；以及处理装置(1110)，被布置为根据存储在数据存储装置中与结构化照射相对应的图像数据，确定与物体的至少一部分有关的深度信息。

Description

确定光谱信息的设备和方法
技术领域
背景技术
多光谱成像涉及在多个特定波长或波段处捕获图像数据。成像可涉及诸如生物体的物体。多光谱成像已应用于植物以确定植物的状态。在有源多光谱成像系统中，诸如植物组织的物体选择性地被多个预定波长范围内的光照射，并且从样本(即植物组织)反射的照射被成像装置记录。
由于诸如叶子的组织样本的成分和取向都存在差异，因此植物组织光学器件非常复杂。入射辐射(即光)与植物表面接触，在该表面上入射辐射的一部分以镜面反射的形式从植物的蜡质层反射，而其余部分则在植物组织内折射。后者相互作用包含有关内部植物组织组成的信息。分散的光通过叶透射，或者在细胞结构内吸收，或者以反向散射反射的形式反射。由于叶组织的结构包括多层，组成各不相同，因此波长穿透至到达海绵状叶肉的光会被散射的不同的深度。此行为在某种程度上解释了为什么植物组织表现出非朗伯反射率，解释了为什么在实验室环境中对植物组织样本进行成像之前通常将其固定在适当的位置。然而，将植物组织样本固定在适当位置以解决与样本的取向相关的问题是费时的，并且可能限制多光谱成像的有效性。
本发明的实施方式的目的是至少减少现有技术的一个或多个问题。
发明内容
附图说明
现在将参考附图仅以举例的方式描述本发明的实施方式，其中：
图1示出了根据本发明实施方式的设备的透视图；
图2a示出了根据本发明实施方式的设备的截面图；
图2b示出了根据本发明实施方式的设备的截面图；
图3和图4示出了根据本发明实施方式的成像光源的一部分；
图5示出了根据本发明实施方式的结构化照射的实例；
图6和图7示意性地示出了本发明实施方式的操作；
图8示出了根据本发明实施方式的表面照射的实例；
图9示出了根据本发明实施方式的如何从多光谱立方体获得校正的多光谱立方体；
图10示出了根据本发明的实施方式的如何应用结构光和光度立体光以对叶子的多光谱图像数据进行表面校正的实例；以及
图11示出了根据本发明的控制单元的示意图。
具体实施方式
图1示出了根据本发明的实施方式的设备100。设备100是用于确定三维物体200的光谱信息的设备100。如图1所示，三维物体200可以是生物结构，例如植物200。物体可包括多个一个或多个大体上平坦的表面，在该实例中是植物200的叶子。设备100被布置成在使用中至少部分地确定与诸如叶子的平坦的表面有关的光谱信息。信息的实施方式被布置为确定一个或多个平坦表面的取向信息，其中该取向信息指示该一个或多个平坦表面相对于设备100的取向，如将解释的。取向信息可用于至少部分地校正平坦表面的取向，从而可改善光谱信息。在下文中，物体200将被称为植物200，应当理解，这不是限制性的。
设备100包括空腔110。空腔110被提供为在使用中相对于植物200定位。具体地，空腔110可大致位于植物200上方。空腔110包括半球110，或半球的一部分，定位为具有一个主要开口，即大体上沿着与半球相对应的球体的中心轴线面向植物200。次要的(即较小的开口)，设置在半球110的相对于主要开口的相对侧，用于允许安装一个或多个成像装置140以观察，即接收来自空腔110内部的辐射。
空腔110或半球110的内表面可涂覆有漫反射材料。这种漫反射材料的一个实例是二氧化钛和胶乳载体中的硫酸钡，尽管可理解也可使用其他材料。
设备100包括成像光源120。成像光源120相对于空腔110定位。成像光源120是可控制的，以选择性地发射在整个成像波长范围内的多个选定波长范围或波段的光。
在一个实施方式中，成像光源120包括窄带光源的阵列。阵列中的每个成像光源可以是LED光源。每个成像光源可被布置成主要朝向空腔110的内部发射光。每个成像光源可与相应的透镜相关联。在一实施方式中，透镜布置成以预定角度(例如120°或更大)的圆锥体从光源发射光。成像光源可单个或以等距倍数位于空腔110外围周围的支撑物上。支撑物可以是，例如，平面圆盘形印刷电路板(PCB)，其尺寸仅适合在半球110的主要开口的圆周的内部，使得LED面朝上进入半球110。图3示出了成像光源120的一部分。
在一些实施方式中，成像光源120可被布置为发射多于25个波长范围中一个选定波长的光。在一个实施方式中，尽管可使用其他数量的波长范围，但是成像光源可选择性地发射35个波长范围的光。在一实施方式中，每个波长范围约为10nm。波长范围可确定为半极大处全宽度(FWHM)，例如～10nm。整个成像波长范围可以是400-980nm，在其中可选择的成像波长范围可均匀地间隔开。成像光源120为植物200提供主动照射的多光谱成像。
设备100包括一个或多个在图1中总体上表示为130的物体信息(OI)光源。一些实施方式包括多个OI光源。如图1所示，OI光源130可分布在空腔110周围。OI光源130可包括多种不同类型的OI光源，如将要解释的。在一些实施方式中，多种类型的OI光源130交替地布置在空腔110周围。OI光源130可包括光度立体(PS)光源131、结构化光源132和荧光光源133中的一个或多个，为了清楚起见，在附图中用附图标记仅标识每个光源中的一个。OI光源130可布置在空腔110的边缘周围或附近，即，具体如图2a所示，在空腔110的开口周围。
OI光源130可被布置成相对于空腔110向下引导照射。在一些实施方式中，OI光源130被安装在支撑成像光源120的PCB的下侧处。
尽管在图1至图4中，PS光源131和结构化光源132形成为OI光源130的一部分，但是PS光源131和结构化光源132之一或两者可与OI光源130分开。在一些实施方式中，PS光源131和结构化光源132之一或两者可布置在空腔110周围，而不是在空腔110的边缘或开口处。结构化光源132可布置在远离空腔110的边缘。在一些实施方式中，结构化光源132被布置成比边缘更靠近成像装置140。结构化光源132可布置在成像装置140周围。
图2b示出了根据本发明的另一实施方式的设备。结构化光源132与OI光源130分离，并且被布置成比空腔110的边缘更靠近成像装置140。结构化光源132与PS光源131分离，PS光源131可布置在空腔110的边缘周围。OI光源130可分布在空腔110周围。在一些实施方式中，OI光源130可布置在空腔110的边缘内部周围，如图2b所示。
PS光源131包括在植物200周围径向分布的多个PS光源131。在一些实施方式中，PS光源131包括三个或三个以上PS光源131。多个PS光源131围绕空腔110外围分布，使得当将植物200大致定位在空腔110下方的中央时，可从多个不同角度选择性地照亮植物200。以这种方式，如将要解释的，设备100允许植物200的光度立体成像。
每个PS光源131可与相应的透镜相关联。设置透镜以使相应PS光源131形成点光源。PS光源131可在从成像装置140的焦点限定的中心线正交向下投影的点处向内朝向半球110的中心线(如图2a所示的项“a”)取向。PS光源131通常可以是红外波长的LED(940nm或类似波长)。红外PS光源131可以是优选的，因为植物组织在比远红(即～700nm)长的波长下具有高反射率，并且在更长的波长下获得了进入植物组织的更大的穿透深度，从而提供了改善的图像对比度。提供PS光源130通过来自空腔110周围的不同角度的照射，选择性地照亮植物200。使用PS光源131，可确定植物200的一个或多个表面法线(surface normal)，这将在下面说明。每个表面法线表示诸如叶子的植物表面的一部分的相应角度。
如上所述，植物通常表现出非朗伯反射率。为了在一些实施方式中利用具有这种非朗伯表面的光度立体成像方法，可使用结合了非朗伯反射率的反射率模型。这样的反射率模型可以是Torrance-Sparrow模型。使用这样的反射率模型允许对至少部分地表现出非朗伯反射率的表面进行光度立体成像。在其他实施方式中，可通过使用附加光源来实现非朗伯表面的光度立体成像。在表面表现出朗伯反射率的情况下，光度立体可与3个灯一起使用。然而，在一些实施方式中，在PS光源131包括3个以上光源(例如6个光源)，的情况下，光度立体可与非朗伯表面一起使用。在一些实施方式中，选择由6个或6个以上PS光源131捕获的图像的子集以与光度立体方法一起使用。
与主动照射的多光谱成像一起使用光度立体成像，可确定图像数据中每个点的取向(表面法线)。然而，确定到植物200的绝对距离的信息是不可行的。
提供结构化光源132以向物体200发射结构化照射。结构化光意味着落在植物200上的照射具有预定结构。该结构使得能够确定指示到植物200的距离的距离信息。结构化光提供了仅使用一个成像装置140获得深度信息的概率。
结构化光源132可包括一个或多个结构化光源。在所示的实施方式中，结构化光源132包括分布在空腔110周围的多个结构化光源132。然而，在其他实施方式中，结构化光源132可位于设备100周围的其他地方。例如，结构化光源132可包括一个可位于成像装置140附近的结构化光源。
每个结构化光源132可以是相干光源。在一些实施方式中，每个结构化光源132可以是半导体光源，例如激光二极管。每个结构化光源132可与将结构赋予来自结构化光源132的光的装置相关联。在一些实施方式中，该装置是衍射光栅。衍射光栅可以是双轴衍射光栅。衍射光栅可安装在结构化光源132的前面，即安装在每个激光二极管的前面。假设固定的衍射光栅线间距，则衍射光栅以网格布置投射点的规则图案，其间距由激光二极管的波长决定。
图5示出了在本发明的实施方式中可落在植物200上的结构化光400的实例。所示实施方式中的结构化光包括在网格布置中在x和y方向上间隔开的多个点410。因此，结构化光可在植物200上形成网眼图案。
荧光光源133可包括多个荧光光源133。可提供荧光光源133以发射具有短持续时间和高强度的光，即荧光的闪光。每个荧光光源可以是LED。每个荧光光源可与相应的透镜相关联。
如上所述，设备100包括一个或多个成像装置140。一个或多个成像装置140被布置为生成与物体的至少一部分有关的图像数据。一个或多个成像设备可包括一个或多个相机。在示出的实施方式中，该设备包括一个相机和透镜组件，一起称为140。相机和透镜组件140位于半球的中心线上(图2a所示的“a”)。组件140被定位并定位成通过半球110中的孔捕获图像。透镜的焦距可设置为到物体的平均正交距离和景深(即，透镜光圈设置)以适应诸如植物200的待研究物体200的深度范围。在一些实施方式中，相机组件140中的成像阵列，例如CCD，使用全局快门进行快速全帧捕捉，这可在捕获多光谱立方体的各个波长元素的同时，帮助减少与显著的图像移动相关联的“多光谱立方体”的构造错误的可能性，如也将进行解释。一个或多个成像装置140是宽带成像装置，即，其捕获宽波长范围内的照射。
设备100包括如图11所示并在下面描述的控制单元1100和数据存储单元1120。提供控制单元1100以控制设备100的操作。控制单元1100通信地耦合至成像光源120、OI光源130和一个或多个成像装置140。
控制单元1100被布置为在使用中控制成像光源120以发射多个成像波长范围中选定波长范围的光。控制单元可操作以控制一个或多个成像装置140以捕获与发射的波长范围相对应的图像数据。数据存储单元1120从一个或多个成像装置140接收图像数据，并在一个成像周期中以选定的成像波长存储图像数据。通过以多个成像波长中的每一个执行成像周期，获得多光谱图像数据。通过控制所发射的成像照射的波长和由成像装置140捕获的图像数据，控制单元1100使数据存储单元1120存储多光谱图像数据的多光谱立方体。多光谱立方体由在第一和第二轴(即与植物的空间区域相对应的x，y轴)上的图像数据和在与波长相对应的第三轴上的图像数据形成。
控制单元1100被布置为控制OI光源130以选择性地发射PS光131、结构化光132和荧光133中的一个或多个。在PS光的情况下，控制单元1100进一步选择PS光源之一发光以确定表面法线。
参照图6，示出了植物叶子610、620形式的第一和第二平坦表面。可理解，叶子610、620处于不同的取向和不同的距成像装置140的距离。图6示出了成像装置140与每个叶子上的多个点之间的距离，每个距离由标示为A至H的相应的线表示。这种不同的距离可能影响有效利用叶子610、620的多光谱图像数据的能力。本发明的实施方式使用结构化照射400，确定成像装置140与叶子610、620上的各个点之间的距离，诸如对应于A至H。
本发明的实施方式针对在投射了结构化照射的图像数据中的像素，计算与到表面的距离相对应的距离信息。然后，该距离信息可用于生成归一化的“多光谱立方体”，如图7所示。也就是说，将在图像数据中相应像素处接收到的光强度，校正为如果诸如叶子610、620的物体为平坦时接收到的光强度，即距成像检测器的固定距离A’处，而不是实际距离A(或如图6中的B到H)。
可使用平方反比定律确定从A到A’的转换，即：距离A’处的所需强度＝距离A处的实际感测强度*(A’2/A2)。
参考图8，示出了成像装置810和两个实例表面820、830，表面被来自结构化光源840的结构化光照射。表面820、830各自位于距成像装置810不同的距离处。结构化光源840将诸如网格图案的发散结构化图案投射到表面820、830上。第一表面820位于第一高度h，第二表面830位于第二高度w。
从第一表面820反射的光的网格的间隔在图8中表示为s。从第二表面830反射的光的网格的间隔在图48中表示为d。表面820、830距成像装置810的距离在图8上分别表示为h和w。表面820、830到成像装置810的距离是使用结构化光获得的深度信息。
s和d的值与h和w的关系为常数k。常数k的值取决于结构化光的波长和发散的结构化图案。
常数“k”的单位是毫米/像素，“s”和“d”的单位是像素。因此，可使用以下等式确定表面820、830分别距成像装置810的深度“h”和“w”：
h＝k*s
w＝k*d
本发明的实施方式可包括处理装置，该处理装置可被布置为确定与物体的至少一部分(诸如植物200的叶子610、620)有关的深度信息。根据与存储在数据存储装置中的结构化照射对应的图像数据来确定深度信息。
图11示出了根据本发明实施方式的控制单元1100。控制单元1100包括处理装置1110和存储器1120。处理装置1110可包括被布置为确定深度信息的一个或多个处理器或电子处理装置。一个或多个处理器可执行计算机可读指令以确定深度信息。存储器1120被布置为存储可由处理器1110执行的计算机可读代码。控制单元1100可被布置为控制结构化光源132发射结构化照射并控制成像光源120发射多个波长范围中选定的一个或多个波长范围的光。
在一些实施方式中，处理装置被布置成组合与PS光131和结构化光132有关的数据。处理装置可组合与PS光131和结构化光132有关的数据以确定关于落在植物200上的结构化照射之间的(即在图5中所示的点410之间的)植物200的信息。
为了针对点510之间的位置或编码光网眼的顶点确定与植物200有关的纹理信息，本发明的实施方式使用来自结构化光132的点510，例如照射的网眼图案，并从照射的附加点光源(即PS光131)，将其与光度立体(PS)重建方法集成。处理装置可确定3D物体(例如正在研究的植物200)与成像装置140在点510或结构化光顶点处之间的绝对距离，然后通过光度立体重建计算这些顶点之间的相对表面拓扑。
图9示出了根据本发明实施方式的如何使用来自光度立体和结构化光的信息从多光谱立方体940获得包含校正的多光谱图像数据的校正的多光谱立方体950。多光谱立方体940包含在第一和第二轴(诸如x和y轴)上与诸如植物的物体的空间区域对应的图像数据，以及在第三轴上与波长对应的图像数据。从投射的光度立体光获得表面法线矩阵910。表面法线矩阵包含被照射物体的表面的方向和纹理信息。深度矩阵920包含从投射的结构化光获得的深度信息。表面法线矩阵910和深度矩阵920被一起处理。在一些实施方式中，表面法线矩阵910被深度矩阵920划分便消除限制光度立体重建的弯曲伪影的影响。弯曲的伪影归因于反射率的降低，是在使用非理想点光源(例如LED)时引入反射率的降低。由该处理得到的矩阵是加权取向矩阵930。加权取向矩阵930包含使用结构化光获得的深度信息进行校正之后的照射物体的表面的方向和纹理信息。
存储在数据存储单元中的多光谱立方体940，包括来自多光谱图像数据的各个波长元素。根据加权取向矩阵930校正多光谱立方体的每个波长元素。在一些实施方式中，将多光谱立方体的每个波长元素乘以加权取向矩阵930。将多光谱立方体的每个单独的波长元素乘以加权取向矩阵930的效果，是通过根据成像物体的取向和深度的位移因子，校正多光谱图像数据。与垂直于成像装置140的平面成大角度偏移的表面，在多光谱立方体中具有减小的视在强度。因此，为了对此进行校正，当将多光谱立方体乘以加权取向矩阵时，会以较大的角度偏移将较高的偏移因子应用于表面强度。具有更接近垂直于成像装置140的平面的角度偏移的表面，具有比大角度的表面更精确于其实际强度的视在强度。因此，在较小的角度偏移处的表面的强度乘以较小的偏移因子，以使其相应强度的变形最小化。
图10示出了可如何应用结构化光和光度立体光来执行诸如叶子的物体的多光谱图像数据的表面校正的实例。图10还示出了曲线图1010、1020，其表示在特定波长下不同簇的强度。簇是具有相同强度的叶子的区域，它们根据一种或多种特性分组在一起，例如因为它们具有相似的反射率特性。曲线图1010、1020中的双向箭头表示由于叶子在不同空间点处的不同角度而导致的叶子内的反射变化。曲线图1020中的较小箭头表明，曲线图1010的簇之间的反射变化有所改善。发生反射变化是因为植物材料是半透明的，因此它吸收并反射了不同波长的大小不同的光。这产生随波长变化的非朗伯反射率模型。可通过将附加的加权差分应用于加权取向矩阵来改变反射变化。用来校正叶子上特定点的取向的偏移因子越大，反射率的可检测小变化越少。反射率的小变化可能表明植物病害。因此，在表面校正和可能导致信息丢失的潜在过度补偿之间取得折衷是重要的。
以此方式，可通过比仅编码的结构化光所需的图像帧数量减少的图像帧，来快速确定在整个物体表面至少一些或每一个单独的图像像素上距成像装置140的距离。即，来自相对路线的结构化光132的1个图像和来自PS光131的少量(例如3个)图像，其中不同的点照射点位于以成像装置140为中心的圆的圆周上并且在相同的平面，即总共4个图像，足以在整个成像表面(诸如叶子610、620)上生成所需的绝对测量值。在一些实施方式中，又一个第四图像，即总共5个，用于计算PS，其点源在正方形的顶点处又位于正方形的圆周上，该正方形的中心围绕与成像装置140相同的平面。这使得一定程度的冗余度并入相对表面拓扑重建中，从而减少了来自噪声的潜在误差。
与log2(X)图像相比，绝对表面表征需要4或5帧从仅编码的结构化光中获取相似的数据，其中X是水平或竖直方向上的像素数，以较大者为准。也就是说，如果图像是矩形的，则X是组成最大长度的像素数，例如对于2048×1536宽高比的图像，则为2048。对于混合光度立体131和结构化光132系统，后者实例将使得与4个或5个(冗余)相比，需要来自仅编码的结构化光的11个单独图像。与混合PS和结构化光方法相比，在仅获取结构化光系统所需的额外帧，然后从中重建数据方面的额外时间惩罚是惩罚性的。这是因为对于在光谱(400-1100nm)的可见到近红外范围内工作的系统，捕获的每个多光谱帧，通常包括不同波段的4-16个单个图像，还必须计算表面拓扑以使能MSI数据的定量建模。
将理解的是，本发明的实施方式可以以硬件、软件或硬件和软件的组合的形式来实现。任何这样的软件都可以以易失性或非易失性存储的形式存储，例如诸如ROM的存储装置，无论其是否可擦除或可重写，或者可以以存储器的形式存储，诸如例如RAM、存储器芯片、装置或集成电路，或者光学或磁性可读介质，诸如例如CD、DVD、磁盘或磁带。将理解的是，存储装置和存储介质是机器可读存储设备的实施方式，其适合于存储一个或多个程序，当被执行时实现本发明的实施方式。因此，实施方式提供了一种程序，该程序包括用于实现根据前述权利要求中的任一项所述的系统或方法，以及存储该程序的机器可读存储设备的代码。更进一步，本发明的实施方式可经由诸如通过有线或无线连接承载的通信信号的任何介质来电子地传达，并且实施方式适当地涵盖了这样的介质。
在本说明书中公开的所有特征(包括任何所附权利要求、摘要和附图)和/或如此公开的任何方法或过程的所有步骤，可以以任何组合进行组合，除了至少一些这样的特征和/或步骤是互斥的组合以外。
除非另有明确说明，否则本说明书中公开的每个特征(包括任何所附权利要求、摘要和附图)可由具有相同、等同或相似目的的替代特征代替。因此，除非另有明确说明，否则所公开的每个特征仅是一系列等同或相似特征的实例。
本发明不限于任何前述实施方式的细节。本发明扩展到本说明书中公开的特征(包括任何所附权利要求、摘要和附图)的任何新颖的一个或任何新颖的组合，或扩展为公开的任何方法或过程的步骤的任何新颖的一个或任何新颖的组合。权利要求书不应被解释为仅覆盖前述实施方式，而且还包括落入权利要求书范围内的任何实施方式。

Claims (15)

1.一种确定三维物体的光谱信息的设备，所述设备包括：
空腔(110)，相对于物体定位；
成像光源(120)，相对于所述空腔定位，其中，成像光源能被控制以选择性地发射多个波长范围内的光；
结构化光源(132)，向所述物体发射结构化照射，其中，所述结构化光源包括围绕所述空腔布置的多个照射装置，其中所述结构化光源包括关于至少一个照射结构装置布置的一个或多个照射装置，其中每个照射装置是相干照射装置并且所述照射结构装置被布置为将结构赋予来自所述相干照射装置的相干光；
光度立体PS光源(131)，形成光的点源，从至少一个预定角度朝向所述物体发射照射并且其中所述PS光源被布置为从围绕所述物体的预定径向角度朝向所述物体选择性地发射所述照射以用于PS成像，以确定关于所述物体的至少一部分的表面法线；
一个或多个成像装置(140)，产生与所述物体的至少一部分有关的图像数据；
控制单元，其中，所述控制单元被布置为控制所述结构化光源以发射所述结构化照射，以控制所述PS光源从围绕所述物体的预定径向角度朝向所述物体发射所述照射，并控制所述成像光源以发射所述多个波长范围中选定的一个或多个波长范围的光；
数据存储单元，被布置为存储与所述结构化照射、由所述PS光源朝向所述物体发射的所述照射以及所述多个波长范围中所述选定的一个或多个波长范围中的每一个相对应的图像数据；以及
处理装置(1110)，被布置为根据与存储在所述数据存储单元中的所述结构化照射相对应的图像数据，确定与所述物体的至少一部分有关的深度信息，并且根据由所述PS光源朝向所述物体发射的所述照射确定所述表面法线，每个所述表面法线表示所述物体的表面的一部分的相应角度。
2.根据权利要求1所述的设备，其中，所述照射结构装置包括衍射光栅。
3.根据权利要求1或2所述的设备，其中，每个所述照射装置与相应的所述照射结构装置相关联，并且，其中每个述照射装置朝内指向所述空腔的中心轴。
4.根据权利要求1所述的设备，其中，每个所述照射装置是激光二极管。
5.根据权利要求1所述的设备，其中，所述PS光源包括围绕所述空腔布置的多个发光器。
6.根据权利要求1所述的设备，其中，所述处理装置被布置为根据平方反比定律来确定所述深度信息。
7.根据权利要求1所述的设备，其中，所述处理装置被布置为根据所述深度信息，来校正与所述多个波长范围中所述选定的一个或多个波长范围对应的所述图像数据。
8.根据权利要求7所述的设备，其中，校正所述图像数据包括：所述处理装置根据A*(A’2/A2)来确定距离A’处所述多个波长范围中所述选定的一个或多个波长范围中每一个的所述图像数据，其中A’是给定距离处的所述图像数据的强度，A是实际成像距离。
9.根据权利要求1所述的设备，其中，所述处理装置被布置为根据h＝k*s确定所述深度信息，其中“s”是与所述结构化照射对应的所述图像数据的结构化图案的间隔，“h”是所述深度信息，“k”是常数。
10.根据权利要求1所述的设备，其中，所述数据存储单元被布置为存储所述图像数据的多光谱立方体(940)。
11.根据权利要求10所述的设备，其中，所述多光谱立方体(940)包括多个波长范围，其中，所述多个波长范围中的每个对应于单独的波长元素。
12.根据权利要求11所述的设备，其中，所述处理装置被布置为根据所述深度信息来确定深度矩阵(920)。
13.根据权利要求12所述的设备，其中，所述处理装置被布置为根据由所述PS光源朝向所述物体发射的照射，来确定表面法线矩阵(910)。
14.根据权利要求13所述的设备，其中，所述处理装置被布置为根据所述表面法线矩阵(910)和所述深度矩阵(920)来确定加权取向矩阵(930)。
15.根据权利要求14所述的设备，其中，
所述加权取向矩阵(930)包括针对所述物体的校正方向和纹理信息，和/或将所述多光谱立方体(940)的各个单独的波长元素乘以所述加权取向矩阵(930)。
CN201880080526.1A 2017-12-20 2018-12-20 确定光谱信息的设备和方法 Active CN111512127B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1721451.1 2017-12-20
GBGB1721451.1A GB201721451D0 (en) 2017-12-20 2017-12-20 Apparatus and method for determining spectral information
PCT/GB2018/053711 WO2019122891A1 (en) 2017-12-20 2018-12-20 Apparatus and method for determining spectral information

Publications (2)

Publication Number Publication Date
CN111512127A CN111512127A (zh) 2020-08-07
CN111512127B true CN111512127B (zh) 2023-03-03

Family

ID=61009113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880080526.1A Active CN111512127B (zh) 2017-12-20 2018-12-20 确定光谱信息的设备和方法

Country Status (7)

Country Link
US (1) US11415507B2 (zh)
EP (1) EP3729023A1 (zh)
CN (1) CN111512127B (zh)
AU (1) AU2018390499B2 (zh)
CA (1) CA3114274A1 (zh)
GB (1) GB201721451D0 (zh)
WO (1) WO2019122891A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3134270B3 (fr) * 2022-04-05 2024-04-19 Konatic Procédé de rectification de la luminosité d’une image numérique

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014091214A1 (en) * 2012-12-12 2014-06-19 The University Of Birmingham Surface geometry imaging
CN104040287A (zh) * 2012-01-05 2014-09-10 合欧米成像公司 用于光学测量的设备及相关方法
CN104897616A (zh) * 2015-05-26 2015-09-09 北京理工大学 任意形状样品多光谱双向反射分布函数的测量方法和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK0972220T3 (da) * 1997-04-04 2002-03-11 Isis Innovation Afbildningsapparat og -fremgangsmåde til mikroskopi
WO2005008174A1 (ja) * 2003-07-23 2005-01-27 Brother Kogyo Kabushiki Kaisha ３次元形状検出装置、撮像装置、及び、３次元形状検出方法
US11510600B2 (en) 2012-01-04 2022-11-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
US9325966B2 (en) 2012-07-30 2016-04-26 Canon Kabushiki Kaisha Depth measurement using multispectral binary coded projection and multispectral image capture
CN104463967A (zh) 2014-12-19 2015-03-25 北京理工大学 一种皮肤病量化评价装置
US9945828B1 (en) 2015-10-23 2018-04-17 Sentek Systems Llc Airborne multispectral imaging system with integrated navigation sensors and automatic image stitching
US10012496B2 (en) * 2015-10-29 2018-07-03 Canon Kabushiki Kaisha Multispectral binary coded projection using multiple projectors
JP6810167B2 (ja) 2016-05-27 2021-01-06 ヴェリリー ライフ サイエンシズ エルエルシー ４ｄハイパースペクトル撮像のためのシステムおよび方法
US10154624B2 (en) 2016-08-08 2018-12-18 The Climate Corporation Estimating nitrogen content using hyperspectral and multispectral images
CN206132218U (zh) 2016-09-18 2017-04-26 西安理工大学 一种用于植物工厂的实时光谱成像及光质智能控制系统
CN106908445A (zh) 2017-04-14 2017-06-30 浙江理工大学 基于高光谱的空间频域成像装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104040287A (zh) * 2012-01-05 2014-09-10 合欧米成像公司 用于光学测量的设备及相关方法
WO2014091214A1 (en) * 2012-12-12 2014-06-19 The University Of Birmingham Surface geometry imaging
CN104897616A (zh) * 2015-05-26 2015-09-09 北京理工大学 任意形状样品多光谱双向反射分布函数的测量方法和系统

Also Published As

Publication number Publication date
CN111512127A (zh) 2020-08-07
EP3729023A1 (en) 2020-10-28
WO2019122891A1 (en) 2019-06-27
CA3114274A1 (en) 2019-06-27
US20210010930A1 (en) 2021-01-14
AU2018390499A1 (en) 2020-06-18
AU2018390499B2 (en) 2024-02-15
GB201721451D0 (en) 2018-01-31
US11415507B2 (en) 2022-08-16

Similar Documents

Publication Publication Date Title
US10235584B2 (en) System for object authenticity detection including a reference image acquisition module and a user module and methods therefor
US7626709B2 (en) Device for examining the optical properties of surfaces
CN102252630B (zh) 形状计测装置以及校准方法
US10041787B2 (en) Object detection device
US7019826B2 (en) Optical inspection system, apparatus and method for reconstructing three-dimensional images for printed circuit board and electronics manufacturing inspection
Schwartz et al. Design and implementation of practical bidirectional texture function measurement devices focusing on the developments at the university of bonn
US10012496B2 (en) Multispectral binary coded projection using multiple projectors
US9769392B1 (en) Imaging system for addressing specular reflection
KR20170086570A (ko) Tof 시스템을 위한 다중 패턴 조명 광학장치
JP5133626B2 (ja) 表面反射特性測定装置
US9470778B2 (en) Learning from high quality depth measurements
KR20220103962A (ko) 디스플레이를 통한 깊이 측정
CN101924053A (zh) 检测晶片的系统和方法
KR20110136866A (ko) 표면 형상 계측 장치, 계측 장치, 및 관찰 장치
CN111512127B (zh) 确定光谱信息的设备和方法
JP2019144203A (ja) 画像検査装置および画像検査方法
US20190120759A1 (en) Illumination system for recognizing material and method of recognizing material using the same
JP7056131B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
CN110248056A (zh) 图像检查装置
WO2021069400A1 (en) Projector for illuminating at least one object
JP2011095131A5 (zh)
JP6938093B2 (ja) 検査対象物の境界部を検査する方法及びその検査装置
KR101996023B1 (ko) 조명 시스템
JP6939501B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
KR101401395B1 (ko) 표면각도 측정 광센서 및 이를 이용한 표면각도 및 형상정보 감지방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant