CN103487145A - 多光谱采集系统的标定方法及系统 - Google Patents
多光谱采集系统的标定方法及系统 Download PDFInfo
- Publication number
- CN103487145A CN103487145A CN201310449762.5A CN201310449762A CN103487145A CN 103487145 A CN103487145 A CN 103487145A CN 201310449762 A CN201310449762 A CN 201310449762A CN 103487145 A CN103487145 A CN 103487145A
- Authority
- CN
- China
- Prior art keywords
- multispectral
- acquisition system
- spectrum
- way
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000003595 spectral effect Effects 0.000 claims description 30
- 238000005070 sampling Methods 0.000 claims description 15
- 239000006185 dispersion Substances 0.000 claims description 10
- 239000004973 liquid crystal related substance Substances 0.000 claims description 7
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 11
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004611 spectroscopical analysis Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本发明提出一种多光谱采集系统的标定方法,包括以下步骤:通过双路多光谱采集系统对标准光源下的场景信息进行采集以得到双路多光谱图像;根据其中一路多光谱图像采样点的光谱信息、标准光源的光谱特征及多光谱采集系统的光路特征,对采样点的光谱进行光谱标定;提供两个不同扫描方向的扫描视频并通过标定视频演示装置进行演示,在演示时分别对两个扫描视频进行拍摄;根据拍摄的两个扫描视频得到采样点的匹配点,以完成采样点的空间位置标定。本发明能够准确地对双路多光谱采集系统进行光谱标定,精确地将两路采集图像的空间位置进行对准匹配,使双路多光谱采集系统能有效地对光谱图像进行采集。本发明还提出一种多光谱采集系统的标定系统。
Description
技术领域
本发明涉及光谱计算和计算摄像学技术领域,特别涉及一种多光谱采集系统的标定方法及系统。
背景技术
随着传感成像技术、计算机图形学、计算机视觉以及数字媒体处理技术等的快速发展,一门以计算采集与重构技术为核心的全新学科——计算摄像学逐渐形成。计算摄像学将计算机图形学、计算机视觉等计算机技术、现代传感器以及现代光学等技术相结合,从而达到提高与增强数字摄像学的能力,获得传统摄像技术无法获得的图像和视频的目的。近年来,计算摄像学作为一个快速发展的新兴交叉学科,已经成为了国际前沿研究热点。
尽管近年来数字传感技术的发展巨大,数码相机已经取代了传统胶卷相机的地位,但是现代数字摄像技术并没有改变传统相机小孔成像的原理,其工作原理仍是将高维场景(常用七维全光函数表示)经过光学系统投影到二维的传感器,进行采样数字化处理后形成计算机可显示的图像。由此可以看出,在投影和采样数字化的过程中,现有的数字摄影技术不可避免地存在的全光函数其它维度上信息的丢失与耦合等固有问题。
计算摄像学正是从这一角度出发,通过引入计算机技术、现代传感器和现代光学等技术,设计新型的采集系统和采集机制,对视觉世界信息进行编解码与重构,从而尽可能的获得原场景的多维信息。光谱采集技术正是计算摄像学的其中一个很重要的研究方向。早期的彩色成像技术曾试图想通过获得光谱特性加以得到,在100多年前,诺贝尔奖得主李普曼就尝试通过光的干涉原理来采集光谱,从而得到颜色信息,但这一方法设备复杂且需要很长的测量时间。人眼视觉系统有三种视锥细胞,分别对光谱中三个不同的频段感应并以红、绿、蓝三种颜色的形式被人所感知,从而组成人眼的自然图像。与此相应,传统意义上的彩色照相与摄影技术中常常采用麦克斯韦的三原色(RGB:Red,Green,Blue)成像原理,通过CCD不同的颜色积分曲线去捕捉场景的RGB三通道信息。
自然场景中常常包含有丰富完整而有意义的光谱信息,如果仅仅对RGB三通道进行捕捉,将不可避免地丧失了整个光谱中的大量有意义的细节信息,而这些细节信息常常在科研、军事、医疗等诸多领域具有重要意义。计算摄像学领域中的多光谱采集技术正是从这一角度出发,基于计算摄像的新型成像技术,对整个场景中的光谱信息进行采集与重构的工作。
根据技术要求和采集条件的不同,现有的多光谱采集系统可以分为三类:光谱分析仪、扫描式光谱成像仪和单次拍摄成像光谱仪。各种技术解决方案都是通过牺牲空间或时间分辨率的方式对于光谱分辨率进行补偿,以采集多光谱信息,如何获得高时间分辨率、高空间分辨率、高光谱分辨率的场景信息仍然是一个难题。2011年初,一种基于混合相机系统的进行多光谱采集系统被提出,其在牺牲空间分辨率获得附加光谱分辨率的同时,使用双路采集的技术,对场景进行双路采集,从得到的多路数据中重构出高时空分辨率的多光谱视频,实现了一种多光谱采集技术。其后,一种可以实现更大景深范围和光通量的高分辨率多光谱数据采集系统被提出,它采用成像物镜装置、掩膜采样装置、双阿米西棱镜分光装置对场景进行双路采集。虽然上述提到的工作均采用双路采集的方式,较好地多光谱视频信息进行采集和初步的标定,但是其仍缺乏一种精确的空间几何标定和光谱标定方法。
发明内容
本发明旨在至少解决上述技术问题之一或至少提供一种有用的商业选择。
为此,本发明的一个目的在于提出一种多光谱采集系统的标定方法,该方法能够准确地对双路多光谱采集系统进行光谱标定,并精确地将两路采集图像的空间位置进行对准匹配,从而使双路多光谱采集系统能有效地采集场景的多光谱图像。
本发明的另一个目的在于提出一种多光谱采集系统的标定系统。
为了实现上述目的,本发明第一方面的实施例提出了一种多光谱采集系统的标定方法,包括以下步骤:S1:通过双路多光谱采集系统对标准光源下的场景信息进行采集以得到双路多光谱图像,所述双路多光谱图像包括多光谱图像和RGB彩色图像;S2:根据所述多光谱图像的采样点的多光谱信息、所述标准光源的光谱特征及所述多光谱采集系统的光路特征,对采样点的光谱进行光谱标定;S3:提供两个不同扫描方向的扫描视频并通过标定视频演示装置进行演示,在演示的同时使用所述双路多光谱采集系统分别对所述两个不同扫描方向的扫描视频进行拍摄;S4:基于所述光谱标定,根据拍摄的两个不同扫描方向的扫描视频得到所述采样点的匹配点,以完成所述采样点的空间位置标定。
根据本发明实施例的多光谱采集系统的标定方法,可使多光谱采集系统能够精确地对双路多光谱采集系统进行光谱标定,精确地将两路采集图像的空间位置进行对准匹配,为场景光线的光谱信息的有效采集提供了良好的基础,使双路多光谱采集系统能够精确地对光谱图像进行采集。
另外,根据本发明上述实施例的多光谱采集系统的标定方法还可以具有如下附加的技术特征:
在本发明的实施例中,所述通过双路多光谱采集系统对标准光源下的场景信息进行采集以得到双路多光谱图像,具体包括:使用标准光源对白屏进行照射,将场景的光线用分光镜分为两路,将其中一路光线通过掩膜进行采样,并通过三棱镜对采样的光线束进行色散,所述光线在空间中横向发散,并通过灰度相机对色散后的光线进行拍摄,获得采样后的光谱图像,对于另一路光线使用RGB相机直接拍摄获得彩色RGB图像。
在本发明的实施例中,所述通过双路多光谱采集系统对标准光源下的场景信息进行采集以得到双路多光谱图像,还包括:在所述掩膜和所述分光镜之间加入第一透镜,以及在所述掩膜和所述三棱镜之间加入第二透镜,并将所述三棱镜替换为双阿米西棱镜。
在本发明的实施例中,所述标准光源为荧光灯。
在本发明的实施例中,所述对采样点的光谱进行光谱标定进一步包括:分析所述多光谱采集系统的光路,并根据所述多光谱采集系统的参数对所述多光谱采集系统进行模拟实验以得到空间位置函数;对其中一路光谱图像中采样点的空间位置进行检测,并对每个采样点的光谱带进行标记,标记出所述标准光源的光线的特征谱段的空间位置;将所述空间位置作为控制点,并通过B样条曲线插值法,对所述采样点的整条光谱进行光谱标定。
在本发明的实施例中,所述两个不同扫描方向的扫描视频的背景为黑色,且其规律图形条纹沿两个不同方向进行扫描。
在本发明的实施例中,所述两个不同扫描方向上的扫描视频包括:第一扫描视频,所述第一扫描视频的背景为黑色,图案为白色条状竖线,且所述第一扫描视频的条纹随时间从左向右移动;第二扫描视频,所述第二扫描视频的背景为黑色,图案为白色条状横线的视频,且所述第二扫描视频的条纹随时间从上向下移动。
在本发明的实施例中,所述标定视频演示装置为液晶显示器或投影仪。
在本发明的实施例中,所述完成所述采样点的空间位置标定,进一步包括:对其中一路多光谱采样视频进行分析,找出采样点被照亮的时间段,并将所述时间段作为所述采样点的对准时刻,并根据扫描视频的特征,找出相应时刻下另一路RGB相机的对应点,并将所述对应点作为所述采样点的对应点,以完成空间位置标定。
本发明第二方面的实施例提出了一种多光谱采集系统的标定系统,包括:双路多光谱采集模块,所述双路多光谱采集模块用于采集双路多光谱视频图像,且其中一路采集模块对场景的光谱图像进行采样并采集,以获得采样点的光谱信息,另一路采集模块采集获得场景的RGB图像;标定视频演示模块,所述标定视频演示模块用于提供标准视频场景,或提供标准光源下的特定场景;计算标定模块,所述计算标定模块用于根据采集到的标定场景的双路光谱数据,对两路的多光谱图像进行计算,从而对所述多光谱采集系统进行光谱和空间位置标定。
根据本发明实施例的多光谱采集系统的标定系统,可对双路多光谱采集系统进行精确地光谱标定,精确地将两路采集图像的空间位置进行对准匹配,为场景光线的光谱信息的有效采集提供了良好的基础,使双路多光谱采集系统能够精确地对光谱图像进行采集。
另外,根据本发明上述实施例的多光谱采集系统的标定系统还可以具有如下附加的技术特征:
在本发明的实施例中,所述双路多光谱采集模块进一步包括:分光镜,所述分光镜用于将所述场景的光线分为两路;掩膜,在所述其中一路采集模块中,所述掩膜用于对所述场景进行采样;三棱镜,所述三棱镜用于对采样后的光线进行色散;灰度相机,所述灰度相机用于记录色散后的光线,以得到所述采样点的光谱信息;RGB相机,所述RGB相机用于采集经过所述分光镜的另一路光线,以得到彩色RGB图像。
在本发明的实施例中,所述双路多光谱采集模块还包括:第一透镜、第二透镜和双阿米西棱镜,其中,所述第一透镜设置在所述掩膜与所述分光镜之间,所述第二透镜设置在所述掩膜与所述三棱镜之间,且所述三棱镜被所述双阿米西棱镜替换。
在本发明的实施例中,所述标定视频演示模块进一步包括:荧光灯、投影仪或液晶显示器、屏幕和电脑主机。
在本发明的实施例中,所述计算标定模块根据所述标准光源下采集获得的一路多光谱采样图像进行光谱标定,并根据两个不同方向上的扫描视频进行空间位置标定。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明一个实施例的多光谱采集系统的标定方法的流程图;
图2为根据本发明一个实施例的多光谱采集系统的标定系统示意图;
图3为根据本发明一个实施例多光谱采集系统的标定系统的结构图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
以下结合附图详细描述根据本发明实施例的多光谱采集系统的标定方法及系统。
图1为根据本发明一个实施例的多光谱采集系统的标定方法的流程图。
如图1所示,根据本发明一个实施例的多光谱采集系统的标定方法,包括以下步骤:
步骤S101,通过双路多光谱采集系统对标准光源下的场景信息进行采集以得到双路多光谱图像,其中,该双路多光谱图像包括多光谱图像和RGB彩色图像。具体而言,对特定场景使用标准光源进行照射,并通过双路多光谱采集系统对场景进行拍摄,从而获得采样后的低空间分辨率高光谱分辨率的多光谱图像和高空间分辨率的RGB彩色图像。
在本发明的一个优选实施例中,使用荧光灯作为标准光源,对白屏场景进行照射,双路多光谱采集系统采集双路多光谱图像具体方法为:首先将场景的光线用分光镜分为两路,将其中一路光线通过掩膜进行采样,并通过三棱镜对采样的光线束进行色散,该光线在空间中横向发散,并通过灰度相机进行采集,由此即可获得场景的采样后的高光谱分辨率低空间分辨率的多光谱图像;为弥补采样造成的空间分辨率丢失,另一路光线直接由RGB彩色相机进行采集,拍摄获得高空间分辨率的RGB彩色图像,从信息传输的角度来说,这保留了高分辨率场景的全部低光谱分辨率信息。
另外,如图2所示,在本发明的另一个实施例中,在掩膜与分光镜之间加入第一透镜,在掩膜与三棱镜之间加入第二透镜,并将三棱镜替换为双阿米西棱镜。
步骤S102,根据多光谱图像的采样点的多光谱信息、标准光源的光谱特征及多光谱系统的光路特征,对采样点的光谱进行光谱标定。具体而言,首先分析多光谱采集系统的光路特性,根据多光谱采集系统的各参数对多光谱采集系统进行模拟实验,得到估计的多光谱采集系统的光谱-空间位置函数;其次,对其中一路采集获得的光谱图像中采样点的空间位置进行检测,并对每个采样点的光谱带进行标记,标记出标准光源的光线的特征谱段的空间位置,在本发明的一个优选实施例中,标准光源的光线的特征谱段为546.5nm和611.6nm。换言之即,根据荧光灯光线光谱在546.5nm和611.6nm处有两个明显的尖峰的特性,对采集获得的多光谱图像进行检测,标出并记录每个采样光谱中尖峰对应的空间位置;最后,对采样点的整条光谱进行光谱标定,具体而言,即利用两个尖峰作为控制点,采用基于B样条曲线插值的方法,对于采集得到的光谱进行光谱标定,得到整条光谱每个像素点对应的光谱波长。
步骤S103,提供两个不同扫描方向的扫描视频并通过标定视频演示装置进行演示,在演示的同时使用双路多光谱采集系统分别对两个不同扫描方向的扫描视频进行拍摄。其中,标定视频演示装置可以为但不限于投影仪、白屏和液晶显示器。场景的光线被双路多光谱采集系统按上述过程所述的方法进行采集,获得并记录了双路多光谱图像。
在上述步骤S103中,两种不同扫描方向的扫描视频的背景为黑色,且其规律图像条纹沿着两种不同方向进行扫描,且校正精度与图形的大小以及扫描速率密切相关,一般情况下,扫描速率越慢,图形大小越小,校正精度一般相对越精确。
另外,在本发明的一个实施例中,两种不同扫描方向上的扫描视频包括:第一扫描视频和第二扫描视频。第一扫描视频的背景为黑屏,图案为白色条状竖线,且其条纹随时间从左向右移动。第二扫描视频的背景为黑屏,图案为白色条状横线,且其条纹随时间从上向下移动。其中,第一扫描视频和第二扫描视频中条纹的宽度和移动速度均可随时进行独立调节,从而适应双路多光谱采集系统参数以及拍摄距离等的变化,确保到达最高的标定精度。进一步地,使用标定视频演示装置分别对两种不同方向上的视频进行演示,并使用双路多光谱采集系统进行采集并记录,以获得两个双路多光谱视频图像。
步骤S104,基于光谱标定,根据拍摄的两个不同扫描方向的扫描视频,得到采样点的匹配点,以完成该采样点的空间位置标定。具体地,对其中一路多光谱采样视频进行分析,找出每个采样点被照亮的时间段,作为该采样点的对准时刻,并根据扫描视频的特征,获取相应时刻下另一路RGB图像上的对应点,并将该对应点作为该采样点的对应点,以完成空间位置标定。
具体而言,即在光谱标定的基础上,根据记录的一路多光谱扫描视频,求出每个时刻每个采样点的平均光谱强度,从而分别找出两种扫描方向上每个采样点强度的最大值,将其乘以一定系数,作为判断该采样点是否被照亮的阈值,并对其中一路多光谱扫描视频进行分析,在两段不同扫描方向的扫描视频中,分别找出每个采样点亮度超过阈值的时段(t1~t2),若该时段的中点值(t1+t2)/2为整数,则将其作为该采样点的对准时刻,若不为整数,则将其相邻的两个整数作为该采样点的对准时刻,再根据每个采样点的不同扫描方向上的对准时刻,找出相应时刻下另一路RGB相机对应拍摄的两幅RGB彩色图像。根据这两幅RGB彩色图像,找出其横向条纹和纵向条纹交叉点的空间坐标。若对准时刻为两个相邻整数,且交叉点不唯一,则对所有交叉点的空间坐标取平均值。并将求出的空间坐标作为该采样点在另一路RGB相机中所对应的空间坐标。在本发明的一个实施例中,上述过程可以简化为将每个采样点强度取到其最大值所对应的时刻为对准时刻。
简言之,本发明实施例提出的多光谱采集系统的标定方法,首先生成双路多光谱图像,利用双路多光谱采集系统对标准光源下的场景信息进行采集,并根据其中一路采集的采样点多光谱信息,以及标准光源的光谱特征和系统光路特征,对采样点的光谱进行标定,再设计两种不同扫描方向的扫描视频,并利用双路多光谱采集系统加以拍摄并记录,最后根据拍摄获得的两个不同扫描方向的扫描视频,找出每个采样点的匹配点,以完成空间位置标定。
根据本发明实施例的多光谱采集系统的标定方法,可使多光谱采集系统能够精确地对光谱数据进行采集,并精确地将两路采集图像的空间位置进行对准匹配,为场景光线的光谱图像信息的有效采集提供了良好的基础。
图3为根据本发明一个实施例的多光谱采集系统的标定系统的结构图。
如图3所示,根据本发明一个实施例的多光谱采集系统的标定系统300,包括:双路多光谱采集模块310、标定视频演示模块320和计算标定模块330。
双路多光谱采集模块310用于采集双路多光谱视频图像,且其中一路采集模块对场景的光谱图像进行采样并采集,以获得每个采样点的光谱信息,另一路采集模块采集获得场景的RGB图像。
进一步地,在本发明的一个实施例中,双路多光谱采集模块310包括:分光镜、掩膜、三棱镜、灰度相机和RGB相机。
具体地,使用分光镜将场景光线分为两路,分别对高空间分辨率RGB彩色图像和高光谱分辨率低空间分辨率场景进行采集,在采集高光谱分辨率低空间分辨率场景的一路光路中,用掩膜对场景进行采样,然后使用三棱镜对光线进行色散,使光线在空间中横向散开,散开后的光线在高空间分辨率的灰度相机中被记录下来,由此得到采样点的光谱信息。为弥补采样造成的空间分辨率上的丢失,由另一路相机负责采集高空间分辨率的彩色RGB图像,则经过分光镜的另一部分光线直接被高空间分辨率的RGB相机所采集,以获得彩色RGB图像。
在本发明另一个实施例中,双路多光谱采集模块310还包括:第一透镜、第二透镜和双阿米西棱镜。其中,第一透镜设置在掩膜和分光镜之间,第二透镜设置在掩膜和三棱镜之间,且三棱镜被双阿米西棱镜所替代。
标定视频演示模块320用于提供标准视频场景,或提供标准光源下的特定场景。
在本发明的一个实施例中,标定视频演示装置320包括:荧光灯、投影仪或液晶显示器、屏幕和电脑主机。其中,投影仪或液晶显示器可将预先设定好的规律扫描视频投影(即显示)到屏幕上。荧光灯用于为标定提供标准光源。在演示扫描视频时,电脑主机用于设计扫描视频并控制各个模块之间的配合。
计算标定模块330用于根据采集到的双路多光谱数据,对两路的多光谱图像进行计算,从而对多光谱采集系统进行光谱和空间位置标定。具体地,计算标定模块330首先根据荧光灯下采集获得的一路多光谱采样图像进行光谱标定,根据其光谱在546.5nm和611.6nm处有两处尖峰的特性,计算获得每个采样点光谱条上每个像素点对应的光谱波长,然后根据两个不同方向上的扫描视频进行空间位置标定,找出条纹对准其中一路光路中每个采样点的对准时刻,从而标定出另一路相机图像中每个采样点所对应的空间位置坐标。
根据本发明实施例的多光谱采集系统的标定系统,可使多光谱采集系统能够精确地对多光谱图像进行采集,准确地对双路多光谱采集系统进行光谱标定,并精确地将两路采集图像的空间位置进行对准匹配,为场景光线的光谱信息的有效采集提供了良好的基础。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同限定。
Claims (14)
1.一种多光谱采集系统的标定方法,其特征在于,包括以下步骤:
S1:通过双路多光谱采集系统对标准光源下的场景信息进行采集以得到双路多光谱图像,所述双路多光谱图像包括多光谱图像和RGB彩色图像;
S2:根据所述多光谱图像的采样点的多光谱信息、所述标准光源的光谱特征及所述多光谱采集系统的光路特征,对采样点的光谱进行光谱标定;
S3:提供两个不同扫描方向的扫描视频并通过标定视频演示装置进行演示,在演示的同时使用所述双路多光谱采集系统分别对所述两个不同扫描方向的扫描视频进行拍摄;
S4:基于所述光谱标定,根据拍摄的两个不同扫描方向的扫描视频得到所述采样点的匹配点,以完成所述采样点的空间位置标定。
2.如权利要求1所述的多光谱采集系统的标定方法,其特征在于,所述通过双路多光谱采集系统对标准光源下的场景信息进行采集以得到双路多光谱图像,具体包括:
使用标准光源对白屏进行照射,将场景的光线用分光镜分为两路,将其中一路光线通过掩膜进行采样,并通过三棱镜对采样的光线束进行色散,所述光线在空间中横向发散,并通过灰度相机对色散后的光线进行拍摄,获得采样后的多光谱图像,对于另一路光线使用RGB相机直接拍摄获得彩色RGB图像。
3.如权利要求2所述的多光谱采集系统的标定方法,其特征在于,所述通过双路多光谱采集系统对标准光源下的场景信息进行采集以得到双路多光谱图像,还包括:
在所述掩膜和所述分光镜之间加入第一透镜,以及在所述掩膜和所述三棱镜之间加入第二透镜,并将所述三棱镜替换为双阿米西棱镜。
4.如权利要求1所述的多光谱采集系统的标定方法,其特征在于,所述标准光源为荧光灯。
5.如权利要求1所述的多光谱采集系统的标定方法,其特征在于,所述对采样点的光谱进行光谱标定进一步包括:
分析所述多光谱采集系统的光路,并根据所述多光谱采集系统的参数对所述多光谱采集系统进行模拟实验以得到空间位置函数;
对其中一路多光谱图像中采样点的空间位置进行检测,并对每个采样点的光谱带进行标记,标记出所述标准光源的光线的特征谱段的空间位置;
将所述空间位置作为控制点,并通过B样条曲线插值法,对所述采样点的整条光谱进行光谱标定。
6.如权利要求1所述的多光谱采集系统的标定方法,其特征在于,所述两个不同扫描方向的扫描视频的背景为黑色,且其规律图形条纹沿两个不同方向进行扫描。
7.如权利要求6所述的多光谱采集系统的标定方法,其特征在于,所述两个不同扫描方向上的扫描视频包括:
第一扫描视频,所述第一扫描视频的背景为黑色,图案为白色条状竖线,且所述第一扫描视频的条纹随时间从左向右移动;
第二扫描视频,所述第二扫描视频的背景为黑色,图案为白色条状横线的视频,且所述第二扫描视频的条纹随时间从上向下移动。
8.如权利要求1所述的多光谱采集系统的标定方法,其特征在于,所述标定视频演示装置为液晶显示器或投影仪。
9.如权利要求1所述的多光谱采集系统的标定方法,其特征在于,所述完成所述采样点的空间位置标定,还进一步包括:
对其中一路多光谱采样视频进行分析,找出采样点被照亮的时间段,并将所述时间段作为所述采样点的对准时刻,并根据扫描视频的特征,获取相应时刻下另一路RGB图像上的对应点,并将所述对应点作为所述采样点的对应点,以完成所述采样点的空间位置标定。
10.一种多光谱采集系统的标定系统,其特征在于,包括:
双路多光谱采集模块,所述双路多光谱采集模块用于采集双路多光谱视频图像,且其中一路采集模块对场景的光谱图像进行采样并采集,以获得采样点的光谱信息,另一路采集模块采集获得场景的RGB图像;
标定视频演示模块,所述标定视频演示模块用于提供标准视频场景,或提供标准光源下的特定场景;
计算标定模块,所述计算标定模块用于根据采集到的双路多光谱数据,对两路的多光谱图像进行计算,从而对所述多光谱采集系统进行光谱和空间位置标定。
11.如权利要求10所述的多光谱采集系统的标定系统,其特征在于,所述双路多光谱采集模块进一步包括:
分光镜,所述分光镜用于将所述场景的光线分为两路;
掩膜,在所述其中一路采集模块中,所述掩膜用于对所述场景进行采样;
三棱镜,所述三棱镜用于对采样后的光线进行色散;
灰度相机,所述灰度相机用于记录色散后的光线,以得到所述采样点的光谱信息;
RGB相机,所述RGB相机用于采集经过所述分光镜的另一路光线,以得到彩色RGB图像。
12.如权利要求11所述的多光谱采集系统的标定系统,其特征在于,所述双路多光谱采集模块还包括:
第一透镜、第二透镜和双阿米西棱镜,其中,所述第一透镜设置在所述掩膜与所述分光镜之间,所述第二透镜设置在所述掩膜与所述三棱镜之间,且所述三棱镜被所述双阿米西棱镜替换。
13.如权利要求10所述的多光谱采集系统的标定系统,其特征在于,所述标定视频演示模块进一步包括:
荧光灯、投影仪或液晶显示器、屏幕和电脑主机。
14.如权利要求10所述的多光谱采集系统的标定系统,其特征在于,所述计算标定模块根据所述标准光源下采集获得的一路多光谱采样图像进行光谱标定,并根据两个不同方向上的扫描视频进行空间位置标定。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310449762.5A CN103487145B (zh) | 2013-09-25 | 2013-09-25 | 多光谱采集系统的标定方法及系统 |
US14/305,668 US9210418B2 (en) | 2013-09-25 | 2014-06-16 | Method and apparatus for calibrating multi-spectral sampling system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310449762.5A CN103487145B (zh) | 2013-09-25 | 2013-09-25 | 多光谱采集系统的标定方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103487145A true CN103487145A (zh) | 2014-01-01 |
CN103487145B CN103487145B (zh) | 2015-04-15 |
Family
ID=49827546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310449762.5A Active CN103487145B (zh) | 2013-09-25 | 2013-09-25 | 多光谱采集系统的标定方法及系统 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9210418B2 (zh) |
CN (1) | CN103487145B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103884427A (zh) * | 2014-03-11 | 2014-06-25 | 清华大学 | 高光谱高空间分辨率的图像获取方法及装置 |
CN103940511A (zh) * | 2014-04-03 | 2014-07-23 | 清华大学 | 高光谱采集系统的光谱谱线定标方法及装置 |
CN105091905A (zh) * | 2015-06-10 | 2015-11-25 | 清华大学 | 混合相机高光谱采集系统的标定方法及系统 |
CN106338487A (zh) * | 2016-09-29 | 2017-01-18 | 北京建筑大学 | 一种字画鉴别方法和装置 |
CN107110707A (zh) * | 2015-01-07 | 2017-08-29 | 奥林巴斯株式会社 | 分光图像获取装置 |
CN107655571A (zh) * | 2017-09-19 | 2018-02-02 | 南京大学 | 一种基于色散模糊的光谱成像系统及其光谱重建方法 |
CN108038888A (zh) * | 2017-12-19 | 2018-05-15 | 清华大学 | 混合相机系统及其空间标定方法及装置 |
CN108844628A (zh) * | 2018-04-04 | 2018-11-20 | 湖北三江航天万峰科技发展有限公司 | 一种多光谱成像探测系统 |
CN110503690A (zh) * | 2018-05-16 | 2019-11-26 | 南京大学 | 一种高光谱视频采集系统的双路相机对齐方法 |
CN113049103A (zh) * | 2021-03-12 | 2021-06-29 | 西安电子科技大学 | 基于dmd可变编码模板的光谱视频采集方法 |
CN113280919A (zh) * | 2021-05-08 | 2021-08-20 | 中国科学院长春光学精密机械与物理研究所 | 目标物体的光谱探测方法、光谱探测装置及存储介质 |
CN114035320A (zh) * | 2022-01-10 | 2022-02-11 | 中国人民解放军63921部队 | 一种共口径宽光谱成像系统 |
CN114279568A (zh) * | 2022-03-04 | 2022-04-05 | 清华大学 | 基于色散进行编码压缩的多光谱成像方法、装置及设备 |
WO2023028939A1 (zh) * | 2021-09-02 | 2023-03-09 | 深圳市大疆创新科技有限公司 | 信息采集系统及其标定方法、装置及计算机可读存储介质 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6462990B2 (ja) * | 2014-03-07 | 2019-01-30 | キヤノン株式会社 | 画像処理装置およびその方法 |
US10551604B2 (en) * | 2016-05-27 | 2020-02-04 | Verily Life Sciences Llc | Spatial light modulator based hyperspectral confocal microscopes and methods of use |
DE102021207009A1 (de) * | 2021-07-05 | 2023-01-05 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zum Erkennen eines Pflanzengesundheitszustands von Pflanzen für eine Landmaschine |
CN115079505B (zh) * | 2022-05-31 | 2024-05-10 | 合肥埃科光电科技股份有限公司 | 基于泰伯效应的棱镜分光多光谱相机匹配校准装置及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102279050A (zh) * | 2011-07-28 | 2011-12-14 | 清华大学 | 一种多光谱计算重构方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9118797B2 (en) * | 2009-11-20 | 2015-08-25 | Tripurari Singh | Method and system for robust and flexible extraction of image information using color filter arrays |
US8285018B2 (en) * | 2010-03-02 | 2012-10-09 | National Chung Cheng University | Method for reconstructing color images |
-
2013
- 2013-09-25 CN CN201310449762.5A patent/CN103487145B/zh active Active
-
2014
- 2014-06-16 US US14/305,668 patent/US9210418B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102279050A (zh) * | 2011-07-28 | 2011-12-14 | 清华大学 | 一种多光谱计算重构方法及系统 |
Non-Patent Citations (1)
Title |
---|
郑逢杰等: "多光谱成像仪几何定标系统设计与实现", 《微计算机信息》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103884427A (zh) * | 2014-03-11 | 2014-06-25 | 清华大学 | 高光谱高空间分辨率的图像获取方法及装置 |
CN103940511A (zh) * | 2014-04-03 | 2014-07-23 | 清华大学 | 高光谱采集系统的光谱谱线定标方法及装置 |
CN103940511B (zh) * | 2014-04-03 | 2015-12-09 | 清华大学 | 高光谱采集系统的光谱谱线定标方法及装置 |
CN107110707B (zh) * | 2015-01-07 | 2018-08-17 | 奥林巴斯株式会社 | 分光图像获取装置 |
CN107110707A (zh) * | 2015-01-07 | 2017-08-29 | 奥林巴斯株式会社 | 分光图像获取装置 |
CN105091905A (zh) * | 2015-06-10 | 2015-11-25 | 清华大学 | 混合相机高光谱采集系统的标定方法及系统 |
CN106338487A (zh) * | 2016-09-29 | 2017-01-18 | 北京建筑大学 | 一种字画鉴别方法和装置 |
CN107655571A (zh) * | 2017-09-19 | 2018-02-02 | 南京大学 | 一种基于色散模糊的光谱成像系统及其光谱重建方法 |
CN107655571B (zh) * | 2017-09-19 | 2019-11-15 | 南京大学 | 一种基于色散模糊的光谱成像系统及其光谱重建方法 |
CN108038888A (zh) * | 2017-12-19 | 2018-05-15 | 清华大学 | 混合相机系统及其空间标定方法及装置 |
CN108844628A (zh) * | 2018-04-04 | 2018-11-20 | 湖北三江航天万峰科技发展有限公司 | 一种多光谱成像探测系统 |
CN110503690A (zh) * | 2018-05-16 | 2019-11-26 | 南京大学 | 一种高光谱视频采集系统的双路相机对齐方法 |
CN113049103A (zh) * | 2021-03-12 | 2021-06-29 | 西安电子科技大学 | 基于dmd可变编码模板的光谱视频采集方法 |
CN113280919A (zh) * | 2021-05-08 | 2021-08-20 | 中国科学院长春光学精密机械与物理研究所 | 目标物体的光谱探测方法、光谱探测装置及存储介质 |
WO2023028939A1 (zh) * | 2021-09-02 | 2023-03-09 | 深圳市大疆创新科技有限公司 | 信息采集系统及其标定方法、装置及计算机可读存储介质 |
CN114035320A (zh) * | 2022-01-10 | 2022-02-11 | 中国人民解放军63921部队 | 一种共口径宽光谱成像系统 |
CN114279568A (zh) * | 2022-03-04 | 2022-04-05 | 清华大学 | 基于色散进行编码压缩的多光谱成像方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN103487145B (zh) | 2015-04-15 |
US20150085141A1 (en) | 2015-03-26 |
US9210418B2 (en) | 2015-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103487145B (zh) | 多光谱采集系统的标定方法及系统 | |
CN112789495B (zh) | 混合光谱成像仪 | |
CN106840398B (zh) | 一种多光谱光场成像方法 | |
US7884980B2 (en) | System for capturing graphical images using hyperspectral illumination | |
KR101824290B1 (ko) | 고해상도 멀티스펙트럼 이미지 캡처 기법 | |
CN105651384B (zh) | 一种全光信息采集系统 | |
CN103940511B (zh) | 高光谱采集系统的光谱谱线定标方法及装置 | |
CN102661794B (zh) | 多光谱计算重构方法及系统 | |
US20220408065A1 (en) | Self-adaptive Adjustment Method and Adjustment System for Brightness of Projection Apparatus | |
CN102279050B (zh) | 一种多光谱计算重构方法及系统 | |
CN105910712B (zh) | 五通道自适应二维温度场测量装置及其测量方法 | |
CN102194103B (zh) | 用于车辆的主动可视性支持设备和方法 | |
CN106101549A (zh) | 昼夜自动切换方法、装置及系统 | |
CN101793671A (zh) | 均匀光源照明可变滤色片式多光谱成像仪 | |
CN106331662A (zh) | 一种图像撷取装置及图像撷取方法 | |
CN105359024A (zh) | 摄像装置和摄像方法 | |
CN105516713A (zh) | 基于机器视觉的道路交通闭路电视图像质量评价方法 | |
CN109729253A (zh) | 一种基于彩色和独立红绿蓝光学图像叠合增强的算法和四色摄像头 | |
CN102918355A (zh) | 三维摄像装置、光透过部、图像处理装置及程序 | |
JP2011211317A (ja) | 光源検出装置 | |
CN106998474B (zh) | 一种光谱多通道混合压缩传输方法 | |
JP2020536221A (ja) | 表面トポロジおよび関連する色を決定するための装置および方法 | |
Zhang et al. | Color matching criteria in augmented reality | |
CN106971391A (zh) | 一种基于颜色识别的多模板定位浸锡检测方法 | |
CN108981914A (zh) | Offner双路结构成像光谱仪及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |