CN107941337A - 快照式光谱成像方法、装置及光谱成像仪 - Google Patents

快照式光谱成像方法、装置及光谱成像仪 Download PDF

Info

Publication number
CN107941337A
CN107941337A CN201711136209.0A CN201711136209A CN107941337A CN 107941337 A CN107941337 A CN 107941337A CN 201711136209 A CN201711136209 A CN 201711136209A CN 107941337 A CN107941337 A CN 107941337A
Authority
CN
China
Prior art keywords
target
spectral
spectral reflectivity
spectrum
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711136209.0A
Other languages
English (en)
Inventor
廖宁放
柯斌
吴文敏
李亚生
杨文明
邓晨阳
白雪琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201711136209.0A priority Critical patent/CN107941337A/zh
Publication of CN107941337A publication Critical patent/CN107941337A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging

Abstract

本发明公开了一种快照式光谱成像方法、装置及光谱成像仪,所述方法包括:通过主成分分析算法,重建目标的光谱反射率曲线;根据目标的标准色度值和所述光谱反射率曲线,确定目标的光谱反射率;根据所述目标的光谱反射率,构建所述目标的光谱图像立方体。本发明具有分辨率高、曝光时间短的优势,可以获得瞬变目标场景的光谱信息和空间信息,具有速度快、稳定性好的特点。

Description

快照式光谱成像方法、装置及光谱成像仪
技术领域
本发明涉及光学工程及其相关学科领域,特别是涉及一种快照式光谱成像方法、装置及光谱成像仪。
背景技术
多光谱成像(Multispectral Imaging)是多波段光谱图像获取、处理、复制、显示等系列技术的简称。通常认为在可见光波段的多光谱图像的光谱分辨率大于10nm,该分辨率能够以较高的精度拟合或重建自然界中多数目标的辐射光谱或反射光谱信息,因此对于目标识别、物质成分分析、颜色分析及彩色图像再现等具有重要的价值。
在瞬变场景的多光谱成像(Snapshot Multispectral Imaging)技术方面,针对自然场合目标场景在空间位置、光照、亮度等多变化的情况,亟待发展快照式光谱成像仪。
发明内容
为了克服上述缺陷,本发明要解决的技术问题是提供一种快照式光谱成像方法、装置及光谱成像仪,用以提高光谱成像的速度和稳定性。
为解决上述技术问题,本发明中的一种快照式光谱成像方法,包括:
通过主成分分析算法,重建目标的光谱反射率曲线;
根据目标的标准色度值和所述光谱反射率曲线,确定目标的光谱反射率;
根据所述目标的光谱反射率,构建所述目标的光谱图像立方体。
为解决上述技术问题,本发明中的一种快照式光谱成像系统,包括存储模块和处理模块;所述存储模块存储有快照式光谱成像计算机程序;所述处理模块执行所述计算机程序,以实现如上所述方法的步骤。
为解决上述技术问题,本发明中的一种光谱成像仪,包括三峰滤光片、三基色焦平面传感器和如上所述的快照式光谱成像系统;
所述三峰滤光片用于将经过的目标的反射光过滤后,传输给所述三基色焦平面传感器;
所述三基色焦平面传感器用于根据过滤的反射光形成目标的三基色图像。
本发明有益效果如下:
本发明实施例中方法、系统及光谱仪具有分辨率高、曝光时间短的优势,可以获得瞬变目标场景的光谱信息和空间信息,具有速度快、稳定性好的特点。
附图说明
图1是本发明实施例中一种快照式光谱成像方法的流程图;
图2是本发明实施例中一种光谱成像仪的结构原理图;
图3是本发明实施例中一种光谱成像仪的工作原理图;
图4是本发明实施例中光谱图像立方体的示意图;
图5是本发明实施例中目标的实际光谱和重建光谱对比图。
具体实施方式
为了解决现有技术的问题,本发明提供了一种快照式光谱成像方法、装置及光谱成像仪,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不限定本发明。
实施例一
本发明实施例提供一种快照式光谱成像方法,如图1所示,所述方法包括:
S101,通过主成分分析算法,重建目标的光谱反射率曲线;
S102,根据目标的标准色度值和所述光谱反射率曲线,确定目标的光谱反射率;
S103,根据所述目标的光谱反射率,构建所述目标的光谱图像立方体。
本发明实施例中方法有效提高了光谱成像仪的精度和图像识别概率;本发明实施例中方法具有分辨率高、速度快、稳定性好、无需配准的特点,特别适合于复杂条件下窄带多光谱图像立方体的重建和分析。
在本发明实施例中,可选地,所述根据目标的标准色度值和所述光谱反射率曲线,确定目标的光谱反射率之前,包括:
采集所述目标的2组三基色图像;
根据所述2组三基色图像,确定所述2组三基色图像的每个像素点的标准色度值。
在本发明实施例中,可选地,所述根据所述2组三基色图像,确定所述2组三基色图像的每个像素点的标准色度值之后,包括:
将所述2组三基色图像的每个像素点的标准色度值存储在用于存储所述光谱反射率曲线的光谱反射率库中。
在本发明实施例中,可选地,所述光谱反射率曲线由标准色度坐标和光谱反射率构成;
所述根据目标的标准色度值和所述光谱反射率曲线,确定目标的光谱反射率,包括:
对于每个像素点,根据色差最小原则,确定与该像素点的标准色度值最接近的标准色度坐标;
在所述光谱反射率曲线上,根据所述标准色度坐标确定对应的光谱反射率。
在本发明实施例中,可选地,所述根据所述目标的光谱反射率,构建所述目标的光谱图像立方体,包括:
确定待要产生的光谱切片的各个波长;
对于每个波长,根据每个像素点的光谱反射率和灰度值,确定每个像素点对应于该波长的光谱值;
根据各个波长的光谱值,构建所述目标的光谱图像立方体。
实施例二
本发明实施例提供一种快照式光谱成像系统,所述系统包括存储模块和处理模块;所述存储模块存储有快照式光谱成像计算机程序;所述处理模块执行所述计算机程序,以实现如实施例一中任意一项所述方法的步骤。
在具体实现时,可以参阅实施例一,也具有相应的技术效果。
实施例三
本发明实施例提供一种光谱成像仪,所述光谱成像仪包括三峰滤光片、三基色焦平面传感器和如实施例二中所述的快照式光谱成像系统;
所述三峰滤光片用于将经过的目标的反射光过滤后,传输给所述三基色焦平面传感器;
所述三基色焦平面传感器用于根据过滤的反射光形成目标的三基色图像。
在本发明实施例中,可选地,所述光谱成像仪还包括滤光片切换装置;所述三峰滤光片不少于2组;
所述滤光片切换装置用于切换各组三峰滤光片,以使各组三峰滤光片分别将经过的目标的反射光过滤后,传输给所述三基色焦平面传感器。
本发明实施例中快照式光谱成像系统也可以称之为数据采集与处理系统。
本发明实施例利用三基色焦平面传感器分辨率高,曝光时间短的优势,可以获得瞬变目标场景的光谱信息和空间信息,具有速度快、稳定性好的特点。整个装置由三峰滤光片、滤光片切换装置、三基色焦平面传感器、数据采集与处理系统等组成;采用三峰滤光片选择红绿蓝三种色光并进入三基色焦平面传感器;采用滤光片切换装置对两组三峰滤光片进行快速地横向切换,并依次由三基色焦平面传感器输出6个通道的窄带光谱图像;在数据采集与处理系统中采用6基向量主成分分析法或其它光谱分析法重建目标的光谱图像数据;本发明实施例具有分辨率高、速度快、稳定性好的特点,将为瞬变条件下多光谱成像提供一种有效的技术手段。
现结合图2简要说明本发明实施例:
本发明实施例由三峰滤光片、滤光片切换装置、三基色焦平面传感器、数据采集与处理系统等部分组成。
本发明实施例中采用三峰滤光片与三基色焦平面传感器组合,无需配准;三峰滤光片安装于三基色焦平面传感器之前,采用电控方式控制滤光片切换装置快速横向切换两组滤光片实现快照,与此同时获得两组目标的三基色图像,从而实现6通道的快照式多光谱成像。
本发明实施例三基色焦平面传感器曝光时间短,分辨率高。入射光经目标表面反射后经过三峰滤光片成像到三基色焦平面传感器上,再由光电信号转换成RGB数字信号,形成目标的三基色图像。采用三基色焦平面传感器获取目标的彩色图像,利用三基色焦平面传感器的曝光时间短,分辨率高的优势,可以获得瞬变目标场景的光谱信息和空间信息。
本发明实施还可以包括建立光谱反射率库、光谱反射率重建等。
为了提高光谱重建时的速度,需要事先根据被测目标的光谱反射率计算它的三刺激值(也可以称之为标准色度值)和RGB值,保存到光谱反射率库中。这样光谱重建时可以和被测目标像素的三刺激值或RGB值进行最小色差比对,缩短光谱重建的时间。
本发明实施例中选择主成分分析算法进行光谱反射率重建。该方法可以把目标的高维光谱反射率数据用低维的主成分来表示,进而建立主成分与低维相机输出值的关系。利用主成分分析法重建光谱反射率速度快、精度高,适合于复杂条件下窄带多光谱图像立方体的重建和分析。
并进一步根据色差最小原则,将载入图像各像素点依次从光谱反射率库中查找出色度坐标最接近的光谱反射率曲线,作为该点的反射率曲线。即将载入的目标图像像素点的XYZ色度值(即标准色度值)与光谱反射率数据库中预先保存的XYZ色度值进行比较,将色差最小的光谱反射率曲线作为该点的光谱反射率,进而重建出目标的光谱反射率,将三基色彩色图像重建成多光谱图像。
现结合图3简要说明本发明实施例的工作原理:
(一)建立光谱库
为了提高光谱重建时的速度,需要事先计算目标的三刺激值和RGB值,保存到光谱反射率库中。这样光谱重建时可以和被测目标像素的三刺激值或RGB值进行最小色差比对,缩短光谱重建的时间。
1.光线照射到目标表面,经过反射后到达三峰滤光片,再经过三峰滤光片成像到三基色焦平面传感器上,两组三峰滤光片在滤光片切换装置的驱动下快速地横向切换,从而得到两组目标的三基色图像;
2.将得到的两组三基色图像输入到计算机中,对输入的彩色图像(JPG或BMP格式)依次提取每一像素点的R、G、B值;
3.根据提取的R、G、B值,依次计算每一像素的三刺激值;
4.将得到的目标的三刺激值和RGB值保存到光谱反射率库中。
(二)光谱反射率重建
目前光谱反射率重建的主要方法有(1)直接违逆法(2)主成分分析法(3)维纳法(4)违逆法。通过比较,本发明选择主成分分析法进行光谱反射率重建。该方法可以把目标的高维光谱反射率数据用低维的主成分来表示,进而建立主成分与低维相机输出值的关系。利用主成分分析法重建光谱反射率速度快、精度高,适合于复杂条件下窄带多光谱图像立方体的重建和分析。
根据色差最小原则,将载入图像各像素点依次从光谱库中查找出色度坐标最接近的光谱反射率曲线,作为该点的反射率曲线。即将载入的目标图像像素点的XYZ色度值与光谱反射率数据库中预先保存的XYZ色度值进行比较,将色差最小的光谱反射率曲线作为该点的光谱反射率,进而重建出目标的光谱反射率,将三基色彩色图像重建成多光谱图像。
(三)重建精度评价
通过对重建光谱反射率与实际光谱反射率计算色差,根据色差最小原则,将载入图像各像素点依次从光谱库中查找出色度坐标最接近的光谱反射率曲线,作为该点的反射率曲线。即将载入的目标图像像素点的XYZ色度值与光谱反射率数据库中预先保存的XYZ色度值转换到Lab空间再计算色差,将色差最小的光谱反射率曲线作为该点的光谱反射率,进而重建出目标的光谱反射率,将三基色彩色图像重建成多光谱图像。
色差的计算采用CIE1976L*a*b*色差公式:
其中L*代表明度,a*和b*代表色度。
(四)构建光谱图像立方体
首先确定需要产生的光谱切片的一系列波长;然后针对每一个波长,从各像素点的光谱反射率曲线中查出对应波长的光谱反射率,将查出的光谱反射率的值乘以该像素点的灰度值作为对应于该波长的光谱值,由此构建出光谱图像立方体,如图4所示。
如图5所示,部分实际光谱图像和对应波段重建的光谱图片,其中上方为实际光谱图像,下方为重建光谱图像。由于光谱仪和彩色相机存在拍摄时间差,河水波纹会发生瞬时变化,从而导致重建的光谱图像有所不同,这也是研究快照式光谱成像的意义所在。天空,树木,草地都得到了较好的还原,重建光谱图像与实际拍摄光谱图像比较接近,取得了令人满意的结果。
本发明实施例中光谱仪具有分辨率高、曝光时间短的优势,可以获得瞬变目标场景的光谱信息和空间信息,具有速度快、稳定性好的特点。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种快照式光谱成像方法,其特征在于,所述方法包括:
通过主成分分析算法,重建目标的光谱反射率曲线;
根据目标的标准色度值和所述光谱反射率曲线,确定目标的光谱反射率;
根据所述目标的光谱反射率,构建所述目标的光谱图像立方体。
2.如权利要求1所述的方法,其特征在于,所述根据目标的标准色度值和所述光谱反射率曲线,确定目标的光谱反射率之前,包括:
采集所述目标的2组三基色图像;
根据所述2组三基色图像,确定所述2组三基色图像的每个像素点的标准色度值。
3.如权利要求2所述的方法,其特征在于,所述根据所述2组三基色图像,确定所述2组三基色图像的每个像素点的标准色度值之后,包括:
将所述2组三基色图像的每个像素点的标准色度值存储在用于存储所述光谱反射率曲线的光谱反射率库中。
4.如权利要求2所述的方法,其特征在于,所述光谱反射率曲线由标准色度坐标和光谱反射率构成;
所述根据目标的标准色度值和所述光谱反射率曲线,确定目标的光谱反射率,包括:
对于每个像素点,根据色差最小原则,确定与该像素点的标准色度值最接近的标准色度坐标;
在所述光谱反射率曲线上,根据所述标准色度坐标确定对应的光谱反射率。
5.如权利要求4所述的方法,其特征在于,所述根据所述目标的光谱反射率,构建所述目标的光谱图像立方体,包括:
确定待要产生的光谱切片的各个波长;
对于每个波长,根据每个像素点的光谱反射率和灰度值,确定每个像素点对应于该波长的光谱值;
根据各个波长的光谱值,构建所述目标的光谱图像立方体。
6.一种快照式光谱成像系统,所述系统包括存储模块和处理模块;所述存储模块存储有快照式光谱成像计算机程序;所述处理模块执行所述计算机程序,以实现如权利要求1-5中任意一项所述方法的步骤。
7.一种光谱成像仪,其特征在于,所述光谱成像仪包括三峰滤光片、三基色焦平面传感器和如权利要求6中所述的快照式光谱成像系统;
所述三峰滤光片用于将经过的目标的反射光过滤后,传输给所述三基色焦平面传感器;
所述三基色焦平面传感器用于根据过滤的反射光形成目标的三基色图像。
8.如权利要求7所述的系统,其特征在于,所述光谱成像仪还包括滤光片切换装置;所述三峰滤光片不少于2组;
所述滤光片切换装置用于切换各组三峰滤光片,以使各组三峰滤光片分别将经过的目标的反射光过滤后,传输给所述三基色焦平面传感器。
9.如权利要求7所述的系统,其特征在于,所述三峰滤光片为窄带滤光片。
10.如权利要求7-9中任意一项所述的系统,其特征在于,所述所述三基色焦平面传感器具体用于将过滤的反射光的光电信号转换成RGB数字信号,形成目标的三基色图像。
CN201711136209.0A 2017-11-16 2017-11-16 快照式光谱成像方法、装置及光谱成像仪 Pending CN107941337A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711136209.0A CN107941337A (zh) 2017-11-16 2017-11-16 快照式光谱成像方法、装置及光谱成像仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711136209.0A CN107941337A (zh) 2017-11-16 2017-11-16 快照式光谱成像方法、装置及光谱成像仪

Publications (1)

Publication Number Publication Date
CN107941337A true CN107941337A (zh) 2018-04-20

Family

ID=61931429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711136209.0A Pending CN107941337A (zh) 2017-11-16 2017-11-16 快照式光谱成像方法、装置及光谱成像仪

Country Status (1)

Country Link
CN (1) CN107941337A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825109A (zh) * 2019-11-12 2020-02-21 广州极飞科技有限公司 光谱信息的获取方法及装置、飞行器的控制方法
CN113362381A (zh) * 2020-03-03 2021-09-07 RealMe重庆移动通信有限公司 图像处理方法及装置、可读介质、通信终端
CN115100082A (zh) * 2022-08-24 2022-09-23 浙江大学 一种基于高光谱相机的高精度颜色显示系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104634451A (zh) * 2015-02-11 2015-05-20 武汉大学 基于多通道成像系统的光谱重建方法及系统
CN107084789A (zh) * 2017-04-01 2017-08-22 上海理工大学 基于稀疏先验的单像素探测器光谱反射率重构方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104634451A (zh) * 2015-02-11 2015-05-20 武汉大学 基于多通道成像系统的光谱重建方法及系统
CN107084789A (zh) * 2017-04-01 2017-08-22 上海理工大学 基于稀疏先验的单像素探测器光谱反射率重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹斌 等: "基于三基色相机的快照式光谱成像研究", 《云南师范大学学报(自然科学版)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825109A (zh) * 2019-11-12 2020-02-21 广州极飞科技有限公司 光谱信息的获取方法及装置、飞行器的控制方法
CN110825109B (zh) * 2019-11-12 2023-11-21 广州极飞科技股份有限公司 光谱信息的获取方法及装置、飞行器的控制方法
CN113362381A (zh) * 2020-03-03 2021-09-07 RealMe重庆移动通信有限公司 图像处理方法及装置、可读介质、通信终端
CN113362381B (zh) * 2020-03-03 2023-02-17 RealMe重庆移动通信有限公司 图像处理方法及装置、可读介质、通信终端
CN115100082A (zh) * 2022-08-24 2022-09-23 浙江大学 一种基于高光谱相机的高精度颜色显示系统

Similar Documents

Publication Publication Date Title
CN111062378B (zh) 图像处理方法、模型训练方法、目标检测方法及相关装置
CN110660088B (zh) 一种图像处理的方法和设备
Oh et al. Do it yourself hyperspectral imaging with everyday digital cameras
CN103430551B (zh) 使用具有纵色像差的透镜单元的成像系统及其操作方法
JP5883949B2 (ja) 画像取込デバイス処理のためのスペクトル合成
CN113676628B (zh) 成像装置和图像处理方法
JP6887223B2 (ja) プレンオプティック・フォービエイテッド・カメラ
CN107941337A (zh) 快照式光谱成像方法、装置及光谱成像仪
CN113676629B (zh) 图像传感器、图像采集装置、图像处理方法及图像处理器
JP5943393B2 (ja) 撮像装置
Takatani et al. One-shot hyperspectral imaging using faced reflectors
US20150042816A1 (en) Methods of extracting 4-band data from a single ccd; methods of generating 4x4 or 3x3 color correction matrices using a single ccd
US20240020809A1 (en) Method for manufacturing multispectral image sensor, and device thereof
CN113676639A (zh) 图像处理方法、处理装置、电子设备及介质
CN115100082A (zh) 一种基于高光谱相机的高精度颜色显示系统
CN113609907B (zh) 一种多光谱数据的获取方法、装置及设备
Mihoubi Snapshot multispectral image demosaicing and classification
CN109029380B (zh) 基于镀膜式多光谱相机的立体视觉系统及其标定测距方法
Cavanaugh et al. VNIR hypersensor camera system
CN211504402U (zh) 一种基于渐变薄膜滤光片的宽波段高光谱相机
Vlachos et al. Foveon vs Bayer: comparison of 3D reconstruction performances
CN108051087A (zh) 一种针对快速成像的八通道多光谱相机设计方法
CN110332991B (zh) 一种光谱的重构方法、装置和电子设备
WO2023193626A1 (zh) 图像传感器、成像模组、图像采集设备和图像处理方法
Bradbury et al. Multi-spectral material classification in landscape scenes using commodity hardware

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420

RJ01 Rejection of invention patent application after publication