CN110095189B - 一种双目的八谱段多光谱相机设计方法 - Google Patents
一种双目的八谱段多光谱相机设计方法 Download PDFInfo
- Publication number
- CN110095189B CN110095189B CN201910333856.3A CN201910333856A CN110095189B CN 110095189 B CN110095189 B CN 110095189B CN 201910333856 A CN201910333856 A CN 201910333856A CN 110095189 B CN110095189 B CN 110095189B
- Authority
- CN
- China
- Prior art keywords
- spectral
- band
- color information
- positions
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013461 design Methods 0.000 title claims abstract description 10
- 230000003595 spectral effect Effects 0.000 claims abstract description 103
- 238000003384 imaging method Methods 0.000 claims abstract description 24
- 238000001228 spectrum Methods 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims abstract description 10
- 238000000701 chemical imaging Methods 0.000 claims abstract description 9
- 238000003491 array Methods 0.000 claims abstract description 7
- 230000003287 optical effect Effects 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000004075 alteration Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明公开了一种双目的八谱段多光谱相机设计方法,步骤包括:步骤1、确定八谱段滤光片的透射曲线;步骤2、确定八谱段光谱成像的MSFA阵列分布,构成两组成像模块的四谱段MSFA阵列;步骤3、实现八谱段光谱Raw图像恢复,通过步骤2获得的光谱数据称为光谱raw数据,每个像素位置存储了1个谱段数据,其他3个谱段数据采用demosaic算法进行恢复;步骤4、对光谱相机的两个摄像头上恢复的多光谱图像进行配准。本发明的方法,简便易行,准确性高。
Description
技术领域
本发明属于快速光谱成像技术领域,涉及一种双目的八谱段多光谱相机设计方法。
背景技术
现实中的光在一定波长范围内都具有一定能量,由各波段光谱混合而成。在典型的彩色成像中,光谱被分离成R、G、B三个谱段进行测量,从而形成RGB图像。由于RGB图像只有三个谱段,利用RGB图像重构高维光谱值会产生较大误差,因此为了更准确的获取和重建光谱,需要采用更多谱段的成像设备,特别是6谱段以上的多光谱成像设备,以便捕获现实场景的可靠光谱信息,应用于数字存档、高保真彩色再现、目标检测等领域。
采用Bayer CFA(彩色滤光片阵列)和去马赛克技术的单传感器成像技术已被广泛用于当前小型、低成本的彩色数码相机。MSFA多光谱相机具有成像快、成本低、体积小等优势。将CFA扩展到多光谱滤波器阵列(MSFA),能够在一次拍摄中获得多光谱图像,是目前多光谱相机的一个重要发展方向。但是现有技术的多光谱成像设备存在成本高、成像慢、体积大等问题,影响了其广泛的使用。
发明内容
本发明的目的是提供一种双目的八谱段多光谱相机设计方法,解决了现有多光谱成像设备成本高、成像慢、体积大的问题。
本发明所采用的技术方案是,一种双目的八谱段多光谱相机设计方法,按照以下步骤实施:
步骤1、确定八谱段滤光片的透射曲线,
步骤2、确定八谱段光谱成像的MSFA阵列分布,
在光谱相机结构中采用两个摄像头,每个摄像头对应一个CMOS负责四个谱段成像,CMOS成像面上每个像素位置只采集一个谱段的光谱数据,因此采样率为25%;
本步骤将八个谱段的滤光片分成两组,第一组谱段滤光片成像A~D谱段,第二组谱段滤光片成像G~H谱段,每组的四个谱段滤光片阵列都分布在2×2子阵列中,在整个成像面积内充分排列,构成两组成像模块的四谱段MSFA阵列;
步骤3、实现八谱段光谱Raw图像恢复
通过步骤2获得的光谱数据称为光谱raw数据,每个像素位置存储了1个谱段数据,其他3个谱段数据采用demosaic算法进行恢复;
步骤4、对光谱相机的两个摄像头上恢复的多光谱图像进行配准,
采用基于频域的图像配准方法,利用傅里叶变换将两幅demosaic后的待配准图像变换到频域,然后通过两幅配准图像的频域图像的互功率谱计算出两幅图像间的平移距离,从而实现图像的配准。
本发明的有益效果是,采用包含两个摄像头的成像原理,采用两个摄像头对八个不同谱段的光线进行采样,即摄像头一采集A~D的四个谱段,摄像头二采集E~H的四个谱段,每个镜头下是CMOS成像传感器,CMOS表面覆盖一层按照MSFA阵列分布的滤光片,用于对入射光进行分色。因此,CMOS获得的图像是一种mosaic图像,每个像素位置只采集了一个谱段的图像信息,需要利用demosaic算法恢复其余谱段信息。对此,本方法采用了MSFA阵列方式,以及对应的demosaic算法,从而能够实现一次曝光获得完整的八谱段光谱图像。
附图说明
图1是本发明方法进行双目相机设计的总体流程图;
图2是本发明方法所设计的双目相机八谱段滤光片透射曲线图;
图3是本发明方法所设计的两组成像模块的四谱段滤光片阵列分布示意图;
图4是本发明方法所设计的双目相机采用的滤光片阵列分布示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
参照图1,本发明方法,具体按照以下步骤实施:
步骤1、确定八谱段滤光片的透射曲线,
目前应用到相机中的滤光片透射曲线大多按照高斯分布的原理进行设计,以便体现出较好的性能,因此本步骤同样采用该原理设计,假定光谱采集范围为λ1<λ<λ2,则透射函数定义为:其中,μ为光谱分布的期待值,σ为标准差;
光谱相机八个谱段的光谱取值范围较为灵活,本步骤实施例面向可见光波段400nm-700nm成像,每个谱段带宽σ=15,谱段A至谱段H的中心光谱波长μ分别为428nm、464nm、500nm、536nm、572nm、608nm、644nm、680nm;对应的,摄像头一对应谱段A至谱段D的中心光谱波长μ分别为428nm、500nm、572nm、644nm,摄像头二对应谱段G至谱段H的中心光谱波长μ分别为464nm、536nm、608nm、680nm,该实施例光谱相机的各谱段滤光片曲线如图2所示。
步骤2、确定八谱段光谱成像的MSFA阵列分布,
为实现一次曝光获得八个谱段的光谱图像数据,本步骤在光谱相机结构中采用两个摄像头,每个摄像头对应一个CMOS负责四个谱段成像,CMOS成像面上每个像素位置只采集一个谱段的光谱数据,因此采样率为25%;
本步骤将八个谱段的滤光片分成两组,第一组谱段滤光片成像A~D谱段,第二组谱段滤光片成像G~H谱段,每组的四个谱段滤光片阵列都分布在2×2子阵列中,在整个成像面积内充分排列,两组成像模块的四谱段MSFA阵列分布如图3所示。
步骤3、实现八谱段光谱Raw图像恢复
与传统数码相机类似,通过步骤2获得的光谱数据称为光谱raw数据,每个像素位置存储了1个谱段数据,其他3个谱段数据需采用demosaic算法进行恢复,
针对步骤2所述双目四谱段MSFA阵列的demosaic算法,图像恢复过程具体如下:
3.1)参照图4,估计A0处的D谱段颜色信息,假如能够知道位置A0处的D和A之间的色差,由dDA=D0-A0表示,则能够将丢失的D颜色样本恢复为D0=A0+dDA,因此,如何估计色差dDA是D谱段插值的关键,
参照图4,其中,D5,D6,D7,D8分别代表在5,6,7,8位置上对谱段D的采样值,A21,A22,A23,A24分别代表在21,22,23,24位置上对谱段A的采样值,
计算沿着A0处四个方向的梯度,计算式如下:
其中ε是一个小的正数,以避免梯度为零,
使用梯度作为指数将四个方向的色差估计加权到最终的色差估计中,让分配给这四个方向估计的权重与沿各自方向的梯度成反比:
然后将四个权重标准化,使它们的总和为1:
其中,C=wnw+wne+wsw+wse,然后将四个方向色差估计融合到一个估计中:
将以上步骤应用于所有的A位置来估计D谱段颜色信息;同样原理,在B位置处估计C谱段颜色信息,在D位置处估计A谱段颜色信息,在C位置处估计B谱段颜色信息;
3.2)利用已知的颜色信息,继续估计A位置处的C谱段颜色信息,假设要在A0处估计缺失的C0,沿A0的东(e),南(s),西(w),北(n)四个方向估计色差,计算式如下:
参照图4,其中,C1,C2,C3,C4分别代表在1,2,3,4位置上对谱段C的采样值,A9,A10,A11,A12分别代表在9,10,11,12位置上对谱段A的采样值,
沿四个方向的梯度分别是:
参照图4,其中,C13,C16,C17,C20分别代表在13,16,17,20位置上对谱段C的采样值,C14,C15,C18,C19分别代表在14,15,18,19位置上谱段C的估计值,ε是一个小的正数,以避免梯度为零,
将以上步骤应用于所有的A位置来估计C谱段颜色信息;同样原理,在C位置处估计A谱段颜色信息,在D位置处估计B谱段颜色信息,在B位置处估计D谱段颜色信息;
3.3)最后估计A处的B谱段信息,假设在A0处估计缺失的B0,此时A0周围的像素上的B值都是已知的,B0利用下式求得:
参照图4,其中,B1,B3分别代表在1,3位置上对谱段B的采样值,B2,B4,B5,B6,B7,B8分别代表在2,4,5,6,7,8位置上谱段B的估计值,
将以上步骤应用于所有的A位置来估计B谱段颜色信息;同样原理,在C位置处估计D谱段颜色信息,在D位置处估计C谱段颜色信息,在B位置处估计A谱段颜色信息,
至此,将所有位置处缺失的颜色信息恢复完毕;
步骤4、对光谱相机的两个摄像头上恢复的多光谱图像进行配准,
采用常用的基于频域的图像配准方法,利用傅里叶变换将两幅demosaic后的待配准图像变换到频域,然后通过两幅配准图像的频域图像的互功率谱计算出两幅图像间的平移距离,从而实现图像的配准,即成。
Claims (3)
1.一种双目的八谱段多光谱相机设计方法,其特征在于,按照以下步骤实施:
步骤1、确定八谱段滤光片的透射曲线,
步骤2、确定八谱段光谱成像的MSFA阵列分布,
在光谱相机结构中采用两个摄像头,每个摄像头对应一个CMOS负责四个谱段成像,CMOS成像面上每个像素位置只采集一个谱段的光谱数据,因此采样率为25%;本步骤将八个谱段的滤光片分成两组,第一组谱段滤光片成像A~D谱段,第二组谱段滤光片成像G~H谱段,每组的四个谱段滤光片阵列都分布在2×2子阵列中,在整个成像面积内充分排列,构成两组成像模块的四谱段MSFA阵列;
步骤3、实现八谱段光谱Raw图像恢复,
通过步骤2获得的光谱数据称为光谱raw数据,每个像素位置存储了1个谱段数据,其他3个谱段数据采用demosaic算法进行恢复;
步骤4、对光谱相机的两个摄像头上恢复的多光谱图像进行配准,
采用基于频域的图像配准方法,利用傅里叶变换将两幅demosaic后的待配准图像变换到频域,然后通过两幅配准图像的频域图像的互功率谱计算出两幅图像间的平移距离,从而实现图像的配准。
2.根据权利要求1所述的双目的八谱段多光谱相机设计方法,其特征在于:所述的步骤1中,相机中的滤光片透射曲线按照高斯分布的原理进行设计。
3.根据权利要求1所述的双目的八谱段多光谱相机设计方法,其特征在于:所述的步骤3中,针对步骤2所述四谱段MSFA阵列的demosaic算法,图像恢复过程具体如下:
3.1)估计A0处的D谱段颜色信息,假如能够知道位置A0处的D和A之间的色差,由dDA=D0-A0表示,则能够将丢失的D颜色样本恢复为D0=A0+dDA,
其中,D5、D6、D7、D8分别代表在5、6、7、8位置上对谱段D的采样值,A21、A22、A23、A24分别代表在21、22、23、24位置上对谱段A的采样值,计算沿着A0处四个方向的梯度,计算式如下:
其中ε是一个小的正数,以避免梯度为零,
使用梯度作为指数将四个方向的色差估计加权到最终的色差估计中,让分配给这四个方向估计的权重与沿各自方向的梯度成反比:
然后将四个权重标准化,使它们的总和为1:
其中C=wnw+wne+wsw+wse,然后将四个方向色差估计融合到一个估计中:
将以上步骤应用于所有的A位置来估计D谱段颜色信息;同样原理,在B位置处估计C谱段颜色信息,在D位置处估计A谱段颜色信息,在C位置处估计B谱段颜色信息;
3.2)利用已知的颜色信息,继续估计A位置处的C谱段颜色信息,假设要在A0处估计缺失的C0,沿A0的东e,南s,西w,北n四个方向估计色差,计算式如下:
C1、C2、C3、C4分别代表在1、2、3、4位置上对谱段C的采样值,A9、A10、A11、A12分别代表在9、10、11、12位置上对谱段A的采样值,
沿四个方向的梯度分别是:
其中,C13、C16、C17、C20分别代表在13、16、17、20位置上对谱段C的采样值,C14、C15、C18、C19分别代表在14、15、18、19位置上谱段C的估计值,ε是一个小的正数,以避免梯度为零,
其中,然后A0处的A和C的色差为得到在A0处的缺失的C的颜色谱段值为将以上步骤应用于所有的A位置来估计C谱段颜色信息;同样原理,在C位置处估计A谱段颜色信息,在D位置处估计B谱段颜色信息,在B位置处估计D谱段颜色信息;
3.3)最后估计A处的B谱段信息,假设在A0处估计缺失的B0,此时A0周围的像素上的B值都是已知的,B0利用下式求得:
其中,B1、B3分别代表在1、3位置上对谱段B的采样值,B2、B4、B5、B6、B7、B8分别代表在2、4、5、6、7、8位置上谱段B的估计值,
将以上步骤应用于所有的A位置来估计B谱段颜色信息;
同样原理,在C位置处估计D谱段颜色信息,在D位置处估计C谱段颜色信息,在B位置处估计A谱段颜色信息,至此,将所有位置处缺失的颜色信息恢复完毕。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910333856.3A CN110095189B (zh) | 2019-04-24 | 2019-04-24 | 一种双目的八谱段多光谱相机设计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910333856.3A CN110095189B (zh) | 2019-04-24 | 2019-04-24 | 一种双目的八谱段多光谱相机设计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110095189A CN110095189A (zh) | 2019-08-06 |
CN110095189B true CN110095189B (zh) | 2020-09-25 |
Family
ID=67445732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910333856.3A Expired - Fee Related CN110095189B (zh) | 2019-04-24 | 2019-04-24 | 一种双目的八谱段多光谱相机设计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110095189B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110579279B (zh) * | 2019-09-19 | 2021-08-06 | 西安理工大学 | 单传感器的九谱段多光谱成像系统的设计方法 |
CN113125008A (zh) * | 2019-12-31 | 2021-07-16 | 北京微视新纪元科技有限公司 | 一种高光谱相机、光谱仪及其制作方法 |
CN112504454B (zh) * | 2020-11-25 | 2022-11-22 | 天津津航技术物理研究所 | 一种基于像素级光谱调制的超分辨光谱成像滤波器结构 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101214142A (zh) * | 2007-12-26 | 2008-07-09 | 北京理工大学 | 一种基于多光谱图像的医学手术导航跟踪装置 |
CN103854266A (zh) * | 2012-12-05 | 2014-06-11 | 三星泰科威株式会社 | 用于对图像进行处理的方法和设备 |
WO2017100099A1 (en) * | 2015-12-07 | 2017-06-15 | Flir Systems, Inc. | Uncooled gas imaging camera |
CN108051087A (zh) * | 2017-12-14 | 2018-05-18 | 西安理工大学 | 一种针对快速成像的八通道多光谱相机设计方法 |
CN108259876A (zh) * | 2016-12-29 | 2018-07-06 | 深圳开阳电子股份有限公司 | 一种自动白平衡的调整方法及装置 |
CN109584210A (zh) * | 2018-10-30 | 2019-04-05 | 南京理工大学 | 多光谱三维静脉显像系统 |
-
2019
- 2019-04-24 CN CN201910333856.3A patent/CN110095189B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101214142A (zh) * | 2007-12-26 | 2008-07-09 | 北京理工大学 | 一种基于多光谱图像的医学手术导航跟踪装置 |
CN103854266A (zh) * | 2012-12-05 | 2014-06-11 | 三星泰科威株式会社 | 用于对图像进行处理的方法和设备 |
WO2017100099A1 (en) * | 2015-12-07 | 2017-06-15 | Flir Systems, Inc. | Uncooled gas imaging camera |
CN108259876A (zh) * | 2016-12-29 | 2018-07-06 | 深圳开阳电子股份有限公司 | 一种自动白平衡的调整方法及装置 |
CN108051087A (zh) * | 2017-12-14 | 2018-05-18 | 西安理工大学 | 一种针对快速成像的八通道多光谱相机设计方法 |
CN109584210A (zh) * | 2018-10-30 | 2019-04-05 | 南京理工大学 | 多光谱三维静脉显像系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110095189A (zh) | 2019-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110095189B (zh) | 一种双目的八谱段多光谱相机设计方法 | |
CN104457708B (zh) | 一种紧凑型多光谱相机 | |
US9772432B2 (en) | Diffraction gratings producing curtains of minimum intensity separated by foci and extending to a focal plane | |
CN113676628B (zh) | 成像装置和图像处理方法 | |
US8687073B2 (en) | Multi-channel imaging devices | |
JP2019220957A5 (zh) | ||
CN111031264B (zh) | 一种基于透射式红外孔径编码成像系统及其超分辨方法 | |
CN108776980A (zh) | 一种面向微透镜光场相机的标定方法 | |
CN103501416A (zh) | 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理 | |
CN114757831A (zh) | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 | |
CN112484865B (zh) | 一种实时偏振调制哈特曼-夏克波前探测装置 | |
US9807368B2 (en) | Plenoptic camera comprising a shuffled color filter array | |
CN112985600A (zh) | 一种基于衍射的光谱编码成像系统和方法 | |
CN111201782A (zh) | 成像器件、图像处理装置、图像处理方法和程序 | |
CN116309139A (zh) | 一种适用于一对多红外多光谱图像去马赛克方法 | |
CN105681650B (zh) | 一种光场相机消色差方法 | |
CN115014522A (zh) | 集成式计算光谱成像方法及装置 | |
CN107170013B (zh) | 一种rgb相机光谱响应曲线的标定方法 | |
CN1208952C (zh) | 提高图像分辨率的方法 | |
CN115496819B (zh) | 一种基于能量集中特性的快速编码光谱成像方法 | |
Yongqiang et al. | Design and performance analysis of infrared micro-polarizer array | |
CN108051087A (zh) | 一种针对快速成像的八通道多光谱相机设计方法 | |
CN113163117A (zh) | 一种光场相机的重聚焦方法 | |
CN112037132A (zh) | 一种多孔径紧凑型多光谱成像系统及深度学习图像超分辨率重建方法 | |
Wu et al. | Real-time division-of-focal-plane polarization imaging system with progressive networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200925 |
|
CF01 | Termination of patent right due to non-payment of annual fee |