CN108051087A - 一种针对快速成像的八通道多光谱相机设计方法 - Google Patents

一种针对快速成像的八通道多光谱相机设计方法 Download PDF

Info

Publication number
CN108051087A
CN108051087A CN201711340017.1A CN201711340017A CN108051087A CN 108051087 A CN108051087 A CN 108051087A CN 201711340017 A CN201711340017 A CN 201711340017A CN 108051087 A CN108051087 A CN 108051087A
Authority
CN
China
Prior art keywords
mtd
passage
mrow
mtr
multispectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711340017.1A
Other languages
English (en)
Other versions
CN108051087B (zh
Inventor
孙帮勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201711340017.1A priority Critical patent/CN108051087B/zh
Publication of CN108051087A publication Critical patent/CN108051087A/zh
Application granted granted Critical
Publication of CN108051087B publication Critical patent/CN108051087B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0294—Multi-channel spectroscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种针对快速成像的八通道多光谱相机设计方法，步骤包括：1)设定八通道滤色片的透射曲线；2)设计多光谱成像的阵列分布，在相机结构中采用一个CCD，在该CCD的每个像素位置只采集一个通道的Raw数据，八个通道的滤色片排列成2×4形式，并在整个CCD表面重复排列；3)针对八通道光谱raw数据进行图像恢复；4)对恢复后的多光谱图像进行后处理；5)多光谱相机的特性化处理。本发明方法设计的八通道多光谱相机，相机结构简单，占用空间小，成像时间短，成本低。

Description

一种针对快速成像的八通道多光谱相机设计方法
技术领域
本发明属于快速光谱成像技术领域，涉及一种针对快速成像的八通道多光谱相机设计方法。
背景技术
多光谱图像采用多个通道记录和表征目标场景信息，便于从不同波段或频率分析目标特征，因此在遥感、医疗、自然灾害评估及艺术品复制等领域得到广泛应用。自1972年NASA采用多光谱传感器采集地球表面信息以来，如何快速、精确采集多光谱图像一直是重要的研究热点之一。
多光谱相机大都基于多次成像原理，以轮式光谱相机为例，其采用单个镜头、多组滤色片的结构，不同滤色片分布在轮式结构上，每曝光一次采用一个滤色片，然后旋转滤色片轮进行下一个通道的成像，因此轮式光谱相机成像时间长、图像易受到旋转时结构振动影响。另外一类多光谱相机采用光栅或棱镜进行分光，然后在单个CCD上多次成像或者多个CCD上成像，存在结构复杂、成本高的缺陷。
近年来，考虑到RGB数码相机一次成像的诸多优点，人们开始研究与之结构相似的快速成像的多光谱相机。这类相机的特征是，采用单个CCD成像，CCD上面覆盖滤色片阵列，每个像素位置对应一个通道的滤色片，然后通过demosaic算法恢复像素上其他通道值。与传统数码相机相比，多光谱相机的通道数较多，因此在每通道滤色片透射曲线设定、光谱阵列设计、多光谱demosaic方法等方面较为复杂。
发明内容
本发明的目的是提供一种针对快速成像的八通道多光谱相机设计方法，解决了现有技术中多光谱图像采集速度慢、相机结构复杂及成本高的问题。
本发明所采用的技术方案是，一种针对快速成像的八通道多光谱相机设计方法，按照以下步骤实施：
步骤1、设定八通道滤色片的透射曲线
相机中的滤色片透射曲线设计成高斯分布，若光谱采集范围为λ1＜λ＜λ2，则透射函数定义为：
其中，μ为光谱分布的期待值，σ为标准差；
步骤2、设计多光谱成像的阵列分布，
在相机结构中采用一个CCD，在该CCD的每个像素位置只采集一个通道的Raw数据，八个通道的滤色片排列成2×4形式，并在整个CCD表面重复排列；
步骤3、针对八通道光谱raw数据进行图像恢复；
步骤4、对恢复后的多光谱图像进行后处理；
步骤5、多光谱相机的特性化处理。
本发明的有益效果是，当前的超光谱和多光谱相机大都采用复杂的分光部件，占用空间大，图像采集时间长；而本相机采用与传统数码相机类似的结构，配置了单个CCD，每个CCD像素位置上覆盖单通道滤色片，因此可以实现一次曝光就可获得完整多通道的光谱图像，其显著优点就是相机结构简单，占用空间小，成像时间短，成本低。
附图说明
图1是本发明方法采用的各通道滤色片曲线图；
图2是本发明方法采用的八个通道的滤色片排列成两行四列的示意图；
图3是本发明方法采用的光谱demosaic示意图；
图4是本发明方法采用的每个通道的模板。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明针对快速成像的八通道多光谱相机设计方法，按照以下步骤实施：
步骤1、设定八通道滤色片的透射曲线
目前应用到相机中的滤色片透射曲线大多设计成高斯分布，并体现出较好的性能，因此本发明同样采用该原理设计，若光谱采集范围为λ1＜λ＜λ2，则透射函数定义为：
其中，μ为光谱分布的期待值，σ为标准差；
光谱相机八个通道的光谱取值范围较为灵活，本步骤选在可见光范围的400nm-700nm成像，每个通道带宽σ＝15，通道1至通道8的中心光谱波长μ分别为433nm、467nm、500nm、533nm、567nm、600nm、633nm、667nm，该相机的各通道滤色片透射曲线如图1所示。
步骤2、设计多光谱成像的阵列分布，
为实现一次曝光就能够获得八个通道的光谱图像数据，本步骤在相机结构中采用一个CCD，在该CCD的每个像素位置只采集一个通道的Raw数据，八个通道的滤色片排列成2×4形式(即两行四列)，并在整个CCD表面重复排列，其布局如图2所示。
步骤3、针对八通道光谱raw数据进行图像恢复，
与传统数码相机类似，通过步骤2获得的光谱数据称为raw数据，每个像素位置存储了1个通道的原始数据，而在每个位置将其他7个通道数据恢复的过程称为光谱demosaic的过程，
参考图3，是光谱demosaic的示意图，其中的8个通道的灰度值略有不同以示区别，在进行光谱demosaic时，首先从CCD的raw图像中提取各个通道的数据，
设zx，y为完整的raw图像，代表第c个通道的有效信息，则有：其中，为成像蒙版，
在本步骤的相机结构设置中，每个通道的蒙版都是如图4所示的结构(即针对某个光谱通道，每一个2×4的邻域中只有一个位置的数据有效，因此中存储了c通道数据的位置的蒙版值为1，其他位置蒙版值为0)。针对每个通道的图像，从raw图像中提取到含有1/8的有效信息，基于这些有效信息再通过插值计算出另外7/8的图像信息；
在插值计算其余7/8数据时，可通过图像滤波的方法实现，例如c通道选用的滤波器窗口定义为hc，则其恢复过程描述为：
针对以上的8通道2×4阵列，所采用的卷积核为：
由此，得到所有8通道上的完整图像。
步骤4、对恢复后的多光谱图像进行后处理，
步骤3采用的图像恢复原理是低通滤波，因此必然造成明显的模糊，因此步骤4将利用不同通道间的相互关系，对光谱图像进行后处理以提高其清晰度。在步骤3恢复的8通道图像中，若两通道分别为i和j，以优化j通道的图像清晰度为例，首先计算j通道与i通道的光谱差值，
其中，的下标(xj，yj)代表位置，即raw数据中j通道的原始采集位置，其上标代表正在处理的通道，因此代表在j通道原始采集位置上的i通道值，显然该值是通过步骤3图像恢复后重新生成的数据。
所以Δij代表了在j通道原始采集位置上的i与j光谱差，采用低通滤波得到所有位置上的i与j光谱差，则有：
利用i与j两个通道间的光谱值差优化i原始采集位置上的j通道值，则有：
步骤5、多光谱相机的特性化处理，
本步骤主要通过恢复后的8通道图像数据重构31维光谱值。在已采集的八通道光谱图像基础上，每个像素的CCD成像数据已知，其光谱反射率可采用多项式表示为：
Y＝Xβ，
其中Y代表光谱值，X代表八通道CCD值，β为待求解的多项式系数。采用MacbethColor Checker色靶可以求解系数β，该色靶上存在24个色块，每个色块的光谱数据已知，经过多光谱成像后八通道成像数据已知，因此在相机特性化过程中只有β未知。若β离散形式为b0,b1,...,bM，则色块的光谱预测值可表示为：
显然，所求的β系数应该满足光谱实际测量值yt与以上的预测值均方差Q最小：
最终待求的β值表示为：
β＝(XTX)-1XTY。

Claims (5)

1.一种针对快速成像的八通道多光谱相机设计方法，其特征在于，按照以下步骤实施：
步骤1、设定八通道滤色片的透射曲线
相机中的滤色片透射曲线设计成高斯分布，若光谱采集范围为λ1＜λ＜λ2，则透射函数定义为：
其中，μ为光谱分布的期待值，σ为标准差；
步骤2、设计多光谱成像的阵列分布，
在相机结构中采用一个CCD，在该CCD的每个像素位置只采集一个通道的Raw数据，八个通道的滤色片排列成2×4形式，并在整个CCD表面重复排列；
步骤3、针对八通道光谱raw数据进行图像恢复；
步骤4、对恢复后的多光谱图像进行后处理；
步骤5、多光谱相机的特性化处理。
2.根据权利要求1所述的针对快速成像的八通道多光谱相机设计方法，其特征在于：所述的步骤1中，光谱相机八个通道的光谱选在可见光范围的400nm-700nm成像，每个通道带宽σ＝15，通道1至通道8的中心光谱波长μ分别为433nm、467nm、500nm、533nm、567nm、600nm、633nm、667nm。
3.根据权利要求2所述的针对快速成像的八通道多光谱相机设计方法，其特征在于：所述的步骤3中，具体过程是：
首先从CCD的raw图像中提取各个通道的数据，
设zx，y为完整的raw图像，代表第c个通道的有效信息，则有：其中，为成像蒙版，
在本步骤的相机结构设置中，针对每个通道的图像，从raw图像中提取到含有1/8的有效信息，基于这些有效信息再通过插值计算出另外7/8的图像信息；
在插值计算其余7/8数据时，通过图像滤波的方法实现，例如c通道选用的滤波器窗口定义为hc，则其恢复过程描述为：
<mrow> <msubsup> <mover> <mi>z</mi> <mo>~</mo> </mover> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mi>c</mi> </msubsup> <mo>=</mo> <msubsup> <mi>z</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mi>c</mi> </msubsup> <mo>&amp;CenterDot;</mo> <msub> <mi>h</mi> <mi>c</mi> </msub> <mo>,</mo> </mrow>
针对以上的8通道2×4阵列，所采用的卷积核为：
<mrow> <msub> <mi>h</mi> <mi>c</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> <mtr> <mtd> <mn>2</mn> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>&amp;CenterDot;</mo> <mfrac> <mn>1</mn> <mn>4</mn> </mfrac> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>2</mn> </mtd> <mtd> <mn>3</mn> </mtd> <mtd> <mn>4</mn> </mtd> <mtd> <mn>3</mn> </mtd> <mtd> <mn>2</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfrac> <mn>1</mn> <mn>8</mn> </mfrac> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>2</mn> </mtd> <mtd> <mn>3</mn> </mtd> <mtd> <mn>4</mn> </mtd> <mtd> <mn>3</mn> </mtd> <mtd> <mn>2</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> <mtr> <mtd> <mn>2</mn> </mtd> <mtd> <mn>4</mn> </mtd> <mtd> <mn>6</mn> </mtd> <mtd> <mn>8</mn> </mtd> <mtd> <mn>6</mn> </mtd> <mtd> <mn>4</mn> </mtd> <mtd> <mn>2</mn> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>2</mn> </mtd> <mtd> <mn>3</mn> </mtd> <mtd> <mn>4</mn> </mtd> <mtd> <mn>3</mn> </mtd> <mtd> <mn>2</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>.</mo> </mrow>
4.根据权利要求3所述的针对快速成像的八通道多光谱相机设计方法，其特征在于：所述的步骤4中，具体过程是：
在步骤3恢复的8通道图像中，若两通道分别为i和j，以优化j通道的图像清晰度为例，首先计算j通道与i通道的光谱差值，
<mrow> <msub> <mi>&amp;Delta;</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <msubsup> <mover> <mi>z</mi> <mo>~</mo> </mover> <mrow> <mi>x</mi> <mi>j</mi> <mo>,</mo> <mi>y</mi> <mi>j</mi> </mrow> <mi>i</mi> </msubsup> <mo>-</mo> <msubsup> <mi>z</mi> <mrow> <mi>x</mi> <mi>j</mi> <mo>,</mo> <mi>y</mi> <mi>j</mi> </mrow> <mi>j</mi> </msubsup> <mo>,</mo> </mrow>
其中，的下标(xj，yj)代表位置，即raw数据中j通道的原始采集位置，其上标代表正在处理的通道，因此代表在j通道原始采集位置上的i通道值；
所以Δij代表了在j通道原始采集位置上的i与j光谱差，采用低通滤波得到所有位置上的i与j光谱差，则有：
<mrow> <msub> <mover> <mi>&amp;Delta;</mi> <mo>^</mo> </mover> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>&amp;Delta;</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>*</mo> <msub> <mi>h</mi> <mi>c</mi> </msub> <mo>,</mo> </mrow>
利用i与j两个通道间的光谱值差优化i原始采集位置上的j通道值，则有：
5.根据权利要求4所述的针对快速成像的八通道多光谱相机设计方法，其特征在于：所述的步骤5中，具体过程是：
在已采集的八通道光谱图像基础上，每个像素的CCD成像数据已知，其光谱反射率采用多项式表示为：Y＝Xβ，
其中Y代表光谱值，X代表八通道CCD值，β为待求解的多项式系数；采用Macbeth ColorChecker色靶求解系数β，该色靶上存在24个色块，每个色块的光谱数据已知，经过多光谱成像后八通道成像数据已知，因此在相机特性化过程中只有β未知；若β离散形式为b0,b1,...,bM，则色块的光谱预测值表示为：
所求的β系数应该满足光谱实际测量值yt与以上的预测值均方差Q最小：
最终待求的β值表示为：β＝(XTX)-1XTY。
CN201711340017.1A 2017-12-14 2017-12-14 一种针对快速成像的八通道多光谱相机设计方法 Expired - Fee Related CN108051087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711340017.1A CN108051087B (zh) 2017-12-14 2017-12-14 一种针对快速成像的八通道多光谱相机设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711340017.1A CN108051087B (zh) 2017-12-14 2017-12-14 一种针对快速成像的八通道多光谱相机设计方法

Publications (2)

Publication Number Publication Date
CN108051087A true CN108051087A (zh) 2018-05-18
CN108051087B CN108051087B (zh) 2020-02-18

Family

ID=62132912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711340017.1A Expired - Fee Related CN108051087B (zh) 2017-12-14 2017-12-14 一种针对快速成像的八通道多光谱相机设计方法

Country Status (1)

Country Link
CN (1) CN108051087B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110095189A (zh) * 2019-04-24 2019-08-06 西安理工大学 一种双目的八谱段多光谱相机设计方法
CN112504454A (zh) * 2020-11-25 2021-03-16 天津津航技术物理研究所 一种基于像素级光谱调制的超分辨光谱成像滤波器结构

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102954940A (zh) * 2012-10-23 2013-03-06 中国科学院等离子体物理研究所 一种多通道高响应滤光片分光谱仪
CN103217182A (zh) * 2013-03-27 2013-07-24 黑龙江大学 一种基于滤色片的多通道光纤光栅解调装置
CN104318550A (zh) * 2014-09-27 2015-01-28 励盼攀 八通道多光谱成像数据处理方法
US20150156394A1 (en) * 2013-12-04 2015-06-04 Raytheon Canada Limited Multispectral camera using zero-mode channel

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102954940A (zh) * 2012-10-23 2013-03-06 中国科学院等离子体物理研究所 一种多通道高响应滤光片分光谱仪
CN103217182A (zh) * 2013-03-27 2013-07-24 黑龙江大学 一种基于滤色片的多通道光纤光栅解调装置
US20150156394A1 (en) * 2013-12-04 2015-06-04 Raytheon Canada Limited Multispectral camera using zero-mode channel
CN104318550A (zh) * 2014-09-27 2015-01-28 励盼攀 八通道多光谱成像数据处理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110095189A (zh) * 2019-04-24 2019-08-06 西安理工大学 一种双目的八谱段多光谱相机设计方法
CN110095189B (zh) * 2019-04-24 2020-09-25 西安理工大学 一种双目的八谱段多光谱相机设计方法
CN112504454A (zh) * 2020-11-25 2021-03-16 天津津航技术物理研究所 一种基于像素级光谱调制的超分辨光谱成像滤波器结构

Also Published As

Publication number Publication date
CN108051087B (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
Oh et al. Do it yourself hyperspectral imaging with everyday digital cameras
Nie et al. Deeply learned filter response functions for hyperspectral reconstruction
AU2015230699B2 (en) Hyperspectral resolution using three-color camera
CN111386549B (zh) 一种混合型高光谱图像重构的方法及系统
Hu et al. Convolutional sparse coding for RGB+ NIR imaging
US8768053B2 (en) Image processing apparatus and method of providing high sensitive color images
WO2010052593A1 (en) Camera design for the simultaneous capture of near-infrared and visible images
US20160241797A1 (en) Devices, systems, and methods for single-shot high-resolution multispectral image acquisition
WO2009120928A2 (en) Generalized assorted pixel camera systems and methods
CN116744094A (zh) 图像处理方法和滤波器阵列
Takatani et al. One-shot hyperspectral imaging using faced reflectors
Sun et al. Sparse spectral signal reconstruction for one proposed nine-band multispectral imaging system
CN108051087A (zh) 一种针对快速成像的八通道多光谱相机设计方法
CN116029930A (zh) 一种基于卷积神经网络的多光谱图像去马赛克方法
CN110443865B (zh) 基于rgb相机和深度神经网络的多光谱成像方法和装置
CN116309126A (zh) 基于自回归模型的五波段多光谱图像重建方法
CN110095189B (zh) 一种双目的八谱段多光谱相机设计方法
Miao et al. A generic method for generating multispectral filter arrays
CN110458766A (zh) 一种快照式高光谱图像去马赛克方法
Aggarwal et al. Multi-spectral demosaicing technique for single-sensor imaging
Zhao et al. FOV expansion of bioinspired multiband polarimetric imagers with convolutional neural networks
CN114279568B (zh) 基于色散进行编码压缩的多光谱成像方法、装置及设备
CN115950534A (zh) 分焦平面式高光通量仿生多光谱偏振成像探测器
CN108460805B (zh) 一种利用传统数码相机获取rgb和红外图像的方法
CN111667434B (zh) 一种基于近红外增强的弱光彩色成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200218

Termination date: 20211214