CN117629407A - 光谱芯片的成像方法 - Google Patents
光谱芯片的成像方法 Download PDFInfo
- Publication number
- CN117629407A CN117629407A CN202210986235.7A CN202210986235A CN117629407A CN 117629407 A CN117629407 A CN 117629407A CN 202210986235 A CN202210986235 A CN 202210986235A CN 117629407 A CN117629407 A CN 117629407A
- Authority
- CN
- China
- Prior art keywords
- spectrum
- imaging method
- pixel
- structural
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 133
- 238000003384 imaging method Methods 0.000 title claims abstract description 76
- 238000006243 chemical reaction Methods 0.000 claims abstract description 32
- 238000000411 transmission spectrum Methods 0.000 claims description 33
- 230000004044 response Effects 0.000 claims description 22
- 238000005259 measurement Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 description 13
- 230000003595 spectral effect Effects 0.000 description 12
- 238000011084 recovery Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000003491 array Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000002086 nanomaterial Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- BJQHLKABXJIVAM-UHFFFAOYSA-N bis(2-ethylhexyl) phthalate Chemical compound CCCCC(CC)COC(=O)C1=CC=CC=C1C(=O)OCC(CC)CCCC BJQHLKABXJIVAM-UHFFFAOYSA-N 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004298 light response Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002061 nanopillar Substances 0.000 description 1
- 239000004038 photonic crystal Substances 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Spectrometry And Color Measurement (AREA)
Abstract
本发明提供一种种光谱芯片的成像方法,其中所述成像方法包括如下步骤:(a)获取结构像素的测量值bi和普通像素的测量值ci;(b)获取像素点的转换系数,其中所述转换系数根据像素点的计算值计算所得;以及(d)基于转换系数分别优化结构像素和普通像素的测量值,再利用优化后的测量值恢复图像。
Description
技术领域
本发明涉及光谱信息技术领域,尤其涉及一种光谱芯片的成像方法。
背景技术
随着科技与经济的发展,成像模组的应用越来越广,例如摄影摄像、图像识别、机器视觉等方面。目前用以成像模组的传感器主要为CMOS芯片、CCD芯片等,可以用以获取RGB图像,传统的成像模组存在固有的缺陷,一方面现有成像模组覆盖可见光波段,容易受到外界可见光的影响,一方面成像模组因为只有R、G、B三个通道,所以缺乏光谱细节的信息,也就是说成像模组可能不能真实反映入射光线的信息,容易在成像时出现偏差。
光谱是物质的指纹,光谱信息包含入射光在各个波长上的能量信息,相比现有成像模组,包含信息更多且更加准确。因此,基于光谱芯片的光谱模组逐渐出现在人们视野,如何有效、高效利用光谱芯片,用以获取更准确的信息,成为需要解决的问题。
随着计算机技术的发展,最近几年出现了一种新的光谱仪类型:计算重建型光谱仪,其通过计算来近似甚至重构入射光的光谱。计算重构型光谱仪可以相对较佳地解决因小型化而导致检测性能下降的问题。通过光谱芯片对指纹拍照既要有比较清晰的图像,又想获取光谱信息。清晰图像在明暗上的变化,会成为光谱信息提取的干扰。并且为了提取光谱信息也会在干扰成像,导致图像存在异常点,从而使得图像不完整或精度不够。
发明内容
本发明的一个主要优势在于提供一种光谱芯片的成像方法,其中所述光谱芯片具有调制层和非调制层,能够获取待拍摄物的图像信息和光谱信息。
本发明的另一个优势在于提供一种光谱芯片的成像方法,其中所述光谱芯片对光谱恢复的测量值进行优化,以提高恢复精度。
本发明的另一个优势在于提供一种光谱芯片的成像方法,其中所述光谱芯片通过转换系数将结构像素和普通像素转换为同一量级,从而得以精确恢复图像。
本发明的另一个优势在于提供一种光谱芯片的成像方法,其中所述光谱芯片对结构像素和普通像素获取的测量值分别乘以对应的转换系数,获取转换后的测量值,再用转换后的测量值进行成像,获得待识别物的图像,用以待识别物的识别,例如待识别物为手指,则可以获取指纹纹理图像,配合光谱信息的活体判断,实现活体指纹识别。
本发明的另一个优势在于提供一种光谱芯片的成像方法,其中所述成像方法通过转换系数的获取,对测量值进行转换,使得结构像素和普通像素的测量值位于同一维度(或者同一量级),从而可以有效的进行图像恢复。
依本发明的一个方面,能够实现前述目的和其他目的和优势的本发明的一种光谱芯片的成像方法,所述光谱芯片包括调制区和非调制区,对应于调制区的结构像素和对应于非调制区的普通像素构成所述光谱芯片的像素点,所述成像方法包括如下步骤:
(a)获取每个结构像素的测量值bi和每个普通像素的测量值ci;
(b)获取像素点的转换系数,其中所述转换系数根据像素点的计算值计算所得;以及
(c)基于转换系数分别优化结构像素和普通像素的测量值,再利用优化后的测量值恢复图像。
根据本发明的一个实施例,在所述成像方法的步骤(b)进一步包括:
获取光谱芯片的每个像素点的计算值,并根据每个像素点的计算值计算每个像素点对应的转换系数。
根据本发明的一个实施例,所述成像方法的步骤(b)进一步包括步骤:
(b.1)通过入射光谱f(λ)与对应的透射谱曲线Ai和对应的普通像素响应Ri获取光谱芯片的每个像素点的计算值;和
(b.2)根据入射光谱f(λ)跟全1向量作点积获得入射光谱强度Ii,将每个像素点的计算值分别除以入射光谱强度Ii,以获取每个像素点对应的转换系数。
根据本发明的一个实施例,在所述成像方法的步骤(b.1)中,离散化的入射光谱分别和透射谱曲线、物理像素响应作点积,获取光谱芯片每个像素点的计算值。
根据本发明的一个实施例,在所述成像方法的步骤(b.1)中,通过计算获取像素点的计算值,对计算出来的入射光谱f(λ)、透射谱曲线Ai以及普通像素响应Ri进行离散、均匀采样n个采样点;再计算对应结构单元和物理像素的计算值。
根据本发明的一个实施例,所述转换系数被存储在存储器中。
根据本发明的一个实施例,所述成像方法的步骤(a)进一步包括步骤:
(a.1)获取调制区域的每个结构像素对应的透射谱曲线Ai,以及非调制区域对应的图像传感器的每个物理像素的响应Ri;和
(a.2)恢复入射光谱,以获取每个结构像素的测量值记为bi;再利用bi跟对应的透射谱矩阵Ai(λ)计算出对应的入射光谱f(λ)。
根据本发明的一个实施例,所述成像方法的步骤(a.2)进一步包括如下步骤:根据bi利用神经网络算法恢复入射光谱。
根据本发明的一个实施例,所述成像方法的步骤(a.2)进一步包括步骤:
(a.2.1)选择所述结构像素周边的若干普通像素组成普通像素集,和记录每个所述普通像素对应的测量值记为cij;
(a.2.2)根据所述普通像素集的平均值ci获取所述结构像素的相对测量值bi`;以及
(a.2.3)基于所述相对测量值恢复入射光谱。
根据本发明的一个实施例,所述成像方法的步骤(a.2.2)中,将bi/ci获取相对测量值 bi`。
根据本发明的一个实施例,所述成像方法的步骤(a.2.2)中,将bi-ci获取相对测量值 bi`。
根据本发明的一个实施例,在所述成像方法的步骤(a.2)中,预先构建入射光谱对应的数据库,根据测量值直接可以匹配对应的入射光谱;或者通过训练神经网络模型,根据测量值直接输出对应的入射光谱。
通过对随后的描述和附图的理解,本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势,通过下述的详细说明和附图得以充分体现。
附图说明
图1是根据本发明的第一较佳实施例的一种光谱芯片的机构示意图。
图2A至图2C是根据本发明上述较佳实施例的所述光谱芯片的微观结构示意图。
图3是是根据本发明上述较佳实施例的一种光谱芯片的成像方法的方法步骤示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是,在本发明的揭露中,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系,其仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此上述术语不能理解为对本发明的限制。
可以理解的是,术语“一”应理解为“至少一”或“一个或多个”,即在一个实施例中,一个元件的数量可以为一个,而在另外的实施例中,该元件的数量可以为多个,术语“一”不能理解为对数量的限制。
参照本发明说明书附图之图1至图3所示,依照本申请第一较佳实施例的一种光谱芯片的成像方法在接下来的描述中被阐明。所述光谱芯片包括滤光结构10和图像传感器20,所述滤光结构10位于所述图像传感器20的感光路径,所述滤光结构10为频域或者波长域上的宽带滤光结构。各处滤光结构不同波长的通光谱不完全相同。在本申请的该优选实施例中,所述滤光结构10可以是超表面、光子晶体、纳米柱、多层膜、染料、量子点、 MEMS(微机电系统)、FP etalon(FP标准具)、cavity layer(谐振腔层)、waveguide layer (波导层)、衍射元件等具有滤光特性的结构或者材料。例如,在本申请实施例中,所述滤光结构10可以是中国专利CN201921223201.2中的光调制层。
图像传感器20可以是CMOS图像传感器(CIS)、CCD、阵列光探测器等。另外,所述光谱装置还包括信号处理单元30,所述信号处理单元30可以是MCU、CPU、GPU、 FPGA、NPU、ASIC等处理单元,其可以将图像传感器20生成的数据导出到外部进行处理。
作为示例的,在本申请的该优选实施例中,在接下来的描述中所述滤光结构被实施为光调制层。具体地,所述光调制层包括以特定样式排布的多个结构单元,其中所述结构单元按照一定周期排列。进一步地,所述结构单元是由至少一微纳结构构成,其中所述微纳结构可以被实施为孔、柱、线等结构。
本申请进一步提供所述光谱芯片工作原理,当所述图像传感器20测得光谱响应后,传入所述数据处理单元30进行恢复计算。该过程具体描述如下:
将入射光在不同波长λ下的强度信号记为x(λ),所述光调制层的透射谱曲线记为T(λ),所述光调制层上具有m个的结构单元,每一个结构单元的透射谱互不相同,因此所述光调制层被记为Ti(λ)(i=1,2,3,…,m)。每一个结构单元下方都有相应的物理像素,探测经过光调制层调制的光强bi。作为示例的,在本申请的特定实施例中,以一个物理像素,即一个物理像素对应一个结构单元。可选地,在本申请的其它实施例中,可以是多个物理像素为一组对应于一个结构单元。因此,在根据本申请实施例的计算光谱装置中,至少二所述结构单元构成一个“光谱像素”,即多个结构单元和对应的图像传感器构成光谱像素。
可以理解的是,所述光调制层的有效的透射谱(用以光谱恢复的透射谱,叫做有效的透射谱)Ti(λ)数量与结构单元数量可以不一致,所述滤光结构10的透射谱根据识别或恢复的需求人为的按照一定规则去设置、测试、或计算获得(例如上述每个结构单元通过测试出来的透射谱就为有效的透射谱)。因此所述光调制层的有效透射谱的数量可以比结构单元数量少,甚至也可能比结构单元数量多。可选地在本申请的一个具体示例中,某一个所述透射谱曲线并不一定是一个结构单元所决定。
入射光的频谱分布和图像传感器的测量值之间的关系可以由下式表示:
bi=∫x(λ)*Ti(λ)*R(λ)dλ
再进行离散化,得
bi=Σ(x(λ)*Ti(λ)*R(λ))
其中R(λ)为所述图像传感器20的响应,记为:
Ai(λ)=Ti(λ)*R(λ),
则上式可以扩展为矩阵形式:
其中,bi(i=1,2,3,…,m)是待测光透过光调制层后图像传感器的响应,分别对应m个结构单元对应的图像传感器的光强测量值,当一个物理像素对应一个结构单元时,即m个物理像素对应的光强测量值,其是一个长度为m的向量。矩阵A(透射谱曲线或者透射谱矩阵)是系统对于不同波长的光响应,由光调制层的透过率和图像传感器的量子效率两个因素决定。A是矩阵,每一个行向量对应一个结构单元对不同波长入射光的响应,对入射光进行离散、均匀的采样,共有n个采样点。A的列数与入射光的采样点数相同。 x(λ)即是入射光在不同波长λ的光强,也就是待测量的入射光光谱。
在上述实现方式的基础上,将光谱像素进行阵列化处理,则可以实现快照式的光谱成像设备。
然而单一的成像或单一的光谱恢复识别,已经无法满足个别场景应用,但是要同时实现两个功能,一般需要多个芯片共同工作,例如光谱芯片和CMOS芯片协调工作,不过这会使得体积过大、成本过高。基于此,本发明该优选实施例的所述光谱芯片具有调制区域110和非调制区域120,其中所述调制区域110设置有所述滤光结构10,所述滤光结构至少包括一结构单元,通过所述滤光结构10实现对入射光宽谱调制,而所述非调制区域120则不设置滤光结构10。也就是说,所述调制区域110的结构单元与对应的物理像素组成结构像素,而非调制区域120的物理像素叫做普通像素,所述调制区域110对应的所述结构像素和所述非调制区域120对应的所述普通像素构成了所述光谱芯片的像素点。以CMOS传感器为例,所述调制区域110而言入射光会先进入滤光结构10被调制后,再进入到所述调制区域110对应的CMOS的物理像素,获得光强信息,从而获取到光谱信息;而非调制区域120则会入射光不会被调制,直接进入对应的物理像素,获取对应的光强信息,从而可以获取图像信息等。所述非调制区域120实施为空白、拜尔阵列(规则或不规则阵列)、微透镜等,例如空白。作为示例的,所述非调制区域120实施为黑白像素,例如拜尔阵列,所述非调制区域实施为RGGB阵列等。
作为优选地,本申请实施例所述光谱芯片的所述调制区域110形成于所述光谱芯片中心区域,所述非调制区域120形成于所述光谱芯片的四周,所述非调制区域120至少部分围绕于所述调制区域110。可选地,所述光谱芯片的所述调制区域110形成于所述光谱芯片的四周,而所述非调制区域被形成在所述光谱芯片的中心区域。可选地,在本申请的另一可选实施方式中,所述光谱芯片的所述调制区域110和所述非调制区域120间隔设置。作为示例的,以一个结构单元对应一个物理像素为例,不构成限定,可以是一个结构单元对应多个物理像素,例如1个结构单元可以对应2*2,3*3个物理像素或更多的物理像素。
所述光谱芯片对入射光进行调制,其中所述结构单元对不同的波段有不同的透射率,且不同的结构单元的调制效果不同,正是利用这些不同的透射率,通过计算能够恢复出光谱信息。本申请该优选实施例的所述光谱芯片即可以获取图像又能够获取对应的光谱信息。需要说明的是,清晰图像在明暗上的变化,会成为光谱信息提取的干扰。这些为了提取光谱信息的结构单元(调制区域),会在干扰成像,导致图像存在异常点,从而使得图像不完整或精度不够。
因此,针对上述问题,所述光谱芯片基于本发明所述成像方法可以解决调制区域和非调制区域之间对成像、光谱恢复相互影响的问题。为了更好理解,本发明采用调制区域和非调制区域间隔设置的光谱芯片为例进行说明。
如图3所示,本发明该优选实施例的所述光谱芯片的成像方法包括如下步骤:
(a)获取每个结构像素的测量值bi和每个普通像素的测量值ci;
(b)获取像素点的转换系数,其中所述转换系数根据像素点的计算值计算所得;以及
(c)基于转换系数分别优化结构像素和普通像素的测量值,再利用优化后的测量值恢复图像。本发明该优选实施例的所述光谱芯片的所述成像方法的步骤(a)进一步包括如下步骤:
(a.1)获取调制区域的每个结构像素对应的透射谱曲线Ai,以及非调制区域对应的图像传感器的每个物理像素的响应Ri;和
(a.2)恢复入射光谱,以获取每个结构像素的测量值记为bi;再利用bi跟对应的透射谱矩阵Ai(λ)计算出对应的入射光谱f(λ)。
在本发明该优选实施例的所述光谱芯片的所述成像方法的步骤(a.1)中,其中所述结构单元对应的透射谱曲线Ti和对应的图像传感器的物理像素的响应Ri决定对应所述结构像素的透射谱曲线Ai。也就是说,所述结构单元在不同波段有不同的透过率,而所述物理像素在不同的波段也存在不同的响应,两者共同决定所述结构像素的透射谱曲线Ai。所述物理像素的响应Ri一般是图像传感器的特性,不同的图像传感器的物理像素具有不同的响应。
在本发明所述光谱芯片的所述成像方法的步骤(a.2)进一步包括如下步骤:对入射光谱进行恢复,以获取每个结构像素的测量值记为bi;再利用bi跟对应的透射谱矩阵Ai(λ)计算出对应的入射光谱f(λ)。
可选地,所述光谱芯片的所述成像方法的步骤(a.2)进一步包括如下步骤:根据结构像素的测量值bi利用神经网络算法恢复入射光谱。
为了提升恢复的精度,需要优化测量值,记录每个结构像素周边的普通像素对应的测量值记为cij。例如每个结构像素被8个普通像素围绕,则可以对8个普通像素的测量值求平均值,获取平均值ci`;将bi/ci`获取相对测量值bi`;再利用相对测量值bi`进行光谱恢复。
因此,所述光谱芯片的所述成像方法的步骤(a.2)进一步包括步骤:
(a.2.1)选择所述结构像素周边的若干普通像素,并将所述普通像素组成为普通像素集,记录每个所述普通像素对应的测量值记为cij;优选地,若干普通像素的测量值相差在一定的阈值范围内,即若干普通像素的测量值较为接近。
(a.2.2)根据所述普通像素集的平均值ci`获取所述结构像素的相对测量值bi`;以及
(a.2.3)基于所述相对测量值bi`恢复入射光谱。
在本申请该优选实施例的所述光谱芯片的所述成像方法的步骤(a.2.2)中,将bi/ci` 获取相对测量值bi`。
可选地,所述结构单元的相对测量值bi`可以是测量值bi减去平均值ci`。因此,在本申请该优选实施例的所述光谱芯片的所述成像方法的步骤(a.2.2)中,将bi-ci`获取相对测量值bi`。
需要说明的是8个普通像素的测量值求平均只是用来说明,并不构成限定,亦可以通过特定的方法确定对应的普通像素,再基于确定的普通像素的测量值,对结构像素的测量值进行优化,所述普通像素可以大于8,例如结构像素之间间隔多个普通像素;亦可以小于8个,例如多个结构像素相邻设置,则相邻的或较为靠近的普通像素数量会小于8。可选地,也可以不求平均值,例如越靠近结构单元的物理像素占比比较高,远离的比例较低,在确定其平均值ci`,例如以物理像素中心点到结构像素中心点的距离倒数为比例进行几何平均计算。
值得一提的是,由于入射光谱大致相同,无需经过恢复光谱的过程也可以直接采用经验值获取入射光谱。作为示例的,预先构建入射光谱对应的数据库,根据测量值直接可以匹配对应的入射光谱。可选地,通过训练神经网络模型,根据测量值直接输出对应的入射光谱。
所述光谱芯片的所述成像方法的步骤(b)进一步包括步骤:
(b.1)通过入射光谱f(λ)与对应的透射谱曲线Ai和对应的普通像素响应Ri获取光谱芯片的每个像素点的计算值;和
(b.2)根据入射光谱f(λ)跟全1向量作点积获得入射光谱强度Ii,将每个像素点的计算值分别除以入射光谱强度Ii,以获取每个像素点对应的转换系数。
在本发明上述光谱芯片的成像方法的所述步骤(b.1)中,可以通过计算获取像素点的计算值,对计算出来的入射光谱f(λ)、透射谱曲线Ai以及普通像素响应Ri进行离散、均匀采样n个采样点;再计算对应结构单元和物理像素的计算值。离散化的入射光谱分别和透射谱曲线、物理像素响应作点积,获取光谱芯片每个像素点的计算值。
作为示例的,入射光谱f(λ)=(1,2,3,4),即4个采样点,某一普通像素的响应为(1,1,1,1),结构像素1的透射谱曲线A1=(0,1,1,0),结构像素2的透射谱曲线A2=(1,2,1,0),则入射光谱强度为1+2+3+4=10,普通像素的计算值为10,其转换系数为1,结构单元1的计算值为5,其转换系数为2,结构单元2的计算值为8,其转换系数为1.25。
在所述光谱芯片的所述成像方法的步骤(b)中,入射光在结构像素和普通像素上的测量值分别乘以对应的转换系数,获取优化后的测量值,再用优化后的测量值用以恢复图像。本领域技术人员可以理解的是,这样可以通过转换系数将结构像素和普通像素转换为同一量级,从而得以精确恢复图像。优选地,不需要每次都计算所有像素点转换系数,所述转换系数经计算后被存储在一个存储器中,其中所述存储器可以是光谱芯片、光谱装置亦或是云端的存储装置,当所述光谱芯片对待测物光谱成像时,通过程序调用存储在所述存储器中的所述转换系数。
作为优选地,在本发明的该优选实施例中,所述光谱芯片可以被应用于指纹识别人脸识别等生物特征识别,其中所述光谱芯片的所述结构像素获取的光谱信息可以用以活体检测,而所述光谱芯片的所述普通像素和所述结构像素可以结合用以恢复对应待识别物的图像。具体而言,将光投射至待识别物,部分光被吸收,部分光被反射,形成入射光,入射光进入所述光谱芯片的结构像素和普通像素,获得对应的测量值,其中结构像素获取的对应测量值可以用以判断是否为活体,可选地可以先进行光谱曲线恢复,再判断是否为活体;亦可以直接根据测量值不进行光谱曲线恢复直接判断是否为活体,例如构建对应的神经网络,根据测量值直接输出是否为活体。
可以理解的是,本申请所述光谱芯片基于上述成像方法,即所述结构像素和所述普通像素获取的测量值分别乘以对应的转换系数,获取转换后的测量值,再用转换后的测量值进行成像,获得待识别物的图像。因此基于上述成像方法的所述光谱芯片可用以待识别物的识别,例如待识别物为手指,则可以获取指纹纹理图像,配合光谱信息的活体判断,实现活体指纹识别。例如待识别物是人脸,则可以获取人脸图像,进行人脸活体识别。
由于本发明的光谱芯片存在结构像素,会影响成像,有可能导致图像在结构像素处缺失,或者在结构像素处失真等,而本发明通过转换系数的获取,对测量值进行转换,使得结构像素和普通像素的测量值位于同一维度(或者同一量级),从而可以有效的进行图像恢复。
本领域的技术人员应理解,上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本发明的实施方式可以有任何变形或修改。
Claims (12)
1.一种光谱芯片的成像方法,所述光谱芯片包括调制区和非调制区,对应于调制区的结构像素和对应于非调制区的普通像素构成所述光谱芯片的像素点,其特征在于,所述成像方法包括如下步骤:
(a)获取结构像素的测量值bi和普通像素的测量值ci;
(b)获取像素点的转换系数,其中所述转换系数根据像素点的计算值计算所得;以及
(c)基于转换系数分别优化结构像素和普通像素的测量值,再利用优化后的测量值恢复图像。
2.根据权利要求1所述的成像方法,其中在所述成像方法的步骤(b)进一步包括:
获取光谱芯片的每个像素点的计算值,并根据每个像素点的计算值计算每个像素点对应的转换系数。
3.根据权利要求2所述的成像方法,其中所述成像方法的步骤(b)进一步包括步骤:
(b.1)通过入射光谱f(λ)与对应的透射谱曲线Ai和对应的普通像素响应Ri获取光谱芯片的每个像素点的计算值;和
(b.2)根据入射光谱f(λ)跟全1向量作点积获得入射光谱强度Ii,将每个像素点的计算值分别除以入射光谱强度Ii,以获取每个像素点对应的转换系数。
4.根据权利要求3所述的成像方法,其中在所述成像方法的步骤(b.1)中,离散化的入射光谱分别和透射谱曲线、物理像素响应作点积,获取光谱芯片每个像素点的计算值。
5.根据权利要求4所述的成像方法,其中在所述成像方法的步骤(b.1)中,通过计算获取像素点的计算值,对计算出来的入射光谱f(λ)、透射谱曲线Ai以及普通像素响应Ri进行离散、均匀采样n个采样点;再计算对应结构单元和物理像素的计算值。
6.根据权利要求1所述的成像方法,其中所述转换系数被存储在存储器中。
7.根据权利要求1、3或6所述的成像方法,其中所述成像方法的步骤(a)进一步包括步骤:
(a.1)获取调制区域的每个结构像素对应的透射谱曲线Ai,以及非调制区域对应的图像传感器的每个物理像素的响应Ri;和
(a.2)恢复入射光谱,以获取每个结构像素的测量值记为bi;再利用bi跟对应的透射谱矩阵Ai(λ)计算出对应的入射光谱f(λ)。
8.根据权利要求2所述的成像方法,其中所述成像方法的步骤(a.2)进一步包括如下步骤:根据bi利用神经网络算法恢复入射光谱。
9.根据权利要求7所述的成像方法,其中所述成像方法的步骤(a.2)进一步包括步骤:
(a.2.1)选择所述结构像素周边的若干普通像素组成普通像素集,和记录每个所述普通像素对应的测量值记为cij;
(a.2.2)根据所述普通像素集的平均值ci获取所述结构像素的相对测量值bi`;以及
(a.2.3)基于所述相对测量值恢复入射光谱。
10.根据权利要求9所述的成像方法,其中所述成像方法的步骤(a.2.2)中,将bi/ci获取相对测量值bi`。
11.根据权利要求9所述的成像方法,其中所述成像方法的步骤(a.2.2)中,将bi-ci获取相对测量值bi`。
12.根据权利要求1所述的成像方法,其中在所述成像方法的步骤(a.2)中,预先构建入射光谱对应的数据库,根据测量值直接可以匹配对应的入射光谱;或者通过训练神经网络模型,根据测量值直接输出对应的入射光谱。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210986235.7A CN117629407A (zh) | 2022-08-17 | 2022-08-17 | 光谱芯片的成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210986235.7A CN117629407A (zh) | 2022-08-17 | 2022-08-17 | 光谱芯片的成像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117629407A true CN117629407A (zh) | 2024-03-01 |
Family
ID=90034387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210986235.7A Pending CN117629407A (zh) | 2022-08-17 | 2022-08-17 | 光谱芯片的成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117629407A (zh) |
-
2022
- 2022-08-17 CN CN202210986235.7A patent/CN117629407A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11443550B2 (en) | Face recognition monitoring system based on spectrum and multi-band fusion and recognition method using same | |
US8345936B2 (en) | Multispectral iris fusion for enhancement and interoperability | |
Koundinya et al. | 2D-3D CNN based architectures for spectral reconstruction from RGB images | |
US20110200237A1 (en) | Pattern matching device and pattern matching method | |
JP2008518229A (ja) | マルチスペクトル及びハイパースペクトル撮像を行うシステム | |
US8810658B2 (en) | Estimating a visible vector representation for pixels in an infrared image | |
US10641658B1 (en) | Method and system for hyperspectral light field imaging | |
Zhao et al. | Hyperspectral imaging with random printed mask | |
KR20170102459A (ko) | 스펙트럼 이미징 방법 및 시스템 | |
CN111024229B (zh) | 单芯片集成型光谱成像微系统光谱数据校正方法 | |
US20220156479A1 (en) | Spectral imaging chip and apparatus, information processing method, fingerprint living body identification device and fingerprint module | |
CN115731191A (zh) | 一种基于神经网络的窄波段光谱成像方法 | |
Uemori et al. | Skin-based identification from multispectral image data using CNNs | |
US20220091694A1 (en) | Fingerprint identification system having real/fake fingerprint identification function for mobile phone, and identification method using same | |
CN114216867A (zh) | 高光谱图像采集识别装置及方法 | |
WO2023125329A1 (zh) | 活体指纹识别系统及其活体识别方法 | |
CN117629407A (zh) | 光谱芯片的成像方法 | |
Khan et al. | Color characterization methods for a multispectral camera | |
CN117635678A (zh) | 分区域光谱芯片的光强信息提取方法 | |
Jia et al. | Single-shot Fourier transform multispectroscopy | |
US11580631B2 (en) | Platform and methods for dynamic thin film measurements using hyperspectral imaging | |
Yu et al. | High Spectral Resolution Imaging Based on Dual-Camera System With Filter Wheel | |
CN103234915B (zh) | 一种基于多光谱检测的波段选择方法 | |
Chang et al. | A new coefficient estimation method when using PCA for spectral super-resolution | |
WO2023109874A1 (zh) | 识别系统及其工作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |