CN116380241A - 光谱仪 - Google Patents

光谱仪 Download PDF

Info

Publication number
CN116380241A
CN116380241A CN202211661740.0A CN202211661740A CN116380241A CN 116380241 A CN116380241 A CN 116380241A CN 202211661740 A CN202211661740 A CN 202211661740A CN 116380241 A CN116380241 A CN 116380241A
Authority
CN
China
Prior art keywords
light
image sensor
slit
spectrometer
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211661740.0A
Other languages
English (en)
Inventor
李丽
武振华
王宇
黄志雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Heguang Technology Co ltd
Original Assignee
Beijing Heguang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Heguang Technology Co ltd filed Critical Beijing Heguang Technology Co ltd
Publication of CN116380241A publication Critical patent/CN116380241A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/04—Slit arrangements slit adjustment
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本申请涉及一种光谱仪，所述光谱仪包括：基板和感光模组，所述基板具有以周期排列的多个狭缝单元，用于对入射光进行调制，所述狭缝单元形成与其对应的透射谱曲线，所述感光模组位于所述屏幕下端，且包括：图像传感器，用于接收调制后的入射光，以获得所述入射光的光谱信息，所述基板设置于所述图像传感器的光学路径上。

Description

光谱仪
技术领域
本申请涉及光谱成像技术领域，更为具体地说，涉及一种光谱仪。
背景技术
各种类型的生物计量系统被越来越多地使用，以提供更高的安全性和/或增强的用户便利性。例如，指纹感测系统由于其尺寸小、性能高和用户接受度高已经被广泛地应用于各类终端设备中，例如消费者的智能手机中。目前市面上流通多种指纹感测系统，例如基于电容式指纹模组的感测系统、基于光学指纹模组的感测系统等，上述类型的指纹感测系统虽然可以实现解锁，但是在被应用于移动终端的指纹识别解锁后，不法分子可以通过窃取用户指纹制作出假指纹来破解用户的安全系统，这反而增加了移动终端指纹密码被识破的概率，对移动终端的信息安全造成了较大的威胁。
因此，需要对传统的生物计量系统进行安全加强，例如，通过活性检测来保护生物计量系统免受利用欺骗的身体部位的攻击，例如欺骗指纹。存在许多活体检测的解决方案，例如，寻找材料属性的基于硬件的方法、通过血氧定量法的脉冲检测、寻找所获得的指纹图像中的伪造的伪像欺骗并查看精细尺度的纹理的基于软件的方法。
然而现有活体指纹识别方案都存在一定的缺陷，例如结构过于复杂、识别操作较为复杂或指纹成本较高等，因此亟需一种简单、可靠的指纹识别方案实现活体指纹识别。
发明内容
本申请的一优势在于提供了一种光谱仪，其中，所述光谱仪能够利用狭缝带来的衍射和/或干涉的调制效果，获取到光谱信息。
根据本申请的一个方面，提供了一种光谱仪，其包括：
基板，具有以周期排列的多个狭缝单元，用于对入射光进行调制，所述狭缝单元具有对应的透射谱曲线；
感光模组，所述感光模组位于所述屏幕下端，且包括：图像传感器，用于接收调制后的入射光，以获得所述入射光的光谱信息，所述基板设置于所述图像传感器的光学路径上。
在根据本申请所述的光谱仪中，每个狭缝单元包括至少一狭缝和/或小孔。
在根据本申请所述的光谱仪中，所述基板为屏幕。
在根据本申请所述的光谱仪中，所述屏幕包括玻璃盖板和位于所述玻璃盖板下方的发光单元。
在根据本申请所述的光谱仪中，所述光谱仪进一步包括光源，所述光源为所述发光单元。
在根据本申请所述的光谱仪中，所述感光模组进一步包括光学组件，所述光学组件包括光阑和至少一透镜，所述光学组件位于所述图像传感器的感光路径上。
在根据本申请所述的光谱仪中，所述基板为调制盖板。
在根据本申请所述的光谱仪中，所述调制盖板包括由透明材料构成的玻璃盖板和覆盖于所述玻璃盖板的不透光材料，所述调制盖板的未覆盖有所述不透光材料处形成所述狭缝单元。
在根据本申请所述的光谱仪中，所述不透光材料包括不透光的平行设置的导电材料，平行设置的所述导电材料形成电容结构。
在根据本申请所述的光谱仪中，所述不透光材料包括不透光的不导电材料。
在根据本申请所述的光谱仪中，所述光谱仪进一步包括电连接于所述图像传感器的线路板，所述线路板适于导通于所述电容结构。
在根据本申请所述的光谱仪中，所述调制盖板为掩膜版。
在根据本申请所述的光谱仪中，所述调制盖板为电子设备的保护盖板，所述保护盖板具有透光区域和非透光区域，所述透光区域形成所述狭缝单元。
在根据本申请所述的光谱仪中，所述感光模组包括滤光结构和图像传感器，所述滤光结构位于所述图像传感器的感光路径上。
在根据本申请所述的光谱仪中，所述光谱仪进一步包括位于所述图像传感器的感光路径上的滤光片。
在根据本申请所述的光谱仪中，任一所述狭缝单元与其相邻的两个狭缝单元定义出两个向量和面积等于两个所述向量点乘的区域，该区域的图案在周期区域范围内分别沿着两个所述向量对应的向量方向平移整数个所述向量的位移后，该区域的所述狭缝与平移后所处区域的所述狭缝重合，其中，所述周期区域为由多个以周期排列的多个狭缝单元形成的区域。
附图说明
通过阅读下文优选的具体实施方式中的详细描述，本申请各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。显而易见地，下面描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。而且在整个附图中，用相同的附图标记表示相同的部件。
图1图示了以硅胶和人皮肤测试为例，真人手指和指模材料对应的反射光谱数据的示意图。
图2图示了根据本发明的活体指纹识别系统的屏幕的示意图。
图3A是图像传感器直接获取的光谱信息的示意图。
图3B是本发明的通过OLED屏幕调制后，图像传感器获取的光谱信息的示意图。
图4A为入射光为450nm波段，对应图像传感器部分区域的光强信息图。
图4B为入射光为580nm波段，对应图像传感器相同区域的光强信息图。
图5图示了分布有R、G、B发光单元的OLED屏幕的示意图。
图6A是根据本发明的OLED屏幕的狭缝和/或小孔的第一示例的示意图。
图6B是根据本发明的OLED屏幕的狭缝和/或小孔的第二示例的示意图。
图7A和图7B是根据本发明的OLED屏幕的成像光路的示意图。
图8A图示了根据本发明的OLED屏幕的第一变型示例的示意图。
图8B图示了根据本发明的OLED屏幕的第二变型示例的示意图。
图8C图示了根据本发明的OLED屏幕的第三变型示例的示意图。
图9图示了根据本发明的活体指纹识别系统的变型实施例的示意图。
图10图示了活体指纹识别系统的滤波器的工作示例。
图11图示了根据本发明的活体指纹识别系统的图像传感器的像素合并的示意图。
图12图示了根据本发明的活体识别方法的第一示例的流程图。
图13为本发明的神经网络模型的示意图。
图14图示了根据本发明的活体识别方法的第二示例的流程图。
图15图示了图14所示的方法中的活体检测和对象识别步骤的流程图。
图16图示了根据本发明的图像传感器的光谱像素阵列的第一示例的示意图。
图17图示了根据本发明的图像传感器的光谱像素阵列的第二示例的示意图。
图18图示了根据本发明的活体指纹识别流程的示意图。
图19图示了根据本发明的感兴趣区域的示意图。
图20图示了根据本申请的一个替代实施例的光谱装置的示意图。
图21图示了如图20所示的光谱装置的调制盖板的结构的一个示例的示意图。
图22图示了如图20所示的光谱装置的调制盖板的结构的另一示例的示意图。
图23图示了图20所示的光谱装置的包括光学组件的配置的示意图。
图24为现有的手机的背面示意图。
图25为本实施例的具有保护盖板的手机的背面示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
由于人皮肤中存在毛细血管(血液)、汗孔等生理特征，相对指纹纹路来讲较难被伪造，而由于存在生理特征会导致皮肤对不同波段的光谱吸收/反射程度不同，这也就表明，可以根据经由皮肤反射后的光谱信息进行活体判断，从而实现对指纹的活体检测。具体的，通过对真人手指和指模材料进行反射光谱测试可知，在300nm-1100nm波长下，真人手指反射光谱和指模材料的反射光谱差异巨大。图1图示了以硅胶和人皮肤测试为例，真人手指和指模材料对应的反射光谱数据的示意图。如图1所示，两者的差别较大，因此，可以通过接收到的反射光谱进行活体判断是可行的。
示例性系统
基于上述理论，本发明提供一种活体指纹识别系统，所述识别系统包括屏幕和感光模组，所述感光模组位于所述屏幕下端，所述屏幕具有多个狭缝(孔)，当光源投射光到待测手指反射后产生入射光，所述入射光经过所述屏幕的所述狭缝会产生衍射和/或干涉，再被所述感光模组接收获取光谱信息，通过对所述图像传感器接收的光谱信息进行处理，可以获取指纹的活体信息和图像信息，从而可以实现活体识别和指纹纹路的图像识别。其中，所述屏幕可以实施为LCD屏幕、OLED屏幕、microLED屏幕、ULED屏幕等。一般传统技术的屏下指纹识别系统来讲，需要算法修正，避免屏幕干扰，包括但不限于衍射和/或干涉现象，以免导致感光模组接收到的图像信息无法实现指纹识别，一般来讲其会对屏幕尤其是对应狭缝、感光模组以及屏幕与模组对应关系进行设计、调整尽可能抑制衍射和/或干涉产生，而本发明可以利用屏幕的狭缝结构带来的衍射和/或干涉的调制效果，等效于对入射光进行了空间色散调制，再用感光模组接收经过调制后的指纹图像信息，进而获取到光谱信息，通过对光谱信息进行处理实现活体判断识别。图2图示了根据本发明的活体指纹识别系统的屏幕的示意图。
具体而言，本发明以所述屏幕实施为OLED屏幕为例，即所述屏幕既可以用以显示、又可以作为光源投射光至待测物体(手指)，还由于OLED屏幕具有狭缝可以用以对待测物体反射产生的入射光进行衍射和/或干涉，从而实现对入射光的空间色散调制；所述感光模组包括图像传感器，所述图像传感器可以实施为CMOS芯片、CCD芯片等成像芯片，且优选地所述图像传感器上的物理像素优选地都为黑白像素(即不加拜尔阵列)；入射光经过OLED屏幕的调制再被所述图像传感器接收，获取图像信息，进而获取到光谱信息；在对光谱信息进行处理可以判断活体。需要理解的是，所述图像传感器接收的信息既包括可以用以指纹成像的信息也包括用于活体判断的光谱信息。
进一步，为了凸显出OLED屏幕的狭缝在本发明中的作用，提供图3A和图3B。其中，图3A是图像传感器直接获取的光谱信息的示意图。如图所示，光源投射光到达待测手指后反射产生入射光，入射光直接被图像传感器接收，所述图像传感器上的光谱信息，其中图像传感器各个区域光谱信息较为均匀；即理解为入射光没有被OLED屏幕调制。而图3B是本发明的通过OLED屏幕调制后，图像传感器获取的光谱信息的示意图。即，同样的入射光经过OLED屏幕调制后的光谱信息。通过比较会发现两者表现出来的信息是完全不一样的，相对来讲被OLED屏幕调制后，图像传感器接收到的图像信息会包含更多信息。具体地，入射光经过屏幕的空间色散调整，会在图像信息中包含光的色散特性，即光谱特性(光谱信息)。因此可以从中提取出光谱信息，进而用以实现活体判断。
为了进一步说明狭缝带来的优势，提供测试图，不同波长的入射光经过OLED屏幕后，会在图像传感器上表现不同的图案，即OLED屏幕对不同的波段入射光调制效果不同。图4A为入射光为450nm波段，对应图像传感器部分区域的光强信息图，图4B为入射光为580nm波段，对应图像传感器相同区域的光强信息图，可以明显看出两者的区别。
具体的，本发明要基于OLED屏幕可以实现衍射和/或干涉，优选地本发明所述OLED屏幕尽可能产生干涉效果，因此需要考虑到屏幕或狭缝的设计，需要理解的是OLED屏幕会按照需求规律分布有R、G、B发光单元，例如如图5所示，常规的会以R、G、G、B发光单元为一组进行阵列排布，所述狭缝会形成于发光单元之间，一组RGGB发光单元之间会形成多个狭缝(如图中白色框中可以理解为一组发光单元)，将多个狭缝定义为一组狭缝单元，则所述狭缝单元需要以固定的周期排列，即相邻狭缝单元之间的距离(周期)是相等的(只需要确保参与对入射光调制的屏幕区域具备该特性)，可以确保干涉效果尽可能明显，从而可以使得图像传感器接收到的图像信息包含光谱特性。需要理解的是，本发明并没有限定屏幕一定是RGGB阵列排布，屏幕可以以其他方式排列，此时所述狭缝单元也可以做相对应的调整，此时可以将屏幕的最小重复的发光单元包含的至少一个狭缝定义为狭缝单元。优选地，多个所述狭缝单元的狭缝布置方式一致。需要理解的是，不同狭缝单元不需要完全一致，但是其差别不易过大，从而避免不产生干涉效果。这里，图5图示了分布有R、G、B发光单元的OLED屏幕的示意图。
为了更好理解，进一步对狭缝单元进行说明，OLED屏幕具有像素层(发光层)的发光单元和电路层的TFT结构和反光层(屏下模组方案中一般会去除)，其会导致入射光无法透过，而像素(发光单元)之间以及TFT结构之间是存在狭缝和/或小孔，允许入射光透过。这些透光的狭缝、小孔在某个范围内具有周期性，例如整个屏幕范围内是周期的，也可以是感光模组对应的测试区域是周期的，当然也可以是其他区域。也就是，至少一个狭缝和/或小孔构成狭缝单元，而任一狭缝单元可以与其相邻的两个狭缝单元定义一个向量a和向量b，即可以找到向量a、向量b和一面积等于a点乘b(向量a和向量b组成的平行四边形面积)的区域。该区域的图案在周期区域范围内，沿着对应的向量方向平移整数个向量a和整数个向量b的位移后，狭缝和/或小孔会基本重合。任一所述狭缝单元与其相邻的两个狭缝单元定义出两个向量和面积等于两个所述向量的面积的区域，该区域的图案在周期区域范围内分别沿着两个所述向量对应的向量方向平移整数个所述向量的位移后，该区域的所述狭缝与平移后所处区域的所述狭缝重合，其中，所述周期区域为由多个以周期排列的多个狭缝单元形成的区域。周期区域至少具有25个的狭缝单元。一般向量a和向量b之间的角度为90度。具体如图6A、图6B所示，为两个不同的OLED屏幕狭缝和/或小孔图，亮点区域为OLED的狭缝和/或小孔，而框出来的矩形区域为狭缝单元，当然不同的屏幕对应的狭缝单元区域会有所不同，也限定为矩形区域。需要说明的是，本发明内狭缝单元之间的狭缝可能互不相同，但是狭缝单元之间的形状、结构、尺寸基本是一致的，也就是，优选地，多个所述狭缝单元的形状和/或结构和/或尺寸一致。但是由于加工中会存在一定误差，因此狭缝单元之间可能会存在一定差异，也可以理解为与本发明构思是一致的，被本发明所涵盖。这里，图6A是根据本发明的OLED屏幕的狭缝和/或小孔的第一示例的示意图，且图6B是根据本发明的OLED屏幕的狭缝和/或小孔的第二示例的示意图。
进一步，将入射光在不同波长λ下的强度信号记为x(λ)，OLED屏幕的狭缝单元构成透射谱曲线记为T(λ)，可记为Ti(λ)(i＝1,2,3,…,m)；则图像传感器的至少部分物理像素获取经过OLED屏幕调制的光谱信息bi；则
bi＝∫x(λ)*Ti(λ)*R(λ)dλ
其中，R(λ)为图像传感器的响应；
具体来讲，图像传感器所有的物理像素接收的光强信息会包含图像信息和光谱信息，可以对该光谱信息进行处理用以判断活体，而对应的图像信息则用以成像。
需要注意的是，为了使得图像传感器获得光谱信息尽可能充分，透射谱曲线Ti(λ)(i＝1,2,3,…,m)之间应该尽可能满足至少存在两个透射谱曲线相关度小于等于0.4，所述相关度可以用皮尔逊相关系数(Pearson correlation coefficient)界定。进一步，对本发明的透射谱曲线进行定义，需要理解的是，透射谱曲线存在主要是由于OLED屏幕存在狭缝，入射光透过狭缝会受到调制，而透射谱曲线可以认为决定对入射光调制效果，因此多个狭缝构成狭缝单元都会有对应的透射谱曲线，但是本发明优选地透射谱曲线并不是由单一狭缝单元决定，其可能受到周边的狭缝单元影响，即本发明优选地所述透射谱曲线由至少两个狭缝单元决定。进一步，所述透射谱曲线的数量等于获取的有效的光强bi数量，有效的光强bi是指被用以光谱恢复或光谱响应判断的光强信息，其数量n等于透射谱曲线数量；一般在应用中会对入射光进行离散、均匀的采样，共有n个采样点，例如200-400nm波段，光谱分辨率为1nm，则采样点为201；此时，透射谱曲线构成的透射谱矩阵为n*m的矩阵。
进一步，为了便于理解提供一详细的例子，如图7所示，假设所述OLED屏幕的玻璃盖板厚度为A、折射率n，感光模组的具有一缩束系统(透镜组)，其缩束比为N:1；感光模组的图像传感器的像面像素尺寸为P，LED阵列结构尺寸为D，阵列到光阑的距离为L，像面像素点的视场角为K。
需要注意的是，盖板厚度A、像素点视场角K、光学组件(透镜组)到狭缝单元距离L与透镜组的缩束比N是相互耦合的，会受到缩束系统(透镜组)的参数影响。以下所有讨论均基于近轴近似成立的情况。
根据缩束比例，待测物对应的反射或透射光的发散角为K/N。
狭缝单元处的入射光的光斑直径为d＝(K/N)*A/n。
光斑覆盖的狭缝单元的周期为d/D，推测该值至少需要达到2-5。
像素移动一格，则狭缝单元处的入射光水平移动距离N*P。
主光线角度偏转m＝N*P/(L+A/n)，LED阵列处，光斑位置移动v＝m*L。
根据干涉理论，干涉条纹周期应为c＝2λ/D。
为使像素间光谱出现差异，需满足m不远小于c。推测m应大于c/20，优选地大于c/12。
v一般不远小于D，如v>D/6。
图7A和图7B是根据本发明的OLED屏幕的成像光路的示意图。
进一步，屏下活体指纹识别系统角度还需要关注杂散光、提升指纹图像分辨率等问题，因此，一般屏下活体指纹识别系统还包括一滤波器，所述滤波器对入射光进行过滤，使得特定的波段的光可以进入或可以波段截止；例如，所述滤波器可以阻挡波长600nm以上的光。所述滤波器可以位于所述屏幕与所述感光模组之间，也可以被设置于所述感光模组。所述滤波器一定情况下可以隔绝环境光中的杂散光、提升指纹图像分辨率。
所述感光模组还可以包括一光学组件，所述光学组件包括至少一透镜，所述光学组件位于所述图像传感器的感光路径上；所述光学组件进一步可以包括一光阑，所述光阑用以限定入射光的角度，从而避免杂散光进入感光模组，如图8A所示。图8A图示了根据本发明的OLED屏幕的第一变型示例的示意图。
进一步，OLED屏幕包括玻璃盖板、位于玻璃盖板下端的发光单元，识别过程中，需要将所述待测物体放置于所述玻璃盖板，所述发光单元投射一投射光至所述待测物体，再经过所述待测物体反射后，产生入射光，所述入射光经过所述OLED屏幕的狭缝进行调制，再被图像传感器接收获得经过空间色散调制的图像信息，进而获得光谱信息。但是需要注意的是，所述发光单元投射的部分投射光A会直接进入狭缝到达图像传感器；部分投射光B会到达玻璃盖板直接反射进入狭缝，再被图像传感器接收；部分投射光C到达所述待测物体(手指)再反射进入狭缝，再被图像传感器接收；而有部分投射光D则被所述待测物体(手指)所吸收。而活体识别，其本意是由于手指由于存在毛细血管、汗腺等，对不同的波段光有不同吸收，从而使得相同光源下，经过手指的反射光不一致，其跟常规硅胶、伪手指对投射光的吸收存在差异，可以通过该差异进行判断活体判断。因此，真正有用的投射光应该是投射光C和投射光D，而投射光A、投射光B以及环境光一定程度来讲是杂散光，如图8B所示。图8B图示了根据本发明的OLED屏幕的第二变型示例的示意图。
因此，可以在暗室环境下或在测试区域覆盖黑色吸光件，使得发光单元投射同样的投射光，此时，图像传感器接收的入射光，基本可以认为是投射光A和投射光B经过狭缝后被图像传感器所接收。将该情况下的采集的光谱信息记作基准光谱信息，对于后续对待测物体测试获取的光谱信息减去所述基准光谱信息即可去除投射光A和投射光B带来的杂散光，如图8C所示。图8C图示了根据本发明的OLED屏幕的第三变型示例的示意图。
变型实施例
与上述实施例不同的在于，所述感光模组包括滤光结构和图像传感器，所述滤光结构位于所述图像传感器的感光路径上，滤光结构为频域或者波长域上的宽带滤光结构。各处滤光结构不同波长的通光谱不完全相同。滤光结构可以是超表面、光子晶体、纳米柱、多层膜、染料、量子点、MEMS(微机电系统)、FP etalon(FP标准具)、cavity layer(谐振腔层)、waveguide layer(波导层)、衍射元件等具有滤光特性的结构或者材料。例如，在本申请实施例中，所述滤光结构可以是中国专利CN201921223201.2中的光调制层。进一步，所述光谱装置包括光学系统，所述光学系统位于所述图像传感器的感光路径上，光通过光学系统调整再经由滤光结构进行调制后，被图像传感器接收，获取光谱响应；其中所述光学系统可能是透镜组件、匀光组件等光学系统。图像传感器可以是CMOS图像传感器(CIS)、CCD、阵列光探测器等。另外，所述光谱装置还包括数据处理单元，所述数据处理单元可以是MCU、CPU、GPU、FPGA、NPU、ASIC等处理单元，其可以将图像传感器生成的数据导出到外部进行处理。
需要说明的是，所述滤光结构也具有透射谱矩阵A，此时整个活体指纹识别系统对应的透射谱矩阵T总由滤光结构的透射谱矩阵A和OLED屏幕的透射谱矩阵T以及图像传感器的响应决定。入射光会分别经过OLED屏幕、滤光结构到达图像传感器，并受到调制。图9图示了根据本发明的活体指纹识别系统的变型实施例的示意图。
识别方案
需要注意的是，虽然原则上OLED屏幕与图像传感器可以构成一光学系统，即图像传感器上所有的物理像素都可以获取图像信息和光谱信息，即所述OLED屏幕对入射光进行调制后，被所述图像传感器接收获取对应的光强信息，所述光强信息可以用以恢复光谱曲线也可以用以成像；优选，所述图像传感器光学路径上还包括一光学组件，所述光学组件实施为透镜组。
但是，在活体指纹识别应用中，需要将包含较强活体或物料的光谱信息的物理像素进行提取。因此，进一步需要确定光谱像素，即在所述图像传感器的所有物理像素中，根据OLED屏幕的特性，挑选出对应的物理像素定义为光谱像素，光谱像素可以理解为对某波段响应更显著的物理像素。具体的本实施例给出确定光谱像素的方法(亦可叫做标定方法)，用选第一发光单元进行发光，在所述OLED屏幕的玻璃盖板上放置低折射率或高反射率的测试件，例如黑纸、黑橡胶(低折射率材料)或白纸(高折射率材料)，图像传感器接收到经过OLED屏幕的狭缝单元调制后的第一发光单元的第一光谱响应数据，对第一光谱响应数据对应光强较强的物理像素进行提取，并记为对应于图像传感器的第一位置，例如提取n个点；再进行投射第二发光单元，接收获取第二光谱响应数据，提取光谱响应较强的物理像素，并记为对应于图像传感器的第二位置，对比第一位置和第二位置将在图像传感器上重叠的点从第一位置去除，则剩余位置的物理像素定义为光谱像素，可以理解光谱像素对应的透射谱矩阵对某特定一波段的光的透过率会较高，即调制效果会更佳进一步还可以投射其他光，进一步对光谱像素进行筛选。
举例，指纹活体识别系统一般会设置滤波器，该滤波器会对600nm以上波段进行截止，即指纹活体识别系统会在400-600nm波段下进行指纹活体识别，进一步手指相对来讲对蓝光更为敏感，则可以采取绿光和蓝光进行标定，即第一发光单元发射蓝光，第二发光单元发射绿光，通过第二发光单元发射绿光，去除对蓝光和绿光接收光强都较强的物理像素，则剩余位置对应为光谱像素，其只对蓝光有较强的透过率，该过程可以理解为蓝光、绿光标定。图10图示了活体指纹识别系统的滤波器的工作示例。
在指纹活体识别阶段，则只需投射混合光，例如白光(R、G、B发光单元同时发光)，该混合光投射至手指，再经过所述手指吸收和反射，所述反射光会进入OLED屏幕的狭缝单元被调制，再被所述图像传感器所接收。所述图像传感器可以理解分为非光谱像素和光谱像素，所述光谱像素会获得光谱信息，基于光谱信息判断是否为活体。需要理解的是，虽然OLED屏幕会对入射光产生干涉和/或衍射，但是非光谱像素还是会获得较强的纹理信息，从而可以指纹成像，其中为了即可成像又可以活体判断，光谱像素在图像传感器的物理像素中占比为10-25％。再将所挑选出来的光谱像素获取的值与周围8个相邻物理像素的平均值进行除或减，从而提取该光谱像素的调制差异(等同于光谱特征)，即将宽谱信息转换为窄谱信息。物料的关键对比是利用的光谱像素的窄谱信息。一般，区分“活体”物料的光谱存在于400～500nm的蓝光信息(窄带信息)或500～600nm的绿光信息(窄带信息)。
相应地，本申请提供了一种活体识别方法，其包括：确定图像传感器的光谱像素和非光谱像素；投射混合光至被射对象；通过所述非光谱像素获取所述被射对象的图像数据，通过所述光谱像素获取所述被射对象的光谱数据；以及，基于所述光谱数据进行活体检测和对象识别。
在确定图像传感器的光谱像素和非光谱像素的过程中，首先，在屏幕的玻璃盖板上放置低折射率材料或高反射率的测试件，控制屏幕的第一发光单元出射第一预标定光(例如，蓝光)；然后，通过图像传感器接收所述第一发光单元对应的第一光谱响应数据；接着，对所述图像传感器中与所述第一光谱响应数据中超过预设值的响应数据相对应的物理像素(即，第一光谱响应数据对应光强较强的物理像素，也就是对所述第一发光单元对应的反射光的光谱响应较强的物理像素)进行提取，并将与所述第一光谱响应数据中超过预设值的响应数据相对应的物理像素所处的位置记为第一位置；接下来，控制所述屏幕的第二发光单元出射第二预标定光(例如，绿光)；然后，通过所述图像传感器接收所述第二发光单元对应的第二光谱响应数据；接着，对所述图像传感器中与所述第二光谱响应数据中超过预设值的响应数据相对应的物理像素(即，第二光谱响应数据对应光强较强的物理像素，也就是对所述第二发光单元对应的反射光的光谱响应较强的物理像素)进行提取，并将与所述第二光谱响应数据中超过预设值的响应数据相对应的物理像素所处的位置记为第二位置；随后，确定所述图像传感器中所述第一位置的物理像素和所述第二位置的物理像素重叠的物理像素为非光谱像素，确定所述图像传感器中所述非光谱像素以外的物理像素为光谱像素，也就是确定所述图像传感器中所述第一位置的物理像素和所述第二位置的物理像素重叠的物理像素之外的物理像素为光谱像素。
偏移补偿方案
由于本发明中利用屏幕的狭缝存在干涉和/或衍射，使得屏幕对入射光起到调制作用，从而可以使得图像传感器获得光谱信息和图像信息；一般需要屏幕和图像传感器保持相对的稳定，不然会使得整个系统的参数(或调制效果)发生变化，从而导致测试结果不精确。进一步，提供一种判断是否偏移的方法，包括：
1.预存基准物理像素的位置信息，通过将白纸或黑纸放置于所述屏幕的玻璃盖板，在投射光(该光与使用时用的光类型一致)，可以是混合光，例如白光，也可以是单色光，此时图像传感器接收光强信息，取光强最强的N个点(最亮点)，N大于等于2，例如取100个点。记录该N个点的在图像传感器上的位置信息，例如将N个点的记为基准位置阵列ai(x,y)，i＝1，2，3……N，如N＝100。
2.判断是否偏移，待测物体被设置于所述屏幕时，所述图像传感器获得对应的光强信息，选择N个光强最强的物理像素在图像传感器上的位置信息。记录这N个最亮点物理像素的位置阵列bi(x,y)，i＝1，2，3……N，将该位置阵列与物理像素预存的基准位置阵列进行比对，当80％以上的位置信息发生变化，判断发生偏移，启动偏移自校准步骤。
3.偏移量校准方案1：将位置阵列bi(x,y)与基准位置阵列ai(x,y)相比较。例如，比较方法为相减，如ci(x,y)＝bi(x,y)-ai(x,y)。对ci(x,y)的阵列值进行统计，如平移位置发生，平值量X,Y可以是固定值或占比比较高的统计量。将X,Y应用到蓝、绿光标定出的选点。这些新补偿的蓝、绿光标定的物理像素替代预存物理像素并应用于后续的活体识别。
4.偏移量校准方案2：提示并引导终端使用用户重新进行蓝、绿光标定。
合并方案
在一些方案中为了减少计算量提高信噪比会对图像传感器上的物理像素进行合并(binning)；而对本方案来讲，如果图像传感器物理像素合并，可能会导致光谱信息无法被提取。因此本发明进一步提供一种图像传感器，其物理像素分别单独进行光强信息接收和/或输出。
优选地，本发明还提供一种图像传感器，所述图像传感器分为合并区域和非合并区域，所述合并区域对应的物理像素进行合并，可以采取2*2、3*3或n*m个像素合并输出光强信息，而对于非合并区域则采取单独物理像素接收和/或输出光强信息。优选地，所述非合并区域位于所述图像传感器中间区域。图11图示了根据本发明的活体指纹识别系统的图像传感器的像素合并的示意图。
进一步，还可以采取确定实施为光谱像素功能的物理像素在图像传感器的位置，对于该位置的物理像素单独进行光强信息接收和/或输出，其余物理像素则进行合并。
如图18所示，全流程识别过程：
首先，进行数据采集：获取预测对象的基准指纹信息、基准图信息和待检测物的待识别信息；然后，进行偏移检测：基于所述基准指纹信息、所述基准图信息和所述待识别信息判断所述待识别信息和所述基准图信息之间是否偏移；接着，进行识别数据优化处理：响应于所述待识别信息和所述基准图信息之间未产生偏移，对所述基准指纹信息和所述待识别信息进行去底噪；可选地，对去底噪后的基准信息和去底噪后的待识别信息进行归一化；还可以对所述基准指纹信息和所述待识别信息去合并；随后，基于优化处理后的基准信息和优化处理后的待识别信息相关度和预设阈值判断所述待检测物是否为活体。
数据采集和偏移检测过程：
所述识别系统预先存储一base图信息，即，基准图信息，在屏幕的玻璃盖板上放置低折射率或高反射率的测试件，例如黑纸、黑橡胶(低折射率材料)，再打开光源，例如OLED屏幕的光，所述光源发射的部分光经过测试件被吸收，而没被吸收的部分光则会进入所述屏幕的狭缝单元被调制，再被图像传感器接收获得一光谱响应数据，将该光谱响应数据记为所述base图信息。其中，所述光源发射的光需要根据实际识别工作中投射的光保持一致，即获取base图时光源发射光的波段与实际识别中投射光的波段基本是一样的。例如，实例中工作中用白光和/或蓝光进行工作实现指纹识别，则base图信息获取过程中也应该用白光和/或蓝光。需要明白的是，在实际指纹识别中，base图信息已经烧录在识别系统中。
进一步，若在识别过程中光源需要投射两次不同类型的光，则base图应该至少要两张，分别在不同类型的光照射下获取。例如，两次投射进行活体指纹识别，投射白光和单色光，如蓝光，则所述base图信息获取过程中，光源也应该要投射白光和对应的蓝光，并分别记录下不同类型的光下的光谱响应数据，记为白光base图信息和蓝光base图信息。
需要说明的是，base图信息的数据量可以基本等于所述图像传感器的物理像素数量；亦可以在图像传感器上选定特定的区域作为base图信息，例如可以选择所述图像传感器中间区域为base图信息，该方式可以称为ROI(region of interest)区域,在个别实施例中，所述ROI区域可以选图像传感器的边缘区域，例如如图19所示，位于图像传感器的四角区域。亦可以，通过需求自主提取不同位置的物理像素构成base图信息。
使用过程，首先使用者需要录入待检测物的基准信息(基准指纹信息)，例如指纹的纹路、指纹对应的光谱响应信息等，作为基准信息，为了更加精确需要至少录入三次，或至少获得三张基准信息图。例如，在一组有效录入(例如一组有效录入为录入10次)情况下，将每一次的光谱特征参数与其他9次进行相关系数R计算，取其中最低的相关系数R_min，与系统设定参数k进行特定公式计算，得出该次录入比较的判定阈值R_t。实际使用时，将待测参数与10次录入数据分别计算相关系数，与其对应的判定阈值R_t(1～10)分别比较，当有9个或以上大于对应判定阈值时，录入成功。
将所述基准信息与base图信息进行比对，检测是否有偏移，若无偏移则将基准信息烧录至识别系统；若有偏移，则需要修正后，可选地可以对修正后的信息在进行偏移检测，再将基准信息烧录至识别系统；个别实施例下，如果发生偏移，需要重新采集base图信息。
进一步，使用者在解锁过程中，将待检测物，例如手指、手掌放置于所述屏幕，所述光源投射对应的光，所述图像传感器接收到经过所述屏幕的所述狭缝单元调制的待检测物反射的光，获得对应的待识别信息，例如，待检测物的指纹的纹路、指纹对应的光谱响应信息。
将所述待识别信息与base图信息进行比对，判断是否有偏移。
对于基准信息和待识别信息基于base图信息进行偏移量的识别和检测，具体可以采取RMSE(Root Mean Squared Error)均方根误差进行评估，例如，具体的将基准信息anm、待识别信息bnm和base图信息cnm矩阵分别进行均方根误差计算；具体来讲，先计算录入信息(基准信息或待识别信息)与base图信息的基准RMSE值；再将录入信息和base图做相对偏移，计算偏移RMSE值，若基准RMSE值小于偏移RMSE值，则判断未产生偏移，若基准RMSE值大于等于某个偏移RMSE值，则判断产生偏移。也就是，基于所述基准指纹信息、所述基准图信息和所述待识别信息判断所述待识别信息和所述基准图信息之间是否偏移的过程中，首先，计算所述基准指纹信息和基准图信息之间的均方根误差值，以获取基准均方根误差值；然后，计算所述待识别信息和所述基准图信息之间的均方根误差值，以获取偏移均方根误差值；响应于所述基准均方根误差值小于所述偏移均方根误差值，则判定所述待识别信息和所述基准图信息之间未产生偏移；响应于所述基准均方根误差值大于等于所述偏移均方根误差值，则判定所述待识别信息和所述基准图信息之间产生偏移。上述录入信息和base图的偏移可以是将录入信息或base图信息进行上下左右的偏移，例如四个方向都偏移一个物理像素获得偏移录入信息，再跟base图信息计算RMSE值。
基准信息对应RMSE值计算公式如下，
Figure BDA0004014292430000161
待识别信息对应RMSE值计算公式如下，
Figure BDA0004014292430000162
识别数据处理过程：
对于检测后未偏移的录入信息进行下一步处理，以便进行活体识别，进一步将基准信息和待识别信息分别与base图信息做差，进行debase(去底噪)，去除底噪。例如，可以将基准信息和待识别信息转化为向量或矩阵，与对应的base图信息相减，获得去噪后的基准信息和待识别信息。
进一步，可选地，再对去底噪后的基准信息和待识别信息进行归一化，例如将对应的去底噪后的基准信息和待识别信息各个数据都分别除以对应信息中最大的数值；亦可以将去底噪后的基准信息和待识别信息各个数据都分别除以对应的信息数值的平均数。
其次，对数据进行de-binning(去合并)，即将所述基准信息和待识别信息以n*m为单元进行提取处理后信息，例如以3*3为例，3*3物理像素的中间物理像素的数值减去周边8个物理像素的平均值，再将获得多个数据构建新的矩阵或向量，获取处理后基准信息和处理后待识别信息；通过de-binning一方面可以去除数据中的噪声，又可以将数据量减少提高后续识别效率，例如3*3的情况下原先9个物理像素对应的9个数据，可以变为1个数据，需要计算数据量可以降低9倍。
需要关注的是，在此过程中需要进行de-binning的区域可以为图像传感器的全部感光区域，亦可以是人为定义的ROI区域，也可以是通过标定方法获取的区域。即该部分区域在本发明中用以采集光谱信息去判断是否为活体，因此只需要对该区域进行de-binning即可。
再将上述处理后得到的处理后基准信息和处理后待识别信息进行活体判断。
识别比对过程：
将所有的基准信息进行处理获得对应的处理后基准信息，将对应的处理后基准信息和处理后待识别信息进行相关性计算，例如用皮尔逊相关系数来表示，若相关度R2大于等于预设阈值0.7则为活体，对于个别情况下相关度可以要求大于等于0.4，个别情况下相关度要求可以大于等于0.9；即相关度对应的阈值可以人为设置，即厂商或使用者可以根据识别系统和需求进行调整。
在一变形实施例中，随着识别的次数增加，存储识别系统在历史连续的一段期间内活体识别成功情况下的相关度数值，再计算出其变化趋势，随着变化趋势调整所述阈值的取值设定；例如，每次识别计算出的相关度数值逐渐变小，则阈值的取值应适当的变大，从而确保非活体无法破解识别系统。
活体识别方法
进一步，本发明提供活体识别方法，所述光谱信息并不一定需要恢复出光谱曲线才进行活体判断，而是可以直接根据光谱响应进行活体判断，具体来讲获取所述基于OLED屏幕的狭缝调制后的入射光在图像传感器上的光谱响应，获取所述待测物体的参考光谱响应；一定程度上，光谱响应可以理解为上述de-binning的数据。将获取的待测物体的光谱响应与预存的参考光谱响应进行比对；以及基于所述参考光谱响应与所述待测物体的光谱响应的比较结果确定所述待测物体是否为活体。在本发明的结构基础上将中国发明CN202110275126X的专利内容全部引入到本发明。优选地，所述光谱信息可以减去基准光谱信息实现去噪后，再进行光谱响应的转化，进行活体判断。
图12图示了根据本发明的活体识别方法的第一示例的流程图。
活体识别方法
可以使用神经网络的方式，进行活体识别。
图13为本发明的神经网络模型的示意图。具体而言，图13图示了多层感知机模型。输入层的节点个数和目标区域的像素个数一致。在进行计算时，得到的各像素的数据，作为输入层各节点的数据。之后各层之间会进行激活和全连接操作。最后的输出层为1个节点，和上一层之间只有全连接层连接。该层输出可以使用Logistic函数进行操作，将根据Logistic函数的输出是否大于0.5，判断是否是活体。
在实际使用以上网络时，包括训练和检测两个步骤。
在训练步骤中，输入值为图像传感器探测活体或者非活体物体，输出为是否为活体信息(例如，活体为1.0，非活体为0.0)。然后通过反向传播的方式，训练网络中的各参数。
在检测步骤中，输入值为待检测的物体，根据输出值(例如是否大于0.5)判断是否是活体。
识别方案
进一步，还提供一种指纹识别方法，投射第一检测光至被摄对象；接收被所述被摄对象反射回来的所述第一检测光并基于所述第一检测光生成所述被摄目标的第一光谱信息和图像信息；投射第二检测光至所述被摄对象；接收被所述被摄对象反射回来的所述第二检测光并基于所述第二检测光生成所述被摄目标的第二光谱信息；以及基于所述第一光谱信息、所述图像信息和所述第二光谱信息，进行活体检测和对象识别。其中，所述第一检测光为混合光，例如OLED屏幕光R、G、B发光单元中至少两个不同的发光单元进行发光，投射第一检测光，优选地，第一检测光实施为白光；所述第二检测光优选地实施为单色光，例如绿光、蓝光。即，第一检测光和第二检测光是两种不同类型的光。所述第一检测光和所述第二检测光经过待测物体的反射后，进入OLED屏幕，并被所述OLED屏幕所调制，从而被图像传感器所述接收获取到对应的图像信息和第一光谱信息，以及第二光谱信息。其中，第一光谱信息和所述第二光谱信息由所述图像传感器的光谱像素获取。
图14图示了根据本发明的活体识别方法的第二示例的流程图。
其中，基于所述第一光谱信息、所述图像信息和所述第二光谱信息，进行活体检测和对象识别，包括：对所述第一光谱信息和所述第二光谱信息进行处理以生成第一光谱响应结果和第二光谱响应结果；对所述图像信息进行处理以生成所述被摄对象的图像；将所述被摄对象的图像与预存的基准图像进行比较；响应于所述被摄对象的图像与所述基准图像之间的匹配成功，基于所述第一光谱响应结果和/或所述第二光谱响应结果，判断所述被摄对象是否为活体，如图15所示。图15图示了图14所示的方法中的活体检测和对象识别步骤的流程图。
活体指纹识别流程
将待测手指放置于所述屏幕的待测区域，所述屏幕的光源开始投射光，所述光到达待测手指，部分被吸收，部分被反射形成入射光，所述入射光进入所述屏幕的狭缝单元并被调制，被所述图像传感器所接收获得图像信息和光谱信息，再基于所述图像信息和所述光谱信息进行成像和活体判断。具体而言，所述图像信息用以恢复指纹图像，再将所述指纹图像与预存的基准指纹图像进行比对，同时光谱信息可以转化为光谱响应或光谱曲线，与预存的基准光谱响应或基准光谱曲线进行比对，从而判断是否为活体。
亦可以基于图像信息和光谱信息，通过神经网络进行活体和指纹的识别对比。
光谱仪实施例
随着计算光谱的发展，使得光谱仪微型化成为可能，目前计算光谱都需要特定的结构的滤光结构搭配对应的算法去实现光谱恢复。其本质可以理解为，图像传感器测得光谱响应后，传入数据处理单元进行恢复计算。该过程具体描述如下：
将入射光在不同波长λ下的强度信号记为x(λ)，滤光结构的透射谱曲线记为T(λ)，滤光片(滤光结构)上具有m组的结构单元，每一组结构单元的透射谱互不相同，整体来讲，滤光结构可记为Ti(λ)(i＝1,2,3,…,m)。每一组结构单元下方都有相应的物理像素，探测经过滤光结构调制的光强bi。在本申请的特定实施例中，以一个物理像素，即一个物理像素对应一组结构单元，但是不限定于此，在其它实施例中，也可以是多个物理像素为一组对应于一组结构单元。因此，在根据本申请实施例的计算光谱装置中，至少二组结构单元构成一个“光谱像素”(可以理解为多组结构单元和对应的图像传感器构成光谱像素)。需要注意的是，所述滤光结构的有效的透射谱(用以光谱恢复的透射谱，叫做有效的透射谱)Ti(λ)数量与结构单元数量可以不一致，所述滤光结构的透射谱根据识别或恢复的需求人为的按照一定规则去设置、测试、或计算获得(例如上述每个结构单元通过测试出来的透射谱就为有效的透射谱)，因此所述滤光结构的有效透射谱的数量可以比结构单元数量少，甚至也可能比结构单元数量多；该变形实施例中，某一个所述透射谱曲线并不一定是一组结构单元所决定。进一步，本发明可以用至少一个光谱像素去还原图像。即本申请中光谱装置可以根据光谱响应，去恢复光谱曲线也可以进行光谱成像。
入射光的频谱分布和图像传感器的测量值之间的关系可以由下式表示：
bi＝∫x(λ)*Ti(λ)*R(λ)dλ
再进行离散化，得
bi＝Σ(x(λ)*Ti(λ)*R(λ))
其中R(λ)为图像传感器的响应，记为：
Ai(λ)＝Ti(λ)*R(λ)，
则上式可以扩展为矩阵形式：
Figure BDA0004014292430000201
其中，bi(i＝1,2,3,…,m)是待测光透过滤光结构后图像传感器的响应，分别对应m个结构单元对应的图像传感器的光强测量值，当一个物理像素对应一个结构单元时，可以理解为m个‘物理像素‘对应的光强测量值，其是一个长度为m的向量。A是系统对于不同波长的光响应，由滤光结构透射率和图像传感器的量子效率两个因素决定。A是矩阵，每一个行向量对应一组结构单元对不同波长入射光的响应，这里，对入射光进行离散、均匀的采样，共有n个采样点。A的列数与入射光的采样点数相同。这里，x(λ)即是入射光在不同波长λ的光强，也就是待测量的入射光光谱。
本发明采取具有周期性的狭缝单元、孔单元或柱单元的基板作为滤光结构，所述基板设置于图像传感器的光学路径上，以狭缝单元为例，其中所述狭缝单元由至少一个狭缝构成。所述狭缝单元具有对应的透射谱矩阵T，可以对入射光进行调制，从而被图像传感器接收获得光强测量值。
以所述基板实施为OLED屏幕为例，即将包含图像传感器的感光模组设置于OLED屏幕下方即可构成光谱仪，入射光透过OLED屏幕的狭缝单元，会受到所述狭缝单元的调制，再被所述图像传感器接收。
本实施例的光谱仪基于OLED屏幕可以实现衍射和/或干涉，优选地本发明所述OLED屏幕尽可能产生干涉效果，因此需要考虑到屏幕或狭缝的设计，需要理解的是OLED屏幕会按照需求规律分布有R、G、B发光单元，例如如图所示常规的会以R、G、G、B发光单元为一组进行阵列排布，所述狭缝会形成于发光单元之间，一组RGGB发光单元之间会形成多个狭缝，将多个狭缝定义为一组狭缝单元，则所述狭缝单元需要以固定的周期排列，即相邻之间狭缝单元的距离(周期)是相等的(只需要确保参与对入射光调制的屏幕区域具备该特性)，可以确保干涉效果尽可能明显，从而可以使得图像传感器接收到的图像信息包含光谱特性。需要理解的是，本发明并没有限定屏幕一定是RGGB阵列排布，屏幕可以以其他方式排列，此时所述狭缝单元也可以做相对应的调整，此时可以将屏幕的最小重复的发光单元包含的至少一个狭缝定义为狭缝单元。需要理解的是，不同狭缝单元不需要完全一致，但是其差别不易过大，从而避免不产生干涉效果。
为了更好理解，进一步对狭缝单元进行说明，OLED屏幕具有像素层(发光层)和电路层(TFT结构层)，其会导致入射光无法透过，而像素(发光单元)之间以及TFT结构之间是存在狭缝和/或小孔，允许入射光透过。这些透光的狭缝、小孔在某个范围内具有周期性，例如整个屏幕范围内是周期的，也可以是感光模组对应的测试区域是周期的，当然也可以是其他区域。至少一个狭缝和/或小孔构成狭缝单元，而任一狭缝单元可以与其相邻的两个狭缝单元定义一个向量a和向量b，即可以找到向量a、向量b和一面积等于a点乘b(向量a和向量b组成的平行四边形面积)的区域。该区域的图案在周期区域范围内，沿着对应的向量方向平移整数个向量a和整数个向量b的位移后，狭缝和/或小孔会重合。周期区域至少具有25个的狭缝单元。一般向量a和向量b之间的角度为90度。具体如图A、B为两个不同的OLED屏幕狭缝和/或小孔图，亮点区域为OLED的狭缝和/或小孔，而框出来的矩形区域为狭缝单元，当然不同的屏幕对应的狭缝单元区域会有所不同，也限定为矩形区域。需要说明的是，本发明内狭缝单元之间的狭缝可能互不相同，但是狭缝单元之间的形状、结构、尺寸基本是一致的，但是由于加工中会存在一定误差，因此狭缝单元之间可能会存在一定差异，也可以理解为与本发明构思是一致的，被本发明所涵盖。
需要注意的是，为了使得图像传感器获得光谱信息尽可能充分，透射谱曲线Ti(λ)(i＝1,2,3,…,m)之间应该尽可能满足至少存在两个透射谱曲线相关度小于等于0.4，所述相关度可以用皮尔逊相关系数界定。进一步，对本发明的透射谱曲线进行定义，需要理解的是，透射谱曲线存在主要是由于OLED屏幕存在狭缝，入射光透过狭缝会受到调制，而透射谱曲线可以认为决定对入射光调制效果，因此多个狭缝构成狭缝单元都会有对应的透射谱曲线，但是本发明优选地透射谱曲线并不是由单一狭缝单元决定，其可能受到周边的狭缝单元影响，即本发明优选地所述透射谱曲线由至少两个狭缝单元决定。进一步，所述透射谱曲线的数量等于获取的有效的光强bi数量，有效的光强bi是指被用以光谱恢复或光谱响应判断的光强信息，其数量n等于透射谱曲线数量；一般在应用中会对入射光进行离散、均匀的采样，共有n个采样点，例如200-400nm波段，光谱分辨率为1nm，则采样点为201；此时，透射谱曲线构成的透射谱矩阵为n*m的矩阵。
进一步，OLED屏幕包括玻璃盖板、位于玻璃盖板下端的发光单元，识别过程中，需要将待测入射光进入所述玻璃盖板，所述入射光经过所述OLED屏幕的狭缝单元进行调制，再被图像传感器接收获得经过空间色散调制的光谱信息。
所述感光模组进一步可以包括一光学组件，所述光学组件对调制后的光进行调整。
需要注意的是，所述OLED屏幕的所述狭缝单元对应的透射谱曲线，对入射光的角度相对来讲比较敏感，即所述入射光的角度变动会引起透射谱曲线发生变化。因此所述光谱仪在应用时，需要判断入射光的角度，在选择对应的透射谱矩阵进行光谱恢复。
所述光谱仪进一步包括存储器和处理单元，所述存储器和所述处理单元通信连接于所述图像传感器，亦可以集成于所述图像传感器。所述透射谱矩阵可以数字化后存储于所述存储器，亦可以将所述透射谱矩阵根据恢复算法需求进行转换后，再进行数字化，存储于存储器。
需要光源的光谱仪实施例
例如，用所述光谱仪进行物体识别时，所述光谱仪可选地还应包括一光源，优选地所述光谱实施为所述OLED屏幕的发光单元。其中，OLED屏幕的发光单元发射光至待测物体，所述待测物体会光源部分吸收，部分反射，所述反射光进入所述OLED屏幕的狭缝单元被调制，再被所述图像传感器接收，获取光强测量值；再经过计算获取光谱信息(光谱曲线)，从而判断该物体。需要注意的，该物体识别系统还包括待测物体放置区域，所述放置区域距离所述OLED屏幕的距离优选小于等于6cm，优选地小于等于3cm；从而可以更好使得入射光的入射角符合调制需求，使得调制效果更佳。
进一步，所述光谱仪还可以用来测量黄疸、色温等，其可以根据入射光进行光谱曲线恢复，再根据光谱曲线进行黄疸识别，或色温测量。
需要说明的是，本发明中所述光谱仪结构和原理与上述活体指纹识别系统的实施例高度一致，本实施例侧重引用上述实施例内容，并对一些不同点，及细节进行说明。
替代实施例
如前述本发明利用狭缝或小孔的干涉和衍射原理，实现对入射光的调制，在确保干涉和衍射效果尽可能明显的情况下，可以使得图像传感器接收到的图像信息包含光谱特性，再可以利用光谱特性进行光谱恢复、物质识别、真伪判断等应用。因此，在本发明的一个替代实施例中，不再基于屏幕来构建光谱装置。图20图示了根据本申请的一个替代实施例的光谱装置的示意图。如图20所示，本实施例的所述光谱装置包括调制盖板和图像传感器，即，所述基板被实施为调制盖板。所述调制盖板位于所述图像传感器上端，所述调制盖板具有狭缝单元，具体而言通过所述狭缝单元对入射光进行调制，即产生干涉和衍射效果，被调制后的入射光被所述图像传感器接收，获取光谱信息。所述调制盖板可以由透明材料构成，例如透明塑料或者透明玻璃，优选地由于玻璃的透过率相对来讲较高，可选择玻璃盖板，再于所述调制盖板的表面施加一层不透光材料，则不施加不透光材料之处形成了本发明所述狭缝单元，所述不透光材料可以通过蒸镀、贴附等工艺形成于所述调制盖板。也就是，所述调制盖板包括由透明材料构成的玻璃盖板和覆盖于所述玻璃盖板的不透光材料，所述调制盖板的未覆盖有所述不透光材料处形成所述狭缝单元。如图21所示，所述狭缝单元包括至少一个狭缝和/或小孔，即所述狭缝单元由至少一个狭缝，或至少一个小孔构成，从而具有干涉和衍射效果。图21图示了如图20所示的光谱装置的调制盖板的结构的一个示例的示意图。
优选地，本发明中至少一个狭缝和/或小孔构成的狭缝单元具有一定周期性；具体而言，而任一狭缝单元可以与其相邻的两个狭缝单元定义一个向量a和向量b，即可以找到向量a、向量b和一面积等于a点乘b(向量a和向量b组成的平行四边形面积)的区域。该区域的图案在周期区域范围内，沿着对应的向量方向平移整数个向量a和整数个向量b的位移后，狭缝和/或小孔会重合。周期区域至少具有25个的周期单元。一般向量a和向量b之间的角度为90度。需要说明的是，本发明内狭缝单元之间的狭缝可能互不相同，但是狭缝单元之间的形状、结构、尺寸基本是一致的，即一个狭缝单元可以存在不同的结构、尺寸或形状的狭缝或小孔，但是由于加工中会存在一定误差，因此狭缝单元之间可能会存在一定差异，也可以理解为与本发明构思是一致的，被本发明所涵盖。
以至少一狭缝构成所述狭缝单元为例，本发明所述调制盖板加工工艺，可以实施为在透明盖板上施加光刻胶，固化后，进行显影，在进行刻蚀，对刻蚀处施加不透光材料形成遮光处，再去除其余光刻胶形成狭缝。相对来讲，本实施例对应的狭缝单元的狭缝结构、尺寸精度比OLED屏幕对应的精度会更高，同时更容易加工获取。
在另一变形示例中，如图22所示，所述调制盖板可以由不透明材料构成，则本发明狭缝单元包括至少一小孔，通过小孔实现干涉和衍射效果。例如，所述调制盖板可以实施为随机掩模版，利用成熟工艺形成高精度的调制盖板。图22图示了如图20所示的光谱装置的调制盖板的结构的另一示例的示意图。
进一步，如图23所示，本实施例所述光谱装置进一步包括光学组件，所述光学组件位于所述图像传感器的感光路径上。优选地，所述光学组件位于所述调制盖板与图像传感器之间。所述光学组件可以为镜头、滤光片或其组合，主要对调制后的光进行调整。进一步，所述光谱装置还可以包括支架组件，用以固定所述光学组件和调制盖板。进一步，所述光谱装置包括一线路板，所述图像传感器电导通的连接于所述线路板。所述支架组件优选地固定于所述线路板。图23图示了图20所示的光谱装置的包括光学组件的配置的示意图。
即本实施例中将上述OLED屏幕换成特定的调制盖板，实现对光谱信息的采集，其工作原理，应用场景与OLED屏幕相似。进一步，本实施例中，可以单独设置光源，通过光源和调制盖板的组合实现OLED屏幕的功能。
优选地，所述光谱装置还包括准直系统，用以对入射光进行准直。所述准直系统可以实施为至少一个透镜，或者微透镜阵列。所述准直系统位于所述调制盖板的上端，即入射光经过准直系统后在进入调制盖板进行调制。
个别实施例中，所述不透光材料包括金属材料等导电材料，可以利用金属材料平行设置形成电容，注意两个平行设置的金属材料不能导通，可以通过不导电的不透光材料辅助形成狭缝单元。即，本实施例中不透光材料分为导电材料和不导电材料，通过导电材料平行设置形成电容，再用不导电材料进行辅助形成对应狭缝，再构成狭缝单元。将导电材料与线路板导通，形成的狭缝都可以等同于电容。也就是，所述线路板适于导通于所述电容结构。记录下正常情况下参考电容值，再使用中如果有灰尘、污渍进入狭缝，会引起电容值发生变化，可以选择设置阈值，当电容值与参考电容值的差值超过阈值，则提醒使用者需要对调制盖板表面进行清洁。
替代实施例
现有消费电子、可穿戴设备等都会带有至少一摄像模组，用以拍摄。即所述消费电子设备包括设备主体和摄像模组，所述摄像模组被安装于所述设备主体。进一步，所述消费电子设备包括一保护盖板，所述保护盖板被设置于所述设备主体，与所述设备主体构成一封闭的空间，所述摄像模组位于所述封闭的空间，从而防止灰尘附着于所述摄像模组的镜头表面，从而影响成像。
本实施例中以手机为例，图24为现有的手机的背面示意图，一般后置至少一摄像模组；图25则为本实施例的具有保护盖板的手机的背面示意图，所述消费电子设备包括一设备主体、图像传感器、保护盖板，所述图像传感器和保护盖板被设置于所述设备主体，其中所述保护盖板位于所述图像传感器的感光路径上；进一步，所述保护盖板具有透光区域和非透光区域，其中所述透光区域由多个狭缝构成，即本实施例通过在保护盖板上形成透光区域和非透光区域，使得所述保护盖板实现上个实施例的调制盖板作用。也就是，所述调制盖板为电子设备的保护盖板，所述保护盖板具有透光区域和非透光区域，所述透光区域形成所述狭缝单元。
优选地，可以施加不透光材料于所述保护盖板的表面，从而具有不透光材料的区域形成了非透光区域，不具有不透光材料的区域则形成透光的狭缝，至少一狭缝构成狭缝单元，用以调制入射光(利用干涉和衍射效果，实现宽谱调制)。优选地，所述不透光材料位于所述保护盖板的内表面，从而可以预防灰尘、颗粒落到所述狭缝之间，从而影响调制效果。需要说明的是，本发明狭缝单元的变动一定程度会影响对应的调制效果，使得内置的恢复、识别算法可能无法精确实现光谱恢复或物质识别，因此所述不透光材料位于所述保护盖板的内表面，可以使得狭缝不会收到环境影响。
所述消费电子设备还可以包括光学组件、线路板和支架，所述光学组件、线路板、支架和所述图像传感器组成摄像模组，所述摄像模组被固定于所述设备主体和所述保护盖板构成的密封空间。所述光学组件可以为镜头和/或滤光片。进一步还可以包括一对焦机构，例如音圈马达、SMA等，驱动镜头运动实现对焦。
本实施例侧重点在于，将消费电子的保护盖板实施为具有调制效果的滤光结构(或者等同于前述实施例中的OLED屏幕或调制盖板)
替代实施例
与上述实施例不同的在于，所述感光模组包括滤光结构和图像传感器，所述滤光结构位于所述图像传感器的感光路径上，滤光结构为频域或者波长域上的宽带滤光结构。各处滤光结构不同波长的通光谱不完全相同。滤光结构可以是超表面、光子晶体、纳米柱、多层膜、染料、量子点、MEMS(微机电系统)、FP etalon(FP标准具)、cavity layer(谐振腔层)、waveguide layer(波导层)、衍射元件等具有滤光特性的结构或者材料。例如，在本申请实施例中，所述滤光结构可以是中国专利CN201921223201.2中的光调制层。进一步，所述光谱装置包括光学系统，所述光学系统位于所述图像传感器的感光路径上，光通过光学系统调整再经由滤光结构进行调制后，被图像传感器接收，获取光谱响应；其中所述光学系统可能是透镜组件、匀光组件等光学系统。图像传感器可以是CMOS图像传感器(CIS)、CCD、阵列光探测器等。另外，所述光谱装置还包括数据处理单元，所述数据处理单元可以是MCU、CPU、GPU、FPGA、NPU、ASIC等处理单元，其可以将图像传感器生成的数据导出到外部进行处理。
但是需要注意的是，所述发光单元投射的部分投射光A会直接进入狭缝到达图像传感器；部分投射光B会到达玻璃盖板直接反射进入狭缝，再被图像传感器接收；部分投射光C到达所述待测物体(手指)再反射进入狭缝，再被图像传感器接收；而有部分投射光D则被所述待测物体(手指)所吸收。而活体识别，其本意是由于手指由于存在毛细血管、汗腺等，对不同的波段光有不同吸收，其跟常规硅胶、伪手指对投射光的吸收存在差异，可以通过该差异进行判断活体判断。因此，真正有用的投射光应该是投射光C和投射光D，而投射光A、投射光B以及环境光一定程度来讲是杂散光。因此，可以在暗室环境下，使得发光单元投射同样的投射光，此时，图像传感器接收的入射光，基本可以认为是投射光A和投射光B经过狭缝后被图像传感器所接收。将该情况下的采集的光谱信息记作基准光谱信息，对于后续对待测物体测试获取的光谱信息减去所述基准光谱信息即可去除投射光A和投射光B带来的杂散光。从而使得光谱曲线恢复精度更高。
光谱曲线恢复方法
本发明进一步一种基于神经网络的光谱恢复方法,包括：获取待处理的采样后光谱数据；以及将所述待处理的采样后光谱数据输入具有预定参数的神经网络，以输出光谱恢复结果。具体的将中国发明CN2021104180126内容全部引入
其中，所述神经网络通过训练用光谱数据训练而成，所述神经网络的训练过程，包括：获取训练用光谱数据对，其中，所述训练用光谱数据对包括采样前光谱数据和采样后光谱数据，所述采样前光谱数据基于光谱曲线的至少一种高斯分布和/或至少一种洛伦兹分布的叠加构成；以及，以所述训练用光谱数据对的采样前光谱数据作为输入数据和所述训练用光谱数据对的采样后光谱数据作为标签，对用于光谱恢复的神经网络进行训练直到所述神经网络的参数收敛。
进一步，其中，获取训练用光谱数据对，包括：基于至少一种高斯分布和/或至少一种洛伦兹分布的叠加，生成具有第一预设长度的所述采样前光谱数据；在所述采样前光谱数据中增加第一噪声光谱数据，以获得加噪后采样前光谱数据；以及对所述加噪后采样前光谱数据进行采样，以获得具有第二预设长度的所述采样后光谱数据。
进一步提供另一种高分辨率光谱恢复方法，包括：
步骤1：获取光谱芯片的透射谱经离散余弦变换后的字典，离散余弦变换字典，以及所述光谱芯片的图像传感器的测量值向量；
步骤2：基于贝叶斯分层建模的第一层建模，将与光谱向量对应的稀疏向量建模为正态乘积分布的向量，以获得第一正态分布变量的向量和第二正态分布变量的向量，其中，计算所述第一正态分布变量的向量和所述第二正态分布变量的向量的点积得到所述正态乘积分布的向量，且计算所述第一正态分布变量的向量的第一协方差矩阵和所述第二正态分布变量的向量的第二协方差矩阵的点积得到所述正态乘积分布的向量的协方差矩阵；
步骤3：基于贝叶斯分层建模的第二层建模，将所述第一正态分布变量的向量的第一协方差矩阵和所述第二正态分布变量的向量的第二协方差矩阵中的每个位置对应的方差的乘积的倒数建模为服从第一超参数和第二超参数的伽马分布；
步骤4：基于贝叶斯方法，计算所述第一正态分布变量的向量的第一后验概率密度的估计向量和所述第二正态分布变量的向量的第二后验概率密度的估计向量；
步骤5：基于所述第一后验概率密度的估计向量和所述第二后验概率密度的估计向量的点积计算所述正态乘积分布的向量；
步骤6：基于所述第一协方差矩阵、所述第二协方差矩阵、所述第一后验概率密度的估计向量、所述第二后验概率密度的估计向量、所述第一超参数和所述第二超参数更新所述第一协方差矩阵和所述第二协方差矩阵对应的第一期望矩阵和第二期望矩阵；
步骤7：重复步骤4到步骤6直到满足迭代条件；
步骤8：基于所述第一期望矩阵与所述第二期望矩阵计算所述正态乘积分布的向量的协方差矩阵；以及
步骤9：基于所述正态乘积分布的向量及其协方差矩阵和所述离散余弦变换字典获得光谱向量。
为了便于理解，将中国发明CN2021109755685全部内容引入本发明。
进一步提供一种光谱恢复方法，包括：
步骤1：获取光谱芯片的透射谱矩阵和所述光谱芯片的图像传感器的测量值向量；
步骤2：基于改进的正则化描述模型从所述透射谱矩阵建立增广矩阵，所述增广矩阵包括左上的第一子矩阵、右上的第二子矩阵、左下的第三子矩阵和右下的第四子矩阵；
步骤3：设置第一光谱向量；
步骤4：基于透射谱矩阵、测量值向量和第一光谱向量确定最大残差行；
步骤5：基于第一光谱向量确定第一迭代向量和第一光谱残差向量；
步骤6：基于所述增广矩阵的第一子矩阵和第二子矩阵的与所述最大残差行对应的行更新所述第一迭代向量；
步骤7：确定所述增广矩阵的第三子矩阵和第四子矩阵的待迭代行；
步骤8：基于所述待迭代行与所述更新的第一迭代向量更新所述第一光谱向量和所述第一光谱残差向量；
步骤9：重复步骤6到8直到对于所述增广矩阵的第三子矩阵和第四子矩阵的所有行完成计算；以及
步骤10：重复步骤4到9直到所述第一光谱残差向量满足预定条件。
为了便于理解将中国发明CN 2021108481584涉及的内容全部引入本发明。
进一步，提供一种高分辨率光谱恢复方法，包括：
步骤1，获取光谱芯片的透射谱矩阵和所述光谱芯片的图像传感器的测量值向量；
步骤2，设置所述透射谱矩阵的每一行的预定选择概率，所述预定选择概率为所述透射谱矩阵的某一行的二范数的平方与所述透射谱矩阵的Frobenius范数的平方的商；
步骤3，基于所述预定选择概率选择所述透射谱矩阵的预定行；
步骤4，基于迭代前的光谱向量与所述预定行的内积，所述测量值向量与所述预定行对应位置的数值，所述预定行的二范数和所述预定行得到更新向量；
步骤5，以所述迭代前的光谱向量减去所述更新向量得到迭代后的光谱向量；以及，
步骤6，重复步骤3到步骤5，直到所述迭代后的光谱向量满足终止条件，所述终止条件基于所述迭代后的光谱向量及其二范数，所述透射谱矩阵及其Frobenius范数和所述测量值向量。
所述光谱仪包括OLED屏幕、图像传感器、存储器和处理单元，所述存储器和所述处理单元可选地可以分别集成于图像传感器，也可以仅可通信地连接；其中，所述存储器，其对OLED屏幕的狭缝单元的透射谱矩阵进行采样、量化并以数字格式存储；个别实施例中，也可以对所述透射谱矩阵进行计算后再进行存储。所述处理单元将图像传感器已经存储在其上指令配置为使处理单元可以恢复光谱曲线:根据光谱透射谱矩阵与入射光对应在图像传感器上产生的光谱响应数据。优选地，可以将透射谱矩阵存储在存储器中。
进一步，提供一种提供光谱分辨率的方法，(a)通过由OLED屏幕的狭缝单元调制的入射光被接收图像传感器接收，获得光谱响应数据；(b)对透射谱矩阵进行数字化处理；以及(c)使用至少一种以下操作提高光谱分辨率:最小二乘估计过程(Least Squareestimate process)、矩阵反演(Matrix inversion)、均衡化(equalization)或伪逆矩阵操作(Pseudoinverse matrix manipulation)；所述OLED屏幕的狭缝单元实施为宽带滤波器；其中，不同狭缝单元的光谱响应独立于不同的波峰和波谷，分布在整个目标光谱范围内，并与OLED屏幕的多个狭缝单元部分重叠。其中，数字化包括数字化步骤包括使用采样和量化。
提供一种光谱恢复方法，基于OLED屏幕的透射谱矩阵和图像传感器采集光谱响应数据选择正则化参数，优选地该正则化参数可以根据广义最大似然估计、留一交叉验证、广义矩估计等参数估计方法选择；优选地，可以对OLED屏幕的透射谱矩阵进行降维，从而降低计算量；基于选择的正则化参数并利用处理器进行非负最小二乘求解，求解方法包括但不限于预处理共轭梯度法、信赖域反射法、有界变量最小二乘法等，以完成光谱重构
光谱成像实施例
需要说明的是，光谱成像的原理为将入射光在不同波长λ下的强度信号记为f(λ)，滤光结构的透射谱曲线记为T(λ)，滤光片上具有m组的滤光结构，每一组透射谱互不相同，又称“结构单元”，整体可记为Ti(λ)(i＝1,2,3,…,m)。每一组滤光结构下方都有相应的物理像素，探测经过滤光结构调制的光强Ii。在本申请的特定实施例中，以一个物理像素对应一组结构单元为例进行说明，但是不限定于此，在其它实施例中，也可以是多个物理像素为一组对应于一组结构单元。
入射光的频谱分布和光探测器阵列的测量值之间的关系可以由下式表示：
Ii＝Σ(f(λ)·Ti(λ)·R(λ))
其中R(λ)为探测器的响应，记为：
Si(λ)＝Ti(λ)·R(λ)
则上式可以扩展为矩阵形式：
Figure BDA0004014292430000311
其中，Ii(i＝1,2,3,…,m)是待测光透过宽带滤波器单元后光探测器的响应，分别对应m个光探测器单元的光强测量值，又称m个“物理像素”，其是一个长度为m的向量。S是系统对于不同波长的光响应，由滤波结构透射率和光探测器响应的量子效率两个因素决定。S是矩阵，每一个行向量对应一个宽带滤波器单元对不同波长入射光的响应，这里，对入射光进行离散、均匀的采样，共有n个采样点。S的列数与入射光的采样点数相同。这里，f(λ)即是入射光在不同波长λ的光强，也就是待测量的入射光光谱。
在实际应用中，系统的响应参数S已知，通过探测器的光强读数I，利用算法反推可以得到输入光的频谱f，其过程可以视具体情况采用不同的数据处理方式，包括但不限于：最小二乘、伪逆、均衡、最小二范数、人工神经网络等。
以上以一个物理像素对应一组结构单元为例，讲述了如何利用m组物理像素(也就是图像传感器上的像素点)，以及其对应的m组结构单元(调制层上相同结构界定为结构单元)恢复出一个光谱信息，又称为“光谱像素”。值得注意的是，在本申请实施例中，也可以是多个物理像素对应一组结构单元。可以进一步定义，一组结构单元和对应的至少一物理像素构成一单元像素，原则上，至少一单元像素构成一所述光谱像素。
在上述实现方式的基础上，将光谱像素进行阵列化处理，则可以实现快照式的光谱成像设备。
例如，如图16所示，采用1896*1200像素的图像传感器(图16出示了图形传感器部分区域)，同时选取m＝4，即选取4*4单元像素形成一个光谱像素，则此时可以实现474*300个相互独立的光谱像素，其中每一个光谱像素均可通过上述方法单独计算出光谱结果。将这一图像传感器配合透镜组等部件后，可以对待测物体进行快照式光谱成像，从而实现单次曝光便可获得待测物每个点的光谱信息。图16图示了根据本发明的图像传感器的光谱像素阵列的第一示例的示意图。
在此基础上，可以根据实际需要，在无需对图像传感器做任何调整情况下，对光谱像素的选取方式进行重排，以提升空间分辨率。如图17所示，可以选取实线框与虚线框的密排方式，将上述例子中的空间分辨率从474*300提升至接近1896*1200。图17图示了根据本发明的图像传感器的光谱像素阵列的第二示例的示意图。
进一步地，对同一图像传感器，可以根据需要进行空间分辨率与光谱分辨率的重排，例如在上述例子中，当光谱分辨率要求较高时，可以采用8*8个单元像素形成一个光谱像素；当空间分辨率要求较高时，可以采用3*3个物理像素形成一个光谱像素。
所述光谱成像系统与光谱仪系统在结构上是一致的，其恢复算法存在差异，具体的在光谱仪的实施例的结构基础上提供光谱成像的算法。
提供一种光谱恢复方法，包括：
获取所述光谱成像设备的光敏芯片输出的光能量响应信号矩阵和标准光谱；基于光能量响应信号矩阵确定基本元恢复函数和所述基本元恢复函数的响应信号向量，所述基本元恢复函数使用所述光敏芯片的预定像素值及其附近的像素值恢复其所对应的预定通道的光谱图像值；获取恢复张量，所述恢复张量与所述响应信号向量的乘积等于所述基本元恢复函数基于所述响应信号向量的输出；以及，基于所述恢复张量与所述响应信号向量的乘积得到恢复出的光谱图像。
其中，所述光能量响应信号矩阵表示为包括图像宽度w和图像高度h两个维度的矩阵B，所述标准光谱的维数为1，且设置为所述光谱成像设备接收到的光谱图像真实值张量与所述标准光谱的乘积与所述待恢复的光谱图像张量间的距离最小。
进一步，所述标准光谱表示为s，且所述标准光谱的对应第k个通道的通道标准光谱表示为sk，以使得：
xk→O(i,j)sk
其中，sk是某个光谱像素的第k通道的光谱图像值，O(i,j)是某个光谱像素的光谱曲线真实值张量，且→表示张量之间的欧氏距离最小。
其中，获取光谱芯片的透射谱矩阵和所述光谱芯片的图像传感器的测量值向量包括：获取所述光谱芯片的初始透射谱矩阵A和所述光谱芯片的图像传感器的初始测量值向量b；基于正则化描述模型，通过对光谱向量提取系数从初始透射谱矩阵A和初始测量值向量b得到超定系统的矩阵A'和测量值向量b'，其中所述正则化描述模型为：
Figure BDA0004014292430000331
其中，λ>0是正则项系数，D为三对角Toeplitz矩阵，‖·‖表示二范数，且所述超定系统的矩阵A'和测量值向量b'分别为：
Figure BDA0004014292430000332
/>
Figure BDA0004014292430000333
以及，将所述超定系统的矩阵A'和测量值向量b'分别作为所述光谱芯片的透射谱矩阵和测量值向量。
为了便于理解，将中国发明CN2021111546565全部内容引入。
进一步，提供一种光谱图像重建方法，包括：获取光谱成像芯片的透射谱数据和光谱成像芯片的输出信号数据；基于用于重建光谱图像的像元获取所述透射谱数据的局部透射谱数据和所述输出信号数据的局部输出信号数据；将所述局部输出信号数据输入注意力模型以获得注意力局部数据；以及，将所述局部透射谱数据、所述局部输出信号数据和所述注意力局部数据输入神经网络模型以获得所述用于重建光谱图像的像元。
其中，基于用于重建光谱图像的像元获取所述透射谱数据的局部透射谱数据和所述输出信号数据的局部输出信号数据包括：基于用于重建光谱图像的像元的位置，获取所述位置附近区域内的、边长为预定像素数目的所述透射谱数据的局部透射谱数据和所述输出信号数据的局部输出信号数据。
进一步，将所述局部输出信号数据输入注意力模型以获得注意力局部数据包括：将所述局部输出信号数据划分为多个预定区域，每个预定区域包括与所述光谱成像芯片的多个像素对应的输出信号数据；以及，针对每个所述预定区域进行矩阵相乘以获得所述注意力局部数据。
为了便于理解，将中国发明CN2021111516729全部内容引入。
结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (16)

1.一种光谱仪，其特征在于，包括：
基板，具有以周期排列的多个狭缝单元，用于对入射光进行调制，所述狭缝单元具有对应的透射谱曲线；
感光模组，所述感光模组位于所述屏幕下端，且包括：图像传感器，用于接收调制后的入射光，以获得所述入射光的光谱信息，所述基板设置于所述图像传感器的光学路径上。
2.根据权利要求1所述的光谱仪，其中，每个狭缝单元包括至少一狭缝和/或小孔。
3.根据权利要求2所述的光谱仪，其中，所述基板为屏幕。
4.根据权利要求3所述的光谱仪，其中，所述屏幕包括玻璃盖板和位于所述玻璃盖板下方的发光单元。
5.根据权利要求3所述的光谱仪，其中，所述光谱仪进一步包括光源，所述光源为所述发光单元。
6.根据权利要求3所述的光谱仪，其中，所述感光模组进一步包括光学组件，所述光学组件包括光阑和至少一透镜，所述光学组件位于所述图像传感器的感光路径上。
7.根据权利要求2所述的光谱仪，其中，所述基板为调制盖板。
8.根据权利要求7所述的光谱仪，其中，所述调制盖板包括由透明材料构成的玻璃盖板和覆盖于所述玻璃盖板的不透光材料，所述调制盖板的未覆盖有所述不透光材料处形成所述狭缝单元。
9.根据权利要求8所述的光谱仪，其中，所述不透光材料包括不透光的平行设置的导电材料，平行设置的所述导电材料形成电容结构。
10.根据权利要求9所述的光谱仪，其中，所述不透光材料包括不透光的不导电材料。
11.根据权利要求10所述的光谱仪，其中，所述光谱仪进一步包括电连接于所述图像传感器的线路板，所述线路板适于导通于所述电容结构。
12.根据权利要求7所述的光谱仪，其中，所述调制盖板为掩膜版。
13.根据权利要求7所述的光谱仪，其中，所述调制盖板为电子设备的保护盖板，所述保护盖板具有透光区域和非透光区域，所述透光区域形成所述狭缝单元。
14.根据权利要求7所述的光谱仪，其中，所述感光模组包括滤光结构和图像传感器，所述滤光结构位于所述图像传感器的感光路径上。
15.根据权利要求7所述的光谱仪，其中，所述光谱仪进一步包括位于所述图像传感器的感光路径上的滤光片。
16.根据权利要求2所述的光谱仪，其中，任一所述狭缝单元与其相邻的两个狭缝单元定义出两个向量和面积等于两个所述向量点乘的区域，该区域的图案在周期区域范围内分别沿着两个所述向量对应的向量方向平移整数个所述向量的位移后，该区域的所述狭缝与平移后所处区域的所述狭缝重合，其中，所述周期区域为由多个以周期排列的多个狭缝单元形成的区域。
CN202211661740.0A 2021-12-31 2022-12-23 光谱仪 Pending CN116380241A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
CN202111675063 2021-12-31
CN2021116750633 2021-12-31
CN202210073883 2022-01-21
CN2022100738833 2022-01-21
CN202210513916 2022-05-12
CN2022105139161 2022-05-12

Publications (1)

Publication Number Publication Date
CN116380241A true CN116380241A (zh) 2023-07-04

Family

ID=86960294

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211661739.8A Pending CN116386093A (zh) 2021-12-31 2022-12-23 活体指纹识别系统及其活体识别方法
CN202211661740.0A Pending CN116380241A (zh) 2021-12-31 2022-12-23 光谱仪

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211661739.8A Pending CN116386093A (zh) 2021-12-31 2022-12-23 活体指纹识别系统及其活体识别方法

Country Status (2)

Country Link
CN (2) CN116386093A (zh)
WO (1) WO2023125329A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392710B (zh) * 2023-12-05 2024-03-08 杭州海康威视数字技术股份有限公司 一种图像识别系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2562682B1 (de) * 2011-08-24 2014-10-08 DERMALOG Identification Systems GmbH Verfahren und Vorrichtung zur Aufnahme eines Fingerabdruckes mit Echtheitserkennung
CN105260708B (zh) * 2015-09-25 2020-07-24 联想(北京)有限公司 一种检测装置，电子设备及信息处理方法
CN111950529B (zh) * 2017-05-17 2023-05-16 深圳市汇顶科技股份有限公司 具有非接触成像能力的光学指纹传感器
US10303921B1 (en) * 2018-02-26 2019-05-28 Shenzhen GOODIX Technology Co., Ltd. On-LCD screen optical fingerprint sensing based on optical imaging with lens-pinhole module and other optical designs
CN113468915A (zh) * 2020-03-31 2021-10-01 吉林求是光谱数据科技有限公司 具有真假指纹识别功能的手机指纹识别系统和识别方法

Also Published As

Publication number Publication date
WO2023125329A1 (zh) 2023-07-06
CN116386093A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
Jeon et al. Compact snapshot hyperspectral imaging with diffracted rotation
US7616306B2 (en) Compressive sampling and signal inference
KR102269229B1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
US20080025624A1 (en) Coding for compressive imaging
WO2016123529A1 (en) Lensless imaging system using an image sensor with one or more attenuating layers
JP2014515587A (ja) デジタル画像装置用の画像処理パイプラインの学習
JP2004505512A (ja) イメージ・モザイク化のための方法および装置
CN111024229B (zh) 单芯片集成型光谱成像微系统光谱数据校正方法
CN113447118B (zh) 一种可实现彩色成像的多光谱成像芯片及彩色成像方法
Ji et al. Compressive recovery of smartphone RGB spectral sensitivity functions
CN116380241A (zh) 光谱仪
Song et al. Review of compact computational spectral information acquisition systems
US11843876B2 (en) Optical filter array, photodetection device, and photodetection system
CN117178290A (zh) 图像处理装置、摄像系统及估计复原图像的误差的方法
CN113468915A (zh) 具有真假指纹识别功能的手机指纹识别系统和识别方法
Alvarez‐Cortes et al. Practical Low‐Cost Recovery of Spectral Power Distributions
Brady et al. Compressive sampling strategies for integrated microspectrometers
Llanos et al. Simultaneous demosaicing and chromatic aberration correction through spectral reconstruction
Leblanc et al. Interferometric lensless imaging: rank-one projections of image frequencies with speckle illuminations
JP6197318B2 (ja) 分光特性計測方法、分光特性計測装置、画像評価装置及び画像形成装置
CN216901720U (zh) 活体指纹检测装置
WO2023143242A1 (zh) 指纹检测模组、活体指纹检测装置以及检测方法
Kim Learning Computational Hyperspectral Imaging
CN116935451A (zh) 活体指纹识别系统和指纹检测模组
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination