CN114360364A - 一种多光谱成像模组及便携显示设备 - Google Patents

Abstract

本申请提供一种多光谱成像模组及便携显示设备，涉及成像光谱探测仪器技术领域，包括：沿光路依次设置的用于矫正像差的主镜、微透镜阵列、阵列滤光片和探测器，微透镜阵列的通道数和阵列滤光片的通道数对应以形成多个成像通道，由主镜出射的光束依次经微透镜阵列和阵列滤光片，以使光束不同波段的光通过对应的成像通道成像于探测器的对应位置，实现多光谱成像。采用微透镜阵列的方式，一次采集就能得到物体的数据立方体，可以对运动物体和瞬间现象光谱成像，实现一次成像，实现对于场景目标的复制成像，获取整个场景目标经过微透镜阵列对应的阵列滤光片的光谱信息；体积小，重量低，结构简单，容易加工、装配，经济便捷，实现产品化。

Description

一种多光谱成像模组及便携显示设备

技术领域

本申请涉及成像光谱探测仪器技术领域，具体涉及一种多光谱成像模组及便携显示设备。

背景技术

多光谱成像技术是将传统的二维成像技术和光谱技术有机结合在一起从而获得数据立方体的一门新兴技术，具有空间可识别性、超多波段、光谱分辨率高以及图谱合一等优点。

目前，多光谱成像技术获取到的光谱波段较少，以此制成的成像光谱仪实时性差，体积和质量大，无法在运用光场技术下实现大视场和大孔径成像，由此应用此技术的智能手机端无法实时获取成像光谱信息，成为手机行业的痛点。

发明内容

本申请实施例的目的在于提供一种多光谱成像模组及便携显示设备，实现多光谱一次测量，同时获取图像和光谱信息，且集成化和稳定性好。

本申请实施例的一方面，提供了一种多光谱成像模组，包括沿光路依次设置的用于矫正像差的主镜、微透镜阵列、阵列滤光片和探测器，所述微透镜阵列的通道数和所述阵列滤光片的通道数对应以形成多个成像通道，由所述主镜出射的光束依次经所述微透镜阵列和所述阵列滤光片，以使所述光束不同波段的光通过对应的所述成像通道成像于所述探测器的对应位置，实现多光谱成像。

可选地，所述主镜和所述微透镜阵列之间还设置有孔径光阑，所述孔径光阑设置于所述微透镜阵列的入瞳处。

可选地，所述孔径光阑包括多个阵列的子孔径，多个阵列的所述子孔径与所述微透镜阵列的阵列通道对应。

可选地，所述主镜为非球面镜，所述主镜的出瞳与所述微透镜阵列的入瞳匹配。

可选地，所述微透镜阵列由多个非球面子透镜形成，每个所述非球面子透镜形成所述成像通道。

可选地，单个所述非球面子透镜的入瞳直径与所述孔径光阑和所述微透镜阵列之间的距离相等。

可选地，所述非球面子透镜为平凸透镜，所述平凸透镜的粗糙度小于10um。

可选地，所述阵列滤光片包括多个阵列的窄带滤光片，多个所述窄带滤光片的波长沿阵列排布方向依次递增。

可选地，所述微透镜阵列和所述阵列滤光片胶合设置。

本申请实施例的另一方面，提供了一种便携显示设备，包括：上述的多光谱成像模组。

本申请实施例提供的多光谱成像模组及便携显示设备，主镜、微透镜阵列、阵列滤光片和探测器沿光路依次设置，主镜用于矫正像差，微透镜阵列的通道数和阵列滤光片的通道数对应以形成多个成像通道，一个成像通道可在探测器上形成一个目标像，由主镜出射的光束依次经微透镜阵列和阵列滤光片，以使光束不同波段的光通过对应的成像通道成像于探测器的对应位置，实现多光谱成像，采用微透镜阵列的方式，运用光场原理，一次采集就能得到物体的数据立方体，可以对运动物体和瞬间现象光谱成像，实现一次成像，实现对于场景目标的复制成像，获取整个场景目标经过微透镜阵列对应的阵列滤光片的光谱信息；基于阵列滤光，将多光谱成像模组的体积极大缩小，从而降低了重量，且结构简单，容易加工，易于装配，装调精度低，实现机械化自动装调，无需调焦机构，不受环境影响，经济便捷，从而实现产品化，使其商用，扩大了应用范围。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本实施例提供的多光谱成像模组结构示意图；

图2a是本实施例提供的多光谱成像模组微透镜阵列示意图；

图2b是本实施例提供的多光谱成像模组微透镜阵列表面形貌图；

图3a是本实施例提供的多光谱成像模组非球面子透镜阵列设计图；

图3b是本实施例提供的多光谱成像模组微透镜阵列设计图；

图4a是本实施例提供的多光谱成像模组非球面子透镜阵列点列图；

图4b是本实施例提供的多光谱成像模组非球面子透镜阵列MTF图；

图5a是本实施例提供的多光谱成像模组微透镜阵列点列图；

图5b是本实施例提供的多光谱成像模组微透镜阵列几何相位分析图；

图6是本实施例提供的多光谱成像模组孔径光阑设计示意图；

图7是本实施例提供的多光谱成像模组主镜设计示意图；

图8a是本实施例提供的多光谱成像模组主镜点列图；

图8b是本实施例提供的多光谱成像模组主镜MTF图；

图9是本实施例提供的多光谱成像模组阵列滤光片设计示意图；

图10是本实施例提供的多光谱成像模组总体设计图；

图11是本实施例提供的多光谱成像模组实际效果图。

图标：101-主镜；102-孔径光阑；103-微透镜阵列；103a-非球面子透镜；104-阵列滤光片；104a-窄带滤光片；105-探测器。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在本申请的描述中，需要说明的是，术语“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

快照式多光谱成像技术是指在某一时刻同时获得多个波段的图像，基于阵列滤光的快照式多光谱在手机镜头的基础上，加入光谱信息，实现后即能获得普通手机镜头同样的空间信息，又能获得普通手机镜头无法获得的光谱信息，所得到的最终数据是一个三维数据立方体，其中两维是空间信息，一维是光谱信息，可应用于大气、食品、药品安全检测等领域。

本申请实施例提供的多光谱成像模组，基于阵列滤光的快照式多光谱系统，面向手机内置光谱成像的迫切需求，解决目前智能手机端无法实时获取成像光谱信息的行业痛点，开发出一种快照式、紧凑型多光谱成像模组，通过精密光学设计、复杂光场调制，实现光谱、空间等多维度信息的融合获取，应用于荧光剂、重金属残留；水果、蔬菜的农药残留；色温检测；伪装目标识别，有害气体检测等。

具体地，请参照图1，本申请实施例提供一种多光谱成像模组，包括：沿光路依次设置的用于矫正像差的主镜101、微透镜阵列103、阵列滤光片104和探测器105，微透镜阵列103的通道数和阵列滤光片104的通道数对应以形成多个成像通道，由主镜101出射的光束依次经微透镜阵列103和阵列滤光片104，以使光束不同波段的光通过对应的成像通道成像于探测器105的对应位置，实现多光谱成像。

主镜101用于实现大视场、大孔径、平衡光学系统中光线像差，主镜101的出瞳与微透镜阵列103的入瞳匹配，以不造成光线损耗和图像损失；主镜101还具有短焦距、系统总长短的特点，示例地，主镜101可为非球面镜，当然主镜101的具体结构形式根据系统目标物的要求而定，并不以上述非球面镜为限。

微透镜阵列103作为空间调制器，阵列滤光片104作为光谱调制器，探测器105用于实现2D成像。微透镜阵列103和阵列滤光片104，能够将物体经过主镜101，成像到探测器105上。微透镜阵列103的阵列单元数量，即微透镜阵列103的通道数量，与阵列滤光片104的通道数、成像通道数量相等；微透镜阵列103的一个阵列单元对应阵列滤光片104的一个阵列单元，两者的对应的阵列单元组成了一个成像通道，以将探测器105靶面划分为多个区域，每个区域对应一个成像通道，不同的通道对应相同像的不同光谱信息，即每个区域获得相同目标不同谱段的信息，再通过深度学习提高光谱分辨率，不同的光谱对应着整个物体目标信息。

这样一来，通过将微透镜阵列103和阵列滤光片104结合，使模组能通过一次成像同时清晰获得目标的多个光谱的完整二维图像信息，以提高了光谱分辨率和空间分辨率，且模组具有体积小、结构简单、可快速构建目标三维数据立方体等特点。

进一步地，主镜101和微透镜阵列103之间还设置有孔径光阑102，孔径光阑102设置于微透镜阵列103的入瞳处。

微透镜阵列103由多个非球面子透镜103a形成，每个非球面子透镜103a都能对目标成像，要使每个非球面子透镜103a所成的像不重叠，需要对于孔径光阑102进行分割，按照微透镜阵列103的排布方式，把孔径光阑102分割成相应的阵列；孔径光阑102的作用是限定入光或出光的光束范围，在本申请中，孔径光阑102对于光束进行调制，使不同视场光束汇聚于同一点，视场的发散角覆盖整个微透镜阵列103。

具体地，如图6所示，孔径光阑102包括多个阵列的子孔径，一个子孔径对应于微透镜阵列103的一个非球面子透镜103a，多个阵列的子孔径与微透镜阵列103的阵列通道对应，以满足成像要求。例如，微透镜阵列103为5×5的结构，相应地，孔径光阑102分割成5×5的子孔径阵列，每个子孔径阵列大小可为0.2mm，以作为非球面子透镜103a的入瞳直径；当然，阵列滤光片104也包含了25个通道，排布为5×5。

作为进行孔径分割和拦截边缘杂散光的孔径光阑102，放置于微透镜阵列103的入瞳处，位置关系满足最大的视场角能够进入微透镜阵列103成像。图7示出了主镜101设计示意图，表明对主镜101优化后各镜片之间相互配合，公差良率高；图8a和图8b示出了主镜101的点列图和MTF图，在主镜101的孔径光阑102处，放置微透镜阵列103位置关系满足最大视场光线能进入系统成像，微透镜阵列103和阵列滤光片104是一一对应的关系，两者和探测器105靶面耦合构成光场传感器。

本申请实施例提供的多光谱成像模组，其原理是，采用同一探测器105，通过不同孔径的阵列滤光片104将不同波段成像到同一探测器105的不同位置，从而实现多光谱成像；阵列滤光片104置于微透镜阵列103后，采用微透镜阵列103、阵列滤光片104、单探测器105的设置，每一个微透镜阵列103的阵列单元透过一个波长，探测器105共用一个。物体不同视场的光线经过主镜101后，不同视场的光线汇聚孔径光阑102，形成无数个子孔径，子孔径的光线包含物体的全部信息，子孔径的张角和位置刚好满足进入非球面子透镜103a成像；每个非球面子透镜103a穿过了全部视场的光线，最后成像在探测器105表面；在微透镜阵列103后端贴合阵列滤光片104，阵列滤光片104的一个阵列单元通道对应一个微透镜阵列103的非球面子透镜103a，光束在不同的通道处被划分为不同的波长，最后经过后调焦成像在探测器105靶面上；直接将场景目标成像再探测器105表面，不产生二次像面，不需要图像重构就能获取整个场景目标的单一光谱图像；此时，在光瞳对应的像面上的每一个子图像中，不同子孔径的图像位置分别对应不同的波长，相当于将光场的方向维度信息的获取转换为光谱信息的获取。同时，每个子图像是对光场成像中的位置信息的获取。

由此，本申请实施例提供的多光谱成像模组，主镜101、微透镜阵列103、阵列滤光片104和探测器105沿光路依次设置，主镜101用于矫正像差，微透镜阵列103的通道数和阵列滤光片104的通道数对应以形成多个成像通道，一个成像通道可在探测器105上形成一个目标像，由主镜101出射的光束依次经微透镜阵列103和阵列滤光片104，以使光束不同波段的光通过对应的成像通道成像于探测器105的对应位置，实现多光谱成像，采用微透镜阵列103的方式，运用光场原理，一次采集就能得到物体的数据立方体，可以对运动物体和瞬间现象光谱成像，实现一次成像，实现对于场景目标的复制成像，获取整个场景目标经过微透镜阵列103对应的阵列滤光片104的光谱信息；基于阵列滤光，将多光谱成像模组的体积极大缩小，从而降低了重量，且结构简单，容易加工，易于装配，装调精度低，实现机械化自动装调，无需调焦机构，不受环境影响，经济便捷，从而实现产品化，使其商用，扩大了应用范围。

基于阵列滤光的多光谱成像模组，体积小，重量轻，可以与手机摄像头大小相匹敌，实现一次测量同时获取图像和光谱信息，高实时性获取三维数据立方体，不含有运动推扫部件，具有集成化和稳定性好等优势；实现图像的复制，以及运用光场技术解决空间分辨率和光谱分辨率不高的问题。解决传统成像光谱仪实时性差，体积和质量大，无法再运用光场技术下实现大视场和大孔径成像，微透镜阵列103维数多难以加工，以及光谱分辨率和空间分辨率不高等问题。

而对于微透镜阵列103来说，请参照图2a～图5b，微透镜阵列103由多个非球面子透镜103a形成，相应地，阵列滤光片104包括多个阵列的窄带滤光片104a；单个非球面子透镜103a采用非球面面型，以满足系统像差要求，每个非球面子透镜103a作为单独的成像单元，和窄带滤光片104a形成成像通道，阵列的非球面子透镜103a之间不产生光谱串扰，光谱分辨率高，系统结构简单，装调精度低，最终可以实现机械化自动装调，无需调焦机构，不受环境影响。

前述提到，主镜101的作用在于，减小系统像差，缩短系统总长，能够应用于大视场、大孔径；而将微透镜阵列103设置于主镜101的孔径光阑102后，以使孔径光阑102与探测器105共轭。其中，微透镜阵列103的单个非球面子透镜103a的入瞳直径与孔径光阑102和微透镜阵列103之间的距离相等，单个非球面子透镜103a的入瞳直径大，不会造成光能量的损失。

如图2a所示，微透镜阵列103包括25个非球面子透镜103a，其阵列排布为5×5的结构，每个非球面子透镜103a都可以作为单透镜单独成像，使得每个非球面子透镜103a都能对目标成像到探测器105上，这样一次成像的过程中，在探测器105上即可得到25个目标像。阵列排布结构是根据目标物要求而定，排列结构也可以是多种多样，具体结构形式主要根据成像目标物，以及探测器105尺寸而定，不限定于5×5的结构形式。

进一步地，非球面子透镜103a为平凸透镜，平凸透镜的粗糙度小于10um。平凸透镜的平面朝向后方的阵列滤光片104，换言之，微透镜阵列103的后端平面的粗糙度小于10nm，这样设置，使得微透镜阵列103易于和阵列滤光片104的胶合，这样避免了光谱串扰，并缩短了系统的长度，减少气泡和不引入新的误差。

微透镜阵列103制备后对其进行测试，请参照图2b，对3×4的微透镜阵列103的测试结果表明，微透镜阵列103表面完整，表面粗糙度小于10nm，面型精度低于100nm，达到设计要求，可直接在光学系统中使用。

请参照图5a，图5a示出了每个视场都经过3×4的微透镜阵列103，在像面上形成点斑；图5b为几何图像模拟，在给定的探测器105的像素和尺寸下进行图像模拟，最终得到3×4的图像，表面微透镜阵列103成像质量良好，像差小。

而阵列滤光片104作为光谱调制器，它可以对所成的空间像进行滤光，从而起到光谱调制器的作用，具体可包括多个阵列的窄带滤光片104a，多个窄带滤光片104a的波长沿阵列排布方向依次递增。例如图9所示，阵列滤光片104形成5×5的阵列结构，一个阵列单元即为一个窄带滤光片104a，从短波到长波，一个阵列单元代表一个谱段，以左上角的一个阵列单元为始，往其右侧和其下侧的阵列单元的波长依次递增，且依次递增的波长为连续谱段波长。

光线通过前端到达多通道的阵列滤光片104，阵列滤光片104有不同的通道，每个通道对应一个波长的光，这样经过光学系统的光就会被分成对应的份数，以5×5的阵列结构为例，阵列滤光片104形成25个通道，将一束光划分为25个不同波长的光，需要将这25束不同波长的光进行采集，并进行处理，实现图像细节优化，再照射到探测器105上成像。

此外，单个阵列滤光片104尺寸应满足最大视场光束的转折角度，并可采用玻璃基底进行膜系设计，需满足薄膜材料的消光系数小，以使薄膜材料在窄带的透射区域内，要有尽可能高的透明度；高折射率材料和低折射率材料之间的折射率差值尽可能的大，以最少的层数达到设计的目标；材料的折射率要尽可能的稳定，材质均匀且散射比较小；薄膜与基底、膜与膜之间要有比较好的附着力；薄膜的应力要尽可能的小，而且要尽可能张应力与压应力匹配，以降低多层薄膜的应力累积；材料本身要具有良好的机械强度和化学性能等要求。具体根据实际需要选用合适的薄膜材料，此处不再赘述。

综上，通过主镜101对目标场景入射光场进行光线耦合、矫正像差；孔径光阑102对于光线进行调制，使不同视场光线汇聚于同一点，视场的发散角覆盖整个微透镜阵列103；微透镜阵列103的位置，满足于孔径光栏距离微透镜阵列103的距离和单个微透镜的入瞳直径大小；阵列滤光片104与微透镜阵列103，两者相胶合，这样避免了光谱串扰和缩短了系统的长度。微透镜阵列103的通道数和阵列滤光片104的通道数是一一对应的，主镜101的光线，传输到微透镜阵列103和阵列滤光片104最终形成光谱图，获取图像的三维信息。每个物体经过主镜101后，根据分割的孔径光阑102，进入微透镜阵列103的阵列单元单独成像后，又经过与每一个阵列单元相匹配的阵列滤光片104的阵列单元，从而形成物体的单波段图像，将同一物体每个波段的图像同时成像在探测器105上，这样只需要一次采集，就可以既不需要空间扫描，也不需要时间扫描，可应用于瞬间物体和运动物体的光谱成像。

图10示出了翻转的主镜101与3×3的微透镜阵列103相匹配，使系统最终的成像质量好，具有可加工性。通过本申请实施例提供的多光谱成像模组，对于不同物体进行成像及多光谱采集，图11示出了不同颜色物体的测试结果，结果表明该多光谱成像模组形成的光学系统可以一次完成对于物体的复制成像和多通道(图11中以12个通道示出)不同光谱的数据获取，继而利用神经网络模型，将原系统12个通道提高到200通道，重建出特征信息丰富的高光谱图像，验证了系统设计的正确性与准确率，提高了高光谱成像系统特征识别的能力。说明基于阵列滤光快照式的多光谱成像模组，具有量产和商用的可能。

本申请实施例还公开了一种便携显示设备，包括如上任意一项的多光谱成像模组。

以应用于手机为例，多光谱成像模组可直接集成到手机里，基于阵列滤光快照式的多光谱成像模组是在普通手机镜头的基础上加入光场传感器和多通道窄带滤光片104a，在一次成像的过程中就可同时获得目标的空间信息和光谱信息，可直接集成于手机内部，共用手机镜头的前端镜片，成为手机的第二种镜头，与手机成为一体，不需要外部连接。当使用集成到手机内部的第二种镜头成像的时候，不仅可以得到场景目标的平面信息，还可以得到图像的光谱信息，得到的光谱信息在经过后端APP处理得到光谱信息所对应的物质信息。

多光谱成像模组的成像光路可以得到一幅目标场景的多通道多光谱图像，图像融合能利用其各通道光谱图像在时空上的相关性及信息上的互补性，并使得融合后得到的图像对场景有更全面、清晰的描述，从而更有利于人眼的识别和机器的自动探测。不需要配合扫描装置，能够一次成像同时获取目标物体清晰完整的图像，实现了智能化、小型化的设计和搭载手机平台的应用，市场前景广阔。

当然，本申请实施例提供的多光谱成像模组，由于实现光谱、空间等多维度信息的融合获取，提高光谱分辨率和空间分辨率，还可应用于生物学基础研究、毒品检测、药物残留等领域，应用广泛。

该便携显示设备包含与前述实施例中的多光谱成像模组相同的结构和有益效果。多光谱成像模组的结构和有益效果已经在前述实施例中进行了详细描述，在此不再赘述。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种多光谱成像模组，其特征在于，包括：沿光路依次设置的用于矫正像差的主镜、微透镜阵列、阵列滤光片和探测器，所述微透镜阵列的通道数和所述阵列滤光片的通道数对应以形成多个成像通道，由所述主镜出射的光束依次经所述微透镜阵列和所述阵列滤光片，以使所述光束不同波段的光通过对应的所述成像通道成像于所述探测器的对应位置，实现多光谱成像。

2.根据权利要求1所述的多光谱成像模组，其特征在于，所述主镜和所述微透镜阵列之间还设置有孔径光阑，所述孔径光阑设置于所述微透镜阵列的入瞳处。

3.根据权利要求2所述的多光谱成像模组，其特征在于，所述孔径光阑包括多个阵列的子孔径，多个阵列的所述子孔径与所述微透镜阵列的阵列通道对应。

4.根据权利要求1所述的多光谱成像模组，其特征在于，所述主镜为非球面镜，所述主镜的出瞳与所述微透镜阵列的入瞳匹配。

5.根据权利要求2所述的多光谱成像模组，其特征在于，所述微透镜阵列由多个非球面子透镜形成，每个所述非球面子透镜形成所述成像通道。

6.根据权利要求5所述的多光谱成像模组，其特征在于，单个所述非球面子透镜的入瞳直径与所述孔径光阑和所述微透镜阵列之间的距离相等。

7.根据权利要求5所述的多光谱成像模组，其特征在于，所述非球面子透镜为平凸透镜，所述平凸透镜的粗糙度小于10um。

8.根据权利要求1所述的多光谱成像模组，其特征在于，所述阵列滤光片包括多个阵列的窄带滤光片，多个所述窄带滤光片的波长沿阵列排布方向依次递增。

9.根据权利要求1所述的多光谱成像模组，其特征在于，所述微透镜阵列和所述阵列滤光片胶合设置。

10.一种便携显示设备，其特征在于，包括如权利要求1-9任意一项所述的多光谱成像模组。

Images