CN216352422U - 多模态图像采集装置 - Google Patents

Abstract

提供一种多模态图像采集装置，包括：镜头组件，其包括用于拍摄多模态图像的主摄像头，用于成像至主摄像头的接目物镜以及第一副摄像头和第二副摄像头，所述第一副摄像头和第二副摄像头分布在所述接目物镜的两侧，用于眼底图像采集时定位工作距离；外部照明模块，其包括发射第一红外波长的第一照明光源和第二照明光源，用于眼底图像采集照明；发射第二红外波长的第三照明光源和第四照明光源，用于虹膜图像采集照明；以及其中，所述第一照明光源和所述第二照明光源之间的第一连线以及所述第三照明光源和所述第四照明光源之间的第二连线均通过所述接目物镜的中轴线。

Description

多模态图像采集装置

技术领域

本实用新型涉及智能相机领域，尤其涉及一种多模态图像采集装置。

背景技术

现有技术中通常是通过多个采集设备分开采集用户的不同生物信息。例如，通过普通相机采集人脸图像，通过虹膜相机采集虹膜图像，通过眼底相机采集眼底图像。使用不同设备采集不同模态数据，造成步骤繁琐、不易操作、效率低下等问题。此外，现有的采集设备无法实现自动采集不同模态的数据，并且现有技术中用于采集虹膜图像和眼底图像的红外灯照明均匀性差，不利于虹膜图像和眼底图像的采集。

实用新型内容

根据现有技术的上述缺陷，本实用新型提供一种多模态图像采集装置，包括：

镜头组件，其包括用于拍摄多模态图像的主摄像头，用于成像至所述主摄像头的接目物镜以及第一副摄像头和第二副摄像头，所述第一副摄像头和第二副摄像头分布在所述接目物镜的两侧，用于眼底图像采集时定位工作距离；

外部照明模块，其包括发射第一红外波长的第一照明光源和第二照明光源，用于眼底图像采集照明；发射第二红外波长的第三照明光源和第四照明光源，用于虹膜图像采集照明；以及

其中，所述第一照明光源和所述第二照明光源之间的第一连线以及所述第三照明光源和所述第四照明光源之间的第二连线均通过所述接目物镜的中轴线；以及

其中，所述多模态图像采集装置被配置为当所述接目物镜到人脸的距离在第一距离范围内时，采集人脸图像；当所述接目物镜到眼睛表面的距离在第二距离范围内时，采集虹膜图像；以及当所述接目物镜到眼睛表面的距离在第三距离范围内时，采集眼底图像。

优选地，所述第一照明光源和所述第二照明光源是940nm的LED，所述第三照明光源和所述第四照明光源是850nm的LED。

优选地，所述多模态图像采集装置还包括调焦模块，其用于调整焦距进而调节成像的清晰度。

优选地，所述多模态图像采集装置还包括运动组件，用于控制所述镜头组件运动。

优选地，所述第一距离范围为50-75cm，所述第二距离范围为75-85mm，以及所述第三距离范围为25-40mm。

优选地，其特征在于，所述多模态图像采集装置被配置为根据指令控制所述多模态图像采集装置采集人脸图像、虹膜图像或眼底图像。

优选地，所述多模态图像采集装置被配置为根据人脸识别算法和佩戴检测算法相结合来自动识别并且自动拍摄人脸图像、虹膜图像或眼底图像。

优选地，所述多模态图像采集装置被配置为当检测到人脸出现在所述主摄像头视野内时，启动人脸检测流程完成人脸拍摄。

优选地，所述多模态图像采集装置被配置为当检测到佩戴头部辅助装置后，启动虹膜和眼底采集流程完成虹膜和眼底拍摄。

优选地，所述多模态图像采集装置被配置为基于人脸或眼表与接目物镜的距离，自动完成拍摄过程。

本实用新型中的多模态图像采集装置，可以通过驱动镜头组件配合边缘智能算法控制人脸或者眼表距接目物镜的距离，根据该距离，分别采集人脸数据、虹膜数据和眼底数据。可以实现用户通过同一设备自助完成三种身份识别技术数据采集。本实用新型中的多模态图像采集装置还可以基于人脸或眼表与接目物镜的距离，自动完成拍摄过程。

本实用新型中使用单一设备采集用户的多模态生物信息，可以提高多模态生物信息的采集效率、操作简单、设备便携。在本实用新型中，外部照明采用不同波长的LED照明，且相同波长的LED呈斜对称分布设置，可以提供更加均匀的照明。

附图说明

图1是根据本实用新型一个实施例的多模态图像采集装置的示意图；

图2是根据本实用新型一个实施例的镜头组件和调焦模块的示意图；

图3是根据本实用新型一个实施例的人脸图像采集时的光路示意图；

图4是根据本实用新型一个实施例的人脸图像采集的流程图；

图5是根据本实用新型一个实施例的虹膜图像采集时的光路示意图；

图6是根据本实用新型一个实施例的虹膜图像采集的流程图；

图7是根据本实用新型一个实施例的眼底图像采集时的光路示意图；

图8是根据本实用新型一个实施例的眼底图像采集的流程图。

具体实施方式

为了使本实用新型的目的、技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本实用新型进一步详细说明。

图1是根据本实用新型一个实施例的多模态图像采集装置的示意图。如图1所示，多模态图像采集装置100包括镜头组件107、外部照明模块以及调焦模块(图中未示出)。其中镜头组件107包括：接目物镜108，其用于成像至主摄像头；主摄像头位于接目物镜108的后方，其用于拍摄多模态图像；对称设置的第一副摄像头103和第二副摄像头104，其分布在接目物镜108的镜筒109的两侧，用于眼底图像采集时定位工作距离(WD)。外部照明模块包括第一照明光源101和第二照明光源102，其相对于镜筒109的中轴线呈斜对称设置在镜筒109的两侧，用于眼底图像采集照明；以及第三照明光源105和第四照明光源106，其相对于镜筒109的中轴线呈斜对称设置在镜筒109的两侧，且与第一照明光源101和第二照明光源102呈交叉分布，用于虹膜图像采集照明。

优选地，第一照明光源101、第二照明光源102是用于发射第一红外波长的红外光源，第三照明光源105和第四照明光源106是用于发射第二红外波长的红外光源。更优选地，第一照明光源101和第二照明光源102是940nm的LED，第三照明光源105和第四照明光源106是850nm的LED。

可以通过设置第一照明光源101、第二照明光源102、第三照明光源105和第四照明光源106的位置，以实现更加均匀的照明。优选地，第一副摄像头103和第二副摄像头104对称设置在镜筒109的两侧，其连线通过接目物镜108的中轴线。优选地第一照明光源101和第二照明光源102呈斜对称设置在镜筒109的两侧，其连线通过接目物镜108的中轴线，且与第一副摄像头103和第二副摄像头104的连线具有第一夹角。优选地第三照明光源105和第四照明光源106呈斜对称设置在镜筒109的两侧，其连线通过接目物镜108的中轴线，且与第一副摄像头103和第二副摄像头104的连线具有第二夹角。优选地，第一照明光源101与第三照明光源105的位置相对于第一副摄像头103和第二副摄像头104的连线对称，且第一夹角等于第二夹角。优选地，第一夹角和第二夹角为30°、45°或60°。

多模态图像采集装置100还包括调焦模块，用于调整焦距进而调节成像的清晰度。多模态图像采集装置100还包括运动组件，其包括马达X，用于驱动镜头组件107沿水平方向(图1中的x方向)移动；马达Y，用于驱动镜头组件107沿垂直方向(图1中的y方向)移动；以及马达Z，用于驱动镜头组件107沿接目物镜108的中轴线方向(图1中的z方向)移动。多模态图像采集装置100还包括马达W，用于驱动调焦模块沿接目物镜108的中轴线方向(图1中的z方向)移动。其中，调焦模块可沿接目物镜108的中轴线方向进行移动地连接在镜筒109上。

图2是根据本实用新型一个实施例的镜头组件和调焦模块的示意图。如图2所示，镜头组件包括对称设置的第一副摄像头201和第二副摄像头202、接目物镜203、偏振片204，205、照明LED 206以及摄像镜组207(即主摄像头)。调焦模块208包括分光棱镜209、固视灯210、固视及调焦光阑211以及成像探测器212。关于上述实施例中镜头组件和调焦模块的具体结构以及连接关系可参考中国专利文件CN112043238A的说明书及其附图，在本实用新型中不再赘述。引用该专利文件的目的只是介绍镜头组件和调焦模块的用途，下面提供的实施例并不限于应用上述专利文件中公开的相机。凡是能够拍摄眼底图像、虹膜图像以及人脸图像的相机均可以应用于本实用新型中。

本实用新型的多模态图像采集装置可以进行人脸拍摄、虹膜拍摄、以及眼底拍摄三个模态的图像采集。具体地，图像采集可以包括三个阶段：第一阶段，在装置工作距离最远位置进行人脸拍摄；第二阶段，移动镜头组件以缩短工作距离，进行虹膜拍摄；第三阶段，继续移动镜头组件以缩短工作距离，进行眼底拍摄。上述三个阶段不必一定按照顺序执行，可以选择性地执行任意阶段。本装置共用一套成像调焦装置，可以实现三个不同模态的图像拍摄。

以下，通过具体实施例对三个模态的图像采集进行说明。在该实施例中，第一照明光源和第二照明光源采用940nm的LED，第三照明光源和第四照明光源采用850nm的LED，采用图2中所示的镜头组件和调焦模块。

一、人脸图像采集：

当镜头组件中的接目物镜到人脸的WD在50-75cm范围内时，可以通过调焦模块，使人脸在自然光下清晰呈现到主摄像头上(如图3所示)，并基于人脸检测算法的检测结果决定是否采集人脸图像。

本实用新型可以通过本地或远程控制器来控制人脸图像采集过程，具体步骤参见图4。

A1：控制器下发指令，要求进行人脸图像采集；

A2：启动主摄像头；

A3：驱动马达X,Y,Z,W在规定区域范围、WD距离、调焦范围内扫描人脸；

A4：通过人脸检测算法进行检测，当未找到人脸时，继续执行步骤A3；当检测到人脸与接目物镜的距离在50-75cm范围内时，驱动马达X,Y,Z,W完成调焦以及距离微调整，使人脸图像清晰完整显示到主摄像头；当找到清晰完整的人脸后，执行步骤A5；

A5：控制主摄像头拍摄人脸，并将数据传输至控制器。通过人脸检测算法检测主摄像头上人脸数据流，响应于人脸数据流达到第一预设值，即找到完整清晰的人脸，采集人脸图像。其中第一预设值为预先设置的人脸图像的清晰度、人脸范围等符合要求时的值。

二、虹膜图像采集：

接目物镜到眼睛表面的WD在75-85mm范围内时，可以启动两侧的第三照明光源和第四照明光源850nm的LED红外灯提供照明。使光线通过接目物镜后的光学装置成像到主摄像头上(如图5所示)，基于虹膜检测算法检测虹膜纹理和眼部轮廓，并基于虹膜检测结果决定是否采集虹膜图像。

本实用新型可以通过本地或远程控制器来控制虹膜图像采集过程，具体步骤参见图6。

B1：控制器下发指令，要求进行虹膜图像采集；

B2：启动主摄像头，启动第三照明光源和第四照明光源850nm的LED红外灯；

B3：驱动马达X,Y,Z,W在规定区域范围、WD距离、调焦范围内扫描虹膜；

B4：通过虹膜检测算法进行检测，当未找到虹膜时，继续执行步骤B3，当检测到的眼表与接目物镜的距离在上述75-85mm范围内时，通过马达Z调整工作距离，马达W调整焦距，并启用控制马达X和马达Y进行区域扫描，使虹膜图像清晰完整显示到主摄像头；当找到清晰完整的虹膜后，执行步骤B5；

B5：控制主摄像头拍摄虹膜，并将数据传输至控制器。通过虹膜检测算法检测摄像头上的虹膜数据流，响应于虹膜数据流达到第二预设值，即找到完整清晰的虹膜，采集虹膜图像。其中第二预设值为预先设置的虹膜图像的清晰度、眼睛的轮廓等符合要求时的值。

三、眼底图像采集：

眼底图像拍摄分两个阶段，阶段一为瞳孔识别锁定，阶段二为眼底拍摄。接目物镜到眼睛表面的WD在25-40mm范围内时，可以启动第一照明光源和第二照明光源940nm的LED红外灯提供照明，使得第一副摄像头和第二副摄像头分别对眼表成像，并通过双目图像识别算法判断眼底相机的工作距离，进而驱动眼底相机前后(z方向)、上下左右(x，y方向)移动，最终对准人眼瞳孔，完成瞳孔的锁定(如图7所示)；瞳孔锁定后，采用斜照明方式进行眼底拍摄。镜头组件的照明LED 206包括红外LED和白光LED，在照明LED前放置偏振片204使得照明光成为线偏振光。照明LED 206经接目物镜203后成像于瞳孔位置，并照明眼底视网膜。成像光路中眼底视网膜的反射光通过接目物镜203、偏振片205、摄像镜组207、分光棱镜209后聚焦在成像探测器212上(如图7所示)。通过开启照明红外LED 206，并利用成像探测器212上的红外图像，通过眼底校准算法进行调焦计算，驱动调焦模块实现调焦，调焦完成后关闭红外LED 206的同时白光LED 206闪光进行眼底拍摄。固视灯绿色LED灯210照明固视光阑211，固视光阑211通过分光棱镜209反射进入成像系统。当保持固视光阑211在与成像探测器212共轭的位置上时，固视光阑211与眼底视网膜成共轭状态，因而起到固视作用。

本实用新型可以通过本地或远程控制器来控制眼底图像采集过程，具体步骤参见图8：

C1：控制器下发指令，要求进行眼底图像采集；

C2：启动主摄像头，启动第一照明光源和第二照明光源940nm的LED红外灯；

C3：驱动马达X,Y,Z,W在规定区域范围、调焦范围内扫描瞳孔；

C4：通过瞳孔检测算法、WD计算算法进行检测，当未找到瞳孔时，继续执行步骤C3；当眼表与接目物镜的距离在25-40mm范围内时，启动接目物镜两侧的第一和第二副摄像头分别对眼表成像，通过马达X,Y,Z调整工作距离，并通过第一和第二副摄像头实现对瞳孔识别锁定，当找到清晰完整的瞳孔后，执行步骤C5；

C5：启动主摄像头的红外LED 206，并调节调焦马达W；

C6：驱动马达X,Y,Z进行眼底对齐；

C7：通过眼底对齐检测算法检测，如果眼底未对齐，则继续执行步骤C6，当眼底对齐后，执行步骤C8；

C8：控制主摄像头，启动白光LED 206闪光进行眼底拍摄，并将数据传输至控制器。

在上述的实施例中通过控制器来控制三个模态的图像采集，需要先下达指令，然后由多模态图像采集装置执行人脸拍摄、虹膜拍摄或者眼底拍摄。在本实用新型中，也可以通过人脸识别算法和佩戴检测算法搭配自动完成人脸拍摄、虹膜拍摄或者眼底拍摄。

具体而言，在人脸识别的过程中，不需要佩戴用于固定头部的面贴组件(参见中国专利文件CN112043238A)或其他头部辅助装置，而在进行虹膜拍摄或者眼底拍摄时，需要用户佩戴相应的头部辅助装置。因此可以通过人脸识别算法和佩戴检测算法相结合来判断需要进行哪种拍摄。具体步骤如下：

D1：启动主摄像头

D2：运行人脸检测算法和佩戴检测算法；

D3：当检测到人脸出现在主摄像头视野内时，启动人脸检测流程执行步骤A2-A5完成人脸拍摄；

D4：当检测到佩戴头部辅助装置后，启动虹膜采集流程执行步骤B2-B5完成虹膜拍摄，以及启动眼底采集流程执行步骤C2-C8完成眼底拍摄。

在该示例中，可以基于人脸识别算法和佩戴检测算法来自动识别并且自动完成拍摄过程。

本实用新型还可以根据人脸或眼表与接目物镜的距离，自动确定采集哪种模态的图像，具体步骤如下：

E1：检测人脸或眼表数据；

E2：当检测到人脸与接目物镜的距离在50-75cm范围内时，驱动马达X,Y,Z,W完成调焦以及距离微调整，使人脸图像清晰完整显示到主摄像头上，然后执行步骤A5完成人脸拍摄；

E3：当检测到眼表与接目物镜的距离在75-85mm范围内时，启动850nm的LED红外灯，通过马达Z调整工作距离，马达W调整焦距，并启用控制马达X和马达Y进行区域扫描，使虹膜图像清晰完整显示到主摄像头，然后执行步骤B5完成虹膜图像拍摄；

E4：当检测到眼表与接目物镜的距离在25-40mm范围内时，启动接目物镜两侧的第一和第二副摄像头，以及940nm的LED红外灯对眼表成像；通过马达X,Y,Z调整工作距离，并通过第一和第二副摄像头实现对瞳孔识别锁定；然后执行步骤C5-C8完成眼底图像的拍摄；

在该示例中，可以基于人脸或眼表与接目物镜的距离，自动完成拍摄过程。

虽然上述实施例中，当人脸距接目物镜50-75cm范围内时，拍摄人脸，在眼表距接目物镜75-85mm范围内时，拍摄虹膜图像，在眼表距接目物镜25-40mm范围内时，拍摄眼底图像，但本实用新型不以此为限，实际应用中可以根据所使用的相机等部件，通过测量确定合适的距离范围。

根据本实用新型的一个实施例，控制器可以是客户端或者服务器。

应当注意，上述实施例中的步骤顺序仅是示意性的，并不构成对本实用新型的限制，实际应用中，可以改变实施上述步骤的顺序。

在本实用新型中，可以通过驱动镜头组件配合边缘智能算法控制人脸或者眼表距离接目物镜的距离，根据该距离，分别采集人脸数据、虹膜数据和眼底数据，可以实现用户通过同一设备能够自助完成三种身份识别技术数据采集。本实用新型中使用单一设备采集用户的多模态生物信息，可以提高多模态生物信息的采集效率、操作简单、设备便携。

在本实用新型中，外部照明采用不同波长的LED照明，且相同波长的LED呈斜对称分布设置，可以提供更加均匀的照明。

虽然本实用新型已经通过优选实施例进行了描述，然而本实用新型并非局限于这里所描述的实施例，在不脱离本实用新型范围的情况下还包括所做出的各种改变以及变化。

Claims (5)

1.一种多模态图像采集装置，其特征在于，包括：

镜头组件，其包括用于拍摄多模态图像的主摄像头，用于成像至所述主摄像头的接目物镜以及第一副摄像头和第二副摄像头，所述第一副摄像头和第二副摄像头分布在所述接目物镜的两侧，用于眼底图像采集时定位工作距离；

外部照明模块，其包括发射第一红外波长的第一照明光源和第二照明光源，用于眼底图像采集照明；发射第二红外波长的第三照明光源和第四照明光源，用于虹膜图像采集照明；以及

其中，所述第一照明光源和所述第二照明光源之间的第一连线以及所述第三照明光源和所述第四照明光源之间的第二连线均通过所述接目物镜的中轴线；以及

其中，所述镜头组件用于在所述接目物镜到人脸的距离在第一距离范围内时采集人脸图像；所述第三照明光源和所述第四照明光源用于在所述接目物镜到人脸的距离在第二距离范围内时提供虹膜图像采集照明；以及所述第一照明光源和所述第二照明光源用于在所述接目物镜到人脸的距离在第三距离范围内时提供眼底图像采集照明。

2.根据权利要求1所述的多模态图像采集装置，其特征在于，所述第一照明光源和所述第二照明光源是940nm的LED，所述第三照明光源和所述第四照明光源是850nm的LED。

3.根据权利要求1所述的多模态图像采集装置，其特征在于，所述多模态图像采集装置还包括调焦模块，其用于调整焦距进而调节成像的清晰度。

4.根据权利要求1所述的多模态图像采集装置，其特征在于，所述多模态图像采集装置还包括运动组件，用于控制所述镜头组件运动。

5.根据权利要求1所述的多模态图像采集装置，其特征在于，所述第一距离范围为50-75cm，所述第二距离范围为75-85mm，以及所述第三距离范围为25-40mm。

Images