CN115604575A - 图像采集设备及图像采集方法 - Google Patents

图像采集设备及图像采集方法 Download PDF

Info

Publication number
CN115604575A
CN115604575A CN202211264091.0A CN202211264091A CN115604575A CN 115604575 A CN115604575 A CN 115604575A CN 202211264091 A CN202211264091 A CN 202211264091A CN 115604575 A CN115604575 A CN 115604575A
Authority
CN
China
Prior art keywords
infrared
image
light source
speckle
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211264091.0A
Other languages
English (en)
Inventor
杜艳斌
魏强强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202211264091.0A priority Critical patent/CN115604575A/zh
Publication of CN115604575A publication Critical patent/CN115604575A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种图像采集设备及图像采集方法,图像采集设备包括红外泛光源、红外散斑光源、至少一个图像采集模组以及控制模组,其中,每个图像采集模组中至少包括一个红外相机,被配置为在拍摄时采集红外泛光得到红外泛光图像,或采集红外散斑光得到红外散斑图像,控制模组工作时被配置为获取预设的拍摄帧率,以及根据所述拍摄帧率,指示红外相机以分帧的方式分别拍摄红外泛光图像和红外散斑图像。图像采集设备可以利用同一个红外相机拍摄得到两种模态的红外图像,在不需要增加相机数量的情况下,使得图像采集设备采集到更多模态的图像,有利于提高图像识别结果的准确性。

Description

图像采集设备及图像采集方法
技术领域
本说明书涉及图像技术领域,尤其涉及一种图像采集设备及图像采集方法。
背景技术
随着生物识别技术的发展,人脸识别越来越多地应用到各个领域,比如,基于人脸识别的支付系统、基于人脸识别的门禁系统、基于人脸识别的身份辨识系统、基于人脸识别的目标跟踪系统,等等。
现有的人脸识别技术主要基于图像采集设备采集包含人脸的图像或视频,然后通过计算机算法对图像或视频中的人脸进行特征提取和识别。在一些相关技术中,图像采集设备中设置有一个或者多个相机,每个相机被配置为采集一种模态的图像。例如,图像采集设备中可以设置有可见光相机(也可以称为RGB相机),通过可见光相机采集得到包含人脸的可见光图像(也可以称为RGB图像)。然后,计算机算法对上述可见光图像进行人脸识别处理。然而,上述方式中,图像采集设备中的每个相机仅能采集一种模态的图像,在图像采集设备包含的相机数量较少的情况下,图像采集设备仅能采集到较少模态的图像,使得人脸识别结果的准确性不高;而若增加图像采集设备中的相机数量,会导致图像采集设备的成本大幅增加。
因此,需要提供一种降低成本实现采集多种模态图像的图像采集设备。
发明内容
本说明书提供一种图像采集设备及图像采集方法,能够以较低成本实现采集多种模态的图像。
第一方面,本说明书提供一种图像采集设备,包括:红外泛光源、红外散斑光源、至少一个图像采集模组、以及控制模组,其中,所述红外泛光源被配置为在点亮时发射红外泛光,所述红外散斑光源被配置为在点亮时发射红外散斑光,每个所述图像采集模组至少包括一个红外相机,被配置为在拍摄时采集所述红外泛光得到红外泛光图像,或采集所述红外散斑光得到红外散斑图像,所述控制模组与所述红外泛光源、所述红外散斑光源和所述至少一个图像采集模组分别通信连接,工作时被配置为:获取预设的拍摄帧率,以及按照所述拍摄帧率,指示所述红外相机以分帧的方式分别拍摄所述红外泛光图像和所述红外散斑图像。
在一些实施例中,按照所述拍摄帧率,指示所述红外相机以分帧的方式分别拍摄所述红外泛光图像和所述红外散斑图像,包括:指示所述红外相机在预定时间段内以预定的时间周期T进行N次拍摄,以获得N帧红外图像,其中N为大于或等于2的整数,所述T为基于所述拍摄帧率得到的时间周期;以及在所述预定时间段内,交替驱动所述红外泛光源点亮和驱动所述红外散斑光源点亮,使得所述N帧红外图像包括所述红外泛光图像和所述红外散斑图像。
在一些实施例中,任意两个相邻的时间周期内,所述红外泛光源和所述红外散斑光源分别被点亮一次,使得所述N帧红外图像为由所述红外泛光图像与所述红外散斑图像交替出现的图像帧序列。
在一些实施例中,在每个所述时间周期内,所述红外泛光源或所述红外散斑光源的点亮起始时刻早于或等于所述红外相机的拍摄起始时刻,以及所述红外泛光源或所述红外散斑光源的点亮结束时刻晚于或等于所述红外相机的拍摄结束时刻。
在一些实施例中,在所述红外相机拍摄得到一帧目标图像后,所述控制模组还:确定所述目标图像成像时被点亮的目标光源,所述目标光源为所述红外泛光源或所述红外散斑光源;确定所述目标图像的成像质量信息;以及根据所述成像质量信息,确定所述目标光源对应的光源控制参数,以在下次需要点亮所述目标光源时,基于所述光源控制参数驱动所述目标光源点亮。
在一些实施例中,确定所述目标图像成像时被点亮的目标光源,包括:获取所述图像采集设备的采集日志信息,所述采集日志信息被配置为记录每个红外图像的成像时段、所述红外泛光源被点亮的时段和所述红外散斑光源被点亮的时段;以及基于所述目标图像的成像时段,从所述采集日志信息中获取所述目标图像成像时被点亮的目标光源。
在一些实施例中,确定所述目标图像成像时被点亮的目标光源,包括:对所述目标图像进行特征提取,得到所述目标图像对应的图像特征信息;获取所述红外散斑光源对应的散斑特征信息;以及将所述图像特征信息与所述散斑特征信息进行匹配处理,并基于匹配结果确定所述目标图像成像时被点亮的目标光源。
在一些实施例中,确定所述目标图像的成像质量信息,包括:根据所述目标光源,确定所述目标图像对应的图像类型;以及采用与所述图像类型对应的质量检测方式,对所述目标图像进行质量检测处理,得到所述目标图像的成像质量信息。
在一些实施例中,所述光源控制参数包括:发光功率、点亮时长、点亮的灯珠数量中的至少一项。
在一些实施例中,所述红外泛光源的发光波段与所述红外相机的感光波段匹配;以及所述红外散斑光源的发光波段与所述红外相机的感光波段匹配。
在一些实施例中,每个所述图像采集模组还包括一个可见光相机;以及所述控制模组还被配置为:按照所述拍摄帧率,指示所述可见光相机拍摄可见光图像。
在一些实施例中,所述图像采集设备还包括通信模组,被配置为与服务器进行通信;以及所述控制模组还被配置为:确定目标图像组中的各图像对应的成像质量信息均满足预设质量要求,所述目标图像组包括:所述可见光图像、所述红外泛光图像和所述红外散斑图像;以及指示所述通信模组向所述服务器发送所述目标图像组,以使所述服务器基于所述目标图像组进行图像识别。
在一些实施例中,所述图像采集设备为物联网IOT设备。
第二方面,本说明书还提供一种图像采集方法,应用于图像采集设备,所述图像采集设备包括:红外泛光源、红外散斑光源、至少一个图像采集模组和控制模组,其中,所述红外泛光源被配置为在点亮时发射红外泛光,所述红外散斑光源被配置为在点亮时发射红外散斑光,每个图像采集模组至少包括一个红外相机,被配置为在拍摄时采集所述红外泛光得到红外泛光图像,或采集所述红外散斑光得到红外散斑图像,所述方法包括,通过所述控制模组:获取预设的拍摄帧率,以及按照所述拍摄帧率,指示所述红外相机以分帧的方式分别拍摄所述红外泛光图像和所述红外散斑图像。
在一些实施例中,按照所述拍摄帧率,指示所述红外相机以分帧的方式分别拍摄所述红外泛光图像和所述红外散斑图像,包括:指示所述红外相机在预定时间段内以预定的时间周期T进行N次拍摄,以获得N帧红外图像,其中N为大于或等于2的整数,所述T为基于所述拍摄帧率得到的时间周期;以及在所述预定时间段内,交替驱动所述红外泛光源点亮和驱动所述红外散斑光源点亮,使得所述N帧红外图像包括所述红外泛光图像和所述红外散斑图像。
在一些实施例中,在所述预定时间段内,交替驱动所述红外泛光源点亮和驱动所述红外散斑光源点亮,包括:在所述预定时间段内,按照所述时间周期交替驱动所述红外泛光源点亮和驱动所述红外散斑光源点亮,使得所述N帧红外图像为由所述红外泛光图像与所述红外散斑图像交替出现的图像帧序列。
在一些实施例中,在每个所述时间周期内,所述红外泛光源或所述红外散斑光源的点亮起始时刻早于或等于所述红外相机的拍摄起始时刻,以及所述红外泛光源或所述红外散斑光源的点亮结束时刻晚于或等于所述红外相机的拍摄结束时刻。
在一些实施例中,在所述红外相机拍摄得到一帧目标图像之后,还包括通过所述控制模组:确定所述目标图像成像时被点亮的目标光源,所述目标光源为所述红外泛光源或所述红外散斑光源;确定所述目标图像的成像质量信息;以及根据所述成像质量信息,确定所述目标光源对应的光源控制参数,以在下次需要点亮所述目标光源时,基于所述光源控制参数驱动所述目标光源点亮。
在一些实施例中,确定所述目标图像成像时被点亮的目标光源,包括:获取所述图像采集设备的采集日志信息,所述采集日志信息被配置为记录每个红外图像的成像时段、所述红外泛光源被点亮的时段和所述红外散斑光源被点亮的时段;以及基于所述目标图像的成像时段,从所述采集日志信息中获取所述目标图像成像时被点亮的目标光源。
在一些实施例中,确定所述目标图像成像时被点亮的目标光源,包括:对所述目标图像进行特征提取,得到所述目标图像对应的图像特征信息;获取所述红外散斑光源对应的散斑特征信息;以及将所述图像特征信息与所述散斑特征信息进行匹配处理,并基于匹配结果确定所述目标图像成像时被点亮的目标光源。
在一些实施例中,确定所述目标图像的成像质量信息,包括:根据所述目标光源,确定所述目标图像对应的图像类型;以及采用与所述图像类型对应的质量检测方式,对所述目标图像进行质量检测处理,得到所述目标图像的成像质量信息。
在一些实施例中,所述光源控制参数包括:发光功率、点亮时长、点亮的灯珠数量中的至少一项。
在一些实施例中,所述红外泛光源的发光波段与所述红外相机的感光波段匹配;以及所述红外散斑光源的发光波段与所述红外相机的感光波段匹配。
在一些实施例中,每个所述图像采集模组还包括一个可见光相机;以及所述方法还包括:通过所述控制模组按照所述拍摄帧率,指示所述可见光相机拍摄可见光图像。
在一些实施例中,所述图像采集设备还包括通信模组,被配置为与服务器进行通信;以及所述方法还包括,通过所述控制模组:确定目标图像组中的各图像对应的成像质量信息均满足预设质量要求,所述目标图像组包括:所述可见光图像、所述红外泛光图像和所述红外散斑图像;以及指示所述通信模组向所述服务器发送所述目标图像组,以使所述服务器基于所述目标图像组进行图像识别。
在一些实施例中,所述图像采集设备为物联网IOT设备。
由以上技术方案可知,本说明书提供的图像采集设备及图像采集方法,图像采集设备包括红外泛光源、红外散斑光源、至少一个图像采集模组、以及控制模组,其中,红外泛光源被配置为在点亮时发射红外泛光,红外散斑光源被配置为在点亮时发射红外散斑光,每个图像采集模组中至少包括一个红外相机,被配置为在拍摄时采集所述红外泛光得到红外泛光图像,或采集所述红外散斑光得到红外散斑图像,控制模组与红外泛光源、红外散斑光源和图像采集模组分别通信连接,工作时被配置为获取预设的拍摄帧率,以及根据所述拍摄帧率,指示红外相机以分帧的方式分别拍摄红外泛光图像和红外散斑图像。这样,实现了利用同一个红外相机拍摄得到两种模态的红外图像(即红外泛光图像和红外散斑图像),在不需要增加相机数量的情况下,使得图像采集设备采集到更多模态的图像,有利于提高图像识别结果的准确性。
本说明书提供的图像采集设备及图像采集方法的其他功能将在以下说明中部分列出。本说明书提供的图像采集设备及图像采集方法的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
为了更清楚地说明本说明书实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本说明书的实施例提供的一种图像采集及识别的应用场景示意图;
图2示出了根据本说明书的实施例提供的一种图像采集设备的示意图;
图3示出了根据本说明书的实施例提供的一种图像采集设备的硬件结构图;
图4示出了根据本说明书的实施例提供的一种图像采集方法的流程图;
图5示出了根据本说明书的实施例提供的一种拍摄时序示意图;
图6示出了根据本说明书的实施例提供的图像采集设备的成像过程的示意图;以及
图7示出了根据本说明书的实施例提供的图像采集设备的控制过程的示意图。
具体实施方式
以下描述提供了本说明书的特定应用场景和要求,目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说,对所公开的实施例的各种局部修改是显而易见的,并且在不脱离本说明书的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用。因此,本说明书不限于所示的实施例,而是与权利要求一致的最宽范围。
这里使用的术语仅用于描述特定示例实施例的目的,而不是限制性的。比如,除非上下文另有明确说明,这里所使用的,单数形式“一”,“一个”和“该”也可以包括复数形式。当在本说明书中使用时,术语“包括”、“包含”和/或“含有”意思是指所关联的整数,步骤、操作、元素和/或组件存在,但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
考虑到以下描述,本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图,所有这些形成本说明书的一部分。然而,应该清楚地理解,附图仅用于说明和描述的目的,并不旨在限制本说明书的范围。还应理解,附图未按比例绘制。
本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解,流程图的操作可以不按顺序实现。相反,操作可以以反转顺序或同时实现。此外,可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
在对本说明书具体实施例说明之前,先对本说明书的应用场景进行如下介绍:
基于人脸识别的支付系统可以包括图像采集设备和识别服务端。图像采集设备采集包含人脸的图像或视频,并将采集到的图像或识别发送至识别服务端。识别服务端存储有人脸数据库,人脸数据库中存储有多个已知用户的人脸特征。识别服务器接收到图像或视频后,采用人脸识别算法提取得到图像或视频中的人脸特征,并将提取到的人脸特征与人脸数据库中的人脸特征进行匹配,以对用户的身份进行验证。若验证通过,则触发支付流程。在上述场景中,图像采集设备可以设置有一个或多个相机。其中的至少部分相机可以以分帧的方式采集得到至少两种模态的图像。这样,在图像采集设备中设置有N个相机的情况下,图像采集设备可以采集到多于N种模态的图像。相较于相关技术(图像采集设备中设置有N个相机的情况下,每个相机分别采集一种模态的图像),本说明书描述的图像采集设备在不增加相机数量的情况下,可以采集多于N种模态的图像,有利于提高人脸识别结果的准确性。上述N为大于或等于1的整数。
需要说明的是,上述基于人脸识别的支付场景只是本说明书提供的多个使用场景中的一个,本说明书提供的图像采集设备及图像采集方法不仅可以应用于基于人脸识别的支付场景,还可以应用于图像识别的所有场景,比如,基于人脸识别的门禁系统、基于人脸识别的身份识别系统、基于人脸识别的目标跟踪系统、车牌识别系统,等等。本领域技术人员应当明白,本说明书所述的图像采集设备及图像采集方法应用于其他使用场景也在本说明书的保护范围内。
为了方便描述,本说明书将对以下描述将会出现的术语进行如下解释:
可见光相机:可以采集可见光并拍摄得到可见光图像。可见光图像也可以称为RGB图像,可见光相机也可以称为RGB相机。
红外相机:可以采集红外光(Infrared,IR)并拍摄得到红外图像。其中红外光可以划分为近红外光(Near Infrared,NIR)、中红外光(Mid Infrared,MIR)和远红外光(FarInfrared,FIR)。红外相机采集近红外光拍摄得到的图像可以称为近红外图像,采集中红外光拍摄得到的图像可以称为中红外图像,采集远红外光拍摄得到的图像可以称为远红外图像。
红外光源:可以发射红外光的光源。一个红外光源可以被配置为发射一种或多种波段的红外光。红光光源可以分为红外泛光源(也可以称为NIR光源)和红外散斑光源(也可以称为SIR光源)。其中,红外泛光光源可以发射均匀的红外光(即红外泛光,也可以称为NIR光)。红外散斑光源可以发射经过预设散斑图案编码的红外光(即红外散斑光,也可以称为SIR光)。
红外泛光图像:红外相机在拍摄时可以采集红外泛光进行成像,这样拍摄得到的图像为红外泛光图像。
红外散斑图像:红外相机在拍摄时可以采集红外散斑光进行成像,这样拍摄得到的图像为红外散斑图像。
图像信号处理器(Image Signal Processor,ISP):可以是指运用在具备采集功能的电子设备上的一种芯片,主要用来对前端图像传感器输出信号进行处理的单元,以匹配不同厂商的图像传感器。例如,针对可见光相机的图像传感器输出的信号,需要使用可见光图像对应的ISP进行处理,得到可见光图像。针对红外相机的图像传感器输出的信号,需要使用红外图像的ISP进行处理,得到红外图像。
图1示出了根据本说明书的实施例提供的一种图像采集及识别的应用场景示意图。图像识别的系统001(以下简称系统001)可以应用于任意场景的图像识别,比如,基于人脸识别的支付场景、基于人脸识别的门禁场景、基于人脸识别的目标跟踪场景、车牌识别场景,等等,如图1所示,系统001可以包括目标空间内的目标用户100、图像采集设备200、服务器300以及网络400。
目标用户100可以为触发图像采集的用户,目标用户100可以在图像采集设备200进行图像采集的操作。
图像采集设备200可以为响应于目标用户100的图像采集操作进行图像采集的设备。图像采集设备200具有图像采集功能,可以采集目标空间内的图像或视频。在一些实施例中,本说明书描述的图像采集方法可以在图像采集设备200上执行。此时,图像采集设备200可以存储有执行本说明书描述的图像采集方法的数据或指令,并可以执行或用于执行所述数据或指令。在一些实施例中,图像采集设备200可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。所述图像采集方法将在后面的内容中详细介绍。
如图1所示,图像采集设备200可以与服务器300进行通信连接。在一些实施例中,服务器300可以与多个图像采集设备200进行通信连接。在一些实施例中,图像采集设备200可以通过网络400与服务器300交互,以接收或发送消息等,比如接收或发送人脸图像或人脸特征,例如二维特征和/或三维特征。
在一些实施例中,图像采集设备200可以包括移动设备、平板电脑、笔记本电脑、机动车辆的内置设备或类似内容,或其任意组合。在一些实施例中,所述移动设备可包括智能家居设备、智能移动设备、虚拟现实设备、增强现实设备或类似设备,或其任意组合。在一些实施例中,所述智能家居装置可包括智能电视、台式电脑等,或任意组合。在一些实施例中,所述智能移动设备可包括智能手机、个人数字辅助、游戏设备、导航设备等,或其任意组合。在一些实施例中,所述虚拟现实设备或增强现实设备可能包括虚拟现实头盔、虚拟现实眼镜、虚拟现实补丁、增强现实头盔、增强现实眼镜、增强现实补丁或类似内容,或其中的任何组合。例如,所述虚拟现实设备或所述增强现实设备可能包括谷歌眼镜、头戴式显示器、VR等。在一些实施例中,所述机动车中的内置装置可包括车载计算机、车载电视等。在一些实施例中,图像采集设备200可以为基于人脸识别的支付终端。在一些实施例中,图像采集设备200可以为基于人脸识别的门禁终端。在一些实施例中,图像采集设备200可以为基于人脸识别的身份验证终端。在一些实施例中,图像采集设备200可以为物联网(Internet ofThings,IOT)设备。
在一些实施例中,图像采集设备200可以安装有一个或多个应用程序(APP)。所述APP能够为目标用户110提供通过网络400同外界交互的能力以及界面。所述APP包括但不限于:网页浏览器类APP程序、搜索类APP程序、聊天类APP程序、购物类APP程序、视频类APP程序、理财类APP程序、即时通信工具、邮箱客户端、社交平台软件等等。在一些实施例中,图像采集设备200上可以安装有目标APP。所述目标APP能够指示图像采集设备200采集目标空间内的视频或图像信息。在一些实施例中,所述目标用户100还可以通过所述目标APP触发图像采集请求。所述目标APP可以响应于所述图像采集请求,执行本说明书描述的图像采集方法。所述图像采集方法将在后面的内容中详细介绍。
服务器300可以是提供各种服务的服务器,例如对图像采集设备200上采集的图像提供图像识别服务的识别服务器。图像采集设备200采集到的图像可以上传至服务器300,以实现图像识别。在一些实施例中,服务器300中可以部署有人脸数据库,人脸数据库中存储多个已知身份的用户的人脸特征。图像采集设备200采集到包含人脸的图像组后,将图像组发送给服务器300。服务器300对图像组中的人脸进行特征提取,以提取得到人脸特征。进而,服务器300将提取到的人脸特征与人脸数据库中存储的人脸特征进行匹配处理,得到识别结果。
网络400用以在图像采集设备200和服务器300之间提供通信连接的介质。网络400可以促进信息或数据的交换。如图1所示,图像采集设备200和服务器300可以同网络400连接,并且通过网络400互相传输信息或数据。在一些实施例中,网络400可以是任何类型的有线或无线网络,也可以是其组合。比如,网络400可以包括电缆网络,有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、大都市市区网(MAN)、广域网(WAN)、公用电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络或类似网络。在一些实施例中,网络400可以包括一个或多个网络接入点。例如,网络400可以包括有线或无线网络接入点,如基站或互联网交换点,通过该接入点,图像采集设备200和服务器300的一个或多个组件可以连接到网络400以交换数据或信息。
应该理解,图1中的图像采集设备200、服务器300和网络400的数目仅仅是示意性的。根据实现需要,可以具有任意数目的图像采集设备200、服务器300和网络400。
图2示出了根据本说明书的实施例提供的一种图像采集设备的示意图。图3示出了根据本说明书的实施例提供的一种图像采集设备的硬件结构图。图像采集设备200可以执行本说明书描述的图像采集方法。所述图像采集方法在本说明书中的其他部分介绍。
如图2所示,图像采集设备200可以包括:红外泛光源220和红外散斑光源210。其中,红外泛光源220被配置为在点亮时发射红外泛光。在一些实施例中,红外泛光源220可以包括一个灯珠。在一些实施例中,红外泛光源220可以包括多个灯珠。该情况下,红外泛光源220中的全部灯珠可以被点亮,或者,红外泛光源220中的部分灯珠可以被点亮。
红外散斑光源210被配置为在点亮时发射红外散斑光。所述红外散斑光可以为带有预设散斑图案的红外光。也就是说,红外散斑光源210可以发射具有特定散斑图案的光线,光线经过目标物体反射,进入成像系统形成二维图像。图像识别算法可以基于图像中的预设散斑图案来计算出目标物体的深度信息。在一些实施例中,上述散斑图案可以为圆形斑点、条纹等。
如图2所示,图像采集设备200还可以包括:至少一个图像采集模组230。每个图像采集模组230可以包括一个红外相机231。红外相机231被配置为在拍摄时采集红外光以得到红外图像。具体的,红外相机231在拍摄时可以采集红外泛光源220发出的红外泛光以得到红外泛光图像,红外相机231在拍摄时还可以采集红外散斑光源210发出的红外散斑光以得到红外散斑图像。
红外泛光源220的发光波段与红外相机231的感光波段匹配。这里的匹配是指,红外泛光源220所发的红外泛光中至少部分能够被红外相机231采集到。在一些实施例中,红外泛光源220的发光波段与红外相机231的感光波段相同,例如,假设红外相机231的感光波段为850nm波段,则红外泛光源220的发光波段也为850nm波段。在一些实施例中,红外泛光源220的发光波段包含红外相机231的感光波段,例如,假设红外相机231的感光波段为850nm波段,红外泛光源220的发光波段的上限可以大于或等于850nm,并且,下限可以小于或等于850nm。
红外散斑光源210的发光波段与红外相机231的感光波段匹配。与上述类似,这里的匹配是指红外散斑光源210所发的红外散斑光中至少部分能够被红外相机231采集到。在一些实施例中,红外散斑光源210的发光波段与红外相机231的感光波段相同,例如,假设红外相机231的感光波段为850nm波段,则红外散斑光源210的发光波段也为850nm波段。在一些实施例中,红外散斑光源210的发光波段包含红外相机231的感光波段,例如,假设红外相机231的感光波段为850nm波段,红外散斑光源210的发光波段的上限可以大于或等于850nm,并且,下限可以小于或等于850nm。
由于红外泛光源220的发光波段以及红外散斑光源210的发光波段均与红外相机231的感光波段匹配,因此,红外泛光源220以及红外散斑光源210发出的光线均可以被红外相机231采集到。
在一些实施例中,每个图像采集模组230还可以包括一个可见光相机232。可见光相机232可以被配置为在拍摄时采集可见光以得到可见光图像。
在人脸识别场景中,上述的红外泛光图像、红外散斑图像和可见光图像均可用于人脸识别。其中,可见光图像中包括较多的颜色和纹理信息,能够准确的表征用户的人脸特征,因此,利用可见光图像可以较为准确的进行人脸识别。由于不同材质的物体的反光特性通常存在差异,比如,在红外泛光下,真人皮肤的成像和高仿头模橡胶的成像存在明显差异。因此,利用红外泛光图像可以进行人脸识别。此外,红外光具有一定的穿透性,可以对人脸浅层皮肤成像,可以反应更多的人脸信息,进一步提高人脸识别结果的准确性。由于红外散斑光中带有预设的散斑图案,图像识别算法可以基于红外散斑图像中的散斑图案来计算出人脸的深度信息,进而基于深度信息也可以进行人脸识别。由于上述的红外泛光图像、红外散斑图像和可见光图像可以从不同角度表征用户的人脸特征,因此,将上述三种图像结合起来共同用于人脸识别,能够进一步提高人脸识别结果的准确性。
需要说明的是,图2所示的图像采集设备200中,红外泛光源源220、红外散斑光源源210、和图像采集模组230之间的布局方式,以及图像采集模组230内的红外相机231和可见光相机232之间的布局方式仅为一种可能的示例,本申请对此不作限定,上述各部件之间还可以采用其他的布局方式。
图像采集设备200还可以包括控制模组(图2中未示出)。控制模组与红外泛光源220、红外散斑光源210和所述至少一个图像采集模组230分别通信连接。控制模组可以对红外泛光源220、红外散斑光源210和图像采集模组230进行控制,使得红外相机231能够以分帧的方式分别拍摄红外泛光图像和红外散斑图像。
在一些实施例中,如图3所示,图像采集设备200中的控制模组可以包括至少一个存储介质260和至少一个处理器250。在一些实施例中,控制模组可以为专用的图像处理芯片。在一些实施例中,控制模组也可以是包含图像处理功能的系统级芯片(System onChip,SOC)。
需要说明的是,仅仅是出于展示的需要,图3所示的图像采集设备200中的控制模组包括了至少一个存储介质260和至少一个处理器250。本领域普通技术人员可以理解的是,所述控制模组也可以包括其他硬件电路结构,在本申请中不做限制,只要能够满足本申请中提到的功能而不偏离本申请的精神便可。
在一些实施例中,图像采集设备200还可以包括通信模组280和内部通信总线290。在一些实施例中,图像采集设备200还可以包括I/O组件270。
内部通信总线290可以连接不同的系统组件。例如,存储介质260、处理器250、通信模组280、I/O组件270、红外泛光源源220、红外散斑光源源210、红外相机231、可见光相机232中一项或多项可以连接至内部通信总线290。
I/O组件270支持图像采集设备200和其他组件之间的输入/输出。
通信模组280用于图像采集设备200同外界的数据通信,比如,通信模组280可以用于图像采集设备200同网络400之间的数据通信。通信模组280可以是有线通信模组也可以是无线通信模组。在一些实施例中,图像采集设备200可以通过通信模组280向服务器300发送图像或视频。
存储介质260可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质,也可以是暂时性存储介质。比如,所述数据存储装置可以包括磁盘261、只读存储介质(ROM)262或随机存取存储介质(RAM)263中的一种或多种。存储介质260还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码,所述计算机程序代码可以包括执行本说明书提供的图像采集方法的程序、例程、对象、组件、数据结构、过程、模块等等。
至少一个处理器250可以同至少一个存储介质260通过内部通信总线290通信连接。至少一个处理器250用以执行上述至少一个指令集。当图像采集设备200运行时,至少一个处理器250读取所述至少一个指令集,并且根据所述至少一个指令集的指示,执行本说明书提供的图像采集方法。处理器250可以执行图像采集方法包含的所有步骤或部分步骤。处理器250可以是一个或多个处理器的形式,在一些实施例中,处理器250可以包括一个或多个硬件处理器,例如微控制器,微处理器,精简指令集计算机(RISC),专用集成电路(ASIC),特定于应用的指令集处理器(ASIP),中心处理单元(CPU),图形处理单元(GPU),物理处理单元(PPU),微控制器单元,数字信号处理器(DSP),现场可编程门阵列(FPGA),高级RISC机器(ARM),可编程逻辑器件(PLD),能够执行一个或多个功能的任何电路或处理器等,或其任何组合。仅仅为了说明问题,在本说明书中图像采集设备200中仅描述了一个处理器250。然而,应当注意,本说明书中图像采集设备200可以包括多个处理器,因此,本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行,也可以由多个处理器联合执行。例如,如果在本说明书中图像采集设备200的处理器250执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同处理器250联合或分开执行(例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一和第二处理器共同执行步骤A和B)。
图4示出了根据本说明书的实施例提供的一种图像采集方法的流程图。如前,图像采集设备200可以执行本说明书的图像采集方法P100。具体地,图像采集设备200中的控制模组可以执行本说明书的图像采集方法P100。例如,处理器250可以读取存储在其本地存储介质中的指令集,然后根据指令集的规定,执行本说明书的图像采集方法P100。如图4所示,图像采集方法P100可以包括:
S11:获取预设的拍摄帧率。
其中,拍摄帧率可以是指在单位时间内拍摄得到的图像的帧数。例如拍摄帧率为25fps,表示每秒钟拍摄25帧图像。
S12:按照所述拍摄帧率,指示红外相机以分帧的方式分别拍摄红外泛光图像和红外散斑图像。
其中,以分帧的方式分别拍摄红外泛光图像和红外散斑图像可以是指,在连续多次拍摄得到的多帧图像中,一部分图像为红外泛光图像,另一部分图像为红外散斑图像。能够理解,由于红外相机以分帧的方式分别拍摄红外泛光图像和红外散斑图像,实现了同一个红外相机可以拍摄得到两种模态的红外图像。可见,在不需要增加相机数量的情况下,也能拍摄得到更多模态的图像。
在一些实施例中,在图像采集模组230中同时包括红外相机231和可见光相机232的情况下,控制模组可以按照拍摄帧率,指示红外相机231以分帧的方式分别拍摄红外泛光图像和红外散斑图像,并指示可见光相机232拍摄可见光图像。这样,图像采集设备在包含2个相机的情况下,可以拍摄得到3种模态的图像。
由于红外相机231拍摄红外泛光图像的过程中需要采集红外泛光,而拍摄红外散斑图像的过程中需要采集红外散斑光,因此,控制模组在红外相机231的连续多次拍摄中,需要对红外泛光源220和红外散斑光源210进行协同控制。例如,控制模组在红外相机231拍摄红外泛光图像的过程中,点亮红外泛光源220,在红外相机231拍摄红外散斑图像的过程中,点亮红外散斑光源210。
在一些实施例中,拍摄模组可以指示红外相机231在预定时间段内以预定的时间周期T进行N次拍摄,以获得N帧红外图像,其中,N为大于或等于2的整数,T为基于拍摄帧率得到的时间周期。例如假设拍摄帧率为25fps,则时间周期T可以为40ms。同时,控制模组在所述预定时间段内,交替驱动红外泛光源220点亮和驱动红外散斑光源210点亮,使得所述N帧图像包括红外泛光图像和红外散斑图像。
例如,假设红外相机进行了2次拍摄,控制模组可以在第1次拍摄过程中驱动红外泛光源220点亮,使得红外相机第1次拍摄得到的图像为红外泛光图像,以及,在第2次拍摄过程中驱动红外散斑光源210光源点亮,使得红外相机第2次拍摄得到的图像为红外散斑图像。这样,红外相机231的2次拍摄得到的图像依次为:红外泛光图像、红外散斑图像。
又例如,假设红外相机进行了4次拍摄,控制模组可以在前2次拍摄过程中驱动红外泛光源220点亮,使得前2次拍摄得到的图像为红外泛光图像,以及,在后2次拍摄过程中驱动红外散斑光源210光源点亮,使得第2次拍摄得到的图像为红外散斑图像。这样,红外相机231的4次拍摄得到的图像依次为:红外泛光图像、红外泛光图像、红外散斑图像、红外散斑图像。
在一些实施例中,在图像采集模组230中同时包括红外相机231和可见光相机232的情况下,拍摄模组还可以指示可见光相机232在预定时间段内以所述T为时间周期进行N次拍摄,以获得N帧可见光图像。在一些实施例中,红外相机231和可见光相机232可以同步进行N次拍摄,这样控制模组可以基于同一时钟信号对红外相机231和可见光相机232进行同步拍摄控制,简化控制流程。
在一些实施例中,控制模组在所述预定时间段内,可以以T为时间周期交替驱动红外泛光源220点亮和驱动红外散斑光源210点亮,使得所述N帧图像为由红外泛光图像和红外散斑图像交替出现的图像帧序列。也就是说,任意两个相邻的时间周期内,红外泛光源220和红外散斑光源210分别被点亮一次。
图5示出了根据本说明书的实施例提供的一种拍摄时序示意图。如图5所示,以相邻的4个时间周期为例,控制模组指示可见光相机232和红外相机231以T为时间周期进行4次同步拍摄。其中,可见光相机232进行4次拍摄得到4帧可见光图像。控制模组以T为时间周期,交替驱动红外散斑光源210点亮和驱动红外泛光源220点亮(即在第1次拍摄过程中驱动红外散斑光源210点亮,在第2次拍摄过程中驱动红外泛光源220点亮,在第3次拍摄过程中驱动红外散斑光源210点亮,在第4次拍摄过程中驱动红外泛光源220点亮),使得红外相机231进行4次拍摄得到的4帧红外图像分别为:红外散斑图像、红外泛光图像、红外散斑图像、红外泛光图像。
需要说明的是,继续参见图5,控制模组驱动红外泛光源220点亮的过程中,红外散斑光源210处于关闭状态,避免红外散斑光源210对红外相机231的成像过程造成影响,提高红外泛光图像的成像质量。控制模组驱动红外散斑光源210点亮的过程中,红外泛光源220处于关闭状态,避免红外泛光源220对红外相机231的成像过程造成影响,提高红外散斑图像的成像质量。
在一些实施例中,在每个时间周期内,红外泛光源220或红外散斑光源210的点亮起始时刻早于或等于红外相机231的拍摄起始时刻,以及红外泛光源220或红外散斑光源210的点亮结束时刻晚于或等于红外相机231的拍摄结束时刻。也就是说,在红外相机231的拍摄过程中,都能够充分采集到红外散斑光,或者充分采集到红外泛光,从而提高红外散斑图像或红外泛光图像的成像质量。
在一些实施例中,在红外相机231拍摄得到一帧目标图像之后,目标图像可以为红外图像231的任意一次拍摄得到的图像,控制模组还可以执行下述步骤:
(1)确定目标图像成像时被点亮的目标光源。
也就是说,确定目标图像是在哪颗红外光源被点亮的情况下拍摄得到的。应理解,该目标光源为红外泛光光源或者为红外散斑光源。
在一些实施例中,可以采用如下方式确定目标光源:控制模组获取目标图像对应的采集日志信息。其中,采集日志信息用于记录控制模组对红外相机的成像控制过程、以及对红外光源(红外泛光源220和红外散斑光源210)的控制过程。具体的,采集日志信息被配置为记录每个红外图像的成像时段、红外泛光源220被点亮的时段和红外散斑光源210被点亮的时段。进一步的,控制模组可以基于目标图像的成像时段,从所述采集日志信息中获取目标图像成像时被点亮的目标光源。例如,控制模组可以基于目标图像的成像时段,在采集日志信息中查询哪个红外光源在上述成像时段被点亮,从而确定出目标光源。在一些实施例中,上述采集日志信息可以由图像采集设备200中的预设硬件进行记录得到的。
应理解,图像采集设备200在运行过程中,记录采集日志信息,并基于采集日志信息获取目标图像成像时被点亮的目标光源,使得确定出的目标光源具有较高的准确性。另外,该方式实现方式简便,还够降低图像采集设备200的运行开销。
在一些实施例中,控制模组可以采用如下方式确定目标光源:对目标图像进行特征提取,得到目标图像对应的图像特征信息,获取红外散斑光源210对应的散斑特征信息,以及将上述图像特征信息和上述散斑特征信息进行匹配处理,并基于匹配结果确定目标图像成像时被点亮的目标光源。具体的,由于红外散斑光源210发射的红外散斑光为经过预设的散斑图案编码的光线,因此,红外散斑图像中会携带有散斑图像的特征信息。因此,控制模组可以将图像特征信息和散斑特征信息进行匹配处理,若匹配成功,则确定目标光源为红外散斑光源210,若匹配失败,则确定目标光源为红外泛光源220。在一些实施例中,在对目标图像进行特征提取时,为了提高处理效率,还可以将目标图像划分为多个图像块,对其中的部分图像块进行特征提取,以得到图像特征信息。
应理解,控制模组通过算法对目标图像进行分析,得到目标图像成像时被点亮的目标光源,无需在图像采集设备200中额外部署其他硬件,能够降低图像采集设备200的成本。
(2)确定目标图像的成像质量信息。
具体的,可以采用图像处理算法对目标图像进行处理,以分析得到目标图像的成像质量信息。
在一些实施例中,控制模组可以采用如下方式确定目标图像的成像质量信息:根据目标图像成像时被点亮的目标光源,确定目标图像对应的图像类型。例如,若目标光源为红外散斑光源210,则确定目标图像的图像类型为红外散斑图像;若目标光源为红外泛光源220,则确定目标图像的图像类型为红外泛光图像。进一步的,采用与上述图像类型对应的质量检测方式,对目标图像进行质量检测处理,得到目标图像的成像质量信息。例如,若目标图像的图像类型为红外散斑图像,则采用红外散斑图像对应的质量检测方式,对目标图像进行检测处理;若目标图像的图像类型为红外泛光图像,则采用红外泛光图像对应的质量检测方式,对目标图像进行检测处理。应理解,由于红外散斑图像和红外泛光图像的成像原理有所不同,因此,控制模组采用与图像类型对应的质量检测方式,对目标图像进行质量检测处理,能够提高目标图像的成像质量信息的准确性。
(3)根据上述成像质量信息,确定目标光源对应的光源控制参数,以在下次需要点亮目标光源时,基于所述光源控制参数驱动目标光源点亮。
在一些实施例中,光源控制参数包括:发光功率、点亮时长、点亮的灯珠数量中的至少一项。例如,若目标光源为红外散斑光源210,由于红外散斑光源通常仅设置一个灯珠,因此,其对应的光源控制参数可以包括发光功率和点亮时长。若目标光源为红外泛光源220,在红外泛光源220设置有多个灯珠的情况下,其对应的光源控制参数可以包括:发光功率、点亮时长和点亮的灯珠数量。
例如,假设目标图像为红外泛光图像,若目标图像的成像质量较低,则控制模组在下次需要点亮红外泛光源时,可以提高红外泛光源的发光功率、增加红外泛光源的点亮时长、和/或增加点亮的灯珠数量,从而能够提高下一帧红外泛光图像的质量。假设目标图像为红外散斑图像,若目标图像的成像质量较低,则控制模组在下次需要点亮红外散斑光源时,可以提高红外散斑光源的发光功率、和/或增加红外散斑光源的点亮时长,从而能够提高下一帧红外散斑图像的质量。
控制模组在红外图像拍摄得到每帧红外图像后,通过基于该帧红外图像的成像质量信息,调整对应红外光源的光源控制参数,能够形成闭环控制,提高红外图像(红外泛光图像和红外散斑图像)的质量。从而,能够进一步提升图像识别结果的准确性。
在一些实施例中,在图像采集模组230同时包括红外相机231和可见光相机232的情况下,在可见光相机232拍摄得到每帧可见光图像后,也可以对可见光图像进行质量检测处理,得到可见光图像的成像质量信息。
结合图5所示,在相邻两个时间周期内,红外相机231和可见光相机232可以拍摄得到一组图像。为了便于描述,将上述一组图像称为目标图像组,目标图像组中包括可见光图像、红外泛光图像和红外散斑图像。
在一些实施例中,在红外相机231和可见光相机232拍摄得到目标图像组之后,控制模组还可以判断目标图像组中各图像对应的成像质量信息是否均满足预设质量要求。若控制模组确定目标图像组中各图像对应的成像质量信息均满足预设质量要求,则指示通信模组280向服务器300发送目标图像组,以使服务器300基于目标图像组进行图像识别。这样,由于服务器300可以基于三种模态的图像进行图像识别,能够提高图像识别结果的准确性。
若控制模组确定目标图像组中存在至少部分图像的成像质量信息不满足预设质量要求,则不指示通信模组280向服务器300发送目标图像组,而是继续进行后续的同步拍摄。直至拍摄得到的目标图像组满足上述预设质量要求时,再指示通信模组280向服务器300发送目标图像组。
控制模组在确定目标图像组中各图像对应的成像质量信息均满足预设质量要求的情况下,才指示通信模组280向服务器300发送目标图像组。这样,使得图像采集设备向服务器300发送的目标图像组均是满足预设质量要求的,一方面能够提高图像识别结果的准确性,另一方面能够降低图像采集设备与服务器300之间的通信开销。
下面结合图6举例说明图像采集设备中的可见光相机232和红外相机231的成像过程。图6示出了根据本说明书的实施例提供的图像采集设备的成像过程的示意图。如图6所示,控制模组中可以包括:可见光图像对应的ISP,用于对可见光相机的图像传感器输出的信号进行处理,以得到可见光图像。在本申请中,由于红外泛光图像和红外散斑图像均由同一个红外相机拍摄,对于如下两个处理流程:红外相机的图像传感器输出信号到最终生成红外泛光图像的处理流程、红外相机的图像传感器输出信号到最终生成红外散斑图像的处理流程,二者之间存在部分公共的处理流程,并且也存在部分独特的处理流程,因此,可以在控制模组中设置共用ISP、红外泛光图像对应的专用SIP以及红外散斑图像对应的专用ISP。继续参见图6,在红外相机的图像传感器输出信号之后,通过共用ISP执行上述公共的处理流程,若本帧采集的是红外泛光图像,则通过红外泛光图像对应的专用SIP执行红外泛光图像的独特处理流程,最终得到红外泛光图像。若本帧采集的是红外散斑图像,则通过红外散斑图像对应的专用ISP执行红外散斑图像对应的独特处理流程,并通过3D成像处理器执行3D成像的处理流程,得到红外散斑图像。在一些实施例中,在得到红外散斑图像之后,控制模组还可以进一步基于红外散斑图像生成深度图像。继续参见图6,控制模组中还可以包括光源控制器,用于控制红外散斑光源210和红外泛光源220的点亮与关闭。
下面结合图7举例说明图像采集设备的控制过程。图7示出了根据本说明书的实施例提供的图像采集设备的控制过程的示意图。如图7所示,图像采集设备中可以设置有系统时钟,或者可以连接外部的系统时钟。图像采集设备中的控制模组可以基于系统时钟提供的时钟信号、以及预设的拍摄帧率进行同步控制。具体的,控制模组以T为时间周期,控制可见光相机232和红外相机231进行同步拍摄,并且,控制模组以T为时间周期,交替驱动红外泛光源220点亮和驱动红外散斑光源210点亮。例如,对红外泛光源220点亮和驱动红外散斑光源210的交替驱动方式可以参见图5。进一步的,在红外相机232拍摄到一帧红外图像之后,控制模组可以判断红外图像的图像类型为红外泛光图像或者红外散斑图像。进而,控制模组采用图像类型对应的质量检测方式对红外图像进行质量检测处理,得到红外图像的成像质量信息。然后,基于上述成像质量信息,调整对应光源的光源控制参数,以便提高后续红外图像的质量。具体实现方式已在前文进行描述,此处不作赘述。
综上所述,本说明书提供的图像采集设备200及图像采集方法P100,图像采集设备200包括红外泛光源220、红外散斑光源210、至少一个图像采集模组230、以及控制模组,其中,红外泛光源220被配置为在点亮时发射红外泛光,红外散斑光源210被配置为在点亮时发射红外散斑光,每个图像采集模组中至少包括一个红外相机231,被配置为在拍摄时采集所述红外泛光得到红外泛光图像,或采集所述红外散斑光得到红外散斑图像,控制模组与红外泛光源220、红外散斑光源210和图像采集模组230分别通信连接,工作时被配置为获取预设的拍摄帧率,以及根据所述拍摄帧率,指示红外相机231以分帧的方式分别拍摄红外泛光图像和红外散斑图像。这样,实现了利用同一个红外相机231拍摄得到两种模态的红外图像(即红外泛光图像和红外散斑图像),在不需要增加相机数量的情况下,使得图像采集设备200采集到更多模态的图像,有利于提高图像识别结果的准确性。
本说明书另一方面提供一种非暂时性存储介质,存储有至少一组用来进行图像采集的可执行指令。当所述可执行指令被控制模组(例如处理器)执行时,所述可执行指令指导所述控制模组(例如处理器)实施本说明书所述的图像采集方法P100的步骤。在一些可能的实施方式中,本说明书的各个方面还可以实现为一种程序产品的形式,其包括程序代码。当所述程序产品在图像采集设备200上运行时,所述程序代码用于使图像采集设备200执行本说明书描述的图像采集方法P100的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)包括程序代码,并可以在图像采集设备200上运行。然而,本说明书的程序产品不限于此,在本说明书中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在图像采集设备200上执行、部分地在图像采集设备200上执行、作为一个独立的软件包执行、部分在图像采集设备200上部分在远程计算设备上执行、或者完全在远程计算设备上执行。
上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者是可能有利的。
综上所述,在阅读本详细公开内容之后,本领域技术人员可以明白,前述详细公开内容可以仅以示例的方式呈现,并且可以不是限制性的。尽管这里没有明确说明,本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变,改进和修改。这些改变,改进和修改旨在由本说明书提出,并且在本说明书的示例性实施例的精神和范围内。
此外,本说明书中的某些术语已被用于描述本说明书的实施例。例如,“一个实施例”,“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征,结构或特性可以包括在本说明书的至少一个实施例中。因此,可以强调并且应当理解,在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外,特定特征,结构或特性可以在本说明书的一个或多个实施例中适当地组合。
应当理解,在本说明书的实施例的前述描述中,为了帮助理解一个特征,出于简化本说明书的目的,本说明书将各种特征组合在单个实施例、附图或其描述中。然而,这并不是说这些特征的组合是必须的,本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说,本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
本文引用的每个专利,专利申请,专利申请的出版物和其他材料,例如文章,书籍,说明书,出版物,文件,物品等,可以通过引用结合于此。用于所有目的全部内容,除了与其相关的任何起诉文件历史,可能与本文件不一致或相冲突的任何相同的,或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说,如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时,使用本文件中的术语为准。
最后,应理解,本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此,本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此,本说明书的实施例不限于申请中被精确地描述过的实施例。

Claims (20)

1.一种图像采集设备,包括:
红外泛光源,被配置为在点亮时发射红外泛光;
红外散斑光源,被配置为在点亮时发射红外散斑光;
至少一个图像采集模组,每个所述图像采集模组至少包括一个红外相机,被配置为在拍摄时采集所述红外泛光得到红外泛光图像,或采集所述红外散斑光得到红外散斑图像;以及
控制模组,与所述红外泛光源、所述红外散斑光源和所述至少一个图像采集模组分别通信连接,工作时被配置为:
获取预设的拍摄帧率,以及
按照所述拍摄帧率,指示所述红外相机以分帧的方式分别拍摄所述红外泛光图像和所述红外散斑图像。
2.根据权利要求1所述的图像采集设备,其中,按照所述拍摄帧率,指示所述红外相机以分帧的方式分别拍摄所述红外泛光图像和所述红外散斑图像,包括:
指示所述红外相机在预定时间段内以预定的时间周期T进行N次拍摄,以获得N帧红外图像,其中N为大于或等于2的整数,所述T为基于所述拍摄帧率得到的时间周期;以及
在所述预定时间段内,交替驱动所述红外泛光源点亮和驱动所述红外散斑光源点亮,使得所述N帧红外图像包括所述红外泛光图像和所述红外散斑图像。
3.根据权利要求2所述的图像采集设备,其中,任意两个相邻的时间周期内,所述红外泛光源和所述红外散斑光源分别被点亮一次,使得所述N帧红外图像为由所述红外泛光图像与所述红外散斑图像交替出现的图像帧序列。
4.根据权利要求3所述的图像采集设备,其中,在每个所述时间周期内,所述红外泛光源或所述红外散斑光源的点亮起始时刻早于或等于所述红外相机的拍摄起始时刻,以及所述红外泛光源或所述红外散斑光源的点亮结束时刻晚于或等于所述红外相机的拍摄结束时刻。
5.根据权利要求2所述的图像采集设备,在所述红外相机拍摄得到一帧目标图像后,所述控制模组还:
确定所述目标图像成像时被点亮的目标光源,所述目标光源为所述红外泛光源或所述红外散斑光源;
确定所述目标图像的成像质量信息;以及
根据所述成像质量信息,确定所述目标光源对应的光源控制参数,以在下次需要点亮所述目标光源时,基于所述光源控制参数驱动所述目标光源点亮。
6.根据权利要求5所述的图像采集设备,其中,确定所述目标图像成像时被点亮的目标光源,包括:
获取所述图像采集设备的采集日志信息,所述采集日志信息被配置为记录每个红外图像的成像时段、所述红外泛光源被点亮的时段和所述红外散斑光源被点亮的时段;以及
基于所述目标图像的成像时段,从所述采集日志信息中获取所述目标图像成像时被点亮的目标光源。
7.根据权利要求5所述的图像采集设备,其中,确定所述目标图像成像时被点亮的目标光源,包括:
对所述目标图像进行特征提取,得到所述目标图像对应的图像特征信息;
获取所述红外散斑光源对应的散斑特征信息;以及
将所述图像特征信息与所述散斑特征信息进行匹配处理,并基于匹配结果确定所述目标图像成像时被点亮的目标光源。
8.根据权利要求5所述的图像采集设备,其中,确定所述目标图像的成像质量信息,包括:
根据所述目标光源,确定所述目标图像对应的图像类型;以及
采用与所述图像类型对应的质量检测方式,对所述目标图像进行质量检测处理,得到所述目标图像的成像质量信息。
9.根据权利要求5所述的图像采集设备,其中,所述光源控制参数包括:发光功率、点亮时长、点亮的灯珠数量中的至少一项。
10.根据权利要求1所述的图像采集设备,其中,所述红外泛光源的发光波段与所述红外相机的感光波段匹配;以及
所述红外散斑光源的发光波段与所述红外相机的感光波段匹配。
11.根据权利要求1所述的图像采集设备,其中,每个所述图像采集模组还包括一个可见光相机;以及
所述控制模组还被配置为:按照所述拍摄帧率,指示所述可见光相机拍摄可见光图像。
12.根据权利要求11所述的图像采集设备,还包括通信模组,被配置为与服务器进行通信;以及
所述控制模组还被配置为:
确定目标图像组中的各图像对应的成像质量信息均满足预设质量要求,所述目标图像组包括:所述可见光图像、所述红外泛光图像和所述红外散斑图像;以及
指示所述通信模组向所述服务器发送所述目标图像组,以使所述服务器基于所述目标图像组进行图像识别。
13.根据权利要求1所述的图像采集设备,其中,所述图像采集设备为物联网IOT设备。
14.一种图像采集方法,应用于图像采集设备,所述图像采集设备包括:红外泛光源、红外散斑光源、至少一个图像采集模组和控制模组,其中,所述红外泛光源被配置为在点亮时发射红外泛光,所述红外散斑光源被配置为在点亮时发射红外散斑光,每个图像采集模组至少包括一个红外相机,被配置为在拍摄时采集所述红外泛光得到红外泛光图像,或采集所述红外散斑光得到红外散斑图像,所述方法包括,通过所述控制模组:
获取预设的拍摄帧率,以及
按照所述拍摄帧率,指示所述红外相机以分帧的方式分别拍摄所述红外泛光图像和所述红外散斑图像。
15.根据权利要求14所述的方法,其中,按照所述拍摄帧率,指示所述红外相机以分帧的方式分别拍摄所述红外泛光图像和所述红外散斑图像,包括:
指示所述红外相机在预定时间段内以预定的时间周期T进行N次拍摄,以获得N帧红外图像,其中N为大于或等于2的整数,所述T为基于所述拍摄帧率得到的时间周期;以及
在所述预定时间段内,交替驱动所述红外泛光源点亮和驱动所述红外散斑光源点亮,使得所述N帧红外图像包括所述红外泛光图像和所述红外散斑图像。
16.根据权利要求15所述的方法,其中,在所述预定时间段内,交替驱动所述红外泛光源点亮和驱动所述红外散斑光源点亮,包括:
在所述预定时间段内,按照所述时间周期交替驱动所述红外泛光源点亮和驱动所述红外散斑光源点亮,使得所述N帧红外图像为由所述红外泛光图像与所述红外散斑图像交替出现的图像帧序列。
17.根据权利要求16所述的方法,其中,在每个所述时间周期内,所述红外泛光源或所述红外散斑光源的点亮起始时刻早于或等于所述红外相机的拍摄起始时刻,以及所述红外泛光源或所述红外散斑光源的点亮结束时刻晚于或等于所述红外相机的拍摄结束时刻。
18.根据权利要求15所述的方法,在所述红外相机拍摄得到一帧目标图像之后,还包括通过所述控制模组:
确定所述目标图像成像时被点亮的目标光源,所述目标光源为所述红外泛光源或所述红外散斑光源;
确定所述目标图像的成像质量信息;以及
根据所述成像质量信息,确定所述目标光源对应的光源控制参数,以在下次需要点亮所述目标光源时,基于所述光源控制参数驱动所述目标光源点亮。
19.根据权利要求18所述的方法,其中,确定所述目标图像成像时被点亮的目标光源,包括:
获取所述图像采集设备的采集日志信息,所述采集日志信息被配置为记录每个红外图像的成像时段、所述红外泛光源被点亮的时段和所述红外散斑光源被点亮的时段;以及
基于所述目标图像的成像时段,从所述采集日志信息中获取所述目标图像成像时被点亮的目标光源。
20.根据权利要求18所述的方法,其中,确定所述目标图像成像时被点亮的目标光源,包括:
对所述目标图像进行特征提取,得到所述目标图像对应的图像特征信息;
获取所述红外散斑光源对应的散斑特征信息;以及
将所述图像特征信息与所述散斑特征信息进行匹配处理,并基于匹配结果确定所述目标图像成像时被点亮的目标光源。
CN202211264091.0A 2022-10-17 2022-10-17 图像采集设备及图像采集方法 Pending CN115604575A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211264091.0A CN115604575A (zh) 2022-10-17 2022-10-17 图像采集设备及图像采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211264091.0A CN115604575A (zh) 2022-10-17 2022-10-17 图像采集设备及图像采集方法

Publications (1)

Publication Number Publication Date
CN115604575A true CN115604575A (zh) 2023-01-13

Family

ID=84847766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211264091.0A Pending CN115604575A (zh) 2022-10-17 2022-10-17 图像采集设备及图像采集方法

Country Status (1)

Country Link
CN (1) CN115604575A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115802121A (zh) * 2023-02-03 2023-03-14 有方(合肥)医疗科技有限公司 成像控制方法及装置、电子设备、存储介质
CN116309569A (zh) * 2023-05-18 2023-06-23 中国民用航空飞行学院 基于红外与可见光图像配准的机场环境异常识别系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115802121A (zh) * 2023-02-03 2023-03-14 有方(合肥)医疗科技有限公司 成像控制方法及装置、电子设备、存储介质
CN115802121B (zh) * 2023-02-03 2023-04-25 有方(合肥)医疗科技有限公司 成像控制方法及装置、电子设备、存储介质
CN116309569A (zh) * 2023-05-18 2023-06-23 中国民用航空飞行学院 基于红外与可见光图像配准的机场环境异常识别系统
CN116309569B (zh) * 2023-05-18 2023-08-22 中国民用航空飞行学院 基于红外与可见光图像配准的机场环境异常识别系统

Similar Documents

Publication Publication Date Title
CN107408205B (zh) 用红外成像区分前景和背景
CN115604575A (zh) 图像采集设备及图像采集方法
US11238270B2 (en) 3D face identity authentication method and apparatus
CN108052878B (zh) 人脸识别设备和方法
JP7195422B2 (ja) 顔認識方法および電子デバイス
EP3284011B1 (en) Two-dimensional infrared depth sensing
US10885300B2 (en) Method and system for contactless 3D fingerprint image acquisition
EP2843510B1 (en) Method and computer-readable recording medium for recognizing an object using captured images
US8754934B2 (en) Dual-camera face recognition device and method
JP2020523665A (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
CN112165573B (zh) 拍摄处理方法和装置、设备、存储介质
US11245933B2 (en) Method and server for generating image data by using multiple cameras
CN108573170B (zh) 信息处理方法和装置、电子设备、计算机可读存储介质
WO2019196683A1 (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108696682B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN111095297B (zh) 人脸识别的装置、方法和电子设备
EP3871123B1 (en) Method for authenticating user and electronic device thereof
CN109145653A (zh) 数据处理方法和装置、电子设备、计算机可读存储介质
CN108650472A (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
CN114862828A (zh) 光斑搜索方法装置、计算机可读介质和电子设备
US11109006B2 (en) Image processing apparatus and method
CN110335303A (zh) 图像处理方法和装置、及存储介质
US11081516B2 (en) Display screen, electronic device and method for three-dimensional feature recognition
US11170204B2 (en) Data processing method, electronic device and computer-readable storage medium
CN114581978A (zh) 人脸识别的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination