CN111083385B - 一种双目或多目摄像头曝光方法、系统和存储介质 - Google Patents

一种双目或多目摄像头曝光方法、系统和存储介质 Download PDF

Info

Publication number
CN111083385B
CN111083385B CN201911254778.4A CN201911254778A CN111083385B CN 111083385 B CN111083385 B CN 111083385B CN 201911254778 A CN201911254778 A CN 201911254778A CN 111083385 B CN111083385 B CN 111083385B
Authority
CN
China
Prior art keywords
exposure
region
camera
brightness
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911254778.4A
Other languages
English (en)
Other versions
CN111083385A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Eeasy Electronic Tech Co ltd
Original Assignee
Zhuhai Eeasy Electronic Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Eeasy Electronic Tech Co ltd filed Critical Zhuhai Eeasy Electronic Tech Co ltd
Priority to CN201911254778.4A priority Critical patent/CN111083385B/zh
Publication of CN111083385A publication Critical patent/CN111083385A/zh
Application granted granted Critical
Publication of CN111083385B publication Critical patent/CN111083385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本申请提出一种双目或多目摄像头曝光方法，包括：根据RGB摄像头获取包含待识别物体的感光图像，计算感兴趣区域的分区亮度信息；基于感兴趣区域的分区亮度信息计算RGB摄像头的第一曝光参数补正；根据所述第一曝光参数补正，估计当前场景的环境亮度及背光度；以及基于所述环境亮度、所述背光程度以及被检测的活体对象的生物形态特征，计算针对NIR摄像头的第二曝光参数补正。本申请还提出一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。所述处理器执行所述程序时实现上述步骤。本申请还公开了一种存储介质，其中所述存储介质中存储有计算机程序。所述计算机程序被设置为运行时执行上述方法。

Description

一种双目或多目摄像头曝光方法、系统和存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种提高待检测区域中活体识别率的双目或多目摄像头曝光方法、系统和存储介质。
背景技术
近年来，人脸识别技术已经越来越多的应用到人们的日常生活中。诸如智能安防、楼宇门禁和闸机等都开始加入诸如人脸识别、指纹识别和虹膜识别等生物识别功能来提高其安全性和便捷性。因而，提高活体识别率，尤其是人脸识别率成为各个研究机构研究的重点。当前常见的人脸识别方案大多采用RGB摄像头加上NIR(Near Infrared，现代近红外光谱)摄像头组合的方式。其中，RGB摄像头主要用于人脸检测和识别。NIR摄像头利用近红外光对含氢基团X－H(X为C、N或O等)等有机化合物分子振动的倍频和合频吸收，通过对光谱的分析以确定有机化合物的组成和分子结构而实现活体检测，从而防止被检测者使用图片或者视频攻击通过。
因为安防摄像头、门禁、闸机安装环境可能处于强背光或者环境亮度很低的场景，所以一个能够在这些环境下获取较好曝光效果的自动曝光算法显得尤其重要。
现有的人脸识别的曝光方法只对RGB摄像头进行曝光控制。其通过调整人脸ROI(Region of Interest，感兴趣区域)曝光以改善在背光或者背景很暗的环境下的曝光效果。一般地，当前环境信息并不会反馈给NIR摄像头以改善其曝光效果。双目或者多目曝光系统通常仅仅是对RGB摄像头进行曝光控制。具体地，每个RGB摄像头都有各自对应的ISP(Image Signal Processor，图像信号处理器)。在某些方案中，其中一个RGB摄像头可以由其自身ISP进行曝光控制。然后，曝光时间和增益设置被共享给其他摄像头的ISP，从而让多个RGB摄像头得到一致的曝光效果，使全景拼接图像的拼接部分过渡得更加平滑。
发明内容
本公开的目的是解决现有技术的不足，提供一种双目摄像头曝光方法、系统和存储介质，至少改善双目或者多目曝光系统在背光和环境偏暗时的曝光效果，从而提高活体检测识别率。
为了实现上述目的，本公开采用了以下的一个或多个技术方案。
根据本公开的第一方面，本公开提出一种双目或多目摄像头曝光方法，包括如下步骤：
S100)根据RGB摄像头获取包含待识别物体的感光图像，计算感兴趣区域的分区亮度信息；
S200)基于感兴趣区域的分区亮度信息计算RGB摄像头的第一曝光参数补正；
S300)根据所述第一曝光参数补正，估计当前场景的环境亮度及背光度；
S400)基于所述环境亮度、所述背光程度以及被检测的活体对象的生物形态特征，计算针对NIR摄像头的第二曝光参数补正。
在本公开的上述方法中，所述感兴趣区域是所述感光图像中的人脸。
在本公开的上述一个或多个方法中，所述第一曝光参数补正至少包括针对所述RGB摄像头的曝光时间补正和增益补正。
在本公开的上述一个或多个方法中，所述分区亮度信息通过基于人脸的感兴趣区域曝光和/或未检测到人脸时的中心重点曝光计算所述第一曝光参数补正。
在本公开的上述一个或多个方法中，所述步骤S300至少还包括以下子步骤：
S310)计算所述感兴趣区域和所述感光图像的其他区域之间的加权平均亮度及其差异；
S320)根据所述加权平均亮度及其差异评估当前的所述环境亮度和所述背光度。
在本公开的上述一个或多个方法还包括以下前置步骤：针对所述感光图像进行预处理。
在本公开的上述一个或多个方法中，所述预处理至少包括以下项目中的一种：黑电平矫正、自动白平衡、颜色还原、自动曝光、gamma矫正、去马赛克、RGB2YUV转换和图像降噪。
在本公开的上述一个或多个方法中，还包括以下后置步骤：将针对当前场景中的一个RGB摄像头和一个NIR摄像头计算所得的第一曝光参数补正和所述第二曝光参数补正分别应用到同一场景的其他RGB摄像头和NIR摄像头。
根据本公开的第二方面，本公开提出一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
S100)根据RGB摄像头获取包含待识别物体的感光图像，计算感兴趣区域的分区亮度信息；
S200)基于感兴趣区域的分区亮度信息计算RGB摄像头的第一曝光参数补正；
S300)根据所述第一曝光参数补正，估计当前场景的环境亮度及背光度；
S400)基于所述环境亮度、所述背光程度以及被检测的活体对象的生物形态特征，计算针对NIR摄像头的第二曝光参数补正。
在本公开的上述计算机系统中，所述感兴趣区域是所述感光图像中的人脸。
在本公开的上述一个或多个计算机系统中，所述第一曝光参数补正至少包括针对所述RGB摄像头的曝光时间补正和增益补正。
在本公开的上述一个或多个计算机系统中，所述分区亮度信息通过基于人脸的感兴趣区域曝光和/或未检测到人脸时的中心重点曝光计算所述第一曝光参数补正。
在本公开的上述一个或多个计算机系统中，所述处理器执行所述程序时，所述步骤S300至少还包括以下子步骤：
S310)计算所述感兴趣区域和所述感光图像的其他区域之间的加权平均亮度及其差异；
S320)根据所述加权平均亮度及其差异评估当前的所述环境亮度和所述背光度。
在本公开的上述一个或多个计算机系统中，所述处理器执行所述程序时，还包括以下前置步骤：针对所述感光图像进行预处理。
在本公开的上述一个或多个计算机系统中，所述预处理至少包括以下项目中的一种：黑电平矫正、自动白平衡、颜色还原、自动曝光、gamma矫正、去马赛克、RGB2YUV转换和图像降噪。
在本公开的上述一个或多个计算机系统中，所述处理器执行所述程序时，还包括以下后置步骤：将针对当前场景中的一个RGB摄像头和一个NIR摄像头计算所得的第一曝光参数补正和所述第二曝光参数补正分别应用到同一场景的其他RGB摄像头和NIR摄像头。
根据本公开的第三方面，本公开提出一种存储介质，其中所述存储介质中存储有计算机程序，所述计算机程序被设置为运行时，执行以下方法步骤：
S100)根据RGB摄像头获取包含待识别物体的感光图像，计算感兴趣区域的分区亮度信息；
S200)基于感兴趣区域的分区亮度信息计算RGB摄像头的第一曝光参数补正；
S300)根据所述第一曝光参数补正，估计当前场景的环境亮度及背光度；
S400)基于所述环境亮度、所述背光程度以及被检测的活体对象的生物形态特征，计算针对NIR摄像头的第二曝光参数补正。
在本公开的上述存储介质中，所述感兴趣区域是所述感光图像中的人脸。
在本公开的上述一个或多个存储介质中，所述第一曝光参数补正至少包括针对所述RGB摄像头的曝光时间补正和增益补正。
在本公开的上述一个或多个存储介质中，所述分区亮度信息通过基于人脸的感兴趣区域曝光和/或未检测到人脸时的中心重点曝光计算所述第一曝光参数补正。
在本公开的上述一个或多个存储介质中，所述计算机程序运行时，所述步骤S300至少还包括以下子步骤：
S310)计算所述感兴趣区域和所述感光图像的其他区域之间的加权平均亮度及其差异；
S320)根据所述加权平均亮度及其差异评估当前的所述环境亮度和所述背光度。
在本公开的上述一个或多个存储介质中，所述计算机程序运行时，还包括以下前置步骤：针对所述感光图像进行预处理。
在本公开的上述一个或多个存储介质中，所述预处理至少包括以下项目中的一种：黑电平矫正、自动白平衡、颜色还原、自动曝光、gamma矫正、去马赛克、RGB2YUV转换和图像降噪。
在本公开的上述一个或多个存储介质中，所述计算机程序运行时，还包括以下后置步骤：将针对当前场景中的一个RGB摄像头和一个NIR摄像头计算所得的第一曝光参数补正和所述第二曝光参数补正分别应用到同一场景的其他RGB摄像头和NIR摄像头。
本公开的有益效果为：利用了RGB摄像头的ISP所获取的环境亮度和背光程度信息，并将之反馈给NIR摄像头，用于自适应的调整其目标亮度，从而改善NIR摄像头在背光和环境偏暗时的曝光效果提高活体检测识别率。
附图说明
图1所示为根据本公开的一个实施例的双目或多目摄像头曝光方法的流程图；
图2所示为根据本公开的一个实施例的双目摄像头安装示意图；
图3所示为根据本公开的一个实施例的背光程度检测流程图；
图4所示为用于图3所示背光程度检测流程的AE权重表的示意图；
图5所示为根据本公开的一个实施例的NIR摄像头目标亮度更新流程图；
图6所示为用于图5所示更新流程的NIR摄像头目标亮度表的示意图；
图7所示为根据本公开的一个实施例的双目或多目摄像头曝光系统的示意图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。
图1所示为根据本申请的实施例的双目或多目摄像头曝光方法的流程图。基于该双目摄像头曝光方法可用包括如下步骤：
S100)根据RGB摄像头获取包含待识别物体的感光图像，计算感兴趣区域的分区亮度信息；
S200)基于感兴趣区域的分区亮度信息计算RGB摄像头的第一曝光参数补正；
S300)根据所述第一曝光参数补正，估计当前场景的环境亮度及背光度；
S400)基于所述环境亮度、所述背光程度以及被检测的活体对象的生物形态特征，计算针对NIR摄像头的第二曝光参数补正。
其中，被检测的具体活体对象(例如人脸或虹膜)具体生物形态特征可以作为先验信息，估算感兴趣区域的恰当曝光度。这使得NIR摄像头能够准确地检测到是否存在有机化合物分子位于感兴趣的区域上，从而提高判断的准确度。具体地，上述方法流程可应用于基于图2所示的双目摄像头。在本申请的一些实施例中，因为NIR摄像头的目标亮度调整时需要用到RGB摄像头所对应的环境信息，所以如图2所示RGB摄像头202和NIR摄像头203需要安装在同一水平方向，并且NIR摄像头的FOV(Field of View，视场角)要大于或等于RGB摄像头的FOV。在本申请的一些实施例中，RGB摄像头202可以是Bayer RAW格式的感光器件，用于采集可见光下的图像信号。图像信号最终通过ISP还原成可被肉眼直接观察到的感光图像。进一步，ISP可以对图像信号进行预处理，图1所示的方法才被执行，以提高最终的活体检测识别率。例如，在本申请的一些实施例中，ISP可以执行包括但是不限于以下的图像预处理算法：黑电平矫正、自动白平衡、颜色还原、自动曝光、gamma矫正、去马赛克、RGB2YUV和降噪等，使得RGB摄像头202获得的Bayer RAW格式的图像信号能够还原成更为接近当前真实环境的感光图像。类似地，在本申请的一些实施例中，NIR摄像头203可以采用YUV格式的感光器件，用于采集近红外光下的图像信号并形成YUV图像。
在本申请的一些实施例中，当图像信号经前述预处理还原成更为接近当前真实环境的感光图像后，在步骤S100中，ISP还可以继续对分区亮度信息进行统计。统计所得的分区亮度信息通过基于人脸的ROI曝光量、未检测到人脸时的中心重点曝光计算所述第一曝光参数补正。具体地，参照图3所示的子步骤流程图，在本申请的上述一个或多个实施例中，所述步骤S300至少还包括以下子步骤：
S310)计算所述感兴趣区域和所述感光图像的其他区域之间的加权平均亮度及其差异；
S320)根据所述加权平均亮度及其差异评估当前的所述环境亮度和所述背光度。
例如，在子步骤S311中，根据是否在感光图像中检测到人脸，系统可以分情况进行处理。其中，本领域技术人员可以根据实际情况选用恰当的计算机视觉算法估算感光图像中的人脸的位置，本申请对此不作限定。当在感光图像中检测到人脸时，在子步骤S312中，用于限定人脸位置的ROI的坐标被返回，用于ISP的背光评估算法。该背光评估算法会将人脸区域作为ROI。然后，在子步骤S313中，获取人脸重点AE权重表。其中，在AE权重表中人脸区域作为高权重区域，而人脸区域外的区域作为低权重区域，如图4中的401所示。该AE权重表可以是基于人脸的生物形态特征形成，以指示需要重点处理的区域(例如，可以是基于大量的人脸数据，并且针对人脸中诸如眼睛等高识别度的特征而形成)。相反，如果在子步骤S311中没有检测到人脸，则在子步骤S314中以中心区域作为高权重区域，四周作为低权重区域生成AE权重表，如图4中的402所示。该默认的AE权重表可以根据实际情况手动调整。然后，在子步骤S315中，获取目标区域和背景区域加权亮度，主要是指将分区亮度信息与AE权重表做加权平均得到目标区域亮度OBJ_LUM，同时将分区亮度与1-AE_WEIGHT[i][j]加权平均得到背景区域亮度BG_LUM。具体计算方式如下：
Figure BDA0002309934690000061
Figure BDA0002309934690000062
然后，在子步骤S320中，将目标区域亮度OBJ_LUM和背景区域亮度BG_LUM按照以下公式得出背光度back_score：
back_score＝|OBJ_LUM-BG_LUM|/(OBJ_LUM+BG_LUM)。
根据本申请的一个或多个实施例，用于生物识别的对象可以人脸本身(可应用于人脸识别)，或者是人脸上的眼睛(可应用于虹膜识别)。然而，无论是人脸还是人脸上的眼睛，感光图像上人脸的位置都需要采用相应的算法估计。因此，在本申请的一个或多个实施例中，感光图像中的ROI可以是其中的人脸，并根据实际应用场合进一步划分子ROI。在本申请的其他实施例中，感光图像中的ROI还可以是其他可应用生物识别技术的区域。
在本申请的一个或多个实施例中，步骤S400结合步骤S300获取的环境亮度和背光度对NIR摄像头的目标亮度进行调整，从而使NIR摄像头能够在背光或者背景偏暗的场景下得到合适的曝光亮度，其具体实现步骤可以是如图5的子步骤流程图所示。首先，在子步骤S410中，获取前述步骤输出结果，即环境亮度brightness(包括目标区域亮度OBJ_LUM和背景区域亮度BG_LUM)和背光度back_score。在子步骤S420中，通过环境亮度brightness查找预设目标亮度表。具体地，根据以下公式：
TARGET0＝TARGET_TBL[brightness*s1]
获取当前环境亮度下所需要的目标亮度。其中，s1是将brightness归一化到0～15后的值。目标亮度表TARGET_TBL如图6所示。特别地，在本申请的一些实施例中，TARGET_TBL表可以根据实际测试效果调整。在子步骤S430中，背光度修正被用于修正目标亮度。具体地，在子步骤S420计算出目标亮度TARGET0后，使用以下公式：
TARGET＝TARGET0+back_score*s2
获取修正后的TARGET值。其中，s2可以根据实际测试效果调整。在子步骤S440中，新的目标亮度设置给NIR摄像头203的驱动，使得NIR摄像头得到一个适合当前环境的亮度。
在本申请的上述一个或多个实施例中，尤其是在光照环境稳定的场合下，通过以上步骤针对当前场景中的一个RGB摄像头和一个NIR摄像头计算所得的第一曝光参数补正和所述第二曝光参数补正分别应用到同一场景的其他RGB摄像头和NIR摄像头，例如，室内多个安检通道的应用场合(例如出入境海关通道和具有保密要求的工厂出入口等人流相对密集的地方)。
图7所示为根据本申请的实施例的双目或多目摄像头曝光系统的示意图。该计算机系统701包括存储器708、处理器706及存储在存储器上并可在处理器上运行的计算机程序。所述处理器708执行所述程序时实现以下步骤：
S100)根据RGB摄像头702获取包含待识别物体的感光图像，计算感兴趣区域的分区亮度信息；
S200)基于感兴趣区域的分区亮度信息计算RGB摄像头702的第一曝光参数补正；
S300)根据所述第一曝光参数补正，估计当前场景的环境亮度及背光度；
S400)基于所述环境亮度及所述背光程度，计算针对NIR摄像头703的第二曝光参数补正。
参照图7，在本申请的一些实施例中，RGB摄像头702可以是Bayer RAW格式的感光器件，用于采集可见光下的图像信号。图像信号最终通过ISP704还原成可被肉眼直接观察到的感光图像。进一步，ISP 704可以对图像信号进行预处理后才执行上述方法，以提高最终的活体检测识别率。例如，在本申请的一些实施例中，处理器706可以调用ISP 704执行包括但是不限于以下的图像预处理算法：电平矫正、自动白平衡、颜色还原、自动曝光、gamma矫正、去马赛克、RGB2YUV和降噪等，使得RGB摄像头702获得的Bayer RAW格式的图像信号能够还原成更为接近当前真实环境的感光图像。类似地，在本申请的一些实施例中，NIR摄像头703可以采用YUV格式的感光器件，用于采集近红外光下的图像信号并形成YUV图像。
在本申请的一些实施例中，当图像信号经前述预处理还原成更为接近当前真实环境的感光图像后，在步骤S100中，ISP704还可以继续对分区亮度信息进行统计。统计所得的分区亮度信息通过基于人脸的ROI曝光量、未检测到人脸时的中心重点曝光计算所述第一曝光参数补正。具体地，参照图3所示的子步骤流程图，在本申请的上述一个或多个实施例中，所述步骤S300至少还包括以下子步骤：
S310)计算所述感兴趣区域和所述感光图像的其他区域之间的加权平均亮度及其差异；
S320)根据所述加权平均亮度及其差异评估当前的所述环境亮度和所述背光度。
例如，在子步骤S311中，处理器706根据人脸检测单元705是否在感光图像中检测到人脸，可以分情况进行处理。其中，本领域技术人员可以根据实际情况选用恰当的计算机视觉算法估算感光图像中的人脸的位置，本申请对此不作限定。当人脸检测单元705在感光图像中检测到人脸时，在子步骤S312中，处理器返回用于限定人脸位置的ROI的坐标到ISP704，用于ISP704的背光评估算法。该背光评估算法会将人脸区域作为ROI。然后，在子步骤S313中，处理器706获取存储在存储器708中的人脸重点AE权重表。在AE权重表中，人脸区域作为高权重区域，人脸区域外的区域作为低权重区域，如图4中的401所示。相反，如果在子步骤S311中人脸检测单元705没有检测到人脸，则在子步骤S314中处理器706以中心区域作为高权重区域，四周作为低权重区域生成AE权重表，如图4中的402所示。该默认的AE权重表可以根据实际情况手动调整。然后，在子步骤S315中，处理器706获取目标区域和背景区域加权亮度，主要是指将分区亮度信息与AE权重表做加权平均得到目标区域亮度OBJ_LUM，同时将分区亮度与1-AE_WEIGHT[i][j]加权平均得到背景区域亮度BG_LUM。
具体计算方式如下：
Figure BDA0002309934690000081
Figure BDA0002309934690000082
然后，在子步骤S320中，处理器706将目标区域亮度OBJ_LUM和背景区域亮度BG_LUM按照以下公式得出背光度back_score：
back_score＝|OBJ_LUM-BG_LUM|/(OBJ_LUM+BG_LUM)。
根据本申请的一个或多个实施例，用于生物识别的对象可以人脸本身(可应用于人脸识别)，或者是人脸上的眼睛(可应用于虹膜识别)。然而，无论是人脸还是人脸上的眼睛，感光图像上人脸的位置都需要采用相应的算法估计。因此，在本申请的一个或多个实施例中，感光图像中的ROI可以是其中的人脸，并根据实际应用场合进一步划分子ROI。在本申请的其他实施例中，感光图像中的ROI还可以是其他可应用生物识别技术的区域。
在本申请的一个或多个实施例中，步骤S400结合步骤S300获取的环境亮度和背光度对NIR摄像头的目标亮度进行调整，从而使NIR摄像头能够在背光或者背景偏暗的场景下得到合适的曝光亮度，其具体实现步骤可以是如图5的子步骤流程图所示。首先，在子步骤S410中，NIR摄像头目标亮度调整单元707获取前述步骤输出结果，即环境亮度brightness(包括目标区域亮度OBJ_LUM和背景区域亮度BG_LUM)和背光度back_score。在子步骤S420中，通过环境亮度brightness查找预设目标亮度表。具体地，NIR摄像头目标亮度调整单元107根据以下公式：
TARGET0＝TARGET_TBL[brightness*s1]
获取当前环境亮度下所需要的目标亮度。其中，s1是将brightness归一化到0～15后的值。目标亮度表TARGET_TBL如图6所示。特别地，在本申请的一些实施例中，TARGET_TBL表可以根据实际测试效果调整并存储在存储器708中。在子步骤S430中，背光度修正被用于修正目标亮度。具体地，在子步骤S420计算出目标亮度TARGET0后，使用以下公式：TARGET＝TARGET0+back_score*s2
获取修正后的TARGET值。其中，s2可以根据实际测试效果调整。在子步骤S440中，NIR摄像头目标亮度调整单元707将新的目标亮度设置给NIR摄像头703的驱动，使得NIR摄像头703得到一个适合当前环境的亮度。
在本申请的上述一个或多个实施例中，尤其是在光照环境稳定的场合下，通过以上步骤针对当前场景中的一个RGB摄像头和一个NIR摄像头计算所得的第一曝光参数补正和所述第二曝光参数补正分别应用到同一场景的其他RGB摄像头和NIR摄像头，例如，室内多个安检通道的应用场合(例如出入境海关通道和具有保密要求的工厂出入口等人流相对密集的地方)。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (7)

1.一种双目或多目摄像头曝光方法，包括如下步骤：
S100)根据RGB摄像头获取包含待识别物体的感光图像，计算感兴趣区域的分区亮度信息；
S200)基于感兴趣区域的分区亮度信息，通过基于人脸的感兴趣区域曝光和/或未检测到人脸时的中心重点曝光计算RGB摄像头的第一曝光参数补正，所述第一曝光参数补正至少包括针对所述RGB摄像头的曝光时间补正和增益补正；
S300)根据所述第一曝光参数补正，估计当前场景的环境亮度及背光度，还包括以下子步骤：S310)计算所述感兴趣区域和所述感光图像的其他区域之间的加权平均亮度及其差异；S320)根据所述加权平均亮度及其差异评估当前的所述环境亮度和所述背光度；
S400)基于所述环境亮度、所述背光程度以及被检测的活体对象的生物形态特征，计算针对NIR摄像头的第二曝光参数补正。
2.根据权利要求1所述双目或多目摄像头曝光方法，其特征在于，所述感兴趣区域是所述感光图像中的人脸。
3.根据权利要求1或2所述双目或多目摄像头曝光方法，其特征在于，还包括以下前置步骤：
针对所述感光图像进行预处理。
4.根据权利要求3所述双目或多目摄像头曝光方法，其特征在于，所述预处理至少包括以下项目中的一种：黑电平矫正、自动白平衡、颜色还原、自动曝光、gamma矫正、去马赛克、RGB2YUV转换和图像降噪。
5.根据权利要求1或2所述双目或多目摄像头曝光方法，其特征在于，还包括以下后置步骤：
将针对当前场景中的一个RGB摄像头和一个NIR摄像头计算所得的第一曝光参数补正和所述第二曝光参数补正分别应用到同一场景的其他RGB摄像头和NIR摄像头。
6.一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
S100)根据RGB摄像头获取包含待识别物体的感光图像，计算感兴趣区域的分区亮度信息；
S200)基于感兴趣区域的分区亮度信息，通过基于人脸的感兴趣区域曝光和/或未检测到人脸时的中心重点曝光计算RGB摄像头的第一曝光参数补正，所述第一曝光参数补正至少包括针对所述RGB摄像头的曝光时间补正和增益补正；
S300)根据所述第一曝光参数补正，估计当前场景的环境亮度及背光度，还包括以下子步骤：S310)计算所述感兴趣区域和所述感光图像的其他区域之间的加权平均亮度及其差异；S320)根据所述加权平均亮度及其差异评估当前的所述环境亮度和所述背光度；
S400)基于所述环境亮度、所述背光程度以及被检测的活体对象的生物形态特征，计算针对NIR摄像头的第二曝光参数补正。
7.一种存储介质，其中所述存储介质中存储有计算机程序，所述计算机程序被设置为运行时执行所述权利要求1-5中任一项所述的方法。
CN201911254778.4A 2019-12-10 2019-12-10 一种双目或多目摄像头曝光方法、系统和存储介质 Active CN111083385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911254778.4A CN111083385B (zh) 2019-12-10 2019-12-10 一种双目或多目摄像头曝光方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911254778.4A CN111083385B (zh) 2019-12-10 2019-12-10 一种双目或多目摄像头曝光方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN111083385A CN111083385A (zh) 2020-04-28
CN111083385B true CN111083385B (zh) 2021-04-02

Family

ID=70313515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911254778.4A Active CN111083385B (zh) 2019-12-10 2019-12-10 一种双目或多目摄像头曝光方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN111083385B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261307B (zh) * 2020-09-27 2022-08-19 厦门亿联网络技术股份有限公司 一种图像曝光方法、装置及存储介质
CN113329188B (zh) * 2021-05-07 2022-11-22 浙江大华技术股份有限公司 一种曝光控制方法、装置、电子设备及存储介质
CN114973427A (zh) * 2022-06-09 2022-08-30 杭州萤石软件有限公司 一种目标检测设备及图像获取方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282425A (zh) * 2008-04-30 2008-10-08 北京中星微电子有限公司 一种背光补偿的方法和装置
CN103702015A (zh) * 2013-12-20 2014-04-02 华南理工大学 一种近红外条件下人脸图像采集系统的曝光控制方法
CN104113744A (zh) * 2013-04-18 2014-10-22 深圳中兴力维技术有限公司 全天候彩色摄像机白平衡处理方法及装置
CN108769526A (zh) * 2018-06-12 2018-11-06 广州视源电子科技股份有限公司 一种图像调整方法、装置、设备及存储介质
CN110084207A (zh) * 2019-04-30 2019-08-02 惠州市德赛西威智能交通技术研究院有限公司 自动调节人脸曝光量的曝光方法、装置和存储介质
CN110120045A (zh) * 2019-06-14 2019-08-13 晓智科技（成都）有限公司 一种基于回归模型的x光成像曝光参数确定方法
CN110278378A (zh) * 2019-07-12 2019-09-24 易诚高科（大连）科技有限公司 一种基于红外摄像调整的多摄像头拍摄系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2891477B1 (fr) * 2005-10-04 2008-02-15 Essilor Int Procede de coloration d'une lentille par centrifugation ("spin-coating") et lentille coloree obtenue par ce procede

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282425A (zh) * 2008-04-30 2008-10-08 北京中星微电子有限公司 一种背光补偿的方法和装置
CN104113744A (zh) * 2013-04-18 2014-10-22 深圳中兴力维技术有限公司 全天候彩色摄像机白平衡处理方法及装置
CN103702015A (zh) * 2013-12-20 2014-04-02 华南理工大学 一种近红外条件下人脸图像采集系统的曝光控制方法
CN108769526A (zh) * 2018-06-12 2018-11-06 广州视源电子科技股份有限公司 一种图像调整方法、装置、设备及存储介质
CN110084207A (zh) * 2019-04-30 2019-08-02 惠州市德赛西威智能交通技术研究院有限公司 自动调节人脸曝光量的曝光方法、装置和存储介质
CN110120045A (zh) * 2019-06-14 2019-08-13 晓智科技（成都）有限公司 一种基于回归模型的x光成像曝光参数确定方法
CN110278378A (zh) * 2019-07-12 2019-09-24 易诚高科（大连）科技有限公司 一种基于红外摄像调整的多摄像头拍摄系统

Also Published As

Publication number Publication date
CN111083385A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
US8675091B2 (en) Image data processing with multiple cameras
US20200068121A1 (en) Imaging Processing Method and Apparatus for Camera Module in Night Scene, Electronic Device and Storage Medium
CN108322646B (zh) 图像处理方法、装置、存储介质及电子设备
CN109068067B (zh) 曝光控制方法、装置和电子设备
CN111083385B (zh) 一种双目或多目摄像头曝光方法、系统和存储介质
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
CN109767467A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
CN109194882B (zh) 图像处理方法、装置、电子设备及存储介质
CN109788207A (zh) 图像合成方法、装置、电子设备及可读存储介质
CN107909057A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US9313415B2 (en) Method and system for adjusting exposure settings of video cameras
CN107451969A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN110536068A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN108024057B (zh) 背景虚化处理方法、装置及设备
CN107911625A (zh) 测光方法、装置、可读存储介质和计算机设备
CN110121031B (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
CN107909058A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109005369A (zh) 曝光控制方法、装置、电子设备以及计算机可读存储介质
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
CN109089041A (zh) 拍摄场景的识别方法、装置、电子设备和存储介质
CN112866581A (zh) 摄像头自动曝光补偿方法、装置及电子设备
CN109756680B (zh) 图像合成方法、装置、电子设备及可读存储介质
CN109756681A (zh) 图像合成方法、装置、电子设备及可读存储介质
KR20120069539A (ko) 광원 추정 장치 및 광원 추정 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant