CN113691735A

CN113691735A - 一种摄像机及红外光补光方法、装置

Info

Publication number: CN113691735A
Application number: CN202010419506.1A
Authority: CN
Inventors: 张文萍; 徐琼
Original assignee: Zhejiang Uniview Technologies Co Ltd
Current assignee: Zhejiang Uniview Technologies Co Ltd
Priority date: 2020-05-18
Filing date: 2020-05-18
Publication date: 2021-11-23
Anticipated expiration: 2040-05-18
Also published as: CN113691735B

Abstract

本发明公开了一种红外光补光方法，在确定当前图像采集周期内的当前可见光曝光量后，进入黑白模式时，会基于当前可见光曝光量及可见光曝光量与红外光强度的映射关系确定红外光的当前强度，然后再基于当前强度的红外光进行红外光补光，该种红外补光方式充分考虑到了可见光曝光量和红外光的强度对图像的影响，通过当前可见光曝光量来调整红外光的强度，从而使得红外图像中的人脸不过曝且立体感较强，提升了红外光图像的质量。本发明还公开了一种红外光补光装置及摄像头，具有与上述红外光补光方法相同的有益效果。

Description

一种摄像机及红外光补光方法、装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种摄像机及红外光补光方法、装置。

背景技术

当前安防领域中，对人脸识别的需求越来越多。在夜晚光照较弱的环境下，仅通过可见光得到的人脸图像的质量难以满足人脸识别需求。因此，为了提升人脸图像的质量，最初是通过可见光补光灯进行可见光补光，但是可见光刺眼问题难以解决。为解决上述问题，又出现了可见光图像和红外光图像融合的方案，既解决了可见光刺眼问题，又很大程度上提升了人脸图像的质量。

但现有技术在进行红外光补光时，通常使用固定强度的红外光，例如先使用红外灯中的近光灯且将近光灯强度打到最大，在红外补光量不足时再打开红外灯中的远光灯，后续在对红外补光量进行调整时也是根据红外图像中最亮块的亮度进行红外光调整。该种红外补光方式容易造成人脸过曝，且人脸立体感较差，降低了红外光图像的质量。

发明内容

本发明的目的是提供一种摄像机及红外光补光方法、装置，使得红外图像中的人脸不过曝且立体感较强，提升了红外光图像的质量。

为解决上述技术问题，本发明提供了一种红外光补光方法，应用于摄像机，包括：

在处于黑白模式时，确定当前图像采集周期内的当前可见光曝光量；

基于所述当前可见光曝光量及可见光曝光量与红外光强度的映射关系确定所述红外光的当前强度；

基于所述当前强度的红外光进行红外光补光。

优选地，所述可见光曝光量与红外光强度的映射关系为：

f_IR为所述红外光强度，Exp为所述可见光曝光量，M为最大红外强度，σ为第一预设系数，Thr1、Thr2、Thr3分别为第一阈值、第二阈值和第三阈值。

优选地，确定当前图像采集周期内的当前可见光曝光量，包括：

在当前图像采集周期内，在对除了输出至实况地当前图像数据之外地图像数据进行采集时执行去除红外光操作；

获取当前所述摄像机中的感光传感器上的可见光的亮度、快门的时间及放大器的增益；

基于所述可见光的亮度、所述快门的时间、所述放大器的增益及所述可见光曝光量的关系式确定当前可见光曝光量；

其中，所述可见光曝光量的关系式为Q＝k*Shutter*Gain*Luma，Q为所述可见光曝光量，k为预设系数，Shutter为所述快门的时间，Gain为所述放大器的增益，Luma为所述可见光的亮度；

执行恢复红外光操作。

优选地，执行去除红外光操作，包括：

控制所述摄像机中的红外滤波片打开；

或者，关闭所述摄像机中的红外灯。

优选地，确定当前图像采集周期内的当前可见光曝光量之后，还包括：

判断所述当前可见光曝光量是否小于第一阈值，若是，则保持黑白模式；否则，切换为彩色模式。

优选地，基于所述当前可见光曝光量及可见光曝光量与红外光强度的映射关系确定所述红外光的当前强度之后，还包括：

判断输出至实况的当前图像数据对应地当前图像中是否存在人脸或人体；

若存在，则基于摄像机的当前视场角、所述人脸的像素或者人体的像素确定所述红外光中的远光灯的强度和近光灯的强度的比例，以对人脸或者人体进行区域曝光；

若不存在，则进行全局曝光。

优选地，基于摄像机的当前视场角、人脸的像素或者人体的像素确定所述红外光中的远光灯的强度和近光灯的强度的比例，包括：

基于摄像机的当前视场角、人脸的像素或者人体的像素及远近光灯比例关系式确定红外光中的远光灯的强度和近光灯的强度的比例；

远近光灯比例关系式为

其中，R为远光灯的强度/所述近光灯的强度的比值，在C为所述人脸的像素时，Th为第一像素阈值；在C为人体的像素时，Th为第二像素阈值，其中，第二像素阈值大于所述第一像素阈值；D为第一预设比例，R₁为基于视场角得到的远近光灯比例，θ为第二预设系数；

A为第二预设比例，B为第三预设比例，A＜B；E为所述当前视场角，T1为第一视场角阈值，T2为第二视场角阈值，T1≥T2。

优选地，在所述当前图像中的人体或者人脸为多个时，所述人脸的像素为所有人脸像素的平均值，所述人体的像素为所有人体像素的平均值。

为解决上述技术问题，本发明还提供了一种红外光补光装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述所述红外光补光方法的步骤。

为解决上述技术问题，本发明还提供了一种摄像机，包括如上述所述的红外光补光装置。

本发明提供了一种红外光补光方法，在确定当前图像采集周期内的当前可见光曝光量后，进入黑白模式时，会基于当前可见光曝光量及可见光曝光量与红外光强度的映射关系确定红外光的当前强度，然后再基于当前强度的红外光对当前图像进行红外光补光，该种红外补光方式充分考虑到了可见光曝光量和红外光的强度对图像的影响，通过当前可见光曝光量来调整红外光的强度，从而使得红外图像中的人脸不过曝且立体感较强，提升了红外光图像的质量。

本发明还提供了一种红外光补光装置及摄像头，具有与上述红外光补光方法相同的有益效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种红外光补光方法的过程流程图；

图2为本发明提供的一种红外光的强度和可见光的强度在不同比例下的图像效果图；

图3为本发明提供的一种远近光灯的强度在不同比例下的人脸图像效果图；

图4为本发明提供的一种红外光补光装置的结构示意图。

具体实施方式

本发明的核心是提供一种摄像机及红外光补光方法、装置，使得红外图像中的人脸不过曝且立体感较强，提升了红外光图像的质量。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，图1为本发明提供的一种红外光补光方法的过程流程图，该方法应用于摄像机，包括：

S11：在处于黑白模式时，确定当前图像采集周期内的当前可见光曝光量；

在彩色模式下，摄像机中的感光传感器仅感受到可见光，得到的图像为彩色图像；在进入黑白模式后，摄像机中的感光传感器不仅感受到可见光还感受到红外光，得到的图像为黑白图像，该种模式下，可见光的强度和红外光的强度对黑白图像的质量会产生影响，基于此，本申请中，在处于黑白模式时，首先确定当前图像采集周期内的当前可见光曝光量。

具体地，这里的图像采集周期可以但不仅限为1s，摄像机在当前图像采集周期内会采集多帧图像数据，以摄像机每秒采集N+t帧(t≥1)帧图像数据为例，其中，N和t均为不小于1的整数。根据精度和实时性需求，摄像机后续可以仅输出N帧图像数据对应地当前图像至实况，其中，这里的实况也即显示装置。此外，还可以从不输出至实况的t帧的图像数据中选取一帧来计算当前可见光曝光量。

还考虑到环境光照变化是缓慢的，因此，在实际应用中，可以不用实时地去计算当前可见光曝光量，也即不用在每个图像采集周期均去计算当前可见光曝光量，可以考虑间隔m(N+t)帧也即间隔m个图像采集周期之后再选择一帧计算当前可见光曝光量，m为不小于1的整数，对于m为的具体数值本申请在此不作特别的限定，根据实际情况来定。

S12：基于当前可见光曝光量及可见光曝光量与红外光强度的映射关系确定红外光的当前强度；

S13：基于当前强度的红外光进行红外光补光。

由于可见光的强度和红外光的强度对黑白图像的质量会产生影响，因此，本申请中还会预先根据黑白图像的曝光效果和人脸立体感来预先确定合适地可见光曝光量和红外光的强度之间的映射关系，后续在得到当前可见光曝光量时，便可以基于当前可见光曝光量及可见光曝光量与红外光强度的映射关系确定红外光的当前强度，并基于该当前强度的红外光进行红外光补光。

综上，本申请提供的红外补光方式充分考虑到了可见光曝光量和红外光的强度对图像的影响，通过当前可见光曝光量来调整红外光的强度，从而使得红外图像中的人脸不过曝且立体感较强，提升了红外光图像的质量。

在上述实施例的基础上：

作为一种优选地实施例，可见光曝光量与红外光强度的映射关系为：

f_IR为红外光强度，Exp为可见光曝光量，M为最大红外强度，σ为第一预设系数，Thr1、Thr2、Thr3分别为第一阈值、第二阈值和第三阈值。

具体地，请参照图2，图2为本发明提供的一种红外光的强度和可见光的强度在不同比例下的图像效果图。不难得到，红外光的强度比例越大，白色字体LI-NING可见性越差；然而可见光的强度占比很大时，部分物体(例如工牌)容易发生过曝。

基于上述原理，申请人经过对数据闭合可得到可见光曝光量与红外光强度的映射关系，具体地，在可见光曝光量Exp≤Thr3也即当前可见光曝光量很小时，为了减少噪声，提高图像质量，此时需要红外光的强度最大，红外光的强度等于M。在可见光曝光量增大，也即

时，需要降低红外强度，以保证部分物体(例如图2中的白色字体)的可见性。在当前可见光曝光量继续增大，

时，此时可见光的强度占比较大，为了避免部分物体过曝，此时需要增大红外光的强度，以减小可见光的强度的占比。在当前可见光曝光量达到一定程度，也即Exp＞Thr1时，此时已满足黑白模式切换至彩色模式的条件，此时红外光的强度为0。

可见，本申请提供的可见光曝光量与红外光强度的映射关系充分考虑到了可见光曝光量与红外光的强度之间的关系，并基于当前可见光曝光量来调整红外光的强度，从而使得人脸不过曝且立体感较强，提升了红外光图像的质量。

此外，申请人对于M、σ、Thr1、Thr2及Thr3的具体数值不作特别的限定，根据实际情况来定。

作为一种优选地实施例，确定当前图像采集周期内的当前可见光曝光量，包括：

获取当前摄像机中的感光传感器上的可见光的亮度、快门的时间及放大器的增益；

基于可见光的亮度、快门的时间、放大器的增益及可见光曝光量的关系式确定当前可见光曝光量；

其中，可见光曝光量的关系式为Q＝k*Shutter*Gain*Luma，Q为可见光曝光量，k为预设系数，Shutter为快门的时间，Gain为放大器的增益，Luma为可见光的亮度；

执行恢复红外光操作。

具体地，以上述实施例为例，设定摄像机每秒采集N+t帧(t≥1)帧图像数据，输出N帧未滤除红外光的图像数据对应地当前图像至实况，则为了得到当前可见光曝光量，可以从t帧图像数据中选择一帧滤除掉红外光的图像数据来计算当前可见光曝光量。

在实际应用中，可以在对除输出至实况的N帧图像数据之外的t帧数据中的一帧或者部分或者全部进行采集时执行去除红外光操作，则在未执行去除红外光操作时，摄像机中的感光传感器除了感受了可见光外还感受红外光，在执行去除红外光操作时，此时传感器仅感受可见光，保持摄像机中的快门的时间、放大器的增益不变，并获取当前感光传感器上的可见光的亮度、快门的时间及放大器的增益，然后便可基于可见光曝光量的关系式得到当前可见光曝光量。此外，在采集到1帧或者多帧(不超过t帧)图像数据后便可执行恢复红外光操作，从而对输出至实况的图像数据不产生影响。

此外，申请人对于k的具体数值不作特别的限定，根据实际情况来定。可见，通过该种方式能够获取到当前图像采集周期内的当前可见光曝光量，便于后续基于当前可见光曝光量确定红外光的强度。

作为一种优选地实施例，执行去除红外光操作，包括：

控制摄像机中的红外滤波片打开；

或者，关闭摄像机中的红外灯。

为了使得感光传感器仅感受到可见光，可以利用镜头与感官传感器之间的红外滤波片，也可以利用红外灯。具体地，以上述摄像机每秒采集N+t帧(t≥1)帧图像数据为例，则在进行t帧图像数据采集时，控制红外滤光片打开，或者控制红外灯关闭。在采集完t帧图像数据后，控制红外滤波片关闭或者控制红外灯开启，以不影响黑白模式下实况的图像显示。本申请对于具体采用哪种方式不作特别的限定，根据实际情况来定。

作为一种优选地实施例，确定当前图像采集周期内的当前可见光曝光量之后，还包括：

判断当前可见光曝光量是否小于第一阈值，若是，则保持黑白模式；否则，切换为彩色模式。

申请人考虑到现有技术中，在黑白模式向彩色模式进行切换时，其是根据黑白模式下的当前曝光量(包括可见光曝光量和红外光曝光量)或者摄像机中的放大器的增益与阈值进行比较并根据比较结果进行切换。具体地，以当前曝光量为例，在当前曝光量大于黑白切彩色阈值时便切换为彩色模式，但受红外补光的影响，当前曝光量中不仅包括可见光曝光量还包括红外光曝光量，在红外光曝光量较大时，可见光曝光量是比较小的，此时直接切换为彩色模式的话，后续会滤除掉红外补光，从而导致彩色模式下的图像质量较差，然后又会根据彩色模式下的可见光曝光量小于彩色切黑白阈值，使摄像机由彩色模式又切换为黑白模式，并重新开启红外补光，并重复上述切换过程，导致摄像机在黑白模式和彩色模式下来回切换，降低了摄像机的切换可靠性。虽然现有技术中会将彩色切黑白阈值设置成小于黑白切彩色阈值来减少两种模式的反复切换，但不能完全避免反复切换情况的发生。

为解决上述技术问题，本实施例中，在黑白模式和彩色模式进行切换时仅以当前可见光曝光量为基准。在黑白模式下，在获取到当前可见光曝光量后，会判断当前可见光曝光量是否小于第一阈值，若是，则说明此时可见光较弱，需要保持黑白模式，否则，则说明此时可见光较强，可以切换至彩色模式。

可见，本申请中仅通过可见光曝光量来进行黑白模式和彩色模式的切换，避免了两种模式的反复切换，提高了摄像机的切换可靠性。

作为一种优选地实施例，基于当前可见光曝光量及可见光曝光量与红外光强度的映射关系确定红外光的当前强度之后，还包括：

判断输出至实况的当前图像数据对应地当前图像中是否存在人脸信息或人体信息；

若存在，则基于摄像机的当前视场角、人脸的像素或者人体的像素确定红外光中的远光灯的强度和近光灯的强度的比例，以对人脸或者人体进行区域曝光；

若不存在，则进行全局曝光。

请参照图3，图3为本发明提供的一种远近光灯的强度在不同比例下的人脸图像效果图。

不难得到，远光灯的强度占比越大，人的立体感越强；然而远光灯的强度占比太大时，人脸反而容易过曝。因此，在确定红外灯的强度后，还需要确定该强度下的红外光中最佳的远近光灯的强度比例。

具体地，近光灯的补光角度较大，但是补光距离较近；而远光灯的补光角度较小，但是补光距离较远。对于大视场角而言，远光灯的强度占比太大时容易导致手电筒现象的发生。可见，远近光灯的强度比例与视场角有关。

此外，在待输出至实况的当前图像数据对应地当前图像中存在人脸或者人体时，远近光灯的强度比例会影响人体的图像质量。具体地，若人脸或者人体的像素较小时，说明人脸或者人体在远处，若人脸或者人体的像素较大时，说明人脸或者人体在近处，人脸或者人体与摄像机的距离会也会影响到远近光灯的强度比例，也即远近光灯的强度比例还与人脸或者人体的像素有关。

基于此，本实施例中，为了提高图像质量，保证图像中人脸或者人体的立体感，在输出至实况的当前图像数据对应地当前图像中存在人脸或人体时，基于摄像机的当前视场角、人脸的像素或者人体的像素确定红外光中的远光灯的强度和近光灯的强度的比例，以对人脸或者人体进行区域曝光；若当前图像中不存在人脸及人体时，则进行全局曝光。

可见，本实施例在确定红外光灯的强度后，若输出至实况的当前图像数据对应地当前图像中存在人脸或人体，还会考虑到当前视场角、人脸的像素或者人体的像素对远近光灯的强度比例的影响，基于摄像机的当前视场角、人脸的像素或者人体的像素确定红外光中较优的远光灯的强度和近光灯的强度的比例，能够使得人脸不过曝且立体感可接受，提高了图像质量。

还需要说明的是，在实际应用中，可以只选择人脸的像素进行远近光灯的强度比例的确定或者只选择人体的像素进行远近光灯的强度比例的确定，若当前图像中既有人脸又有人体，则可以优先选择人脸的像素进行远近光灯的强度比例的确定。当然，本申请对此不限定，根据实际情况来定。

作为一种优选地实施例，基于摄像机的当前视场角、人脸的像素或者人体的像素确定红外光中的远光灯的强度和近光灯的强度的比例，包括：

远近光灯比例关系式为

其中，R为远光灯的强度/近光灯的强度的比值，在C为人脸的像素时，Th为第一像素阈值；在C为人体的像素时，Th为第二像素阈值，其中，第二像素阈值大于第一像素阈值；D为第一预设比例，R₁为基于视场角得到的远近光灯比例，θ为第二预设系数；

A为第二预设比例，B为第三预设比例，A＜B；E为当前视场角，T1为第一视场角阈值，T2为第二视场角阈值，T1≥T2。

在当前图像中的人脸或者人体的像素较小时，意味着人脸或者人体距离摄像机较远，此时R可以只取决于当前视场角E。在当前图像中的人脸或者人体的像素较大时，意味着人脸或者人体距离摄像机较近，此时，远近光灯的强度比例会影响人脸的图像质量，因此，可以根据人脸或者人体的像素来确定R。

具体地，在人脸的像素大于第一像素阈值或者人体的像素大于第二像素阈值时，则说明此时人脸或者人体距离摄像机非常近，此时远光灯的强度/近光灯的强度的比值R取第一预设比例；若人脸的像素或者人体的像素减小，且人脸小于第一像素阈值或者人体的像素小于第二像素阈值，则此时R也减小，但不低于当前视场角对应地远近光灯比例R₁。其中，需要说明的是，由于一般人体的像素大于人脸的像素，因此，第二像素阈值大于第一像素阈值。

此外，关于视场角对远近光灯的强度比例的影响，一般是视场角大的时候希望近光灯多一些，视场角小的时候远光灯多一些，基于此，在E＞T1时，R₁取第二预设比例A，在当前视场角减小且T2

时，R₁增大，在E≤T2时，R₁取第一预设比例B。

此外，A＜B，在实际应用中，A、B、D、θ的数值可以根据实际情况来选择，本申请在此不作特别的限定。Th受摄像机的视场角和分辨率的影响，可以根据实际情况来设置。

可见，本申请充分考虑了摄像机的视场角、当前图像中人脸或者人体的像素对远近光灯的强度比例的影响，通过该种方式可以得到最佳的远近光灯强度，使得人脸图像不过曝且立体感很强。

此外，在实际应用中，若红外灯中还包括中光灯，则可以考虑近、中、远的比例关系，例如近光灯的强度：中光灯的强度：远光灯的强度＝1：2R₁：R₁，则在近光灯或者远光灯的强度后便可以根据比例关系得到中光灯的强度。本申请对于近、中、远具体地的比例关系不作特别的限定，根据实际情况来定。

作为一种优选地实施例，在当前图像中的人体或者人脸为多个时，人脸的像素为所有人脸像素的平均值，人体的像素为所有人体像素的平均值。

在当前图像中的人体或者人脸为多个时，在进行后续远近光灯的强度比例确定时，可以取所有人脸像素的平均值或者所有人体像素的平均值，以便考虑到各个人脸或者人体的像素的影响，进一步提高了近光灯强度的精度。

请参照图4，图4为本发明提供的一种红外光补光装置的结构示意图，该装置包括：

存储器1，用于存储计算机程序；

处理器2，用于执行计算机程序时实现如上述红外光补光方法的步骤。

对于本发明提供的红外光补光装置的介绍请参照上述方法实施例，本发明在此不作特别的限定。

本发明还提供了一种摄像机，包括如上述的红外光补光装置。

需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种红外光补光方法，应用于摄像机，其特征在于，包括：

基于所述当前强度的红外光进行红外光补光。

2.如权利要求1所述的红外光补光方法，其特征在于，所述可见光曝光量与红外光强度的映射关系为：

3.如权利要求1所述的红外光补光方法，其特征在于，确定当前图像采集周期内的当前可见光曝光量，包括：

执行恢复红外光操作。

4.如权利要求3所述的红外光补光方法，其特征在于，执行去除红外光操作，包括：

控制所述摄像机中的红外滤波片打开；

或者，关闭所述摄像机中的红外灯。

5.如权利要求1所述的红外光补光方法，其特征在于，确定当前图像采集周期内的当前可见光曝光量之后，还包括：

6.如权利要求1至5任一项所述的红外光补光方法，其特征在于，基于所述当前可见光曝光量及可见光曝光量与红外光强度的映射关系确定所述红外光的当前强度之后，还包括：

若不存在，则进行全局曝光。

7.如权利要求6所述的红外光补光方法，其特征在于，基于摄像机的当前视场角、所述人脸的像素或者人体的像素确定所述红外光中的远光灯的强度和近光灯的强度的比例，包括：

基于摄像机的当前视场角、所述人脸的像素或者人体的像素及远近光灯比例关系式确定所述红外光中的远光灯的强度和近光灯的强度的比例；

所述远近光灯比例关系式为

其中，R为所述远光灯的强度/所述近光灯的强度的比值，在C为所述人脸的像素时，Th为第一像素阈值；在C为所述人体的像素时，Th为第二像素阈值，其中，所述第二像素阈值大于所述第一像素阈值；D为第一预设比例，R₁为基于视场角得到的远近光灯比例，θ为第二预设系数；

8.如权利要求6所述的红外光补光方法，其特征在于，在所述当前图像中的人体或者人脸为多个时，所述人脸的像素为所有人脸像素的平均值，所述人体的像素为所有人体像素的平均值。

9.一种红外光补光装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述红外光补光方法的步骤。

10.一种摄像机，其特征在于，包括如权利要求9所述的红外光补光装置。