CN107948521B - 一种基于ae和awb统计信息的摄像机日夜模式切换系统 - Google Patents

一种基于ae和awb统计信息的摄像机日夜模式切换系统 Download PDF

Info

Publication number
CN107948521B
CN107948521B CN201711248747.9A CN201711248747A CN107948521B CN 107948521 B CN107948521 B CN 107948521B CN 201711248747 A CN201711248747 A CN 201711248747A CN 107948521 B CN107948521 B CN 107948521B
Authority
CN
China
Prior art keywords
mode
night
switching
day
statistical information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711248747.9A
Other languages
English (en)
Other versions
CN107948521A (zh
Inventor
陈玮
龙晓华
李骊
顾伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Is All Numeral Science And Technology Ltd Co
Original Assignee
Shenzhen Is All Numeral Science And Technology Ltd Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Is All Numeral Science And Technology Ltd Co filed Critical Shenzhen Is All Numeral Science And Technology Ltd Co
Priority to CN201711248747.9A priority Critical patent/CN107948521B/zh
Publication of CN107948521A publication Critical patent/CN107948521A/zh
Application granted granted Critical
Publication of CN107948521B publication Critical patent/CN107948521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供了一种基于AE和AWB统计信息的摄像机日夜模式切换系统,至少包括红外摄像装置和微处理器,其中:红外摄像装置至少包括红外滤光片、图像传感器、镜头、ISP处理器,微处理包括基于图像亮度的模式切换模块、基于AWB统计信息的红外光源比例推断模块和模式切换综合决策模块,以根据图像的AE统计信息和AWB统计信息实时决策摄像机的拍摄模式。本发明通过各器件的配合决策摄像机的拍摄模式,能够准确判断光照以避免摄像机在切换模式时出现的震荡。

Description

一种基于AE和AWB统计信息的摄像机日夜模式切换系统
技术领域
本发明涉及摄像机监控技术领域,尤其涉及一种基于AE和AWB统计信息的摄像机日夜模式切换系统。
背景技术
安防监控的摄像机通常需要24小时工作。黑夜没有自然光,摄像机很难得到清晰的图像,因此可以增加红外光源,配合摄像机工作。
为了能够在自然光源和红外光源下都得到良好的图像,可以采用日夜自动切换滤光片的方式:在白天,滤光片需要切换到截止红外光的模式,防止红外光的进入导致图像出现偏色;在夜晚,需要切换到感红外的黑白模式,使得夜晚能出现更好的低照度效果。
滤光片自动切换方案有两种实现方式:第一种实现方式是用光敏三级管来感光,当照度高于某个值的时候获得信号切换到白天模式(即截止红外模式),当照度低于某个值得时候获得信号切换到夜晚模式(即感红外模式)。第二种实现方式是通过读取CCD/CMOS的感光亮度来判断是否需要切换到白天模式或夜晚模式。第二种实现方式的问题在于,因为通过软件读取CCD/CMOS反馈的照度来判断是否需要进行日夜切换的,如果外界红外光源比较强,切换到夜晚模式后,会感受大量的红外光,从而导致CCD/CMOS反馈的亮度值增加,这个时候系统会切换到白天模式,而白天模式在截止了红外光之后,CCD/CMOS又会发出照度不足的判断,系统又会切换到夜晚模式,从而出现日夜切换的振荡。
发明内容
本发明针对现有方式的缺点,提出一种基于AE和AWB统计信息的摄像机日夜模式切换系统,用以解决现有技术存在的上述问题。
根据本发明的一个方面,提供了一种基于AE和AWB统计信息的摄像机日夜模式切换系统,至少包括红外摄像装置和微处理器,其中:
所述红外摄像装置至少包括红外滤光片、图像传感器、镜头、ISP处理器,所述红外滤光片用于滤除红外线以保留可见光,所述图像传感器用于感应可见光,所述镜头用于可见光进入以形成图像,所述ISP处理器用于处理所述图像以获取图像的AE统计信息和AWB统计信息;
所述微处理包括基于图像亮度的模式切换模块、基于AWB统计信息的红外光源比例推断模块和模式切换综合决策模块,以根据图像的AE统计信息和AWB统计信息实时决策摄像机的拍摄模式,所述拍摄模式包括白天模式和夜晚模式;所述红外摄像装置通过切换滤光片来区分白天模式和夜晚模式;当摄像机的拍摄模式为白天模式时,所述红外摄像装置获取的图像为彩色模式,当摄像机的拍摄模式为夜晚模式时;所述红外摄像装置获取的图像为黑白模式。
进一步的,所述基于图像亮度的模式切换模块,用于根据AE统计信息计算出维持一定图像亮度所需要的图像传感器曝光时间、图像传感器增益、ISP数字增益及光圈值。
进一步的,所述基于图像亮度的模式切换模块,在白天模式时将总增益值与预设的白天模式切换夜晚模式的总增益阈值进行比较,所述总增益值等于图像传感器增益乘以ISP数字增益,若所述总增益大于总增益阈值,则所述基于图像亮度的模式切换模块输出亮度决策的日转夜切换标志;在夜晚模式时将所述总增益值与预设的夜晚模式切换白天模式的总增益阈值进行比较,若所述总增益小于总增益阈值,则所述基于图像亮度的模式切换模块输出亮度决策的夜转日切换标志。
进一步的,所述基于图像亮度的模式切换模块将环境亮度值和预设的白天模式切换夜晚模式的环境亮度阈值进行对比,所述环境亮度值等于图像传感器曝光时间加上光圈值再减去图像传感器增益与ISP数字增益;若环境亮度值小于环境亮度阈值,则所述基于图像亮度的模式切换模块输出亮度决策的日转夜切换标志,若环境亮度值大于环境亮度阈值,则所述基于图像亮度的模式切换模块输出亮度决策的夜转日切换标志。
进一步的,如果所述基于图像亮度的模式切换模块输出夜转日切换标志,所述基于AWB统计信息的红外光源比例推断模块需要进行红外光源比例推断计算以输出夜转日切换标志或不动作标志。
进一步的,所述模式切换综合决策模块将根据基于图像亮度的模式切换模块和基于AWB统计信息的红外光源比例推断模块输出的标志,综合决定是否进行模式切换:
如果基于图像亮度的模式切换模块输出日转夜切换标志,模式切换综合决策模块将切换滤光片至夜晚模式,图像进入黑白模式;
如果基于图像亮度的模式切换模块输出夜转日切换标志,同时基于AWB统计信息的红外光源比例推断模块输出夜转日切换标志,且持续维持该输出状态的图片帧数超过预设的帧数阈值,那么模式切换综合决策模块将切换滤光片至白天模式,图像进入彩色模式,所述帧数为一定时间内红外摄像装置录制的图像数量;
如果基于图像亮度的模式切换模块输出夜转日切换标志,且基于AWB统计信息的红外光源比例推断模块输出不动作标志,模式切换综合决策模块将不输出任何滤光片切换指令,摄像机将维持夜晚模式。
进一步的,还包括融合AE或AWB统计信息的夜转彩后增益估计模块。
进一步的,当基于图像亮度的模式切换模块输出不动作标志,且基于AWB统计信息的红外光源比例推断模块输出不动作标志时,融合AE或AWB统计信息的夜转彩后增益估计模块需要根据AE统计区和AWB统计区适配情况以决定是否输出相应标志,所述相应标志为夜转日切换标志或不动作标志,所述AE统计区为所述AE统计信息来源区,所述AWB统计区是所述AWB统计信息来源区。
进一步的,所述根据AE统计区和AWB统计区适配情况以决定是否输出相应标志的步骤如下:
如果AWB统计分区的配置和AE统计分区的配置相同,那么略过AE统计区和AWB统计区适配计算;如不相同,需要适配AE和AWB的统计分区;
计算AE统计分区中的非红外区域AE统计信息的平均值;
用所述非红外区域AE统计信息的平均值替换红外区域的统计信息,用于模拟切回白天模式后的AE统计信息;
使用所述非红外区域AE统计信息的平均值计算摄像机的总增益值;
对比所述总增益值和预设的增益阈值;
若所述总增益值小于预设的总增益阈值,则输出夜转日切换标志;否则输出不动作标志。
进一步的,所述模式切换综合决策模块将根据基于图像亮度的模式切换模块和融合AE或AWB统计信息的夜转彩后增益估计模块输出相应标志,综合决定是否进行模式切换:
如果基于图像亮度的模式切换模块输出日转夜切换标志,模式切换综合决策模块将切换滤光片至夜晚模式,图像进入黑白模式;
如果基于图像亮度的模式切换模块输出夜转日切换标志,同时融合AE或AWB统计信息的夜转彩后增益估计模块输出夜转日切换标志,且持续维持该输出状态的图片帧数超过预设的帧数阈值,那么模式切换综合决策模块将切换滤光片至白天模式,图像进入彩色模式;
如果基于图像亮度的模式切换模块输出夜转日切换标志,且融合AE或AWB统计信息的夜转彩后增益估计模块输出不动作标志,模式切换综合决策模块将不输出任何滤光片切换指令,摄像机将维持夜晚模式。
与现有技术相比,本发明的有益效果是:通过各器件的配合决策摄像机的拍摄模式,能够准确判断光照以避免摄像机在切换模式时出现的震荡。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明第一实施例中的一种基于AE和AWB统计信息的摄像机日夜模式切换系统结构图;
图2为本发明第一实施例中的红外光源比例推断计算流程图;
图3为本发明第一实施例中的获取设定的红外区域(infrared_zone)范围示意图;
图4为本发明第二实施例中的一种基于AE和AWB统计信息的摄像机日夜模式切换系统结构图;
图5为本发明第二实施例中的融合AE或AWB统计信息的夜转彩后增益估计模块计算AE或AWB统计区以输出相应标志的流程图;
图6为本发明第二实施例中的分区为15x17的AE统计信息实例图;
图7为本发明第二实施例中的分区为32x32的AE统计信息实例图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分例,实施而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本领域普通技术人员可以理解,本发明所涉及的名词的含义至少包括:
AE(Auto Exposure、自动曝光)用于根据环境的照度自动调节图像的亮度。
AWB(Auto White Balance、自动白平衡)分R、G、B通道对图像数据进行增益调整,使图像在色彩上符合人眼的感知。
ISP(Image Signal Processing、图像信号处理)处理器都会在图像处理的Pipeline(管线)上设置AE、AWB统计模块。AE统计模块会将图像分成M×N个小块,统计每个小块的R通道、Gr通道、Gb通道和B通道的平均值。AWB统计模块会将图像分成P×Q个小块,统计每个小块的R通道平均值、G通道(Gr和Gb均被视为G通道)平均值和B通道的平均值。对于某些ISP处理器,AWB统计模块可能还包含用于选择参与统计图像点的选择子模块或滤波器。
实施例一
如图1所示,提供了本发明一个实施例的一种基于AE和AWB统计信息的摄像机日夜模式切换系统,至少包括红外摄像装置和微处理器,其中:
红外摄像装置至少包括红外滤光片、图像传感器、镜头、ISP处理器,红外滤光片用于滤除红外线以保留可见光,图像传感器用于感应可见光,镜头用于可见光进入以形成图像,ISP处理器用于处理图像以获取图像的AE统计信息和AWB统计信息;其中图像传感器为CCD或CMOS。
微处理包括基于图像亮度的模式切换模块、基于AWB统计信息的红外光源比例推断模块和模式切换综合决策模块,以根据图像的AE统计信息和AWB统计信息实时决策摄像机的拍摄模式,拍摄模式包括白天模式和夜晚模式;当摄像机的拍摄模式为白天模式时,所述红外摄像装置获取的图像为彩色模式,当摄像机的拍摄模式为夜晚模式时;所述红外摄像装置获取的图像为黑白模式。
该系统需要日夜不间断地拍摄视频,因此系统必须智能切换日夜工作模式。红外摄像装置通过切换滤光片来区分白天模式和夜晚(黑白)模式。在白天工作模式时,打开红外滤光片阻挡红外线进入图像传感器,让图像传感器只能感应到可见光,摄像机处于白天工作模式;夜晚或光照条件不佳时,切换滤光片,红外线会经过物体的反射进入摄像机成像,图像传感器能感应到红外光,摄像机处于夜晚(黑白)模式。
其中,基于图像亮度的模式切换模块,用于根据AE统计信息计算出维持一定图像亮度所需要的图像传感器曝光时间、图像传感器增益、ISP数字增益及光圈值(对于固定光圈镜头,无需计算光圈值而采用固定的光圈值)。
进一步的,基于图像亮度的模式切换模块,在白天模式时将总增益值与预设的白天模式切换夜晚模式的总增益阈值进行比较,总增益值等于图像传感器增益乘以ISP数字增益,若总增益大于总增益阈值,则基于图像亮度的模式切换模块输出亮度决策的日转夜切换标志Flag_ae_D2N;在夜晚模式时将总增益值与预设的夜晚模式切换白天模式的总增益阈值进行比较,若总增益小于总增益阈值,则基于图像亮度的模式切换模块输出亮度决策的夜转日切换标志Flag_ae_N2D,具体如下:
在不同的实现方式中,当摄像机处于白天模式时,可以采用总增益(总增益=图像传感器增益×ISP数字增益)与白天模式切换夜晚模式的总增益阈值进行比较。如果当前的总增益值大于白天模式切换夜晚模式的总增益阈值,该子模块输出亮度决策的日转夜切换标志Flag_ae_D2N。当摄像机处于夜晚模式时,可采用总增益与夜晚模式切换白天模式的总增益阈值进行比较。如果当前的总增益值小于夜晚模式切换白天模式的总增益阈值,则该子模块输出亮度决策的夜转日切换标志Flag_ae_N2D。还可以采用根据曝光时间(Tv)、光圈值(Av)和增益(Sv)的环境亮度推算方法,如环境亮度Lv=Tv+Av–Sv。当摄像机处于白天模式时,如果Lv小于白天模式切换夜晚模式的环境亮度阈值Lv_thr_D2N,该子模块输出亮度决策的日转夜切换标志Flag_ae_D2N。当摄像机处于夜晚模式时,如果Lv大于白天模式切换夜晚模式的环境亮度阈值Lv_thr_D2N,该子模块输出亮度决策的夜转日切换标志Flag_ae_N2D。
进一步的,基于图像亮度的模式切换模块将环境亮度值和预设的白天模式切换夜晚模式的环境亮度阈值进行对比,环境亮度值等于图像传感器曝光时间加上光圈值再减去图像传感器增益与ISP数字增益;若环境亮度值小于环境亮度阈值,则基于图像亮度的模式切换模块输出亮度决策的日转夜切换标志Flag_ae_D2N,若环境亮度值大于环境亮度阈值,则基于图像亮度的模式切换模块输出亮度决策的夜转日切换标志Flag_ae_N2D。
进一步的,如果基于图像亮度的模式切换模块输出夜转日切换标志Flag_ae_N2D,基于AWB统计信息的红外光源比例推断模块需要进行红外光源比例推断计算以输出夜转日切换标志Flag_ae_N2D或不动作标志Flag_awb_no_action。
如果基于图像亮度的模式切换模块输出夜转日切换标志Flag_ae_N2D,基于AWB统计信息的红外光源比例推断模块需要进行如图2所示的红外光源比例推断计算。
1、获取当前视频帧的AWB统计数据。当前帧的AWB统计数据是多个AWB分区的统计数据的集合,分区总数为PxQ。每个分区的AWB统计信息均为ZoneAvgR(i,j)、ZoneAvgG(i,j)和ZoneAvgB(i,j)。其中i,j分别某分区在垂直方向和水平方向的序号。
2、遍历所有的AWB统计分区数据。计算归一化的R、B数据:
R(i,j)=ZoneAvgR(i,j)/(ZoneAvgR(i,j)+ZoneAvgG(i,j)+ZoneAvgB(i,j))
B(i,j)=ZoneAvgB(i,j)/(ZoneAvgR(i,j)+ZoneAvgG(i,j)+ZoneAvgB(i,j))
3、获取设定的红外区域(infrared_zone)范围,如图3所示,该红外区域的坐标系和步骤2中的R(i,j)、B(i,j)的坐标系相同。
4、计算(R(i,j),B(i,j))落入红外区域(infrared_zone)的个数Zin,并标识分区(i,j)是否属于红外区域限定的红外分区,得到两个集合:红外区域集合R和非红外区域集合NR。红外区域的集合R={(i,j)|Zone(i,j)的AWB统计信息落在红外区域}和非红外区域的集合NR={(i,j)|Zone(i,j)得AWB统计信息落在红外区域外}。
5、计算Zin占分区总数的比例:
P=(Zin/(P*Q))*100%
6、如果P<=P_thr,子模块输出夜转日切换标志Flag_awb_N2D;如果P>P_thr,子模块输出不动作标志Flag_awb_no_action。
需要说明的是基于AWB统计信息的红外光源比例推断模块也可以选择其他的统计信息计算坐标系,如R/B、B/G坐标系。
进一步的,模式切换综合决策模块将根据基于图像亮度的模式切换模块和基于AWB统计信息的红外光源比例推断模块输出的标志,综合决定是否进行模式切换:
如果基于图像亮度的模式切换模块输出日转夜切换标志Flag_ae_D2N,模式切换综合决策模块将切换滤光片至夜晚模式,图像进入黑白模式;
如果基于图像亮度的模式切换模块输出夜转日切换标志Flag_ae_N2D,同时基于AWB统计信息的红外光源比例推断模块输出夜转日切换标志Flag_awb_N2D,且持续维持该输出状态的图片帧数超过预设的帧数阈值,那么模式切换综合决策模块将切换滤光片至白天模式,图像进入彩色模式,帧数为一定时间内红外摄像装置录制的图像数量;
如果基于图像亮度的模式切换模块输出夜转日切换标志Flag_ae_N2D,且基于AWB统计信息的红外光源比例推断模块输出不动作标志Flag_awb_no_action,模式切换综合决策模块将不输出任何滤光片切换指令,摄像机将维持夜晚模式。
实施例二
如图4所示,提供了本发明另一个实施例的一种基于AE和AWB统计信息的摄像机日夜模式切换系统,至少包括红外摄像装置和微处理器,其中:
红外摄像装置至少包括红外滤光片、图像传感器、镜头、ISP处理器,红外滤光片用于滤除红外线以保留可见光,图像传感器用于感应可见光,镜头用于可见光进入以形成图像,ISP处理器用于处理图像以获取图像的AE统计信息和AWB统计信息;
微处理包括基于图像亮度的模式切换模块、基于AWB统计信息的红外光源比例推断模块、融合AE或AWB统计信息的夜转彩后增益估计模块及模式切换综合决策模块,以根据图像的AE统计信息和AWB统计信息实时决策摄像机的拍摄模式,拍摄模式包括白天模式和夜晚模式;红外摄像装置通过切换滤光片来区分白天模式和夜晚模式;图像在白天模式为彩色模式,在夜晚模式时为黑白模式。
其中,基于图像亮度的模式切换模块,用于根据AE统计信息计算出维持一定图像亮度所需要的图像传感器曝光时间、图像传感器增益、ISP数字增益及光圈值。基于图像亮度的模式切换模块,在白天模式时将总增益值与预设的白天模式切换夜晚模式的总增益阈值进行比较,总增益值等于图像传感器增益乘以ISP数字增益,若总增益大于总增益阈值,则基于图像亮度的模式切换模块输出亮度决策的日转夜切换标志Flag_ae_D2N;在夜晚模式时将总增益值与预设的夜晚模式切换白天模式的总增益阈值进行比较,若总增益小于总增益阈值,则基于图像亮度的模式切换模块输出亮度决策的夜转日切换标志Flag_ae_N2D。
进一步的,基于图像亮度的模式切换模块将环境亮度值和预设的白天模式切换夜晚模式的环境亮度阈值进行对比,环境亮度值等于图像传感器曝光时间加上光圈值再减去图像传感器增益与ISP数字增益;若环境亮度值小于环境亮度阈值,则基于图像亮度的模式切换模块输出亮度决策的日转夜切换标志Flag_ae_D2N,若环境亮度值大于环境亮度阈值,则基于图像亮度的模式切换模块输出亮度决策的夜转日切换标志Flag_ae_N2D。
进一步的,当基于图像亮度的模式切换模块输出夜转日切换标志夜转日切换标志Flag_ae_N2D,且基于AWB统计信息的红外光源比例推断模块输出夜转日切换标志Flag_awb_N2D时,融合AE或AWB统计信息的夜转彩后增益估计模块需要根据AE统计区和AWB统计区适配情况以决定是否输出相应标志,相应标志为夜转日切换标志Flag_awb_ae_N2D或不动作标志Flag_awb_ae_no_action,AE统计区为AE统计信息来源区,AWB统计区是AWB统计信息来源区。
如图5所示,根据AE统计区和AWB统计区适配情况以决定是否输出相应标志的步骤如下:
1、如果AWB统计分区的配置和AE统计分区的配置相同,如都为M×N,那么略过AE统计区和AWB统计区适配计算;如不相同,需要适配AE和AWB的统计分区;
2、计算AE统计分区中的非红外区域AE统计信息的平均值;
3、用非红外区域AE统计信息的平均值替换红外区域的统计信息,用于模拟切回白天模式后的AE统计信息;
4、使用所述非红外区域AE统计信息的平均值计算摄像机的总增益值;
5、对比所述总增益值和预设的总增益阈值;
6、若所述总增益值小于预设的总增益阈值,则输出夜转日切换标志Flag_awb_ae_N2D;否则输出不动作标志Flag_awb_ae_no_action。
一般而言AWB的统计分区个数要多于AE的统计分区个数。在获得当前的AE分区统计数据后,对这些数据进行上采样。如图6是分区为15x17的AE统计信息实例,而图7的分区数为32x32,它的数据由图6上采样所得,后续的计算将在上采样后的分区上完成,上采样算法可以是简单的双线性插值算法。
AE统计信息提供每个分区的R、GR、GB和B平均值。
非红外区域的AE统计信息的平均值为:
其中#NR是非红外分区集合NR的势,也就是集合元素个数。具体到本例就是非红外分区的个数。
对于判定为红外区域的分区,将其AE统计信息用非红外区域的AE统计信息平均值进行替换。
使用替换后的AE分区统计信息,可采用和基于图像亮度的模式切换模块相同的方法推算出对应的总增益。因为AE统计信息进行的替换处理,本模块计算得到的总增益可视为是夜晚模式切换到白天模式后,摄像机总增益的估计值。如果当前的总增益估计值小于夜晚模式切换白天模式的总增益阈值,则该子模块输出亮度决策的夜转日切换标志Flag_awb_ae_N2D;否则输出不动作标志Flag_awb_ae_no_action。
进一步的,模式切换(黑转彩、彩转黑)综合决策模块将根据基于图像亮度的模式切换模块和融合AE或AWB统计信息的夜转彩后增益估计模块输出相应标志,综合决定是否进行模式切换:
如果基于图像亮度的模式切换模块输出日转夜切换标志Flag_ae_D2N,模式切换综合决策模块将切换滤光片至夜晚模式,图像进入黑白模式;
如果基于图像亮度的模式切换模块输出夜转日切换标志Flag_ae_N2D,同时融合AE或AWB统计信息的夜转彩后增益估计模块输出夜转日切换标志Flag_awb_ae_N2D,且持续维持该输出状态的图片帧数超过预设的帧数阈值,那么模式切换综合决策模块将切换滤光片至白天模式,图像进入彩色模式;
如果基于图像亮度的模式切换模块输出夜转日切换标志Flag_ae_N2D,且融合AE或AWB统计信息的夜转彩后增益估计模块输出不动作标志Flag_awb_ae_no_action,模式切换综合决策模块将不输出任何滤光片切换指令,摄像机将维持夜晚模式。
值得注意的是,本发明中日转夜切换标志的英文输出为日转夜切换标志Flag_ae_D2N、夜转日切换标志的英文输出为夜转日切换标志Flag_ae_N2D及不动作标志Flag_awb_ae_no_action等都只是为了便于理解本发明的实施,其是可以其他命名或符号、字母、数字中文及其组合替换的。
在本申请所提供的2个实施例中,应该理解到,所揭露的方法和系统或装置或模块或单元,可以通过其它的方式实现。例如,以上所描述的方法实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于AE和AWB统计信息的摄像机日夜模式切换系统,其特征在于,至少包括红外摄像装置和微处理器,其中:
所述红外摄像装置至少包括红外滤光片、图像传感器、镜头、ISP处理器,所述红外滤光片用于滤除红外线以保留可见光,所述图像传感器用于感应可见光,所述镜头用于可见光进入以形成图像,所述ISP处理器用于处理所述图像以获取图像的AE统计信息和AWB统计信息;
所述微处理包括基于图像亮度的模式切换模块、基于AWB统计信息的红外光源比例推断模块和模式切换综合决策模块,以根据图像的AE统计信息和AWB统计信息实时决策摄像机的拍摄模式,所述拍摄模式包括白天模式和夜晚模式;所述红外摄像装置通过切换滤光片来区分白天模式和夜晚模式;当摄像机的拍摄模式为白天模式时,所述红外摄像装置获取的图像为彩色模式,当摄像机的拍摄模式为夜晚模式时;所述红外摄像装置获取的图像为黑白模式;
所述基于AE和AWB统计信息的摄像机日夜模式切换系统还包括融合AE或AWB统计信息的夜转彩后增益估计模块;
当基于图像亮度的模式切换模块输出不动作标志,且基于AWB统计信息的红外光源比例推断模块输出不动作标志时,融合AE或AWB统计信息的夜转彩后增益估计模块需要根据AE统计区和AWB统计区适配情况以决定是否输出相应标志,所述相应标志为夜转日切换标志或不动作标志;
根据AE统计区和AWB统计区适配情况以决定是否输出相应标志的步骤如下:
如果AWB统计分区的配置和AE统计分区的配置相同,那么略过AE统计区和AWB统计区适配计算;如不相同,需要适配AE和AWB的统计分区;
计算AE统计分区中的非红外区域AE统计信息的平均值;
用所述非红外区域AE统计信息的平均值替换红外区域的统计信息,用于模拟切回白天模式后的AE统计信息;
使用所述非红外区域AE统计信息的平均值计算摄像机的总增益值;对比所述总增益值和预设的增益阈值;
若所述总增益值小于预设的总增益阈值,则输出夜转日切换标志;否则输出不动作标志;
所述AE统计区为所述AE统计信息来源区,所述AWB统计区是所述AWB统计信息来源区。
2.根据权利要求1所述的系统,其特征在于,所述基于图像亮度的模式切换模块,用于根据AE统计信息计算出维持一定图像亮度所需要的图像传感器曝光时间、图像传感器增益、ISP数字增益及光圈值。
3.根据权利要求2所述的系统,其特征在于,所述基于图像亮度的模式切换模块,在白天模式时将总增益值与预设的白天模式切换夜晚模式的总增益阈值进行比较,所述总增益值等于图像传感器增益乘以ISP数字增益,若所述总增益大于总增益阈值,则所述基于图像亮度的模式切换模块输出亮度决策的日转夜切换标志;在夜晚模式时将所述总增益值与预设的夜晚模式切换白天模式的总增益阈值进行比较,若所述总增益小于总增益阈值,则所述基于图像亮度的模式切换模块输出亮度决策的夜转日切换标志。
4.根据权利要求2所述的系统,其特征在于,所述基于图像亮度的模式切换模块将环境亮度值和预设的白天模式切换夜晚模式的环境亮度阈值进行对比,所述环境亮度值等于图像传感器曝光时间加上光圈值再减去图像传感器增益与ISP数字增益;若环境亮度值小于环境亮度阈值,则所述基于图像亮度的模式切换模块输出亮度决策的日转夜切换标志,若环境亮度值大于环境亮度阈值,则所述基于图像亮度的模式切换模块输出亮度决策的夜转日切换标志。
5.根据权利要求3或4所述的系统,其特征在于,如果所述基于图像亮度的模式切换模块输出夜转日切换标志,所述基于AWB统计信息的红外光源比例推断模块需要进行红外光源比例推断计算以输出夜转日切换标志或不动作标志。
6.根据权利要求5所述的系统,其特征在于,所述模式切换综合决策模块将根据基于图像亮度的模式切换模块和基于AWB统计信息的红外光源比例推断模块输出的标志,综合决定是否进行模式切换:
如果基于图像亮度的模式切换模块输出日转夜切换标志,模式切换综合决策模块将切换滤光片至夜晚模式,图像进入黑白模式;
如果基于图像亮度的模式切换模块输出夜转日切换标志,同时基于AWB统计信息的红外光源比例推断模块输出夜转日切换标志,且持续维持该输出状态的图片帧数超过预设的帧数阈值,那么模式切换综合决策模块将切换滤光片至白天模式,图像进入彩色模式,所述帧数为一定时间内红外摄像装置录制的图像数量;
如果基于图像亮度的模式切换模块输出夜转日切换标志,且基于AWB统计信息的红外光源比例推断模块输出不动作标志,模式切换综合决策模块将不输出任何滤光片切换指令,摄像机将维持夜晚模式。
7.根据权利要求1所述的系统,其特征在于,所述模式切换综合决策模块将根据基于图像亮度的模式切换模块和融合AE或AWB统计信息的夜转彩后增益估计模块输出相应标志,综合决定是否进行模式切换:
如果基于图像亮度的模式切换模块输出日转夜切换标志,模式切换综合决策模块将切换滤光片至夜晚模式,图像进入黑白模式;
如果基于图像亮度的模式切换模块输出夜转日切换标志,同时融合AE或AWB统计信息的夜转彩后增益估计模块输出夜转日切换标志,且持续维持该输出状态的图片帧数超过预设的帧数阈值,那么模式切换综合决策模块将切换滤光片至白天模式,图像进入彩色模式;
如果基于图像亮度的模式切换模块输出夜转日切换标志,且融合AE或AWB统计信息的夜转彩后增益估计模块输出不动作标志,模式切换综合决策模块将不输出任何滤光片切换指令,摄像机将维持夜晚模式。
CN201711248747.9A 2017-12-01 2017-12-01 一种基于ae和awb统计信息的摄像机日夜模式切换系统 Active CN107948521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711248747.9A CN107948521B (zh) 2017-12-01 2017-12-01 一种基于ae和awb统计信息的摄像机日夜模式切换系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711248747.9A CN107948521B (zh) 2017-12-01 2017-12-01 一种基于ae和awb统计信息的摄像机日夜模式切换系统

Publications (2)

Publication Number Publication Date
CN107948521A CN107948521A (zh) 2018-04-20
CN107948521B true CN107948521B (zh) 2019-12-27

Family

ID=61948281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711248747.9A Active CN107948521B (zh) 2017-12-01 2017-12-01 一种基于ae和awb统计信息的摄像机日夜模式切换系统

Country Status (1)

Country Link
CN (1) CN107948521B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108401116B (zh) * 2018-04-28 2020-07-24 深圳市共进电子股份有限公司 摄像模式切换优化方法、装置、计算机设备和存储介质
CN108737728B (zh) * 2018-05-03 2021-06-11 Oppo广东移动通信有限公司 一种图像拍摄方法、终端及计算机存储介质
CN109040540A (zh) * 2018-07-20 2018-12-18 王健 一种基于图像特征的夜视切换方法及监控机器人
CN109495685A (zh) * 2018-12-07 2019-03-19 杭州登虹科技有限公司 一种摄像机日夜切换控制方法、装置和存储介质
CN109688332B (zh) * 2019-02-14 2021-06-29 普联技术有限公司 摄像模式调整方法、装置及终端设备
CN111726514B (zh) * 2019-03-20 2021-09-28 浙江宇视科技有限公司 一种摄像机及其昼夜模式切换方法、装置、设备、介质
CN110248109A (zh) * 2019-06-28 2019-09-17 深圳市长龙鑫电子有限公司 一种成像信息处理方法、系统及存储介质
CN110225257B (zh) * 2019-07-09 2021-09-17 浙江大华技术股份有限公司 日夜模式切换方法及装置、摄像装置和存储介质
CN110572637B (zh) * 2019-09-18 2021-07-02 普联技术有限公司 图像异常的检测方法、终端设备及存储介质
CN113163124B (zh) * 2020-01-22 2022-06-03 杭州海康威视数字技术股份有限公司 一种成像系统及图像处理方法
CN113542573A (zh) * 2020-04-14 2021-10-22 华为技术有限公司 一种拍照方法和电子设备
CN111479064B (zh) * 2020-04-16 2021-08-27 浙江大华技术股份有限公司 一种应用于透雾摄像机的日夜模式切换控制方法及装置
CN114095663B (zh) * 2020-08-24 2023-07-14 成都鼎桥通信技术有限公司 红外灯自动开关模式的控制方法、装置和记录仪
CN112672114B (zh) * 2020-12-21 2023-04-07 苏州科达科技股份有限公司 监控设备日夜模式的切换方法、系统、设备及存储介质
CN112804449A (zh) * 2020-12-30 2021-05-14 深圳市慧眼视讯电子有限公司 摄像头图像采集模式的确定方法、电子设备及存储介质
CN112954202B (zh) * 2021-01-29 2023-01-17 成都国科微电子有限公司 一种白天黑夜模式检测方法、装置、设备及存储介质
CN113364995B (zh) * 2021-04-20 2022-05-03 浙江大华技术股份有限公司 滤光片切换器的切换阈值的自适应调节方法
CN114430461B (zh) * 2022-04-01 2022-07-19 深圳市一心视觉科技有限公司 基于深度学习实现软光敏的方法、装置、终端及存储介质
CN114827479B (zh) * 2022-06-29 2022-09-27 深圳比特微电子科技有限公司 一种监控设备的工作模式切换方法和装置
CN115460344B (zh) * 2022-08-02 2023-12-19 深圳海翼智新科技有限公司 摄像装置异常的处理方法、摄像装置、服务器及介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014121028A (ja) * 2012-12-18 2014-06-30 Canon Inc 撮像装置
CN104301616B (zh) * 2014-10-31 2017-09-12 苏州科达科技股份有限公司 一种摄像机的日切夜和夜切日模式控制方法及系统
US9386230B1 (en) * 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
CN107026967A (zh) * 2016-02-01 2017-08-08 杭州海康威视数字技术股份有限公司 一种摄像机工作模式切换方法及装置
CN105979153B (zh) * 2016-06-28 2019-03-12 深圳市新国都支付技术有限公司 一种昼夜模式识别与切换的方法和系统
CN106101549B (zh) * 2016-07-07 2019-04-30 浙江宇视科技有限公司 昼夜自动切换方法、装置及系统
CN106534700B (zh) * 2016-12-20 2019-07-02 济南中维世纪科技有限公司 基于自动曝光和自动白平衡算法实现软光敏的方法
CN107370955A (zh) * 2017-08-21 2017-11-21 深圳市天视通电子科技有限公司 可自动切换日夜模式的网络摄像机、实现方法及监控系统

Also Published As

Publication number Publication date
CN107948521A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN107948521B (zh) 一种基于ae和awb统计信息的摄像机日夜模式切换系统
CN108921823B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110769246B (zh) 一种检测监控设备故障的方法、装置
CN108712608B (zh) 终端设备拍摄方法和装置
CN108198152B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108805198B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US9111353B2 (en) Adaptive illuminance filter in a video analysis system
CN107509044B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN107040726B (zh) 双摄像头同步曝光方法及系统
KR20140111858A (ko) 이미지 처리 장치 및 방법
CN110572637B (zh) 图像异常的检测方法、终端设备及存储介质
JP2009177472A (ja) 画像処理方法、画像処理装置及び撮像装置
CN112672114B (zh) 监控设备日夜模式的切换方法、系统、设备及存储介质
CN110868547A (zh) 拍照控制方法、拍照控制装置、电子设备及存储介质
CN108322648B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108052883B (zh) 用户拍照方法、装置及设备
CN107682611B (zh) 对焦的方法、装置、计算机可读存储介质和电子设备
CN110213462B (zh) 图像处理方法、装置、电子设备、图像处理电路及存储介质
JP6351377B2 (ja) 画像処理システム、撮像装置及び記録装置
CN109670786B (zh) 日程生成方法、装置、电子设备、计算机可读存储介质
CN108401109B (zh) 图像获取方法、装置、存储介质及电子设备
CN107979729B (zh) 一种显示预览图像的方法及设备
CN111783563A (zh) 基于双光谱的人脸抓拍和监控方法及系统、设备
US20230206449A1 (en) Computer Software Module Arrangement, a Circuitry Arrangement, an Arrangement and a Method for Improved Image Processing
CN111479064B (zh) 一种应用于透雾摄像机的日夜模式切换控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant