CN110312083A - 用于自动曝光的自巡航调节装置及方法、硬件加速器 - Google Patents

用于自动曝光的自巡航调节装置及方法、硬件加速器 Download PDF

Info

Publication number
CN110312083A
CN110312083A CN201910800092.4A CN201910800092A CN110312083A CN 110312083 A CN110312083 A CN 110312083A CN 201910800092 A CN201910800092 A CN 201910800092A CN 110312083 A CN110312083 A CN 110312083A
Authority
CN
China
Prior art keywords
exposure
image
scene
unit
comentropy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910800092.4A
Other languages
English (en)
Other versions
CN110312083B (zh
Inventor
朱红雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinpupil Semiconductor Technology (Shanghai) Co., Ltd.
Original Assignee
Jinpupil Semiconductor Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinpupil Semiconductor Technology (shanghai) Co Ltd filed Critical Jinpupil Semiconductor Technology (shanghai) Co Ltd
Priority to CN201910800092.4A priority Critical patent/CN110312083B/zh
Publication of CN110312083A publication Critical patent/CN110312083A/zh
Application granted granted Critical
Publication of CN110312083B publication Critical patent/CN110312083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本发明提供的用于自动曝光的自巡航调节装置及方法,依据香农的信息熵概念,计算场景图像的信息熵值,非线性平滑调节曝光,以获取最优曝光的场景图像。相比传统单一亮度目标曝光具有更好的场景适应性。相比其他多亮度目标曝光方法具有更自然的连贯性与稳定性。本发明还提供了与所述用于自动曝光的自巡航调节装置及方法相匹配的硬件加速器。

Description

用于自动曝光的自巡航调节装置及方法、硬件加速器
技术领域
本发明涉及半导体领域,尤其涉及一种用于自动曝光的自巡航调节装置及方法、硬件加速器。
背景技术
当下随着5G以及AI技术趋势加持,各种智能手持拍摄终端、安防摄像头、车载摄像头、以及自动驾驶,物联网等技术都离不开图像处理技术。自动曝光作为图像处理器的一个重要环节,对成像效果起到非常重要的作用。
传统方法中使用单一亮度值作为曝光目标,通过调整图像传感器的曝光参数(曝光时间和增益)获得目标亮度场景的画面。这一方法很难适应多种照度以及复杂光线下的场景,容易使得图像画面过曝或偏暗,从而影响图像的可视动态范围,降低图像质量。
发明内容
本发明提供一种用于自动曝光的自巡航调节装置及方法、硬件加速器,以能够适应各种光照环境。
根据本发明的第一方面,提供了一种用于自动曝光的自巡航调节装置,包括图像感光单元和图像处理单元,所述图像处理单元针对图像感光单元检测到的光照信息实时调整曝光参数,获取最优曝光的场景图像。
可选的,对于所述的用于自动曝光的自巡航调节装置,所述图像处理单元包括曝光调节单元和测光学习单元;所述测光学习单元测量学习不同光照环境下的图像信息概率图,并获得判别特征;所述曝光调节单元根据所述测光学习单元的判别特征,调整曝光参数,完成对目标的曝光。
可选的,对于所述的用于自动曝光的自巡航调节装置,所述测光学习单元中:图像信息概率图包括低照场景、反差光照场景和正常光照场景三种正常图像信息概率图,欠曝光和过曝光两种非正常图像信息概率图,
低照场景判别特征为,其中
反差光照场景判别特征为,其中
正常光照场景判别特征为,其中
欠曝光判别特征为
过曝光判别表征为
为针对所涉及图像传感器通过实验调试学习获得的最优值,为图像灰阶,为图像最大灰阶,表示每一个灰阶信息概率。
可选的,对于所述的用于自动曝光的自巡航调节装置,所述曝光调节单元中,比较当前图像信息熵与低照光下的信息熵门限值是否满足,若低于该信息熵门限值,对曝光参数进行调整;否则做光照场景判别,判别是否为低照光场景,即判断是否成立,若满足则进入曝光保持状态;否则判别是否为反差光照场景,判别是否成立,若满足则进入曝光保持状态;否则判别是否为正常光照场景,判别是否成立,若满足则进入正常光照熵门限比较,若不低于熵门限值则进入曝光保持状态,否则迭代至欠曝光或过曝光判别,调整曝光参数,直到完成曝光目标,其中为正常光照下的经验门限值,为当前图像信息熵。
可选的,对于所述的用于自动曝光的自巡航调节装置,所述图像处理单元还包括自动白平衡单元、自动对焦单元、去噪单元和增强单元。
根据本发明的第二方面,提供一种用于自动曝光的自巡航调节方法,包括:
步骤一、图像感光单元将检测到的光照信息实时传递至图像处理单元;以及
步骤二、所述图像处理单元计算场景图像的信息熵值,非线性平滑调节曝光,以获取最优曝光的场景图像。
可选的,对于所述的用于自动曝光的自巡航调节方法,所述步骤二包括:
通过试验测量,在不同照度下获得曝光函数特性与曝光区间特性,测量值记
在固定曝光小区间内,设,通过最小二乘法, 求解函数, 记录存储不同曝光区间表征函数和最优收敛步进量;
一帧图像的熵表征为,其中图像的灰阶分为0~255,表示每一个灰阶信息概率;
测量学习不同光线环境下的图像信息概率图,包括低照场景、反差光照场景和正常光照场景,
低照场景判别特征为,其中
反差光照场景判别特征为,其中
正常光照场景判别特征为,其中
测量学习欠曝光和过曝光两种非正常图像信息概率图,
欠曝光判别特征为
过曝光判别表征为
为针对所涉及图像传感器通过实验调试学习获得的最优值为图像灰阶,为图像最大灰阶,表示每一个灰阶信息概率;
获取曝光的目标信息熵 ,其中为正常光照下的经验门限值,为低照光下的经验门限值;
根据当前曝光区间选择相应曝光函数
计算当前图像信息熵
比较当前图像信息熵与低照光下的信息熵门限值是否满足,若低于该信息熵门限值,对曝光参数进行调整;否则做光照场景判别,以完成最佳曝光;
对曝光参数进行调整包括:若,则做曝光量增加计算,若,则做曝光量减少计算;
光照场景判别包括:判别是否为低照光场景,即 判断是否成立,若满足则进入曝光保持状态;否则判别是否为反差光照场景,判别是否成立,若满足则进入曝光保持状态;否则判别是否为正常光照场景,判别是否成立,若满足则进入正常光照熵门限比较,若不低于熵门限值则进入曝光保持状态,否则迭代至欠曝光或过曝光判别,调整曝光参数,直到完成曝光目标。
可选的,对于所述的用于自动曝光的自巡航调节方法,计算当前图像信息熵的计算方法包括:全局图像信息熵和/或局部加权信息熵。
根据本发明的第三方面,提供一种硬件加速器,用于图像处理器,进行图像信息熵的统计计算,其特征在于,包括:至少1个加速单元,每个加速单元包括多组N位寄存器和加法器,通过每个图像像素值所表征的灰阶去索引相应的寄存器,并读取做加一运算,再写回,其中N值取决于灰阶出现最大概率。
根据本发明的第四方面,提供一种硬件加速器,用于图像处理器,进行图像信息熵的统计计算,包括:下采样高斯平滑滤波器和至少1个SRAM,高斯平滑滤波器在图像水平方向每三个像素点做高斯平滑滤波,再译码以访问所述SRAM。
本发明提供的用于自动曝光的自巡航调节装置及方法,依据香农的信息熵概念,计算场景图像的信息熵值,非线性平滑调节曝光,以获取最优曝光的场景图像。相比传统单一亮度目标曝光具有更好的场景适应性。相比其他多亮度目标曝光方法具有更自然的连贯性与稳定性。
进一步的,在本发明的图像信息熵统计中,会占用较多CPU软件运行时间,为此本发明提出用专用硬件电路对此计算做硬件加速,可以使得在软件中运行占据的时间由硬件消耗,大大提高运算速度,提高统计效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中自动曝光的自巡航调节装置的结构示意图;
图2是本发明一实施例中测光学习单元的功能示意图;
图3是本发明一实施例中曝光区间和曝光量的函数关系示意图;
图4是本发明一实施例中曝光调节单元的功能示意图;
图5a是本发明一实施例中低光照场景的示意图;
图5b是本发明一实施例中低光照场景时的图像信息概率图;
图6a是本发明一实施例中反差光照场景的示意图;
图6b是本发明一实施例中反差光照场景的图像信息概率图;
图7a是本发明一实施例中正常光照场景的示意图;
图7b是本发明一实施例中正常光照场景的图像信息概率图;
图8是本发明一实施例中图像局部区域加权示意图;
图9是本发明一实施例中硬件加速器的结构示意图一;
图10是本发明一实施例中硬件加速器的结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1是本发明一实施例中自动曝光的自巡航调节装置的结构示意图。
请参考图1,本发明提供了一种用于自动曝光的自巡航调节装置,包括图像感光单元和图像处理单元,所述图像处理单元针对图像感光单元检测到的光照信息实时调整曝光参数,获取最优曝光的场景图像。
请进一步参考图1,所述图像处理单元包括曝光调节单元和测光学习单元;所述测光学习单元测量学习不同光照环境下的图像信息概率图,并获得判别特征;所述曝光调节单元根据所述测光学习单元的判别特征,调整曝光参数,完成对目标的曝光。
所述测光学习单元主要包括目标校准测量、曝光函数与区间存储、正常直方图经验学习参数、非正常直方图经验学习等单元,相应的,完成对应的工作过程。
所述曝光调节单元主要包括直方图统计、区域加权计算、曝光函数选择、曝光区间判断、目标判断、场景判断等单元,相应的,完成对应的工作过程。
对于测光学习单元,请参考图2,包括如下内容:
通过试验测量,在不同照度下获得曝光函数特性与曝光区间特性,测量值记(即图2中的Lux1、Lux2……Luxn)
在固定曝光小区间内,假设,通过最小二乘法,求解函数, 记录存储不同曝光区间表征函数以及最优收敛步进量。例如图2中的曝光区间/函数存储表部分。
在本发明实施例中,所述固定曝光小区间可以参考图3所示。具体的,所述曝光区间x可以是光圈、快门和增益的其中一个参数,也可以是这三个参数中的多个或全部。
在本发明另一个实施例中,也可以设,或其他非线性函数。
上述函数中,k,b为常数。
在本发明实施例中,为了表征图像信息量最大化,根据香农信息熵理论,一帧图像的熵可以表征为:,其中图像的灰阶分为0~255,表示每一个灰阶信息概率。
请继续参考图2,对于所述测光学习单元,测量学习不同光线环境下的图像信息概率图(也可以称为信息直方图)。
在本发明实施例中,正常图像信息概率图大致分三类:低照场景,反差光照场景,正常光照场景。举例解释如下:
低照场景下的图像信息概率图信息学习如图5a和图5b所示,如图5a示意了低照场景(夜晚)时的情况,相应在图5b中,灰阶偏低,主要集中在120以下。对于图5a和图5b示意的场景,例如信息熵经验值HE=6.4666,判别表征,其中
反差光场景下的图像信息概率图信息学习如图6a和图6b所示,如图6a示意了反差光场景(室内和窗外)时的情况,相应在图6b中,低灰阶比较平缓,但在高灰阶(例如255)处具有尖锐峰值。对于图6a和图6b示意的场景,例如信息熵经验值HE=6.8559,判别表征,其中
正常光场景下的图像信息概率图信息学习如图7a和图7b所示,如图7a示意了正常光场景(白天室外)时的情况,相应在图7b中,灰阶分布相对比较均匀。对于图7a和图7b示意的场景,例如信息熵经验值HE=7.6405,判别表征,其中
相对正常图像信息概率图,还具有非正常图像信息概率图。
在本发明实施例中,非正常图像直方图大致分两种:欠曝光,过曝光。
对于欠曝光判别表征:
对于过曝光判别表征:
以上参数,需通过实验调试,针对不同的图像传感器(例如CMOS图像传感器)学习获得各自最优值。其中为灰阶,为图像最大灰阶,一般为255,也可以归一化到其他最大量度,信息熵经验值HE并不限于本发明中所提供的参数,针对不同的图像传感器,不同的场景,可是其他值。
请参考图4,对于曝光调节单元,其包括:
从测光学习单元获取曝光的目标信息熵,其中为正常光照下的经验门限值,为低照光下的经验门限值。
根据当前曝光区间选择相应曝光函数
计算当前图像信息熵
在本发明实施例中,计算方法可选择多种,例如可以是:(一)全局图像信息熵;(二)局部加权信息熵,对感兴趣或不感兴趣的区域分别设不同的权重,如图8所示。本领域技术人员可以依据实际需要,灵活选择可用的计算方式。
比较当前信息熵与低照光下的信息熵门限值是否满足,若低于该信息熵门限值,说明当前曝光与目标曝光差异较大,需做进一步曝光参数的调整,例如调整光圈、快门和增益中的至少一个;否则说明当前曝光已基本满足目标曝光调节,则进一步做光照场景判别,以完成最佳曝光。
对于需要对曝光参数进行调整的情况,欠曝光或过曝光可根据测光学习单元的非正常直方图判别表征做相应的曝光方向计算。具体的,若,则做曝光量增加计算;若,则做曝光量减少计算。增加或加少的曝光量则可通过相应曝光函数计算获取。
对于光照场景的判别,光照场景判别在本发明中可以分三步。第一步,判别是否为低照光场景,判别条件根据测光学习单元的记录条件: ,若满足则进入曝光保持状态;否则第二步,判别是否为反差光照场景,判别条件根据测光学习单元的记录条件:,若满足则进入曝光保持状态;否则第三步,判别是否为正常光照场景,判别条件根据测光学习单元的记录条件:,若满足则进入正常光照下的经验门限值比较,即是否满足,若不低于所述正常光照下的经验门限值则进入曝光保持状态,否则迭代至欠曝光或过曝光判别,进一步调整调整曝光参数,直到完成曝光目标。
在实际实验中,由于图像熵值在反差光场景与低照光场景中表现比较接近,同时又处于正常光照与低照之间,因而本发明图4中未示意反差光照的熵门限比较以减小复杂度。
此外,在本发明实施例中,如图1所示,所述图像处理单元还包括自动白平衡单元、自动对焦单元、去噪单元和增强单元等其他图像处理单元,对于这些单元,本发明实施例中并不进行详细说明,本领域技术人员可以依据现有认知对这些单元进行设置。
在本发明一个实施例中,还提供一种用于自动曝光的自巡航调节方法,包括:
步骤一、图像感光单元将检测到的光照信息实时传递至图像处理单元;以及
步骤二、所述图像处理单元计算场景图像的信息熵值,非线性平滑调节曝光,以获取最优曝光的场景图像。
具体的,所述步骤二包括:
通过试验测量,在不同照度下获得曝光函数特性与曝光区间特性,测量值记
在固定曝光小区间内,设,通过最小二乘法, 求解函数, 记录存储不同曝光区间表征函数和最优收敛步进量;
一帧图像的熵表征为,其中图像的灰阶分为0~255,表示每一个灰阶信息概率;
测量学习不同光线环境下的图像信息概率图,包括低照场景、反差光照场景和正常光照场景,
低照场景判别特征为,其中
反差光照场景判别特征为,其中
正常光照场景判别特征为,其中
测量学习欠曝光和过曝光两种非正常图像信息概率图,
欠曝光判别特征为
过曝光判别表征为
为针对所涉及图像传感器通过实验调试学习获得的最优值,为图像灰阶,为图像最大灰阶,表示每一个灰阶信息概率;
获取曝光的目标信息熵 ,其中为正常光照下的经验门限值,为低照光下的经验门限值;
根据当前曝光区间选择相应曝光函数
计算当前图像信息熵
比较当前图像信息熵与低照光下的信息熵门限值是否满足,若低于该信息熵门限值,对曝光参数进行调整;否则做光照场景判别,以完成最佳曝光;
对曝光参数进行调整包括:若,则做曝光量增加计算,若,则做曝光量减少计算;
光照场景判别包括:判别是否为低照光场景,即判断 是否成立,若满足则进入曝光保持状态;否则判别是否为反差光照场景,判别是否成立,若满足则进入曝光保持状态;否则判别是否为正常光照场景,判别是否成立,若满足则进入正常光照熵门限比较,若不低于熵门限值则进入曝光保持状态,否则迭代至欠曝光或过曝光判别,调整曝光参数,直到完成曝光目标。
在本发明一个实施例中,计算当前图像信息熵的计算方法包括:全局图像信息熵和/或局部加权信息熵,例如图8示意了对感兴趣或不感兴趣的区域分别设不同的权重。需要说明的是,图8中示意的4行4列,并不做为对本发明的限定,例如,具体区域划分可以是m行n列,m、n为大于等于1的自然数。
在本发明中,图像信息熵统计在实际应用时,会占用较多CPU软件运行时间,为此本发明提出用专用硬件电路对此计算做硬件加速。具体的,是自动曝光过程可通过图像处理器(ISP)做部分硬件加速。
在本发明实施例中,提供一种硬件加速器,用于图像处理器,进行图像信息熵的统计计算,包括:至少1个加速单元,每个加速单元包括多组N位寄存器和加法器,通过每个图像像素值所表征的灰阶去索引相应的寄存器,并读取做加一运算,再写回,其中N值取决于灰阶出现最大概率,极端情况下就是整帧像素数量。
如图9所示,所示硬件加速器包括直方图统计电路,通过每个图像像素值所表征的灰阶去索引相应的寄存器,并读取做加一运算,再写回。
本发明实施例所提供的硬件加速器,可单拍时钟完成运算写入操作,极其简单。
进一步的,为了降低芯片面积,降低功耗,本发明实施例中还提供另一种硬件加速器,用于图像处理器,进行图像信息熵的统计计算,从图9可以看出,需要3个时钟节拍方能完成一次灰阶统计运算更新,为此本发明实施例所提供的硬件加速器,在图像水平方向每三个像素点做一次统计更新,即包括:下采样高斯平滑滤波器和至少1个SRAM,高斯平滑滤波器在图像水平方向每三个像素点做高斯平滑滤波,再译码访问所述SRAM。这类似于图像水平方向1/3下采样(downscaling)。此操作对熵统计影响微乎其微,优点是能有效减少芯片面积开销。进一步的,本发明实施例中的硬件加速器还包括其他逻辑硬件如加法器、译码器等。
在本发明实施例中,所示SRAM可以是单口SRAM,可以理解的是,双口SRAM亦可,相对而言,单口SRAM面积较小,成本较低。
进一步的,请参考图10。图10为多个区域分块统计的电路结构示意图,以为了支持多区域曝光统计计算。ISP根据图像位置判断所处区域块,再通过像素灰阶去索引相应的运算单元。例如对应图8,分为16个区域块,可自左到右,自上而下分别定义为区域块0,区域块1……区域块15,在运算时,分别与block0,block1……block15相对应,由电路结构(即硬件加速器)中的区域块单独进行运算。
请继续参考图10上层软件(software)可通过CPU访问每帧图像的熵统计信息,访问时机可通过查询状态或中断触发放在帧/场消隐期间,以避免内部统计访问冲突。
在本发明中,为了提高软件运行时效,或降低芯片开销,本发明可通过归一化减少图像的灰阶表达,如通用的256灰阶降到16灰阶(原来每16个灰阶合并成一个灰阶)的操作。
本发明可以有多种应用场景,例如本发明用可于车载摄像头,由于其运动以及所处光照环境比较复杂等特性,对视频图像的曝光相应,和高适应性都有较高的要求。
综上所述,本发明提供的用于自动曝光的自巡航调节装置及方法,依据香农的信息熵概念,计算场景图像的信息熵值,非线性平滑调节曝光,以获取最优曝光的场景图像。相比传统单一亮度目标曝光具有更好的场景适应性。相比其他多亮度目标曝光方法具有更自然的连贯性与稳定性。
进一步的,在本发明的图像信息熵统计中,会占用较多CPU软件运行时间,为此本发明提出用专用硬件电路对此计算做硬件加速,可以使得在软件中运行占据的时间由硬件消耗,大大提高运算速度,提高统计效率。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种用于自动曝光的自巡航调节装置,其特征在于,包括图像感光单元和图像处理单元,所述图像处理单元针对图像感光单元检测到的光照信息实时调整曝光参数,获取最优曝光的场景图像。
2.根据权利要求1所述的用于自动曝光的自巡航调节装置,其特征在于,所述图像处理单元包括曝光调节单元和测光学习单元;所述测光学习单元测量学习不同光照环境下的图像信息概率图,并获得判别特征;所述曝光调节单元根据所述测光学习单元的判别特征,调整曝光参数,完成对目标的曝光。
3.根据权利要求2所述的用于自动曝光的自巡航调节装置,其特征在于,所述测光学习单元中:图像信息概率图包括低照场景、反差光照场景和正常光照场景三种正常图像信息概率图,欠曝光和过曝光两种非正常图像信息概率图,
低照场景判别特征为其中
反差光照场景判别特征为
正常光照场景判别特征为
欠曝光判别特征为
过曝光判别表征为
为针对所涉及图像传感器通过实验调试学习获得的最优值,为图像灰阶,为图像最大灰阶,表示每一个灰阶信息概率。
4.根据权利要求3所述的用于自动曝光的自巡航调节装置,其特征在于,所述曝光调节单元中,比较当前图像信息熵与低照光下的信息熵门限值是否满足,若低于该信息熵门限值,对曝光参数进行调整;否则做光照场景判别,判别是否为低照光场景,即判断 是否成立,若满足则进入曝光保持状态;否则判别是否为反差光照场景,判别是否成立,若满足则进入曝光保持状态;否则判别是否为正常光照场景,判别是否成立,若满足则进入正常光照熵门限比较,若不低于熵门限值则进入曝光保持状态,否则迭代至欠曝光或过曝光判别,调整曝光参数,直到完成曝光目标,其中为正常光照下的经验门限值,为当前图像信息熵。
5.根据权利要求1所述的用于自动曝光的自巡航调节装置,其特征在于,所述图像处理单元还包括自动白平衡单元、自动对焦单元、去噪单元和增强单元。
6.一种用于自动曝光的自巡航调节方法,其特征在于,包括:
步骤一、图像感光单元将检测到的光照信息实时传递至图像处理单元;以及
步骤二、所述图像处理单元计算场景图像的信息熵值,非线性平滑调节曝光,以获取最优曝光的场景图像。
7.根据权利要求6所述的用于自动曝光的自巡航调节方法,其特征在于,所述步骤二包括:
通过试验测量,在不同照度下获得曝光函数特性与曝光区间特性,测量值记
在固定曝光小区间内,设,通过最小二乘法,求解函数, 记录存储不同曝光区间表征函数和最优收敛步进量;
一帧图像的熵表征为,其中图像的灰阶分为0~255,表示每一个灰阶信息概率;
测量学习不同光线环境下的图像信息概率图,包括低照场景、反差光照场景和正常光照场景,
低照场景判别特征为,其中
反差光照场景判别特征为,其中
正常光照场景判别特征为,其中
测量学习欠曝光和过曝光两种非正常图像信息概率图,
欠曝光判别特征为
过曝光判别表征为
为针对所涉及图像传感器通过实验调试学习获得的最优值,为图像灰阶,为图像最大灰阶,表示每一个灰阶信息概率;
获取曝光的目标信息熵 ,其中为正常光照下的经验门限值,为低照光下的经验门限值;
根据当前曝光区间选择相应曝光函数
计算当前图像信息熵
比较当前图像信息熵与低照光下的信息熵门限值是否满足,若低于该信息熵门限值,对曝光参数进行调整;否则做光照场景判别,以完成最佳曝光;
对曝光参数进行调整包括:,则做曝光量增加计算,若,则做曝光量减少计算;
光照场景判别包括:判别是否为低照光场景,即判断 是否成立,若满足则进入曝光保持状态;否则判别是否为反差光照场景,判别是否成立,若满足则进入曝光保持状态;否则判别是否为正常光照场景,判别是否成立,若满足则进入正常光照熵门限比较,若不低于熵门限值则进入曝光保持状态,否则迭代至欠曝光或过曝光判别,调整曝光参数,直到完成曝光目标。
8.根据权利要求7所述的用于自动曝光的自巡航调节方法,其特征在于,计算当前图像信息熵的计算方法包括:全局图像信息熵和/或局部加权信息熵。
9.一种硬件加速器,用于图像处理器,进行图像信息熵的统计计算,其特征在于,包括:至少1个加速单元,每个加速单元包括多组N位寄存器和加法器,通过每个图像像素值所表征的灰阶去索引相应的寄存器,并读取做加一运算,再写回,其中N值取决于灰阶出现最大概率。
10.一种硬件加速器,用于图像处理器,进行图像信息熵的统计计算,其特征在于,包括:下采样高斯平滑滤波器和至少1个SRAM,高斯平滑滤波器在图像水平方向每三个像素点做高斯平滑滤波,再译码以访问所述SRAM。
CN201910800092.4A 2019-08-28 2019-08-28 用于自动曝光的自巡航调节装置及方法、硬件加速器 Active CN110312083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910800092.4A CN110312083B (zh) 2019-08-28 2019-08-28 用于自动曝光的自巡航调节装置及方法、硬件加速器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910800092.4A CN110312083B (zh) 2019-08-28 2019-08-28 用于自动曝光的自巡航调节装置及方法、硬件加速器

Publications (2)

Publication Number Publication Date
CN110312083A true CN110312083A (zh) 2019-10-08
CN110312083B CN110312083B (zh) 2020-03-06

Family

ID=68083693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910800092.4A Active CN110312083B (zh) 2019-08-28 2019-08-28 用于自动曝光的自巡航调节装置及方法、硬件加速器

Country Status (1)

Country Link
CN (1) CN110312083B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113079323A (zh) * 2021-03-31 2021-07-06 中国科学院长春光学精密机械与物理研究所 一种基于二维熵的航天遥感载荷自动曝光方法
CN117221736A (zh) * 2023-11-09 2023-12-12 成都中轨轨道设备有限公司 低照度亮清采集的自动调节ai相机系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1763227A1 (en) * 2005-09-08 2007-03-14 Delphi Technologies, Inc. Method of exposure control for an imaging system
CN101873437A (zh) * 2009-09-15 2010-10-27 杭州海康威视系统技术有限公司 曝光调节方法及装置
CN106454145A (zh) * 2016-09-28 2017-02-22 湖南优象科技有限公司 一种具有场景自适应的自动曝光方法
CN108109166A (zh) * 2017-12-08 2018-06-01 上海集成电路研发中心有限公司 用于自动曝光中图像熵值的计算方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1763227A1 (en) * 2005-09-08 2007-03-14 Delphi Technologies, Inc. Method of exposure control for an imaging system
CN101873437A (zh) * 2009-09-15 2010-10-27 杭州海康威视系统技术有限公司 曝光调节方法及装置
CN106454145A (zh) * 2016-09-28 2017-02-22 湖南优象科技有限公司 一种具有场景自适应的自动曝光方法
CN108109166A (zh) * 2017-12-08 2018-06-01 上海集成电路研发中心有限公司 用于自动曝光中图像熵值的计算方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
梁佳毅: "高性能数码相机自动曝光算法研究与实现", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
袁航飞: "航天相机星上自适应调光的研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113079323A (zh) * 2021-03-31 2021-07-06 中国科学院长春光学精密机械与物理研究所 一种基于二维熵的航天遥感载荷自动曝光方法
CN117221736A (zh) * 2023-11-09 2023-12-12 成都中轨轨道设备有限公司 低照度亮清采集的自动调节ai相机系统
CN117221736B (zh) * 2023-11-09 2024-01-26 成都中轨轨道设备有限公司 低照度亮清采集的自动调节ai相机系统

Also Published As

Publication number Publication date
CN110312083B (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
WO2022156640A1 (zh) 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品
WO2021047306A1 (zh) 一种异常行为判定方法、装置、终端及可读存储介质
CN106357987B (zh) 一种曝光方法和装置
US20130322739A1 (en) Image Adjustment
CN113408566B (zh) 目标检测方法及相关设备
CN114399431B (zh) 一种基于注意力机制的暗光图像增强方法
CN103222259A (zh) 高动态范围的转换
CN102542552B (zh) 视频图像的顺逆光判断和拍摄时间检测方法
CN112818732B (zh) 一种图像处理方法、装置、计算机设备和存储介质
CN111489401B (zh) 一种图像颜色恒常性处理方法、系统、设备和存储介质
CN113822951B (zh) 图像处理方法、装置、电子设备及存储介质
US11600039B2 (en) Mechanism for improved light estimation
CN110312083A (zh) 用于自动曝光的自巡航调节装置及方法、硬件加速器
US20220270266A1 (en) Foreground image acquisition method, foreground image acquisition apparatus, and electronic device
KR20210012012A (ko) 물체 추적 방법들 및 장치들, 전자 디바이스들 및 저장 매체
CN115131492A (zh) 目标对象的重光照方法、装置及存储介质和背景替换方法
CN107105172A (zh) 一种用于对焦的方法和装置
Zhu et al. Ultra-high temporal resolution visual reconstruction from a fovea-like spike camera via spiking neuron model
CN113920540A (zh) 基于知识蒸馏的行人重识别方法、装置、设备及存储介质
CN112488985A (zh) 图像质量确定方法、装置及设备
CN111611835A (zh) 一种船只检测方法及装置
CN115953813A (zh) 一种表情驱动方法、装置、设备及存储介质
CN117541771A (zh) 图像识别模型训练方法及图像识别方法
CN114049622A (zh) 车牌识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191115

Address after: 315800 Zhejiang city of Ningbo province BeiCang xinqie Street Industrial Road No. 1

Applicant after: Zhu Honglei

Address before: No. 403, Lane 500, Zhangheng Road, China (Shanghai) Free Trade Pilot Area, Pudong New Area, Shanghai, 2001

Applicant before: Jinpupil Semiconductor Technology (Shanghai) Co., Ltd.

GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200220

Address after: No. 403, Lane 500, Zhangheng Road, China (Shanghai) Free Trade Pilot Area, Pudong New Area, Shanghai, 2001

Applicant after: Jinpupil Semiconductor Technology (Shanghai) Co., Ltd.

Address before: 315800 Zhejiang city of Ningbo province BeiCang xinqie Street Industrial Road No. 1

Applicant before: Zhu Honglei