CN110312083B - 用于自动曝光的自巡航调节装置及方法、硬件加速器 - Google Patents

用于自动曝光的自巡航调节装置及方法、硬件加速器 Download PDF

Info

Publication number
CN110312083B
CN110312083B CN201910800092.4A CN201910800092A CN110312083B CN 110312083 B CN110312083 B CN 110312083B CN 201910800092 A CN201910800092 A CN 201910800092A CN 110312083 B CN110312083 B CN 110312083B
Authority
CN
China
Prior art keywords
exposure
scene
image
illumination
entropy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910800092.4A
Other languages
English (en)
Other versions
CN110312083A (zh
Inventor
朱红雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinpupil Semiconductor Technology (shanghai) Co Ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910800092.4A priority Critical patent/CN110312083B/zh
Publication of CN110312083A publication Critical patent/CN110312083A/zh
Application granted granted Critical
Publication of CN110312083B publication Critical patent/CN110312083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本发明提供的用于自动曝光的自巡航调节装置及方法，依据香农的信息熵概念，计算场景图像的信息熵值，非线性平滑调节曝光，以获取最优曝光的场景图像。相比传统单一亮度目标曝光具有更好的场景适应性。相比其他多亮度目标曝光方法具有更自然的连贯性与稳定性。本发明还提供了与所述用于自动曝光的自巡航调节装置及方法相匹配的硬件加速器。

Description

用于自动曝光的自巡航调节装置及方法、硬件加速器
技术领域
本发明涉及半导体领域，尤其涉及一种用于自动曝光的自巡航调节装置及方法、硬件加速器。
背景技术
当下随着5G以及AI技术趋势加持，各种智能手持拍摄终端、安防摄像头、车载摄像头、以及自动驾驶，物联网等技术都离不开图像处理技术。自动曝光作为图像处理器的一个重要环节，对成像效果起到非常重要的作用。
传统方法中使用单一亮度值作为曝光目标，通过调整图像传感器的曝光参数（曝光时间和增益）获得目标亮度场景的画面。这一方法很难适应多种照度以及复杂光线下的场景，容易使得图像画面过曝或偏暗，从而影响图像的可视动态范围，降低图像质量。
发明内容
本发明提供一种用于自动曝光的自巡航调节装置及方法、硬件加速器，以能够适应各种光照环境。
根据本发明的第一方面，提供了一种用于自动曝光的自巡航调节装置，包括图像感光单元和图像处理单元，所述图像处理单元针对图像感光单元检测到的光照信息实时调整曝光参数，获取最优曝光的场景图像。
可选的，对于所述的用于自动曝光的自巡航调节装置，所述图像处理单元包括曝光调节单元和测光学习单元；所述测光学习单元测量学习不同光照环境下的图像信息概率图，并获得判别特征；所述曝光调节单元根据所述测光学习单元的判别特征，调整曝光参数，完成对目标的曝光。
可选的，对于所述的用于自动曝光的自巡航调节装置，所述测光学习单元中：图像信息概率图包括低照场景、反差光照场景和正常光照场景三种正常图像信息概率图，欠曝光和过曝光两种非正常图像信息概率图，
低照场景判别特征为
Figure 461086DEST_PATH_IMAGE001
，其中
Figure 315910DEST_PATH_IMAGE002
，
反差光照场景判别特征为
Figure 95647DEST_PATH_IMAGE003
，其中
Figure 490856DEST_PATH_IMAGE004
，
正常光照场景判别特征为
Figure 305229DEST_PATH_IMAGE005
，其中
Figure 314642DEST_PATH_IMAGE006
，
欠曝光判别特征为
Figure 581675DEST_PATH_IMAGE008
、
Figure 780575DEST_PATH_IMAGE010
、
Figure 449454DEST_PATH_IMAGE012
，
过曝光判别表征为
Figure 380501DEST_PATH_IMAGE014
、
Figure 134830DEST_PATH_IMAGE016
、
Figure 871842DEST_PATH_IMAGE018
，
Figure 395227DEST_PATH_IMAGE019
为针对所涉及图像传感器通过实验调试学习获得的最优值，
Figure 12022DEST_PATH_IMAGE020
为图像灰阶，为图像最大灰阶，表示每一个灰阶信息概率。
可选的，对于所述的用于自动曝光的自巡航调节装置，所述曝光调节单元中，比较当前图像信息熵与低照光下的信息熵门限值是否满足
Figure 253648DEST_PATH_IMAGE021
，若低于该信息熵门限值，对曝光参数进行调整；否则做光照场景判别，判别是否为低照光场景，即判断
Figure 528771DEST_PATH_IMAGE022
是否成立，若满足则进入曝光保持状态；否则判别是否为反差光照场景，判别
Figure 172242DEST_PATH_IMAGE023
是否成立，若满足则进入曝光保持状态；否则判别是否为正常光照场景，判别
Figure 445092DEST_PATH_IMAGE024
是否成立，若满足则进入正常光照熵门限比较
Figure 174013DEST_PATH_IMAGE025
，若不低于熵门限值则进入曝光保持状态，否则迭代至欠曝光或过曝光判别，调整曝光参数，直到完成曝光目标，其中
Figure 252828DEST_PATH_IMAGE026
为正常光照下的经验门限值，
Figure 937756DEST_PATH_IMAGE027
为当前图像信息熵。
可选的，对于所述的用于自动曝光的自巡航调节装置，所述图像处理单元还包括自动白平衡单元、自动对焦单元、去噪单元和增强单元。
根据本发明的第二方面，提供一种用于自动曝光的自巡航调节方法，包括：
步骤一、图像感光单元将检测到的光照信息实时传递至图像处理单元；以及
步骤二、所述图像处理单元计算场景图像的信息熵值，非线性平滑调节曝光，以获取最优曝光的场景图像。
可选的，对于所述的用于自动曝光的自巡航调节方法，所述步骤二包括：
通过试验测量，在不同照度下获得曝光函数特性与曝光区间特性，测量值记
Figure 709403DEST_PATH_IMAGE028
；
在固定曝光小区间内，设
Figure 660041DEST_PATH_IMAGE029
，通过最小二乘法
Figure 480230DEST_PATH_IMAGE030
，求解函数
Figure 832714DEST_PATH_IMAGE031
, 记录存储不同曝光区间表征函数和最优收敛步进量；
一帧图像的熵表征为
Figure 775262DEST_PATH_IMAGE032
，其中图像的灰阶分为0~255，
Figure 213197DEST_PATH_IMAGE033
表示每一个灰阶信息概率；
测量学习不同光线环境下的图像信息概率图，包括低照场景、反差光照场景和正常光照场景，
低照场景判别特征为
Figure 820764DEST_PATH_IMAGE034
，其中
Figure 293334DEST_PATH_IMAGE035
，
反差光照场景判别特征为
Figure 406783DEST_PATH_IMAGE036
，其中
Figure 332014DEST_PATH_IMAGE037
，
正常光照场景判别特征为
Figure 494005DEST_PATH_IMAGE038
，其中
Figure 555502DEST_PATH_IMAGE039
；
测量学习欠曝光和过曝光两种非正常图像信息概率图，
欠曝光判别特征为
Figure 839853DEST_PATH_IMAGE041
、
Figure 439330DEST_PATH_IMAGE043
、
Figure 467329DEST_PATH_IMAGE045
，
过曝光判别表征为
Figure 648912DEST_PATH_IMAGE047
、
Figure 838585DEST_PATH_IMAGE049
、
Figure 676091DEST_PATH_IMAGE051
；
Figure 242201DEST_PATH_IMAGE053
为针对所涉及图像传感器通过实验调试学习获得的最优值
Figure 543870DEST_PATH_IMAGE055
为图像灰阶，
Figure 904444DEST_PATH_IMAGE056
为图像最大灰阶，
Figure 478514DEST_PATH_IMAGE057
表示每一个灰阶信息概率；
获取曝光的目标信息熵
Figure 848315DEST_PATH_IMAGE058
，其中
Figure 738911DEST_PATH_IMAGE059
为正常光照下的经验门限值，
Figure 535965DEST_PATH_IMAGE060
为低照光下的经验门限值；
根据当前曝光区间选择相应曝光函数
Figure 82484DEST_PATH_IMAGE061
；
计算当前图像信息熵
Figure 255977DEST_PATH_IMAGE062
；
比较当前图像信息熵与低照光下的信息熵门限值是否满足
Figure 266658DEST_PATH_IMAGE063
，若低于该信息熵门限值，对曝光参数进行调整；否则做光照场景判别，以完成最佳曝光；
对曝光参数进行调整包括：若
Figure 234614DEST_PATH_IMAGE064
，则做曝光量增加计算，若
Figure 517697DEST_PATH_IMAGE065
，则做曝光量减少计算；
光照场景判别包括：判别是否为低照光场景，即
Figure 229301DEST_PATH_IMAGE066
Figure 94489DEST_PATH_IMAGE067
判断是否成立，若满足则进入曝光保持状态；否则判别是否为反差光照场景，判别
Figure 233346DEST_PATH_IMAGE068
是否成立，若满足则进入曝光保持状态；否则判别是否为正常光照场景，判别
Figure 754457DEST_PATH_IMAGE069
是否成立，若满足则进入正常光照熵门限比较
Figure 4173DEST_PATH_IMAGE070
，若不低于熵门限值则进入曝光保持状态，否则迭代至欠曝光或过曝光判别，调整曝光参数，直到完成曝光目标。
可选的，对于所述的用于自动曝光的自巡航调节方法，计算当前图像信息熵的计算方法包括：全局图像信息熵和/或局部加权信息熵。
根据本发明的第三方面，提供一种硬件加速器，用于图像处理器，进行图像信息熵的统计计算，其特征在于，包括：至少1个加速单元，每个加速单元包括多组N位寄存器和加法器，通过每个图像像素值所表征的灰阶去索引相应的寄存器，并读取做加一运算，再写回，其中N值取决于灰阶出现最大概率。
根据本发明的第四方面，提供一种硬件加速器，用于图像处理器，进行图像信息熵的统计计算，包括：下采样高斯平滑滤波器和至少1个SRAM，高斯平滑滤波器在图像水平方向每三个像素点做高斯平滑滤波，再译码以访问所述SRAM。
本发明提供的用于自动曝光的自巡航调节装置及方法，依据香农的信息熵概念，计算场景图像的信息熵值，非线性平滑调节曝光，以获取最优曝光的场景图像。相比传统单一亮度目标曝光具有更好的场景适应性。相比其他多亮度目标曝光方法具有更自然的连贯性与稳定性。
进一步的，在本发明的图像信息熵统计中，会占用较多CPU软件运行时间，为此本发明提出用专用硬件电路对此计算做硬件加速，可以使得在软件中运行占据的时间由硬件消耗，大大提高运算速度，提高统计效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中自动曝光的自巡航调节装置的结构示意图；
图2是本发明一实施例中测光学习单元的功能示意图；
图3是本发明一实施例中曝光区间和曝光量的函数关系示意图；
图4是本发明一实施例中曝光调节单元的功能示意图；
图5a是本发明一实施例中低光照场景的示意图；
图5b是本发明一实施例中低光照场景时的图像信息概率图；
图6a是本发明一实施例中反差光照场景的示意图；
图6b是本发明一实施例中反差光照场景的图像信息概率图；
图7a是本发明一实施例中正常光照场景的示意图；
图7b是本发明一实施例中正常光照场景的图像信息概率图；
图8是本发明一实施例中图像局部区域加权示意图；
图9是本发明一实施例中硬件加速器的结构示意图一；
图10是本发明一实施例中硬件加速器的结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1是本发明一实施例中自动曝光的自巡航调节装置的结构示意图。
请参考图1，本发明提供了一种用于自动曝光的自巡航调节装置，包括图像感光单元和图像处理单元，所述图像处理单元针对图像感光单元检测到的光照信息实时调整曝光参数，获取最优曝光的场景图像。
请进一步参考图1，所述图像处理单元包括曝光调节单元和测光学习单元；所述测光学习单元测量学习不同光照环境下的图像信息概率图，并获得判别特征；所述曝光调节单元根据所述测光学习单元的判别特征，调整曝光参数，完成对目标的曝光。
所述测光学习单元主要包括目标校准测量、曝光函数与区间存储、正常直方图经验学习参数、非正常直方图经验学习等单元，相应的，完成对应的工作过程。
所述曝光调节单元主要包括直方图统计、区域加权计算、曝光函数选择、曝光区间判断、目标判断、场景判断等单元，相应的，完成对应的工作过程。
对于测光学习单元，请参考图2，包括如下内容：
通过试验测量，在不同照度下获得曝光函数特性与曝光区间特性，测量值记（即图2中的Lux1、Lux2……Luxn）
在固定曝光小区间内，假设
Figure 989446DEST_PATH_IMAGE071
，通过最小二乘法
Figure 299205DEST_PATH_IMAGE072
，求解函数
Figure 621379DEST_PATH_IMAGE073
, 记录存储不同曝光区间表征函数以及最优收敛步进量。例如图2中的曝光区间/函数存储表部分。
在本发明实施例中，所述固定曝光小区间可以参考图3所示。具体的，所述曝光区间x可以是光圈、快门和增益的其中一个参数，也可以是这三个参数中的多个或全部。
在本发明另一个实施例中，也可以设
Figure 674785DEST_PATH_IMAGE074
，或其他非线性函数。
上述函数中，k，b为常数。
在本发明实施例中，为了表征图像信息量最大化，根据香农信息熵理论，一帧图像的熵可以表征为：
Figure 514565DEST_PATH_IMAGE075
，其中图像的灰阶分为0~255，
Figure 995225DEST_PATH_IMAGE076
表示每一个灰阶信息概率。
请继续参考图2，对于所述测光学习单元，测量学习不同光线环境下的图像信息概率图（也可以称为信息直方图）。
在本发明实施例中，正常图像信息概率图大致分三类：低照场景，反差光照场景，正常光照场景。举例解释如下：
低照场景下的图像信息概率图信息学习如图5a和图5b所示，如图5a示意了低照场景（夜晚）时的情况，相应在图5b中，灰阶偏低，主要集中在120以下。对于图5a和图5b示意的场景，例如信息熵经验值HE=6.4666，判别表征
Figure 225349DEST_PATH_IMAGE077
，其中
Figure 82447DEST_PATH_IMAGE078
。
反差光场景下的图像信息概率图信息学习如图6a和图6b所示，如图6a示意了反差光场景（室内和窗外）时的情况，相应在图6b中，低灰阶比较平缓，但在高灰阶（例如255）处具有尖锐峰值。对于图6a和图6b示意的场景，例如信息熵经验值HE=6.8559，判别表征
Figure 776734DEST_PATH_IMAGE079
，其中
Figure 428295DEST_PATH_IMAGE080
。
正常光场景下的图像信息概率图信息学习如图7a和图7b所示，如图7a示意了正常光场景（白天室外）时的情况，相应在图7b中，灰阶分布相对比较均匀。对于图7a和图7b示意的场景，例如信息熵经验值HE=7.6405，判别表征
Figure 660562DEST_PATH_IMAGE081
，其中
Figure 55771DEST_PATH_IMAGE082
。
相对正常图像信息概率图，还具有非正常图像信息概率图。
在本发明实施例中，非正常图像直方图大致分两种：欠曝光，过曝光。
对于欠曝光判别表征：
Figure 604564DEST_PATH_IMAGE083
，
Figure 692606DEST_PATH_IMAGE084
，
Figure 897322DEST_PATH_IMAGE085
。
对于过曝光判别表征：
Figure 96222DEST_PATH_IMAGE086
，
Figure 499522DEST_PATH_IMAGE087
，
Figure 758465DEST_PATH_IMAGE088
。
以上参数，
Figure 512794DEST_PATH_IMAGE089
，
Figure 436757DEST_PATH_IMAGE090
，
Figure 960142DEST_PATH_IMAGE091
，
Figure 389986DEST_PATH_IMAGE092
，
Figure 366033DEST_PATH_IMAGE093
，
Figure 844419DEST_PATH_IMAGE094
，
Figure 487889DEST_PATH_IMAGE095
，
Figure 823056DEST_PATH_IMAGE096
，
Figure 551977DEST_PATH_IMAGE097
，
Figure 817743DEST_PATH_IMAGE098
需通过实验调试，针对不同的图像传感器（例如CMOS图像传感器）学习获得各自最优值。其中
Figure 315720DEST_PATH_IMAGE099
为灰阶，
Figure 821788DEST_PATH_IMAGE100
为图像最大灰阶，一般为255，也可以归一化到其他最大量度，信息熵经验值HE并不限于本发明中所提供的参数，针对不同的图像传感器，不同的场景，可是其他值。
请参考图4，对于曝光调节单元，其包括：
从测光学习单元获取曝光的目标信息熵
Figure 38005DEST_PATH_IMAGE101
，其中
Figure 858194DEST_PATH_IMAGE102
为正常光照下的经验门限值，
Figure 210678DEST_PATH_IMAGE103
为低照光下的经验门限值。
根据当前曝光区间选择相应曝光函数
Figure 153226DEST_PATH_IMAGE104
。
计算当前图像信息熵
Figure 591161DEST_PATH_IMAGE105
。
在本发明实施例中，计算方法可选择多种，例如可以是：（一）全局图像信息熵；（二）局部加权信息熵，对感兴趣或不感兴趣的区域分别设不同的权重，如图8所示。本领域技术人员可以依据实际需要，灵活选择可用的计算方式。
比较当前信息熵与低照光下的信息熵门限值是否满足
Figure 198728DEST_PATH_IMAGE106
，若低于该信息熵门限值，说明当前曝光与目标曝光差异较大，需做进一步曝光参数的调整，例如调整光圈、快门和增益中的至少一个；否则说明当前曝光已基本满足目标曝光调节，则进一步做光照场景判别，以完成最佳曝光。
对于需要对曝光参数进行调整的情况，欠曝光或过曝光可根据测光学习单元的非正常直方图判别表征做相应的曝光方向计算。具体的，若
Figure 671298DEST_PATH_IMAGE107
，则做曝光量增加计算；若
Figure 519168DEST_PATH_IMAGE108
，则做曝光量减少计算。增加或加少的曝光量则可通过相应曝光函数计算获取。
对于光照场景的判别，光照场景判别在本发明中可以分三步。第一步，判别是否为低照光场景，判别条件根据测光学习单元的记录条件：
Figure 444399DEST_PATH_IMAGE109
Figure 668707DEST_PATH_IMAGE110
，若满足则进入曝光保持状态；否则第二步，判别是否为反差光照场景，判别条件根据测光学习单元的记录条件：
Figure 933466DEST_PATH_IMAGE111
，若满足则进入曝光保持状态；否则第三步，判别是否为正常光照场景，判别条件根据测光学习单元的记录条件：
Figure 217817DEST_PATH_IMAGE112
，若满足则进入正常光照下的经验门限值比较，即是否满足
Figure 630344DEST_PATH_IMAGE113
，若不低于所述正常光照下的经验门限值则进入曝光保持状态，否则迭代至欠曝光或过曝光判别，进一步调整调整曝光参数，直到完成曝光目标。
在实际实验中，由于图像熵值在反差光场景与低照光场景中表现比较接近，同时又处于正常光照与低照之间，因而本发明图4中未示意反差光照的熵门限比较以减小复杂度。
此外，在本发明实施例中，如图1所示，所述图像处理单元还包括自动白平衡单元、自动对焦单元、去噪单元和增强单元等其他图像处理单元，对于这些单元，本发明实施例中并不进行详细说明，本领域技术人员可以依据现有认知对这些单元进行设置。
在本发明一个实施例中，还提供一种用于自动曝光的自巡航调节方法，包括：
步骤一、图像感光单元将检测到的光照信息实时传递至图像处理单元；以及
步骤二、所述图像处理单元计算场景图像的信息熵值，非线性平滑调节曝光，以获取最优曝光的场景图像。
具体的，所述步骤二包括：
通过试验测量，在不同照度下获得曝光函数特性与曝光区间特性，测量值记
Figure 392763DEST_PATH_IMAGE114
；
在固定曝光小区间内，设
Figure 761297DEST_PATH_IMAGE115
，通过最小二乘法
Figure 216549DEST_PATH_IMAGE116
，求解函数
Figure 116372DEST_PATH_IMAGE117
, 记录存储不同曝光区间表征函数和最优收敛步进量；
一帧图像的熵表征为
Figure 682482DEST_PATH_IMAGE118
，其中图像的灰阶分为0~255，
Figure 656254DEST_PATH_IMAGE119
表示每一个灰阶信息概率；
测量学习不同光线环境下的图像信息概率图，包括低照场景、反差光照场景和正常光照场景，
低照场景判别特征为
Figure 282408DEST_PATH_IMAGE120
，其中
Figure 669527DEST_PATH_IMAGE121
，
反差光照场景判别特征为
Figure 773749DEST_PATH_IMAGE122
，其中
Figure 929924DEST_PATH_IMAGE123
，
正常光照场景判别特征为
Figure 913929DEST_PATH_IMAGE124
，其中
Figure 522765DEST_PATH_IMAGE125
；
测量学习欠曝光和过曝光两种非正常图像信息概率图，
欠曝光判别特征为
Figure 696258DEST_PATH_IMAGE126
、
Figure 706939DEST_PATH_IMAGE127
、
Figure 612578DEST_PATH_IMAGE128
，
过曝光判别表征为
Figure 708710DEST_PATH_IMAGE129
、
Figure 154735DEST_PATH_IMAGE130
、
Figure 285502DEST_PATH_IMAGE131
；
Figure 611310DEST_PATH_IMAGE132
为针对所涉及图像传感器通过实验调试学习获得的最优值，
Figure 194738DEST_PATH_IMAGE133
为图像灰阶，
Figure 444454DEST_PATH_IMAGE134
为图像最大灰阶，
Figure 429727DEST_PATH_IMAGE135
表示每一个灰阶信息概率；
获取曝光的目标信息熵
Figure 677169DEST_PATH_IMAGE136
，其中
Figure 747893DEST_PATH_IMAGE137
为正常光照下的经验门限值，
Figure 801300DEST_PATH_IMAGE138
为低照光下的经验门限值；
根据当前曝光区间选择相应曝光函数
Figure 641080DEST_PATH_IMAGE139
；
计算当前图像信息熵
Figure 314550DEST_PATH_IMAGE140
；
比较当前图像信息熵与低照光下的信息熵门限值是否满足
Figure 606991DEST_PATH_IMAGE141
，若低于该信息熵门限值，对曝光参数进行调整；否则做光照场景判别，以完成最佳曝光；
对曝光参数进行调整包括：若
Figure 464088DEST_PATH_IMAGE142
，则做曝光量增加计算，若
Figure 158375DEST_PATH_IMAGE143
，则做曝光量减少计算；
光照场景判别包括：判别是否为低照光场景，即判断
Figure 747619DEST_PATH_IMAGE144
Figure 792936DEST_PATH_IMAGE145
是否成立，若满足则进入曝光保持状态；否则判别是否为反差光照场景，判别
Figure 188145DEST_PATH_IMAGE146
是否成立，若满足则进入曝光保持状态；否则判别是否为正常光照场景，判别
Figure 923889DEST_PATH_IMAGE147
是否成立，若满足则进入正常光照熵门限比较
Figure 11930DEST_PATH_IMAGE148
，若不低于熵门限值则进入曝光保持状态，否则迭代至欠曝光或过曝光判别，调整曝光参数，直到完成曝光目标。
在本发明一个实施例中，计算当前图像信息熵的计算方法包括：全局图像信息熵和/或局部加权信息熵，例如图8示意了对感兴趣或不感兴趣的区域分别设不同的权重。需要说明的是，图8中示意的4行4列，并不做为对本发明的限定，例如，具体区域划分可以是m行n列，m、n为大于等于1的自然数。
在本发明中，图像信息熵统计在实际应用时，会占用较多CPU软件运行时间，为此本发明提出用专用硬件电路对此计算做硬件加速。具体的，是自动曝光过程可通过图像处理器（ISP）做部分硬件加速。
在本发明实施例中，提供一种硬件加速器，用于图像处理器，进行图像信息熵的统计计算，包括：至少1个加速单元，每个加速单元包括多组N位寄存器和加法器，通过每个图像像素值所表征的灰阶去索引相应的寄存器，并读取做加一运算，再写回，其中N值取决于灰阶出现最大概率，极端情况下就是整帧像素数量。
如图9所示，所示硬件加速器包括直方图统计电路，通过每个图像像素值所表征的灰阶去索引相应的寄存器，并读取做加一运算，再写回。
本发明实施例所提供的硬件加速器，可单拍时钟完成运算写入操作，极其简单。
进一步的，为了降低芯片面积，降低功耗，本发明实施例中还提供另一种硬件加速器，用于图像处理器，进行图像信息熵的统计计算，从图9可以看出，需要3个时钟节拍方能完成一次灰阶统计运算更新，为此本发明实施例所提供的硬件加速器，在图像水平方向每三个像素点做一次统计更新，即包括：下采样高斯平滑滤波器和至少1个SRAM，高斯平滑滤波器在图像水平方向每三个像素点做高斯平滑滤波，再译码访问所述SRAM。这类似于图像水平方向1/3下采样（downscaling）。此操作对熵统计影响微乎其微，优点是能有效减少芯片面积开销。进一步的，本发明实施例中的硬件加速器还包括其他逻辑硬件如加法器、译码器等。
在本发明实施例中，所示SRAM可以是单口SRAM，可以理解的是，双口SRAM亦可，相对而言，单口SRAM面积较小，成本较低。
进一步的，请参考图10。图10为多个区域分块统计的电路结构示意图，以为了支持多区域曝光统计计算。ISP根据图像位置判断所处区域块，再通过像素灰阶去索引相应的运算单元。例如对应图8，分为16个区域块，可自左到右，自上而下分别定义为区域块0，区域块1……区域块15，在运算时，分别与block0，block1……block15相对应，由电路结构（即硬件加速器）中的区域块单独进行运算。
请继续参考图10上层软件（software）可通过CPU访问每帧图像的熵统计信息，访问时机可通过查询状态或中断触发放在帧/场消隐期间，以避免内部统计访问冲突。
在本发明中，为了提高软件运行时效，或降低芯片开销，本发明可通过归一化减少图像的灰阶表达，如通用的256灰阶降到16灰阶（原来每16个灰阶合并成一个灰阶）的操作。
本发明可以有多种应用场景，例如本发明用可于车载摄像头，由于其运动以及所处光照环境比较复杂等特性，对视频图像的曝光相应，和高适应性都有较高的要求。
综上所述，本发明提供的用于自动曝光的自巡航调节装置及方法，依据香农的信息熵概念，计算场景图像的信息熵值，非线性平滑调节曝光，以获取最优曝光的场景图像。相比传统单一亮度目标曝光具有更好的场景适应性。相比其他多亮度目标曝光方法具有更自然的连贯性与稳定性。
进一步的，在本发明的图像信息熵统计中，会占用较多CPU软件运行时间，为此本发明提出用专用硬件电路对此计算做硬件加速，可以使得在软件中运行占据的时间由硬件消耗，大大提高运算速度，提高统计效率。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种用于自动曝光的自巡航调节装置，其特征在于，包括图像感光单元和图像处理单元，所述图像处理单元针对图像感光单元检测到的光照信息实时调整曝光参数，获取最优曝光的场景图像；所述图像处理单元包括曝光调节单元和测光学习单元；所述测光学习单元测量学习不同光照环境下的图像信息概率图，并获得判别特征；所述曝光调节单元根据所述测光学习单元的判别特征，调整曝光参数，完成对目标的曝光；
所述测光学习单元中，
通过试验测量，在不同照度下获得曝光函数特性与曝光区间特性，测量值yi；
在固定曝光小区间内，设定函数
Figure 380566DEST_PATH_IMAGE001
，通过最小二乘法
Figure 94444DEST_PATH_IMAGE002
， 求解函数
Figure 608602DEST_PATH_IMAGE003
, 记录存储不同曝光区间表征函数以及最优收敛步进量；
图像信息概率图包括低照场景、反差光照场景和正常光照场景三种正常图像信息概率图，欠曝光和过曝光两种非正常图像信息概率图，
低照场景判别特征为
Figure 800549DEST_PATH_IMAGE004
，其中
Figure 349342DEST_PATH_IMAGE005
，
反差光照场景判别特征为
Figure 968542DEST_PATH_IMAGE006
，其中
Figure 766734DEST_PATH_IMAGE007
，
正常光照场景判别特征为
Figure 700055DEST_PATH_IMAGE008
，其中
Figure 667136DEST_PATH_IMAGE009
，
欠曝光判别特征为
Figure 394920DEST_PATH_IMAGE010
，
过曝光判别表征为
Figure 945988DEST_PATH_IMAGE011
，
Figure 417420DEST_PATH_IMAGE013
为针对所涉及图像传感器通过实验调试学习获得的最优值，
Figure 737543DEST_PATH_IMAGE014
为图像灰阶，
Figure 901808DEST_PATH_IMAGE015
为图像最大灰阶，
Figure 940171DEST_PATH_IMAGE016
表示每一个灰阶信息概率；
所述曝光调节单元中，比较当前图像信息熵与低照光下的信息熵门限值是否满足
Figure 949716DEST_PATH_IMAGE017
，若低于该信息熵门限值，对曝光参数进行调整；否则做光照场景判别，判别是否为低照光场景，即判断
Figure 124345DEST_PATH_IMAGE018
Figure 256249DEST_PATH_IMAGE019
是否成立，若满足则进入曝光保持状态；否则判别是否为反差光照场景，判别
Figure 719591DEST_PATH_IMAGE020
是否成立，若满足则进入曝光保持状态；否则判别是否为正常光照场景，判别
Figure 595144DEST_PATH_IMAGE021
是否成立，若满足则进入正常光照熵门限比较
Figure 827542DEST_PATH_IMAGE022
，若不低于熵门限值则进入曝光保持状态，否则迭代至欠曝光或过曝光判别，调整曝光参数，直到完成曝光目标，其中
Figure 395926DEST_PATH_IMAGE023
为正常光照下的经验门限值，
Figure 80986DEST_PATH_IMAGE024
为当前图像信息熵，
Figure 261693DEST_PATH_IMAGE025
为低照光下的经验门限值。
2.根据权利要求1所述的用于自动曝光的自巡航调节装置，其特征在于，所述图像处理单元还包括自动白平衡单元、自动对焦单元、去噪单元和增强单元。
3.一种用于自动曝光的自巡航调节方法，其特征在于，包括：
步骤一、图像感光单元将检测到的光照信息实时传递至图像处理单元；以及
步骤二、所述图像处理单元计算场景图像的信息熵值，非线性平滑调节曝光，以获取最优曝光的场景图像；
所述步骤二包括：
通过试验测量，在不同照度下获得曝光函数特性与曝光区间特性，测量值记
Figure 348598DEST_PATH_IMAGE026
；
在固定曝光小区间内，记录存储不同曝光区间表征函数和最优收敛步进量；
获得一帧图像的熵与每一个灰阶信息概率之间的关系；
测量学习不同光线环境下的图像信息概率图，包括低照场景、反差光照场景和正常光照场景，
低照场景判别特征为
Figure 87884DEST_PATH_IMAGE027
，其中
Figure 260239DEST_PATH_IMAGE028
，
反差光照场景判别特征为
Figure 477594DEST_PATH_IMAGE029
，其中
Figure 481322DEST_PATH_IMAGE030
，
正常光照场景判别特征为
Figure 329193DEST_PATH_IMAGE031
，其中
Figure 51161DEST_PATH_IMAGE032
；
测量学习欠曝光和过曝光两种非正常图像信息概率图，
欠曝光判别特征为
Figure 9890DEST_PATH_IMAGE033
，
过曝光判别表征为
Figure 868124DEST_PATH_IMAGE034
；
Figure 886896DEST_PATH_IMAGE036
为针对所涉及图像传感器通过实验调试学习获得的最优值，
Figure 96160DEST_PATH_IMAGE038
为图像灰阶，
Figure 858580DEST_PATH_IMAGE039
为图像最大灰阶，
Figure 836900DEST_PATH_IMAGE040
表示每一个灰阶信息概率；
获取曝光的目标信息熵，包括正常光照下的经验门限值，低照光下的经验门限值；
根据当前曝光区间选择相应曝光函数；
计算当前图像信息熵；
比较当前图像信息熵与低照光下的信息熵门限值是否满足
Figure 760994DEST_PATH_IMAGE041
，若低于该信息熵门限值，对曝光参数进行调整；否则做光照场景判别，以完成最佳曝光；
光照场景判别包括：判别是否为低照光场景，即判断
Figure 953160DEST_PATH_IMAGE042
Figure 253691DEST_PATH_IMAGE043
是否成立，若满足则进入曝光保持状态；否则判别是否为反差光照场景，判别
Figure 352097DEST_PATH_IMAGE044
是否成立，若满足则进入曝光保持状态；否则判别是否为正常光照场景，判别
Figure 447092DEST_PATH_IMAGE045
是否成立，若满足则进入正常光照熵门限比较
Figure 630949DEST_PATH_IMAGE046
，若不低于熵门限值则进入曝光保持状态，否则迭代至欠曝光或过曝光判别，调整曝光参数，直到完成曝光目标,其中
Figure 531909DEST_PATH_IMAGE047
为正常光照下的经验门限值，
Figure 156925DEST_PATH_IMAGE048
为当前图像信息熵。
4.根据权利要求3所述的用于自动曝光的自巡航调节方法，其特征在于，
所述步骤二包括：
通过试验测量，在不同照度下获得曝光函数特性与曝光区间特性，测量值记
Figure 750718DEST_PATH_IMAGE049
；
在固定曝光小区间内，设
Figure 93974DEST_PATH_IMAGE050
，通过最小二乘法
Figure 64204DEST_PATH_IMAGE051
， 求解函数
Figure 809306DEST_PATH_IMAGE052
, 记录存储不同曝光区间表征函数和最优收敛步进量；
一帧图像的熵表征为
Figure 574000DEST_PATH_IMAGE053
，其中图像的灰阶分为0~255，
Figure 404553DEST_PATH_IMAGE054
表示每一个灰阶信息概率；
获取曝光的目标信息熵
Figure 912894DEST_PATH_IMAGE055
，其中
Figure 512503DEST_PATH_IMAGE056
为正常光照下的经验门限值，
Figure 949563DEST_PATH_IMAGE057
为低照光下的经验门限值；
对曝光参数进行调整包括：若
Figure 267412DEST_PATH_IMAGE058
，则做曝光量增加计算，若
Figure DEST_PATH_IMAGE059
，则做曝光量减少计算。
5.根据权利要求4所述的用于自动曝光的自巡航调节方法，其特征在于，计算当前图像信息熵的计算方法包括：全局图像信息熵和/或局部加权信息熵。
CN201910800092.4A 2019-08-28 2019-08-28 用于自动曝光的自巡航调节装置及方法、硬件加速器 Active CN110312083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910800092.4A CN110312083B (zh) 2019-08-28 2019-08-28 用于自动曝光的自巡航调节装置及方法、硬件加速器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910800092.4A CN110312083B (zh) 2019-08-28 2019-08-28 用于自动曝光的自巡航调节装置及方法、硬件加速器

Publications (2)

Publication Number Publication Date
CN110312083A CN110312083A (zh) 2019-10-08
CN110312083B true CN110312083B (zh) 2020-03-06

Family

ID=68083693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910800092.4A Active CN110312083B (zh) 2019-08-28 2019-08-28 用于自动曝光的自巡航调节装置及方法、硬件加速器

Country Status (1)

Country Link
CN (1) CN110312083B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113079323B (zh) * 2021-03-31 2022-02-11 中国科学院长春光学精密机械与物理研究所 一种基于二维熵的航天遥感载荷自动曝光方法
CN117221736B (zh) * 2023-11-09 2024-01-26 成都中轨轨道设备有限公司 低照度亮清采集的自动调节ai相机系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548270B2 (en) * 2005-09-08 2009-06-16 Delphi Technologies, Inc. Method of exposure control for an imaging system
CN101873437B (zh) * 2009-09-15 2012-01-25 杭州海康威视系统技术有限公司 曝光调节方法及装置
CN106454145B (zh) * 2016-09-28 2019-05-31 湖南优象科技有限公司 一种具有场景自适应的自动曝光方法
CN108109166B (zh) * 2017-12-08 2022-03-29 上海集成电路研发中心有限公司 用于自动曝光中图像熵值的计算方法及装置

Also Published As

Publication number Publication date
CN110312083A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110062160B (zh) 图像处理方法和装置
CN110445988B (zh) 图像处理方法、装置、存储介质及电子设备
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
CN110246101B (zh) 图像处理方法和装置
CN109005369B (zh) 曝光控制方法、装置、电子设备以及计算机可读存储介质
CN110536068A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN111225162B (zh) 图像曝光的控制方法、系统、可读存储介质及摄像设备
JP4678649B2 (ja) 画像処理装置
WO2021143300A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN112351218A (zh) 自动曝光方法、装置、电子设备及计算机可读存储介质
CN110312083B (zh) 用于自动曝光的自巡航调节装置及方法、硬件加速器
CN108986097A (zh) 一种镜头起雾状态检测方法、计算机装置及可读存储介质
Ershov et al. The cube++ illumination estimation dataset
CN114095667B (zh) 一种自动曝光方法、装置、电子设备及存储介质
CN112738411B (zh) 曝光调节方法、装置、电子设备及存储介质
CN113163127A (zh) 图像处理方法、装置、电子设备及存储介质
CN111937497B (zh) 一种控制方法、控制装置及红外摄像机
CN107105172A (zh) 一种用于对焦的方法和装置
CN116645527A (zh) 图像识别方法、系统、电子设备和存储介质
CN113691724A (zh) Hdr场景检测方法与装置、终端及可读存储介质
CN111800568B (zh) 补光方法及装置
CN114430461B (zh) 基于深度学习实现软光敏的方法、装置、终端及存储介质
CN113747062B (zh) Hdr场景检测方法与装置、终端及可读存储介质
CN114979504A (zh) 相机拍摄参数确定方法、装置及存储介质
CN115103129B (zh) 拍摄参数的确定方法、装置、电子设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20191115

Address after: 315800 Zhejiang city of Ningbo province BeiCang xinqie Street Industrial Road No. 1

Applicant after: Zhu Honglei

Address before: No. 403, Lane 500, Zhangheng Road, China (Shanghai) Free Trade Pilot Area, Pudong New Area, Shanghai, 2001

Applicant before: Jinpupil Semiconductor Technology (Shanghai) Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20200220

Address after: No. 403, Lane 500, Zhangheng Road, China (Shanghai) Free Trade Pilot Area, Pudong New Area, Shanghai, 2001

Applicant after: Jinpupil Semiconductor Technology (Shanghai) Co., Ltd.

Address before: 315800 Zhejiang city of Ningbo province BeiCang xinqie Street Industrial Road No. 1

Applicant before: Zhu Honglei

TA01 Transfer of patent application right