CN114339064B - 一种基于熵权图像梯度的贝叶斯优化曝光控制方法 - Google Patents

一种基于熵权图像梯度的贝叶斯优化曝光控制方法 Download PDF

Info

Publication number
CN114339064B
CN114339064B CN202111468607.9A CN202111468607A CN114339064B CN 114339064 B CN114339064 B CN 114339064B CN 202111468607 A CN202111468607 A CN 202111468607A CN 114339064 B CN114339064 B CN 114339064B
Authority
CN
China
Prior art keywords
original image
entropy weight
image
pixel point
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111468607.9A
Other languages
English (en)
Other versions
CN114339064A (zh
Inventor
苏烈超
刘子凡
水云鹏
齐洋磊
刘翔磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xiandian Tongyuan Information Technology Co ltd
Original Assignee
Nanjing Xiandian Tongyuan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xiandian Tongyuan Information Technology Co ltd filed Critical Nanjing Xiandian Tongyuan Information Technology Co ltd
Priority to CN202111468607.9A priority Critical patent/CN114339064B/zh
Publication of CN114339064A publication Critical patent/CN114339064A/zh
Application granted granted Critical
Publication of CN114339064B publication Critical patent/CN114339064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于熵权图像梯度的贝叶斯优化曝光控制方法，涉及车载相机技术领域。本发明基于熵权图像梯度的贝叶斯优化曝光控制方法通过在原始图像的梯度信息基础上加入熵权梯度，一方面可以最小化原始图像中的梯度噪声，另一方面可以建立一个饱和掩膜，从而减小过曝光或欠曝光区域来最大限度地减少原始图像的信息损失、保留原始图像的细节特征；同时，为避免相机曝光稳定时间过长，本发明曝光控制方法中加入贝叶斯优化算法，得到最佳快门时间。本发明贝叶斯优化曝光控制方法适用于许多计算机视觉目标检测领域，如车道检测、车辆检测和行人检测等场景。

Description

一种基于熵权图像梯度的贝叶斯优化曝光控制方法
技术领域
本发明涉及车载相机技术领域，具体地，涉及一种基于熵权图像梯度的贝叶斯优化曝光控制方法。
背景技术
随着智能导航、自动驾驶等技术发展，越来越多的应用需要相机能在复杂光照条件下获得理想的成像质量。然而，在复杂的光照条件下，要获得成像质量好、细节丰富的图像，对相机的曝光控制有着严格的要求。传统的基于直方图均衡化、平均亮度等自动曝光算法能够提高图像质量性能而得到广泛应用。在有关车道检测、车辆检测和行人检测等应用中，需要提取更多的图像特征信息，此时传统的自动曝光算法会降低图像的对比度、损失图像细节，因此不再适用。
发明内容
为了克服车载相机在复杂光照条件下极易出现的过度曝光或曝光不足以及图像细节模糊等现象以及相机曝光稳定时间，本发明提出了一种基于熵权图像梯度的贝叶斯优化曝光控制方法。该方法使得车载相机在复杂的光照条件下拍出的图像仍具有较高发热图像质量，图像细节特征丰富，能维持真实场景对比度，该车载相机能够应用于机器人和自动驾驶场景中。
为实现上述目的，本发明采用如下技术方案：一种基于熵权图像梯度的贝叶斯优化曝光控制方法，具体包括如下步骤：
(1)将RGB原始图像转化为灰度图，获得灰度图上像素点i的像素灰度值k，通过Sobel算子获取原始图像上像素点i的梯度信息
Figure BDA0003390677680000011
(2)将像素点i的邻域像素灰度值均值作为灰度分布的空间特征量j，将像素点i的像素灰度值k和空间特征量j组成特征二元组(k,j)，计算所述像素点i在原始图像上的出现概率pkj；
(3)根据步骤(2)计算得到的像素点i在原始图像上的出现概率pkj求取所述像素点i的二维熵值Hi，并构建激活函数π(Hi)；
(4)根据步骤(3)获取的二维熵值计算得到所述像素点i的权值wi，从而获得所述像素点i在原始图像中的熵权Wi；
(5)根据步骤(1)获取的梯度信息
Figure BDA0003390677680000025
步骤(3)构建的激活函数π(Hi)以及步骤(4)中获得的熵权Wi，得到所述像素点i的熵权图像梯度值gi；
(6)重复步骤(1)-(5)，直至获得原始图像上所有像素点i的熵权图像梯度值，对所有像素点i的熵权图像梯度值进行求和，得到原始图像熵权梯度；
(7)根据步骤(6)获得多组原始图像熵权梯度，输入贝叶斯算法中，通过高斯过程找出原始图像熵权梯度的最大值，得到相机的最佳曝光时间。
进一步地，所述邻域为3×3邻域。
进一步地，所述像素点i在原始图像上的出现概率pkj的获取过程具体为：
pkj＝N(k,j)/N，
其中，N(k,j)为特征二元组(k,j)在原始图像上出现的频数，N为原始图像的像素点个数。
进一步地，所述像素点i的二维熵值Hi的计算过程具体为：
Figure BDA0003390677680000021
进一步地，所述激活函数π(Hi)的构建过程为：
Figure BDA0003390677680000022
其中，α为第一常数，取值范围为[23,25]，τ为第二常数，取值为4。
进一步地，所述像素点i的权值wi的计算过程为：
Figure BDA0003390677680000023
其中，σ表示所述像素点i在原始图像上的出现概率的方差，mean()表示取均值函数。
进一步地，所述熵权Wi的计算过程为：
Figure BDA0003390677680000024
其中，N为原始图像的像素点个数。
进一步地，所述像素点i的熵权图像梯度值gi的获取过程为：
Figure BDA0003390677680000031
与现有技术相比，本发明具有如下有益效果：本发明基于熵权图像梯度的贝叶斯优化曝光控制方法通过在原始图像的梯度信息基础上加入熵权梯度，一方面可以最小化原始图像中的梯度噪声，另一方面可以建立一个饱和掩膜，从而减小过曝光或欠曝光区域来最大限度地减少原始图像的信息损失、保留原始图像的细节特征；同时，为避免相机曝光稳定时间过长，本发明曝光控制方法中加入贝叶斯优化算法，得到最佳快门时间。本发明贝叶斯优化曝光控制方法适用于许多计算机视觉目标检测领域，如车道检测、车辆检测和行人检测等场景。
附图说明
图1为本发明基于熵权图像梯度的贝叶斯优化曝光控制方法的流程图；
图2为本发明的贝叶斯优化曝光控制方法中各种光照条件下成像效果图：图2中的(a)为光照直射条件下的成像效果图，图2中的(b)为背光条件下的成像效果图；
图3为在同一光照条件下本发明的贝叶斯优化曝光控制方法的成像效果与基于平均亮度的自动曝光成像效果比较图：图3中的(a)为基于平均亮度的自动曝光成像效果图，图3中的(b)为本发明贝叶斯优化曝光控制方法的成像效果图。
具体实施方式
下面结合附图对本发明的技术方案作进一步地解释说明。
如图1为本发明基于熵权图像梯度的贝叶斯优化曝光控制方法的流程图，该贝叶斯优化曝光控制方法具体包括如下步骤：
(1)将RGB原始图像转化为灰度图，获得灰度图上像素点i的像素灰度值k，通过Sobel算子获取原始图像上像素点i的梯度信息
Figure BDA0003390677680000032
(2)将像素点i的3×3邻域像素灰度值均值作为灰度分布的空间特征量j，将原始图像上像素点i的像素灰度值k和空间特征量j组成特征二元组(k,j)，计算像素点i在原始图像上的出现概率pkj；本发明中像素点i在原始图像上的出现概率pkj的获取过程具体为：
pkj＝N(k,j)/N，
其中，N(k,j)为特征二元组(k,j)在原始图像上出现的频数，N为原始图像的像素点个数。
(3)根据步骤(2)计算得到的像素点i在原始图像上的出现概率p求取像素点i的二维熵值Hi，并构建激活函数π(Hi)；本发明中二维熵值Hi的计算过程为：
Figure BDA0003390677680000041
本发明中所采用的激活函数π(Hi)基于双曲切线模型，具体的构建过程为：
Figure BDA0003390677680000042
其中，α为第一常数，取值范围为[23,25]，α提供了过渡的曲线特征，决定了二维熵值和图像梯度之间的权衡，α值越大，饱和区域控制越快，梯度信息下降得越快；相反，α越小，算法考虑的梯度分量越多，本发明通过实验对比成像效果，将α的取值范围设置为[23,25]；τ为第二常数，取值为4，τ的值决定了暴露时间轴上的位移，如果二维熵值接近于零，则原始图像中不包含任何信息(即饱和)，即τ以最小熵值水平确定可以被确定为饱和像素的像素值；若二维熵值低于设计阈值，本发明中的设计阈值取值为0.05，则认为该区域已饱和，并通过激活函数减小整个梯度，加入激活函数使得当二维熵值小的像素点的梯度信息量被抑制，从而减小了梯度噪声对熵权梯度值的影响。
(4)根据步骤(3)获取的二维熵值计算得到像素点i的权值
Figure BDA0003390677680000043
其中，σ表示所述像素点i在原始图像上的出现概率的方差，mean()表示取均值函数，从而获得像素点i在原始图像中的熵权/>
Figure BDA0003390677680000044
其中，N为原始图像的像素点个数，通过熵权来最小化图像梯度。由于原始图像中一些像素点的梯度值很小，其本质上不代表原始图像的关键纹理信息，而是梯度噪声，不希望把它计算到原始图像梯度中；且梯度信息小的像素点图像熵值也小，获得的熵权就小，加入的熵权可以减小这些梯度噪声的影响。
(5)为了通过饱和掩模来减小过曝光或欠曝光区域，本发明使用激活函数π(Hi)来补充熵权图像梯度值gi，具体地，根据步骤(1)获取的梯度信息
Figure BDA0003390677680000045
步骤(3)构建的激活函数π(Hi)以及步骤(4)中获得的熵权Wi，得到像素点i的熵权图像梯度值
Figure BDA0003390677680000046
二维熵值和梯度信息都能够反映原始图像的信息量，现有的曝光方法中大都仅考虑原始图像的梯度信息，而本发明中通过二维熵值引入了熵权，加入权重计算各个像素点对原始图像梯度贡献，来减少噪音。
(6)重复步骤(1)-(5)，直至获得原始图像上所有像素点i的熵权图像梯度值，对所有像素点i的熵权图像梯度值进行求和，得到原始图像熵权梯度；
(7)根据步骤(6)获得多组原始图像熵权梯度，输入贝叶斯算法中，通过高斯过程找出原始图像熵权梯度的最大值，得到相机的最佳曝光时间。
图2为本发明的贝叶斯优化曝光控制方法中各种光照条件下成像效果图：图2中的(a)为光照直射条件下的成像效果图，图2中的(b)为背光条件下的成像效果图；可以看出，不管在光照直射条件下还是背光条件下，图像亮度能够维持较好的水平，并且图像的特征损失也在可接受范围内。
如图3为在同一光照条件下本发明的贝叶斯优化曝光控制方法的成像效果与基于平均亮度的自动曝光成像效果比较图：图3中的(a)为基于平均亮度的自动曝光成像效果图，图3中的(b)为本发明贝叶斯优化曝光控制方法的成像效果图，可以看出，两种自动曝光方法都能较好的维持隧道内的特征，但图3中的(a)明显以过度曝光为代价，视觉效果差；而本发明基于熵权图像梯度的贝叶斯优化曝光控制方法能够在保持隧道原有特征的基础上，保证图像良好的视觉效果。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施方式，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种基于熵权图像梯度的贝叶斯优化曝光控制方法，其特征在于，具体包括如下步骤：
(1)将RGB原始图像转化为灰度图，获得灰度图上像素点i的像素灰度值k，通过Sobel算子获取原始图像上像素点i的梯度信息
Figure QLYQS_1
(2)将像素点i的邻域像素灰度值均值作为灰度分布的空间特征量j，将像素点i的像素灰度值k和空间特征量j组成特征二元组(k,j)，计算所述像素点i在原始图像上的出现概率pkj；
(3)根据步骤(2)计算得到的像素点i在原始图像上的出现概率pkj求取所述像素点i的二维熵值Hi，并构建激活函数π(Hi)；
(4)根据步骤(3)获取的二维熵值计算得到所述像素点i的权值wi，从而获得所述像素点i在原始图像中的熵权Wi；
(5)根据步骤(1)获取的梯度信息
Figure QLYQS_2
步骤(3)构建的激活函数π(Hi)以及步骤(4)中获得的熵权Wi，得到所述像素点i的熵权图像梯度值gi；
(6)重复步骤(1)-(5)，直至获得原始图像上所有像素点i的熵权图像梯度值，对所有像素点i的熵权图像梯度值进行求和，得到原始图像熵权梯度；
(7)根据步骤(6)获得多组原始图像熵权梯度，输入贝叶斯算法中，通过高斯过程找出原始图像熵权梯度的最大值，得到相机的最佳曝光时间。
2.根据权利要求1所述基于熵权图像梯度的贝叶斯优化曝光控制方法，其特征在于，所述邻域为3×3邻域。
3.根据权利要求1所述基于熵权图像梯度的贝叶斯优化曝光控制方法，其特征在于，所述像素点i在原始图像上的出现概率pkj的获取过程具体为：
pkj＝N(k,j)/N，
其中，N(k,j)为特征二元组(k,j)在原始图像上出现的频数，N为原始图像的像素点个数。
4.根据权利要求1所述基于熵权图像梯度的贝叶斯优化曝光控制方法，其特征在于，所述像素点i的二维熵值Hi的计算过程具体为：
Figure QLYQS_3
。
5.根据权利要求1所述基于熵权图像梯度的贝叶斯优化曝光控制方法，其特征在于，所述激活函数π(Hi)的构建过程为：
Figure QLYQS_4
其中，α为第一常数，取值范围为[23,25]，τ为第二常数，取值为4。
6.根据权利要求1所述基于熵权图像梯度的贝叶斯优化曝光控制方法，其特征在于，所述像素点i的权值wi的计算过程为：
Figure QLYQS_5
其中，σ表示所述像素点i在原始图像上的出现概率的方差，mean()表示取均值函数。
7.根据权利要求1所述基于熵权图像梯度的贝叶斯优化曝光控制方法，其特征在于，所述熵权Wi的计算过程为：
Figure QLYQS_6
其中，N为原始图像的像素点个数。
8.根据权利要求1所述基于熵权图像梯度的贝叶斯优化曝光控制方法，其特征在于，所述像素点i的熵权图像梯度值gi的获取过程为：
Figure QLYQS_7
CN202111468607.9A 2021-12-03 2021-12-03 一种基于熵权图像梯度的贝叶斯优化曝光控制方法 Active CN114339064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111468607.9A CN114339064B (zh) 2021-12-03 2021-12-03 一种基于熵权图像梯度的贝叶斯优化曝光控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111468607.9A CN114339064B (zh) 2021-12-03 2021-12-03 一种基于熵权图像梯度的贝叶斯优化曝光控制方法

Publications (2)

Publication Number Publication Date
CN114339064A CN114339064A (zh) 2022-04-12
CN114339064B true CN114339064B (zh) 2023-06-23

Family

ID=81049231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111468607.9A Active CN114339064B (zh) 2021-12-03 2021-12-03 一种基于熵权图像梯度的贝叶斯优化曝光控制方法

Country Status (1)

Country Link
CN (1) CN114339064B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116347247A (zh) * 2022-12-23 2023-06-27 中国科学院长春光学精密机械与物理研究所 基于贝叶斯优化的线阵航天遥感载荷自动曝光方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436639A (zh) * 2011-09-02 2012-05-02 清华大学 一种去除图像模糊的图像采集方法和图像采集系统
EP2731326A2 (en) * 2012-11-12 2014-05-14 Samsung Electronics Co., Ltd Method and apparatus for shooting and storing multi-focused image in electronic device
KR102105787B1 (ko) * 2019-01-28 2020-04-29 한국과학기술원 베이지안 최적화를 이용한 카메라 속성 제어 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436639A (zh) * 2011-09-02 2012-05-02 清华大学 一种去除图像模糊的图像采集方法和图像采集系统
EP2731326A2 (en) * 2012-11-12 2014-05-14 Samsung Electronics Co., Ltd Method and apparatus for shooting and storing multi-focused image in electronic device
KR102105787B1 (ko) * 2019-01-28 2020-04-29 한국과학기술원 베이지안 최적화를 이용한 카메라 속성 제어 방법 및 장치

Also Published As

Publication number Publication date
CN114339064A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN111915526B (zh) 一种基于亮度注意力机制低照度图像增强算法的摄影方法
Huang et al. An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems
CN109754377B (zh) 一种多曝光图像融合方法
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
CN106454145A (zh) 一种具有场景自适应的自动曝光方法
CN111915525B (zh) 基于改进深度可分离生成对抗网络的低照度图像增强方法
CN109639994B (zh) 嵌入式车载相机曝光时间动态调整方法
CN114339064B (zh) 一种基于熵权图像梯度的贝叶斯优化曝光控制方法
CN113724155A (zh) 用于自监督单目深度估计的自提升学习方法、装置及设备
CN114998141A (zh) 基于多分支网络的空间环境高动态范围成像方法
CN113327206A (zh) 基于人工智能的输电线智能巡检系统的图像模糊处理方法
CN111784594A (zh) 一种红外图像对比度增强方法及装置
CN109345479B (zh) 一种视频监控数据的实时预处理方法及存储介质
CN106296626B (zh) 一种基于梯度融合的夜间视频增强方法
CN112907470A (zh) 基于Lab色域变换、分类及白平衡的水下图像恢复方法
CN115660994B (zh) 一种基于区域最小二乘估计的图像增强方法
CN103595933A (zh) 一种图像的降噪方法
CN115482173A (zh) 一种基于Retinex理论的夜间无人机跟踪低照度图像增强方法
CN116797468A (zh) 基于软边重建的自校准深度曲线估计的低光照图像增强方法
CN106952243A (zh) Uuv近海面红外图像自适应归并直方图拉伸增强方法
CN114418874A (zh) 一种低照度图像增强方法
CN114140347A (zh) 一种基于暗通道先验的无人机航拍图像去雾与增强方法
CN112258434A (zh) 一种静态场景下细节保持多曝光图像融合算法
CN113112429B (zh) 一种用于复杂光照条件下有雾图像的通用增强框架
CN112541859A (zh) 一种光照自适应的人脸图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant