CN113206949B - 基于熵加权图像梯度的半直接单目视觉slam方法 - Google Patents

基于熵加权图像梯度的半直接单目视觉slam方法 Download PDF

Info

Publication number
CN113206949B
CN113206949B CN202110354965.0A CN202110354965A CN113206949B CN 113206949 B CN113206949 B CN 113206949B CN 202110354965 A CN202110354965 A CN 202110354965A CN 113206949 B CN113206949 B CN 113206949B
Authority
CN
China
Prior art keywords
image
entropy
gradient
exposure time
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110354965.0A
Other languages
English (en)
Other versions
CN113206949A (zh
Inventor
朱静
明家辉
钟绮岚
王坤辉
凌兴涛
李林
尹邦政
梁健
梁显武
林艳梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202110354965.0A priority Critical patent/CN113206949B/zh
Publication of CN113206949A publication Critical patent/CN113206949A/zh
Application granted granted Critical
Publication of CN113206949B publication Critical patent/CN113206949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于熵加权图像梯度的半直接单目视觉SLAM方法,包括以下步骤:S1、记录曝光时间,并读入下一帧图像;S2、将图像分成若干个图像块;S3、计算每个图像块的图像熵,根据图像熵分配权重;S4、计算每个图像块的图像梯度;S5、记录6次调整相机曝光时间后的图像熵加权图像梯度值,分别作为多项式拟合曲线的6个点的x坐标和y坐标,拟合曲线后用牛顿迭代法寻找曲线函数值最大值,其对应的x坐标即为最优曝光时间;S6、通过对应接口传入半直接法单目视觉SLAM的视觉里程计中;S7、判断相机获取的图片是否为最后一帧图像。本发明相比传统曝光算法下直接法的单目视觉SLAM方法,利用图像熵梯度寻找最佳曝光时间可以大大提高动态范围。

Description

基于熵加权图像梯度的半直接单目视觉SLAM方法
技术领域
本发明属于SLAM技术领域,具体涉及一种基于熵加权图像梯度的半直接单目视觉SLAM方法。
背景技术
随着机器人定位理论和计算机视觉技术的不断发展和进步,基于视觉的同步定位与地图构建技术(Visual Simultaneous Localization and Mapping,V-SLAM)的研究正在成为机器人技术领域新的研究热点。视觉SLAM技术通过摄像机获取视觉信息进行同时定位与地图创建,获得的机器人三维位姿信息和环境信息,是移动机器人执行其他任务的基础。
前端跟踪部分的计算方法主要有两种:特征法和直接法。特征法首先需要提取图像特征点和计算描述子,进行特征点匹配后通过最小化重投影误差计算出机器人位姿。然而,特征提取和匹配是耗时的,这使得基于特征法的前端跟踪比较慢。直接法利用光度不变性原理,通过最小化光度误差来获取机器人的位姿信息,计算像素深度,实现自身定位和建图。直接法相对于特征法,由于不需要提取图像特征,执行速度较快。
在高动态范围环境(HDR)中,如果没有适当的曝光控制,图像可能容易过度曝光或曝光不足,并且只能从这些图像中提取非常少的信息。为了克服动态范围窄的问题,许多相机会自动调整曝光时间。然而,直接法的跟踪都直接依赖于点的亮度,曝光时间的改变打破了连续帧的光度不变假设,这将会使得直接法在HDR环境中容易跟踪失败。因而为了保证更加准确的控制相机获取图像时的曝光时间,需要开发一种新的方法。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提出一种基于熵加权图像梯度的半直接单目视觉SLAM方法,相比传统曝光算法下直接法的单目视觉SLAM方法,利用图像熵梯度寻找最佳曝光时间可以大大提高动态范围,同时加入图像分块的思想,代替原来计算每个像素的图像梯度大大减少计算量,可以有效提高系统鲁棒性。
为了达到上述目的,本发明采用以下技术方案:
基于熵加权图像梯度的半直接单目视觉SLAM方法,包括以下步骤:
S1、开启相机先通过调整光圈、曝光增益达到最佳的曝光效果,并记录曝光时间,并读入下一帧图像;
S2、若当前图像与上一帧图像的平均亮度差值的绝对值超过上一帧图像亮度平均值的15%,则将图像分成若干个图像块;
S3、计算每个图像块的图像熵,根据图像熵分配权重;
S4、计算每个图像块的图像梯度,根据步骤S3分配的权重,对所有图像块的梯度进行累加得到当前帧图像梯度;
S5、记录6次调整相机曝光时间后的图像熵加权图像梯度值,分别作为多项式拟合曲线的6个点的x坐标和y坐标,拟合曲线后用牛顿迭代法寻找曲线函数值最大值,其对应的x坐标即为最优曝光时间;
S6、通过对应接口传入半直接法单目视觉SLAM的视觉里程计中;
S7、判断相机获取的图片是否为最后一帧图像,若否,则对比上一帧图像的亮度平均值并返回到步骤S1,若是,则结束。
进一步的,所述图像块的图像熵具体由公式(1)计算得到,公式(1)如下:
Figure BDA0003003274540000031
其中,j表示任一图像块,Ej表示图像块j的图像熵。
进一步的,所述根据图像熵分配权重具体为:
权重由基于分块图像熵的权值函数决定,权值函数具体如下:
Figure BDA0003003274540000032
其中,W(Ej)表示图像块j的权重;根据公式(2)得所述图像块的图像熵越小,则权重越接近于0,图像块的图像熵越大,则权重越接近于1。
进一步的,所述图像块的图像梯度计算过程如下:
采用图像金字塔将分辨率设为320*240,并分成48块图像块,每个图像块大小为40*40;
计算图像块的图像梯度,图像梯度表示为像素的x方向和y方向的导数:
Figure BDA0003003274540000033
其中,图像块中每个像素i的梯度记为
Figure BDA0003003274540000034
图像块j的图像梯度即图像块j中每个像素i的梯度的总和,记为Gradj
进一步的,所述熵加权图像梯度值的计算过程如下:
通过公式(4)对每个图像块覆上权重,则计算出图像的熵加权图像梯度:
Gj=W(Ej)*Gradj  (4)。
进一步的,所述调整相机曝光时间具体操作为:
若当前帧图像比上一帧图像的平均亮度值大,则将上一帧图像标为对比图像,减小相机曝光时间5次,每次调整幅度为对比图像曝光时间的5%;
若当前帧图像比上一帧图像的平均亮度值小,则增加相机曝光时间5次,每次调整幅度为对比图像曝光时间的5%。
进一步的,所述相机具体采用分辨率为640*480像素的相机。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明方法相比传统曝光算法可以保证半直接法的SLAM系统在HDR环境下不易跟丢对象目标;本发明使用图像熵梯度来表征图像质量,得到一个与灰度直方图相当的效果,并且对图像分块计算,相比原来对每个像素处理大大提高系统的实时性,同时保证一定的曝光效果。
附图说明
图1是本发明方法的流程图;
图2是基于分块图像熵的权值函数的图像;
图3是图像熵与曝光时间映射关系。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
如图1所示,本发明,基于熵加权图像梯度的半直接单目视觉SLAM方法,包括以下步骤:
S1、开启相机先通过调整光圈、曝光增益达到最佳的曝光效果,并记录曝光时间,并读入下一帧图像;所述相机具体采用分辨率为640*480像素的相机。
S2、若当前图像与上一帧图像的平均亮度差值的绝对值超过上一帧图像亮度平均值的15%,则将图像分成若干个图像块;
S3、计算每个图像块的图像熵,根据图像熵分配权重,具体为:
所述图像块的图像熵具体由公式(1)计算得到,公式(1)如下:
Figure BDA0003003274540000051
其中,j表示任一图像块,Ej表示图像块j的图像熵。
所述根据图像熵分配权重具体为:
权重由基于分块图像熵的权值函数决定,权值函数具体如下:
Figure BDA0003003274540000052
其中,W(Ej)表示图像块j的权重;如图2所示,根据公式(2)得所述图像块的图像熵越小,则权重越接近于0,图像块的图像熵越大,则权重越接近于1。若图像块的图像熵的小于0.5,分配的权值将接近于0,从而起到对曝光不合理(欠曝光和过曝光)的图像块的抑制作用,如图3所示,为图像熵与曝光时间的映射关系。
S4、计算每个图像块的图像梯度,根据步骤S3分配的权重,对所有图像块的的梯度进行累加得到当前帧图像梯度;
所述图像块的图像梯度计算过程如下:
采用图像金字塔将分辨率设为320*240,并分成48块图像块,每个图像块大小为40*40;
计算图像块的图像梯度,图像梯度表示为像素的x方向和y方向的导数:
Figure BDA0003003274540000053
其中,图像块中每个像素i的梯度记为
Figure BDA0003003274540000054
图像块j的图像梯度即图像块j中每个像素i的梯度的总和,记为Gradj
S5、记录6次调整相机曝光时间后的图像熵加权图像梯度值,分别作为多项式拟合曲线的6个点的x坐标和y坐标,拟合曲线后用牛顿迭代法寻找曲线函数值最大值,其对应的x坐标即为最优曝光时间;
所述调整相机曝光时间具体操作为:
若当前帧图像比上一帧图像的平均亮度值大,则将上一帧图像标为对比图像,减小相机曝光时间5次,每次调整幅度为对比图像曝光时间的5%;
若当前帧图像比上一帧图像的平均亮度值小,则增加相机曝光时间5次,每次调整幅度为对比图像曝光时间的5%。
所述熵加权图像梯度值的计算过程如下:
通过公式(4)对每个图像块覆上权重,则计算出图像的熵加权图像梯度:
Gj=W(Ej)*Gradj  (4)。
S6、通过对应接口传入半直接法单目视觉SLAM的视觉里程计中;
S7、判断相机获取的图片是否为最后一帧图像,若否,则对比上一帧图像的亮度平均值并返回到步骤S1,若是,则结束。
在本实施例中,当发现当前帧图像亮度有明显变化,则依次按照特定步长改变5次曝光时间,并计算每次调整曝光时间后的熵加权图像梯度,得到六个计算值,并通过多项式拟合曲线方式,寻找基于分块图像的熵加权图像梯度值最大值。该值就是最佳曝光值,并即使调整相机参数,并传入直接法单目视觉SLAM的视觉里程计接口当中,如此迭代循环直到下一次检测到亮度明显变化再次触发。
还需要说明的是,在本说明书中,诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.基于熵加权图像梯度的半直接单目视觉SLAM方法,其特征在于,包括以下步骤:
S1、开启相机先通过调整光圈和曝光增益达到最佳的曝光效果,并记录曝光时间,并读入下一帧图像;
S2、若当前图像与上一帧图像的平均亮度差值的绝对值超过上一帧图像亮度平均值的15%,则将当前图像分成若干个图像块;
S3、计算每个图像块的图像熵,根据图像熵分配权重;图像块的图像熵具体由公式(1)计算得到,公式(1)如下:
Figure FDA0004138344590000011
其中,j表示任一图像块,Ej表示图像块j的图像熵;
根据图像熵分配权重具体为:
权重由基于分块图像熵的权值函数决定,权值函数具体如下:
Figure FDA0004138344590000012
其中,W(Ej)表示图像块j的权重;根据公式(2)得所述图像块的图像熵越小,则权重越接近于0,图像块的图像熵越大,则权重越接近于1;
S4、计算每个图像块的图像梯度,根据步骤S3分配的权重,对所有图像块的梯度进行累加得到图像熵加权图像梯度值;
S5、记录6次调整相机曝光时间后的图像熵加权图像梯度值,分别作为多项式拟合曲线的6个点的x坐标和y坐标,拟合曲线后用牛顿迭代法寻找曲线函数值最大值,其对应的x坐标即为最优曝光时间;
S6、通过对应接口传入半直接法单目视觉SLAM的视觉里程计中;
S7、判断相机获取的图片是否为最后一帧图像,若否,则对比上一帧图像的亮度平均值并返回到步骤S1,若是,则结束。
2.根据权利要求1所述的基于熵加权图像梯度的半直接单目视觉SLAM方法,其特征在于,所述图像块的图像梯度计算过程如下:
采用图像金字塔将分辨率设为320*240,并分成48块图像块,每个图像块大小为40*40;
计算图像块的图像梯度,图像梯度表示为像素的x方向和y方向的导数:
Figure FDA0004138344590000021
其中,图像块中每个像素i的梯度记为
Figure FDA0004138344590000022
图像块j的图像梯度即图像块j中每个像素i的梯度的总和,记为Gradj
3.根据权利要求2所述的基于熵加权图像梯度的半直接单目视觉SLAM方法,其特征在于,所述熵加权图像梯度值的计算过程如下:
通过公式(4)对每个图像块覆上权重,则计算出图像的熵加权图像梯度:
Gj=W(Ej)*Gradj(4)。
4.根据权利要求1所述的基于熵加权图像梯度的半直接单目视觉SLAM方法,其特征在于,所述调整相机曝光时间具体操作为:
若当前帧图像比上一帧图像的平均亮度值大,则将上一帧图像标为对比图像,减小相机曝光时间5次,每次调整幅度为对比图像曝光时间的5%;
若当前帧图像比上一帧图像的平均亮度值小,则增加相机曝光时间5次,每次调整幅度为对比图像曝光时间的5%。
5.根据权利要求1所述的基于熵加权图像梯度的半直接单目视觉SLAM方法,其特征在于,所述相机具体采用分辨率为640*480像素的相机。
CN202110354965.0A 2021-04-01 2021-04-01 基于熵加权图像梯度的半直接单目视觉slam方法 Active CN113206949B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110354965.0A CN113206949B (zh) 2021-04-01 2021-04-01 基于熵加权图像梯度的半直接单目视觉slam方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110354965.0A CN113206949B (zh) 2021-04-01 2021-04-01 基于熵加权图像梯度的半直接单目视觉slam方法

Publications (2)

Publication Number Publication Date
CN113206949A CN113206949A (zh) 2021-08-03
CN113206949B true CN113206949B (zh) 2023-04-28

Family

ID=77026109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110354965.0A Active CN113206949B (zh) 2021-04-01 2021-04-01 基于熵加权图像梯度的半直接单目视觉slam方法

Country Status (1)

Country Link
CN (1) CN113206949B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873097A (zh) * 2021-09-27 2021-12-31 北京紫光展锐通信技术有限公司 一种运动检测方法、装置、存储介质和电子设备
CN114268703B (zh) * 2021-12-27 2024-10-18 安徽淘云科技股份有限公司 一种扫描屏幕时的成像调节方法、装置、存储介质及设备
CN115134492B (zh) * 2022-05-31 2024-03-19 北京极光智芯科技有限公司 图像采集方法、电子设备和计算机可读介质
CN115866411B (zh) * 2023-03-01 2023-05-12 深圳市昂星科技有限公司 基于光线校正的车载监控自适应曝光方法、装置及设备
CN117221736B (zh) * 2023-11-09 2024-01-26 成都中轨轨道设备有限公司 低照度亮清采集的自动调节ai相机系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090127602A (ko) * 2008-06-09 2009-12-14 삼성전자주식회사 엔트로피를 이용한 영상 획득 방법 및 장치
CN108986037B (zh) * 2018-05-25 2020-06-16 重庆大学 基于半直接法的单目视觉里程计定位方法及定位系统
CN111343388B (zh) * 2019-04-11 2021-09-24 杭州海康慧影科技有限公司 一种曝光时间的确定方法、装置
CN111212241B (zh) * 2020-01-13 2021-06-18 禾多科技(北京)有限公司 基于图像梯度和熵融合的高速自动驾驶自动曝光控制方法
CN111709893B (zh) * 2020-06-16 2023-06-27 华南师范大学 一种基于信息熵和锐化调整的orb-slam2改进算法

Also Published As

Publication number Publication date
CN113206949A (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN113206949B (zh) 基于熵加权图像梯度的半直接单目视觉slam方法
CN112396562B (zh) 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法
JP5197279B2 (ja) コンピュータによって実施されるシーン内を移動している物体の3d位置を追跡する方法
CN111144213B (zh) 一种对象检测方法和相关设备
CN108521554B (zh) 大场景多目标协同跟踪方法、智能监控系统、交通系统
CN107590791B (zh) 图像增强方法以及图像处理装置
CN112132874B (zh) 无标定板异源图像配准方法、装置、电子设备及存储介质
CN108416754A (zh) 一种自动去除鬼影的多曝光图像融合方法
CN107403414B (zh) 一种利于模糊核估计的图像区域选择方法和系统
CN109510949B (zh) 基于图像特征点有效亮度的相机自动曝光方法
CN112565636A (zh) 图像处理方法、装置、设备和存储介质
CN108717704A (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
CN108596947B (zh) 一种适用于rgb-d相机的快速目标跟踪方法
CN113744307A (zh) 一种基于阈值动态调整的图像特征点跟踪方法和系统
KR101766823B1 (ko) 불규칙한 조도 변화에 강건한 영상 기반 주행거리 측정 시스템 및 방법
CN112995525B (zh) 自行走设备的摄像曝光方法和装置
CN111950599B (zh) 一种动态环境下融合边缘信息的稠密视觉里程计方法
CN111798484B (zh) 基于事件相机的连续稠密光流估计方法及系统
WO2020019239A1 (zh) 一种定位方法、装置、终端和可读存储介质
CN112767481A (zh) 一种基于视觉边缘特征的高精度定位及建图方法
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
JP5080416B2 (ja) 入力画像から検出対象物の像を検出する画像処理装置
CN116152121A (zh) 基于畸变参数的曲面屏生成方法、矫正方法
CN115937011B (zh) 一种基于时滞特征回归的关键帧位姿优化视觉slam方法、存储介质及设备
CN116758021A (zh) 一种基于图像分析的安装标准检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant