CN113382143B - 一种消防机器人双目相机自动曝光调节方法 - Google Patents

一种消防机器人双目相机自动曝光调节方法 Download PDF

Info

Publication number
CN113382143B
CN113382143B CN202110641626.0A CN202110641626A CN113382143B CN 113382143 B CN113382143 B CN 113382143B CN 202110641626 A CN202110641626 A CN 202110641626A CN 113382143 B CN113382143 B CN 113382143B
Authority
CN
China
Prior art keywords
exposure
binocular
image
brightness
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110641626.0A
Other languages
English (en)
Other versions
CN113382143A (zh
Inventor
李伟
张帅帅
况凯骞
朱劲松
张博
李贝贝
刘秀梅
潘禄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Shenzhen Technology Institute of Urban Public Safety Co Ltd
Original Assignee
China University of Mining and Technology CUMT
Shenzhen Technology Institute of Urban Public Safety Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT, Shenzhen Technology Institute of Urban Public Safety Co Ltd filed Critical China University of Mining and Technology CUMT
Priority to CN202110641626.0A priority Critical patent/CN113382143B/zh
Publication of CN113382143A publication Critical patent/CN113382143A/zh
Application granted granted Critical
Publication of CN113382143B publication Critical patent/CN113382143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种消防机器人双目相机的自动曝光调节方法，适用于井下极端环境中使用。按照固定曝光增益由小到大逐渐增加曝光时间和固定曝光时间由小到大逐渐增加曝光增益的的方式在极端环境下拍摄获取复杂场景下双目相机多样本图像数据；考虑到双目相机特殊结构和双目成像系统信息重叠性，对双目相机多样本图像数据进行有效互信息熵分析，利用视差图质量分析因子对双目图像立体匹配进行视差图质量分析，确定消防机器人双目视觉系统自动曝光调节的图像亮度目标；根据计算当前帧图像的亮度信息与目标亮度信息对比得到变步长曝光调节时间，对相机进行自动曝光控制；本装置结构简单，使用方法有效实用性强，便于移植和拓展。

Description

一种消防机器人双目相机自动曝光调节方法
技术领域
本发明涉及一种双目相机自动曝光调节方法，尤其适用于救灾机器人上使用的一种消防机器人双目相机自动曝光调节方法。
背景技术
消防机器人消防救援中的核心和关键是利用双目视觉系统对火灾场景环境进行拍摄获取双目图像，然后通过图像传输协议将双目图像传回计算设备对火灾场景进行立体匹配，计算得到火源的空间位置信息，实现消防机器人识别并计算火焰位置后，控制消防炮对火场中的火点进行精准打击。由此可见，消防机器人的双目视觉系统的双目成像质量的优劣直接影响了火点打击的精度。现阶段对于消防机器人的双目视觉系统的曝光调节方式主要依赖的传统的手动调节方式或者相机自带的自动曝光调节功能，而由于火灾场景光照条件的复杂性与极端性，在过曝与欠曝环境中存在双目图像亮度调节不合适，立体匹配效果差，相机曝光调节效率低，不能适应火灾复杂的环境等问题。
发明内容
针对上述技术问题，本发明提出了一种消防机器人双目相机自动曝光调节方法，用以确定消防机器人双目相机的曝光参数以及亮度调节目标，调节效率高，动态范围广，适用于双目相机立体匹配，该方法包括：
为实现上述技术目的，本发明的用于消防机器人双目视觉的相机自动曝光调节方法，用于消防机器人双目视觉的相机自动曝光调节方法，双目相机自动曝光调节装置包括双目相机、图像传输装置、图像存储装置、计算装置，其中双目相机包括并排设置的右相机镜头和右相机镜头，左相机镜头和右相机镜头采集到的双目图像通过图像传输装置发送到图像存储装置中，并通过计算装置进行处理；
具体步骤如下：
a利用双目相机在消防机器人使用的极端环境下，以1/10步长的频率分别使用定曝光时间模式和定曝光增益模式使用双目相机各拍摄10组双目图像样本，从而获得10组不同曝光时间的双目图像样本以及10组不同曝光增益的双目图像样本；所述极端环境包括环境光照强烈的过曝环境与环境光照条件较差的欠曝环境；
b然后从20组双目图像样本中，计算出每一组双目相机图像样本的有效平均亮度，以样本自身标注的立体匹配视差图质量评估,以及双目图像互信息熵方法确定该消防机器人上安装双目相机的最佳曝光亮度/目标亮度；
c实际使用中，利用有效平均亮度作为双目相机自动曝光调节是否达到实际使用需求的衡量尺度，然后以双目相机的最佳曝光目标亮度作为基准，计算双目相机当前的帧图像亮度与基准目标亮度的差距，为了更快速的到达最佳曝光时间，使用自动曝光调节模型计算出下一步相机曝光的调节的步长，即下一次曝光时间与当前相机曝光时间的差，然后将曝光时间、曝光增益应用到双目相机后再次计算双目相机当前帧图像亮度与基准目标亮度的差距，使当前帧图像亮度快速逼近目标亮度，从而实现双目相机曝光的自动曝光调节。
步骤a中所述以1/10步长的频率分别使用定曝光时间模式和定曝光增益模式使用双目相机各拍摄10组双目图像样本，具体为使用相机最长曝光时间与最短曝光时间差值的1/10，最大曝光增益与最小曝光增益差值的1/10，各拍摄10组即可获得最短曝光时间与最长曝光时间中不同曝光时间时双目相机所拍摄图像的状态，获得最小曝光增益到最大曝光增益之间各个阶段不同增益时双目相机拍摄到图像的状态。
拍摄双目图像样本具体为：在极端环境下先固定双目相机的曝光增益，确定初始曝光时间，选择曝光时间增加步长，逐步增加曝光时间，进行多次图像拍摄，抓取不同曝光时间下图像数据集；再次固定双目相机的曝光时间，逐步增加曝光增益，进行多次图像拍摄，抓取不同曝光增益下双目图像数据集。
抓取合适的多组图像样本数据，计算双目相机图像的有效平均亮度具体为：根据双目相机的使用需求，根据左相机镜头和右相机镜头视角重叠程度自适应调节双目相机图像平均亮度，通过调节双目相机曝光从而实现优化立体匹配视差图的质量，具体的通过计算不同曝光条件下双目图像立体匹配视差图的质量和双目图像来确定最优的曝光亮度目标范围。
通过双目图像有效信息量分析考虑到双目图像成像原理，仅对立体匹配计算相关的区域进行信息分析，左相机镜头和右相机镜头之间盲区区域内信息不做计算，那么获取的双目图像有效互信息熵H(Q1,Q2)的计算公式如下：
Figure GDA0003646614720000021
其中Q1,Q2分别为双目左右图像，Ea1和Ea2分别为左右图像的有效区域，D为测距深度范围，f为相机焦距，θ为相机镜头成像角，B为双目相机基线距离。
所述的双目图像立体匹配视差图质量评估利用立体匹配视差图质量分析因子实现:
|dispR[X-d±1]-dispL[X±1]|<D
其中dispR与dispL为左右图像中同名点的视差值，d为视差，D为误差因子，用于判断同名点匹配是否正确.
用于立体匹配视差图质量评估的质量分析量化计算模型如下所示：
Figure GDA0003646614720000031
其中m*n为质量评价区域大小R为质量分数，I(x,y)为待计算视差图像，W为质量计算因子。
根据双目相机当前帧的亮度调节下一帧的曝光时间和曝光增益，调节过程具体提包括：
(a)计算当前帧的双目图像有效亮度，计算双目图像有效亮度与标定好的目标亮度差；
(b)通过双目相机自动曝光调节过程中目标亮度差，通过当前帧图像的曝光时间tn和曝光时间调节步长t0计算下一帧曝光时间；目标亮度是固定的，由之前的10组相机样本决定，一旦标定好之后，最佳曝光亮度不再变化，调节双目相机使当前图像帧的有效亮度逼近目标亮度。
(c)由于曝光时间调节步长t0的大小根据相机的曝光时间调节范围确定，利用公式：
Figure GDA0003646614720000032
Figure GDA0003646614720000033
计算曝光时间调节步长t0，式中tmax、tmin分别为相机硬件能达到的最大曝光时间与最小曝光时间；通过判断
Figure GDA0003646614720000034
公式中tn+1是否超过了相机的可调节极限，即判断下一次曝光时间的调节是否有效；
(d)判断曝光增益是否需要调节；
(e)应用曝光时间与曝光增益并抓取下一帧图像：对于所述的具体实施方案，可利用计算机程序对双目相机进行自动曝光控制，针对消防机器人中双目相机的自动曝光调节方法，利用双目图像互信息熵与视差图质量评价因子，确定双目相机自动曝光调节的目标亮度，利用变步长逼近的方式快速实现消防机器人双目相机对极端环境的快速适应；
(f)将区间阈值设置为10，重复步骤a判断当前帧图像亮度是否到达最优目标亮度区间，若达到目标亮度区间即为双目相机曝光调节完成，并停止后续步骤计算，否则保持循环步骤a，判断是否需要再次进行双目相机曝光参数调节。
利用模型：
Figure GDA0003646614720000035
计算当前帧图像的亮度均值，即有效亮度，式中：
Figure GDA0003646614720000036
代表有效平均亮度均值，Lum表示(x,y)像素点处的亮度均值，Ea为图像有效信息计算区域，N为像素点数量，δ为大于0的极小值防止亮度计算为负值，R、G、 B为图像的颜色三通道；双目相机自动曝光调节过程中目标亮度差ΔL＝Ln-L0，式中Ln和 L0分别表示当前帧图像有效亮度和亮度目标/最佳曝光亮度，利用公式：
Figure GDA0003646614720000041
Figure GDA0003646614720000042
计算下一帧曝光时间，式中：中tn+1为下一帧图像的曝光时间，tn为当前帧图像的曝光时间，t0为曝光时间调节步长，e-△L中ΔL为当前帧图像有效亮度和亮度目标/最佳曝光亮度的差值，假设当前帧图像亮度为150，亮度目标为130，那么ΔL＝150-130＝20，那么e-20<1，tn+1<tn，即此时图像有效亮度高于亮度目标，此时的曝光时间tn较大，需要将其调整为数值较小的曝光时间tn+1，即下一帧双目相机的曝光时间。
判断曝光增益是否需要调节具体为：当曝光时间已达到边界的时候，则需要调节曝光增益倍数K扩大曝光时间的调整范围，此时为了防止在高曝光增益K的条件下相机曝光程度发生剧烈抖动和变化，引入平滑曝光时间系数，自动曝光调节模型为：
Figure GDA0003646614720000043
有益效果：
本方法通过多组对照样本的数据，提出了一种立体匹配视差图质量评价方法与双目相机图像互信息熵评价法，分析提取出满足消防机器人在极端光线环境中双目相机的亮度调节目标，并建立双目相机变步长曝光调节控制的模型，能够根据图像当前帧亮度实现变步长调节曝光参数，从而调节双目相机快速适应不同的环境，在不改变立体匹配算法的条件下，有效提高双目相机立体匹配的质量，有效提高消防机器人视觉定位的准确度。变步长参数调节方式有着运行稳定，调节迅速等优点。所述曝光参数包括曝光时间，曝光增益。相机曝光参数可通过运行于计算机设备上的计算机程序实现自动调节控制，调节效率高，调节速度快，调节目标准。
附图说明
图1是本发明使用的双目相机成像视角原理图；
图2是本发明用于消防机器人双目视觉的相机自动曝光调节方法流程图；
图3是实施例拍摄的一组曝光调节图像序列；
图4是实施例的一组双目相机信息熵分析数据；
图5是实施例的一组相机自动曝光调节图像亮度变化过程；
图6是本发明不同曝光亮度下视差图质量的变化示意图。
具体实施方式
下面结合附图对本发明的实施例做进一步说明：
如图1所述，本发明的用于消防机器人双目视觉的相机自动曝光调节方法，用于消防机器人双目视觉的相机自动曝光调节方法，双目相机自动曝光调节装置包括双目相机、图像传输装置、图像存储装置、计算装置，其中双目相机包括并排设置的右相机镜头和右相机镜头，左相机镜头和右相机镜头采集到的双目图像通过图像传输装置发送到图像存储装置中，并通过计算装置进行处理；
如图2所示，具体步骤如下：
a利用双目相机在消防机器人使用的极端环境下，以1/10步长的频率分别使用定曝光时间模式和定曝光增益模式使用双目相机各拍摄10组双目图像样本，从而获得10组不同曝光时间的双目图像样本以及10组不同曝光增益的双目图像样本；所述极端环境包括环境光照强烈的过曝环境与环境光照条件较差的欠曝环境；步骤a中所述以1/10步长的频率分别使用定曝光时间模式和定曝光增益模式使用双目相机各拍摄10组双目图像样本，具体为使用相机最长曝光时间与最短曝光时间差值的1/10，最大曝光增益与最小曝光增益差值的1/10，各拍摄 10组即可获得最短曝光时间与最长曝光时间中不同曝光时间时双目相机所拍摄图像的状态，获得最小曝光增益到最大曝光增益之间各个阶段不同增益时双目相机拍摄到图像的状态。
b然后从20组双目图像样本中，计算出每一组双目相机图像样本的有效平均亮度，以样本自身标注的立体匹配视差图质量评估,以及双目图像互信息熵方法确定该消防机器人上安装双目相机的最佳曝光亮度/目标亮度；抓取合适的多组图像样本数据，计算双目相机图像的有效平均亮度具体为：根据双目相机的使用需求，根据左相机镜头和右相机镜头视角重叠程度自适应调节双目相机图像平均亮度，通过调节双目相机曝光从而实现优化立体匹配视差图的质量，具体的通过计算不同曝光条件下双目图像立体匹配视差图的质量和双目图像来确定最优的曝光亮度目标范围；
c实际使用中，利用有效平均亮度作为双目相机自动曝光调节是否达到实际使用需求的衡量尺度，然后以双目相机的最佳曝光目标亮度作为基准，计算双目相机当前的帧图像亮度与基准目标亮度的差距，为了更快速的到达最佳曝光时间，使用自动曝光调节模型计算出下一步相机曝光的调节的步长，即下一次曝光时间与当前相机曝光时间的差，然后将曝光时间、曝光增益应用到双目相机后再次计算双目相机当前帧图像亮度与基准目标亮度的差距，使当前帧图像亮度快速逼近目标亮度，从而实现双目相机曝光的自动曝光调节。
如图4所示，通过双目图像有效信息量分析考虑到双目图像成像原理，仅对立体匹配计算相关的区域进行信息分析，左相机镜头和右相机镜头之间盲区区域内信息不做计算，那么获取的双目图像有效互信息熵H(Q1,Q2)的计算公式如下：
Figure GDA0003646614720000061
其中Q1,Q2分别为双目左右图像，Ea1和Ea2分别为左右图像的有效区域，D为测距深度范围，f为相机焦距，θ为相机镜头成像角，B为双目相机基线距离。
所述的双目图像立体匹配视差图质量评估利用立体匹配视差图质量分析因子实现:
|dispR[X-d±1]-dispL[X±1]|<D
其中dispR与dispL为左右图像中同名点的视差值，d为视差，D为误差因子，用于判断同名点匹配是否正确.
用于立体匹配视差图质量评估的质量分析量化计算模型如下所示：
Figure GDA0003646614720000062
其中m*n为质量评价区域大小R为质量分数，I(x,y)为待计算视差图像，W为质量计算因子。
根据双目相机当前帧的亮度调节下一帧的曝光时间和曝光增益，调节过程具体提包括：
(a)计算当前帧的双目图像有效亮度，计算双目图像有效亮度与标定好的目标亮度差；
(b)通过双目相机自动曝光调节过程中目标亮度差，通过当前帧图像的曝光时间tn和曝光时间调节步长t0计算下一帧曝光时间；目标亮度是固定的，由之前的10组相机样本决定，一旦标定好之后，最佳曝光亮度不再变化，调节双目相机使当前图像帧的有效亮度逼近目标亮度。
(c)由于曝光时间调节步长t0的大小根据相机的曝光时间调节范围确定，利用公式：
Figure GDA0003646614720000063
Figure GDA0003646614720000064
计算曝光时间调节步长t0，式中tmax、tmin分别为相机硬件能达到的最大曝光时间与最小曝光时间；通过判断
Figure GDA0003646614720000065
公式中tn+1是否超过了相机的可调节极限，即判断下一次曝光时间的调节是否有效；
(d)判断曝光增益是否需要调节；
(e)应用曝光时间与曝光增益并抓取下一帧图像：对于所述的具体实施方案，可利用计算机程序对双目相机进行自动曝光控制，针对消防机器人中双目相机的自动曝光调节方法，利用双目图像互信息熵与视差图质量评价因子，确定双目相机自动曝光调节的目标亮度，利用变步长逼近的方式快速实现消防机器人双目相机对极端环境的快速适应；
(f)将区间阈值设置为10，重复步骤a判断当前帧图像亮度是否到达最优目标亮度区间，若达到目标亮度区间即为双目相机曝光调节完成，并停止后续步骤计算，否则保持循环步骤a，判断是否需要再次进行双目相机曝光参数调节。
利用模型：
Figure GDA0003646614720000071
计算当前帧图像的亮度均值，即有效亮度，式中：
Figure GDA0003646614720000072
代表有效平均亮度均值，Lum表示(x,y)像素点处的亮度均值，Ea为图像有效信息计算区域，N为像素点数量，δ为大于0的极小值防止亮度计算为负值，R、G、 B为图像的颜色三通道；双目相机自动曝光调节过程中目标亮度差ΔL＝Ln-L0，式中Ln和 L0分别表示当前帧图像有效亮度和亮度目标/最佳曝光亮度，利用公式：
Figure GDA0003646614720000073
Figure GDA0003646614720000074
计算下一帧曝光时间，式中：中tn+1为下一帧图像的曝光时间，tn为当前帧图像的曝光时间，t0为曝光时间调节步长，e-△L中ΔL为当前帧图像有效亮度和亮度目标/最佳曝光亮度的差值，假设当前帧图像亮度为150，亮度目标为130，那么ΔL＝150-130＝20，那么e-20<1，tn+1<tn，即此时图像有效亮度高于亮度目标，此时的曝光时间tn较大，需要将其调整为数值较小的曝光时间tn+1，即下一帧双目相机的曝光时间。
判断曝光增益是否需要调节具体为：当曝光时间已达到边界的时候，则需要调节曝光增益倍数K扩大曝光时间的调整范围，此时为了防止在高曝光增益K的条件下相机曝光程度发生剧烈抖动和变化，引入平滑曝光时间系数，自动曝光调节模型为：
Figure GDA0003646614720000075
具体实施例一、
所述的双目图像有效信息量分析考虑到双目图像成像原理，仅对立体匹配计算相关的区域进行信息分析，双目图像成像原理如图1所示，盲区区域内信息不做计算，那么双目图像有效互信息熵H(Q1,Q2)的计算公式如下：
Figure GDA0003646614720000081
其中Q1,Q2分别为双目左右图像，Ea为图像有效信息计算区域，D为测距深度范围，f为相机焦距，θ为相机镜头成像角，B为双目相机基线距离。
所述的双目图像立体匹配视差图质量分析因子为:
|dispR[X-d±1]-dispL[X±1]|<D
其中dispR与dispL为左右图像中同名点的视差值，D为误差因子，用于判断同名点匹配是否正确，质量分析量化计算公式如下所示：
Figure GDA0003646614720000082
其中m*n为质量评价区域大小R为质量分数，I(x,y)为待计算视差图像，K为质量计算因子。
通过对双目图像的质量和视差图的质量进行分析，可以选出针对双目相机的最优自动曝光亮度目标。如图6所示，从左到右，从上到下分别为双目相机在同一场景不同曝光条件下立体匹配生成的视差图。箭头引出的两幅视差图为在双目相机调节到最佳曝光亮度区间的生成效果，其优化效果肉眼可见好于另外6幅曝光亮度不再最佳曝光亮度区间的视差图，说明本相机调节控制方案的有效性；)
如图3所示，对上述得到的双目相机最佳曝光时间设定为双目相机自动曝光调节目标，根据双目相机当前帧的亮度调节下一帧的曝光时间和曝光增益，调节过程：
(a)计算当前帧图像有效亮度。
(b)根据目标亮度差计算曝光时间调节步长。
(c)判断曝光时间调节是否越界
(d)判断曝光增益是否需要调节。
(e)应用曝光时间与曝光增益并抓取下一帧图像。
(f)重复步骤(a)。
详细曝光控制流程图，如图2所示。
上述双目相机自动曝光调节过程中的图像有效亮度计算方式为：
Figure GDA0003646614720000091
其中
Figure GDA0003646614720000092
代表有效平均亮度均值，Lum表示(x,y)像素点处的亮度均值。R、G、B为图像的颜色三通道。
上述双目相机自动曝光调节过程中目标亮度差ΔL＝Ln-L0，通过ΔL计算下一帧曝光时间:
Figure GDA0003646614720000093
其中tn+1为下一帧图像的曝光时间，tn为当前帧图像的曝光时间，t0为曝光时间调节步长， t0的大小根据相机的曝光时间调节范围确定：
Figure GDA0003646614720000094
如图5所示，当曝光时间已达到边界的时候，则需要调节曝光增益倍数K扩大曝光时间的调整范围，此时为了防止在高曝光增益K的条件下相机曝光程度发生剧烈抖动和变化，引入平滑曝光时间系数，曝光时间调节计算方法：
Figure GDA0003646614720000095
对于所述的具体实施方案，可利用计算机程序对双目相机进行自动曝光控制，针对消防机器人中双目相机的自动曝光调节方法，利用双目图像互信息熵与视差图质量评价因子，确定双目相机自动曝光调节的亮度目标，利用变步长逼近的方式快速实现消防机器人双目相机对极端环境的快速适应，有着实现简单，调节效率高，使用场景广的特点。基于本实施方法延伸出的其他利用双目图像和视差图像的质量评价方法对双目视觉系统进行控制调节以及在本发明的基础上的各种变型与替换均在本发明的保护范围之内。

Claims (10)

1.一种用于消防机器人双目视觉的相机自动曝光调节方法，其特征在于：双目相机自动曝光调节装置包括双目相机、图像传输装置、图像存储装置、计算装置，其中双目相机包括并排设置的右相机镜头和右相机镜头，左相机镜头和右相机镜头采集到的双目图像通过图像传输装置发送到图像存储装置中，并通过计算装置进行处理；
具体步骤如下：
a利用双目相机在消防机器人使用的极端环境下，以1/10步长的频率分别使用定曝光时间模式和定曝光增益模式使用双目相机各拍摄10组双目图像样本，从而获得10组不同曝光时间的双目图像样本以及10组不同曝光增益的双目图像样本；所述极端环境包括环境光照强烈的过曝环境与环境光照条件较差的欠曝环境；
b然后从20组双目图像样本中，计算出每一组双目相机图像样本的有效平均亮度，以样本自身标注的立体匹配视差图质量评估,以及双目图像互信息熵方法确定该消防机器人上安装双目相机的最佳曝光亮度/目标亮度；
c实际使用中，利用有效平均亮度作为双目相机自动曝光调节是否达到实际使用需求的衡量尺度，然后以双目相机的最佳曝光目标亮度作为基准，计算双目相机当前的帧图像亮度与基准目标亮度的差距，为了更快速的到达最佳曝光时间，使用自动曝光调节模型计算出下一步相机曝光的调节的步长，所述步长为下一次曝光时间与当前相机曝光时间的差，然后将曝光时间、曝光增益应用到双目相机后再次计算双目相机当前帧图像亮度与基准目标亮度的差距，使当前帧图像亮度快速逼近目标亮度，从而实现双目相机曝光的自动曝光调节。
2.根据权利要求1所述用于消防机器人双目视觉的相机自动曝光调节方法，其特征在于：步骤a中所述以1/10步长的频率分别使用定曝光时间模式和定曝光增益模式使用双目相机各拍摄10组双目图像样本，具体为使用相机最长曝光时间与最短曝光时间差值的1/10，最大曝光增益与最小曝光增益差值的1/10，各拍摄10组即可获得最短曝光时间与最长曝光时间中不同曝光时间时双目相机所拍摄图像的状态，获得最小曝光增益到最大曝光增益之间各个阶段不同增益时双目相机拍摄到图像的状态。
3.根据权利要求1所述用于消防机器人双目视觉的相机自动曝光调节方法，其特征在于拍摄双目图像样本具体为：在极端环境下先固定双目相机的曝光增益，确定初始曝光时间，选择曝光时间增加步长，逐步增加曝光时间，进行多次图像拍摄，抓取不同曝光时间下图像数据集；再次固定双目相机的曝光时间，逐步增加曝光增益，进行多次图像拍摄，抓取不同曝光增益下双目图像数据集。
4.根据权利要求1所述用于消防机器人双目视觉的相机自动曝光调节方法，其特征在于抓取合适的多组图像样本数据，计算双目相机图像的有效平均亮度具体为：根据双目相机的使用需求，根据左相机镜头和右相机镜头视角重叠程度自适应调节双目相机图像平均亮度，通过调节双目相机曝光从而实现优化立体匹配视差图的质量，具体的通过计算不同曝光条件下双目图像立体匹配视差图的质量和双目图像来确定最优的曝光亮度目标范围。
5.根据权利要求4所述用于消防机器人双目视觉的相机自动曝光调节方法，其特征在于：通过双目图像有效信息量分析考虑到双目图像成像原理，仅对立体匹配计算相关的区域进行信息分析，左相机镜头和右相机镜头之间盲区区域内信息不做计算，那么获取的双目图像有效互信息熵H(Q1,Q2)的计算公式如下：
Figure FDA0003646614710000021
其中Q1,Q2分别为双目左右图像，Ea1和Ea2分别为左右图像的有效区域，D为测距深度范围，f为相机焦距，θ为相机镜头成像角，B为双目相机基线距离。
6.根据权利要求5所述用于消防机器人双目视觉的相机自动曝光调节方法，其特征在于：所述的双目图像立体匹配视差图质量评估利用立体匹配视差图质量分析因子实现:
|dispR[X-d±1]-dispL[X±1]|<D
其中dispR与dispL为左右图像中同名点的视差值，d为视差，D为误差因子，用于判断同名点匹配是否正确。
7.根据权利要求6所述用于消防机器人双目视觉的相机自动曝光调节方法，其特征在于：用于立体匹配视差图质量评估的质量分析量化计算模型如下所示：
Figure FDA0003646614710000022
其中m*n为质量评价区域大小R为质量分数，I(x,y)为待计算视差图像，W为质量计算因子。
8.根据权利要求4所述用于消防机器人双目视觉的相机自动曝光调节方法，其特征在于：根据双目相机当前帧的亮度调节下一帧的曝光时间和曝光增益，调节过程具体提包括：
(a)计算当前帧的双目图像有效亮度，计算双目图像有效亮度与标定好的目标亮度差；
(b)通过双目相机自动曝光调节过程中目标亮度差，通过当前帧图像的曝光时间tn和曝光时间调节步长t0计算下一帧曝光时间；目标亮度是固定的，由之前的10组相机样本决定，一旦标定好之后，最佳曝光亮度不再变化，调节双目相机使当前图像帧的有效亮度逼近目标亮度；
(c)由于曝光时间调节步长t0的大小根据相机的曝光时间调节范围确定，利用公式：
Figure FDA0003646614710000031
Figure FDA0003646614710000032
计算曝光时间调节步长t0，式中tmax、tmin分别为相机硬件能达到的最大曝光时间与最小曝光时间；
(d)判断曝光增益是否需要调节；
(e)应用曝光时间与曝光增益并抓取下一帧图像：利用计算机程序对双目相机进行自动曝光控制，针对消防机器人中双目相机的自动曝光调节方法，利用双目图像互信息熵与视差图质量评价因子，确定双目相机自动曝光调节的目标亮度，利用变步长逼近的方式快速实现消防机器人双目相机对极端环境的快速适应；
(f)将区间阈值设置为10，重复步骤a判断当前帧图像亮度是否到达最优目标亮度区间，若达到目标亮度区间，则双目相机曝光调节完成，并停止后续步骤计算，否则保持循环步骤a，判断是否需要再次进行双目相机曝光参数调节。
9.根据权利要求8所述用于消防机器人双目视觉的相机自动曝光调节方法，其特征在于利用模型：
Figure FDA0003646614710000033
计算当前帧图像的亮度均值，所述亮度均值为有效亮度，式中：
Figure FDA0003646614710000034
代表有效平均亮度均值，Lum表示(x,y)像素点处的亮度均值，Ea为图像有效信息计算区域，N为像素点数量，δ为大于0的极小值防止亮度计算为负值，R、G、B为图像的颜色三通道；双目相机自动曝光调节过程中目标亮度差ΔL＝Ln-L0，式中Ln和L0分别表示当前帧图像有效亮度和亮度目标/最佳曝光亮度，利用公式：
Figure FDA0003646614710000035
Figure FDA0003646614710000036
计算下一帧曝光时间，式中：中tn+1为下一帧图像的曝光时间，tn为当前帧图像的曝光时间，t0为曝光时间调节步长，e-△L中ΔL为当前帧图像有效亮度和亮度目标/最佳曝光亮度的差值。
10.根据权利要求9所述用于消防机器人双目视觉的相机自动曝光调节方法，其特征在于：判断曝光增益是否需要调节具体为：当曝光时间已达到边界的时候，则需要调节曝光增益倍数K扩大曝光时间的调整范围，此时为了防止在高曝光增益K的条件下相机曝光程度发生剧烈抖动和变化，引入平滑曝光时间系数，自动曝光调节模型为：
Figure FDA0003646614710000041
CN202110641626.0A 2021-06-09 2021-06-09 一种消防机器人双目相机自动曝光调节方法 Active CN113382143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110641626.0A CN113382143B (zh) 2021-06-09 2021-06-09 一种消防机器人双目相机自动曝光调节方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110641626.0A CN113382143B (zh) 2021-06-09 2021-06-09 一种消防机器人双目相机自动曝光调节方法

Publications (2)

Publication Number Publication Date
CN113382143A CN113382143A (zh) 2021-09-10
CN113382143B true CN113382143B (zh) 2022-07-29

Family

ID=77573063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110641626.0A Active CN113382143B (zh) 2021-06-09 2021-06-09 一种消防机器人双目相机自动曝光调节方法

Country Status (1)

Country Link
CN (1) CN113382143B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153109B (zh) * 2021-12-07 2023-12-26 上海同岩土木工程科技股份有限公司 一种相机多维度微调节保护装置及自适应调整方法
CN114422715A (zh) * 2022-01-17 2022-04-29 苏州中科全象智能科技有限公司 一种线激光相机的自主调节方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979162A (zh) * 2016-07-21 2016-09-28 凌云光技术集团有限责任公司 一种可扩展动态范围图像的自动曝光调整方法及装置
CN108521863A (zh) * 2017-08-29 2018-09-11 深圳市大疆创新科技有限公司 曝光的方法、装置、计算机系统和可移动设备
CN109417604A (zh) * 2017-11-30 2019-03-01 深圳市大疆创新科技有限公司 差异校准方法、双目视觉系统和计算机可读存储介质
CN109561260A (zh) * 2018-12-28 2019-04-02 深慧视(深圳)科技有限公司 一种自动曝光控制方法
CN111494853A (zh) * 2020-04-10 2020-08-07 中国矿业大学 一种多模式视觉伺服控制消防系统及其工作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979162A (zh) * 2016-07-21 2016-09-28 凌云光技术集团有限责任公司 一种可扩展动态范围图像的自动曝光调整方法及装置
CN108521863A (zh) * 2017-08-29 2018-09-11 深圳市大疆创新科技有限公司 曝光的方法、装置、计算机系统和可移动设备
CN109417604A (zh) * 2017-11-30 2019-03-01 深圳市大疆创新科技有限公司 差异校准方法、双目视觉系统和计算机可读存储介质
CN109561260A (zh) * 2018-12-28 2019-04-02 深慧视(深圳)科技有限公司 一种自动曝光控制方法
CN111494853A (zh) * 2020-04-10 2020-08-07 中国矿业大学 一种多模式视觉伺服控制消防系统及其工作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
超特高压架空输电线路基于自主巡检技术的图像自适应曝光技术研究;杨嘉妮 等;《应用能源技术》;20201231;全文 *

Also Published As

Publication number Publication date
CN113382143A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113382143B (zh) 一种消防机器人双目相机自动曝光调节方法
CN104184958B (zh) 一种适用于空间探测成像的基于fpga的自动曝光控制方法及其装置
CN109521547B (zh) 一种变步长的自动调焦方法及系统
US20060239579A1 (en) Non Uniform Blending of Exposure and/or Focus Bracketed Photographic Images
TWI488000B (zh) 透鏡裝置的校準
CN106454145A (zh) 一种具有场景自适应的自动曝光方法
CN110248112B (zh) 一种图像传感器的曝光控制方法
WO2015184978A1 (zh) 摄像机控制方法、装置及摄像机
JP2018503325A (ja) 画素データに対して演算を実行するためのシステムおよび方法
CN106851122A (zh) 基于双摄像头系统的自动曝光参数的标定方法和装置
TW201106685A (en) Foreground image separation method
CN104917975A (zh) 一种基于目标特征的自适应自动曝光方法
CN107205109A (zh) 具有多摄像模块的电子装置及其控制的方法
CN104184957A (zh) 一种适用于空间探测成像的基于自适应预期图像平均亮度的自动曝光控制方法
CN109510949B (zh) 基于图像特征点有效亮度的相机自动曝光方法
CN112361990B (zh) 激光图案提取方法、装置、激光测量设备和系统
US7269281B2 (en) Method for measuring object based on image and photographing apparatus
WO2021043329A1 (zh) 图像曝光方法、装置、拍摄设备及无人机
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
EP3438921A1 (en) Image optimization method and device, and terminal
CN110850109A (zh) 一种基于模糊图像测量车速的方法
CN114430462B (zh) 无人机自主拍照参数调整方法、装置、设备及存储介质
JP2016126750A (ja) 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
WO2021184239A1 (zh) 曝光方法、装置、拍摄设备、可移动平台和存储介质
CN111028187A (zh) 一种光线自适应的机载双光图像侦察装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant