CN114520880A - 一种曝光参数调节方法及装置 - Google Patents

一种曝光参数调节方法及装置 Download PDF

Info

Publication number
CN114520880A
CN114520880A CN202011291411.2A CN202011291411A CN114520880A CN 114520880 A CN114520880 A CN 114520880A CN 202011291411 A CN202011291411 A CN 202011291411A CN 114520880 A CN114520880 A CN 114520880A
Authority
CN
China
Prior art keywords
image
light source
target light
gray
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011291411.2A
Other languages
English (en)
Other versions
CN114520880B (zh
Inventor
林培埌
姜艺
余本德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011291411.2A priority Critical patent/CN114520880B/zh
Priority to PCT/CN2021/117598 priority patent/WO2022105381A1/zh
Publication of CN114520880A publication Critical patent/CN114520880A/zh
Application granted granted Critical
Publication of CN114520880B publication Critical patent/CN114520880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Abstract

本申请提供一种曝光参数调节方法及装置,该方法包括:获取摄像装置拍摄的第一图像;确定目标光源,获取目标光源的第一位置信息,根据目标光源的第一位置信息,预测摄像装置在第二时刻即将拍摄的第二图像中目标光源的第二位置信息;根据第一图像和第二位置信息,生成第二图像的预测图像,通过第一图像的灰度值和预测图像的灰度值,调整摄像装置的曝光参数。本方法通过预测目标光源位置的方式,来确定目标光源的位置对摄像装置的影响。能在面对光线剧烈变化的场景时,及时调节曝光参数以得到清晰的图像。

Description

一种曝光参数调节方法及装置
技术领域
本申请涉及摄像技术领域,尤其涉及一种曝光参数调节方法及装置。
背景技术
随着人工智能技术的发展,汽车自动驾驶技术日渐成熟,摄像装置作为汽车自动驾驶的主要传感器之一,为自动驾驶算法提供道路图像的输入,在自动驾驶中发挥着重要作用。在现有的高级驾驶辅助系统(advanced driving assistance system,ADAS)功能中,如:车道线偏离预警(lane departure warning system,LDW)、盲点监测(blind spotmonitoring system,BSM)、泊车辅助(parking assist,PA)、全景泊车(surround viewparking,SVP)、交通标志识别(traffic sign recognition,TSR)、车道保持辅助(lanekeeping assist system,LKA)等功能,都非常依赖摄像装置。而在未来L3\L4\L5的自动驾驶中,障碍物识别、红绿灯识别、车道线检测等功能同样也必须要用到摄像装置。
因此,在自动驾驶领域对摄像装置的要求比较高,一是需要摄像装置拍摄图像的质量要高,二是需要摄像装置的采集帧率高。若图像的质量差的话,影响神经网络算法识别图像内容,进而容易导致事故;以汽车时速100km/h,摄像装置拍摄帧率为10Hz进行举例,在1帧图像的100ms时间间隔内,汽车行驶了2.78m,在这2.78m的距离里,汽车是没有拍摄图像的,相当于对汽车周围没有感知,这样的驾驶场景无疑是很危险的。
然而,汽车在道路行驶时,光照条件复杂,特别是夜晚与其它开启车灯的汽车交汇的前后,或者,在面对某些道路抓拍装置的闪光灯抓拍时,光线亮度变化大,导致摄像装置拍摄的图像容易产生过曝或欠曝的问题。目前,摄像装置在这些场景下无法及时调整曝光参数,导致无法得到清晰图像,从而导致各类感知算法无法识别周围环境,容易产生驾驶危险。
发明内容
本申请提供一种曝光参数调节方法及装置,通过预测目标光源位置的方式,来确定目标光源的位置对摄像装置的影响。在面对光线剧烈变化的场景时,能及时调节曝光参数以得到清晰的图像。
第一方面,本申请实施例提供了一种曝光参数调节方法,该方法可以由管理摄像装置的电子设备(也可以为摄像装置本身)执行。该方法可以包括以下步骤:
电子设备获取摄像装置在第一时刻拍摄的第一图像;确定目标光源,获取所述目标光源的第一位置信息,其中,所述第一位置信息用于指示所述目标光源在所述第一图像中的位置,或者指示所述目标光源在所述第一时刻的物理位置;根据所述第一位置信息,预测所述摄像装置在第二时刻即将拍摄的第二图像中所述目标光源的第二位置信息;其中,所述第二时刻位于所述第一时刻之后;根据所述第一图像和所述第二位置信息,生成所述第二图像的预测图像;计算所述第一图像的灰度值和所述预测图像的灰度值;根据所述第一图像的灰度值和所述预测图像的灰度值,调整所述摄像装置的曝光参数。
由于摄像装置在灯光剧烈变换的场景下拍摄的图像容易产生过曝或欠曝的问题,但摄像装置无法及时的调整曝光参数,从而使得需要根据摄像装置拍摄的图像的算法或系统,无法识别图像中的内容。如,通过摄像装置拍摄的图像来感知周围的车辆,由于图像过曝或欠曝导致无法识别周围环境时,容易产生驾驶危险。因此,电子设备通过获取摄像装置在第一时刻拍摄的第一图像,并生成在第二时刻即将拍摄的第二图像的预测图像。进一步的,根据目标光源在第一时刻的第一位置信息,能预测目标光源在第二时刻的第二位置信息,从而能根据第二位置信息生成预测图像,并能通过第一图像的灰度值和预测图像的灰度值的变化情况,调整摄像装置的曝光参数。总之,该方案能通过预测目标光源位置的方式,来确定目标光源的位置对摄像装置的影响。在面对光线剧烈变化的场景时,能及时调节曝光参数以得到清晰的图像,以保证驾驶的安全。
在一种可能的设计中,在确定目标光源之前,所述电子设备还执行如下步骤:
获取至少一个光源的亮度信息,其中,任一光源在所述第一时刻的亮度信息用于表示所述光源在所述第一时刻的亮度;根据所述至少一个光源的亮度信息,在所述至少一个光源中确定亮度超过设定亮度阈值的所述目标光源。
由于不同的光源亮度会对曝光参数产生不同的影响,当光源的亮度过低时,即使光源在第一时刻和第二时刻产生了位置变化,其最终对曝光参数的影响也很小。通过该设计,在所述至少一个光源中选择亮度超过设定亮度阈值的所述目标光源,避免计算无效的光源的位置信息变化,降低了计算量,能够更快的调整曝光参数。
在一种可能的设计中,获取至少一个光源的亮度信息,包括:
根据在所述第一图像中所述至少一个光源所在区域的灰度值,确定所述至少一个光源在所述第一时刻的亮度信息;或者接收其他设备发送的所述至少一个光源在所述第一时刻的亮度信息。
通过该设计,既可以根据第一图像中光源的所在区域的灰度值,确定至少一个光源在第一时刻的亮度,也可以接收其他设备发送的至少一个光源在第一时刻的亮度。进而,能从更大的筛选范围中选择需要预测的目标光源,避免漏预测某些光源在第二时刻的位置,进而影响曝光参数的调整的问题。
在一种可能的设计中,所述第一位置信息用于指示所述目标光源在所述第一图像中的位置;所述根据所述第一位置信息,预测所述摄像装置在第二时刻即将拍摄的第二图像中所述目标光源的第二位置信息,包括:获取所述目标光源与所述摄像装置之间的相对速度;根据所述第一时刻与第二时刻的时间差值、所述第一位置信息,以及所述相对速度,确定所述第二位置信息。
通过该设计,根据所述第一时刻与第二时刻的时间差值、所述目标光源在所述第一图像中的位置,以及所述目标光源与所述摄像装置的相对速度,能预测所述摄像装置在第二时刻即将拍摄的第二图像中所述目标光源的第二位置信息,进而,仅通过第一图像及目标光源与所述摄像装置的相对速度,就可以预测第二位置信息,无需电子设备确定目标光源的具体物理位置,对电子设备的要求低,便于计算。
在一种可能的设计中,所述第一位置信息用于指示所述目标光源在第一时刻的物理位置;所述根据所述第一位置信息,预测所述摄像装置在第二时刻即将拍摄的第二图像中所述目标光源的第二位置信息,包括:获取所述目标光源的运动速度;根据所述目标光源的运动速度以及第一位置信息,确定所述目标光源在所述第二时刻的物理位置;根据所述目标光源在所述第二时刻的物理位置、所述摄像装置在所述第二时刻的物理位置,通过各类图像预测方法或各类运动预测方法,确定所述第二位置信息。
通过该设计,电子设备可以确定各种不同目标光源的运动速度,如目标光源为车灯时,则目标光源的运动速度可以由其他车辆通过V2X系统发送该车速度,该车速度即为目标光源的运动速度,进而,可以避免若目标光源在第一图像中目标光源未出现时,无法确定目标光源的第二位置信息的问题,采用本设计,即使目标光源不在第一图像中目标光源出现,根据该目标光源的运动速度及物理位置,同样可以通过各类运动预测方法,确定目标光源的第二位置信息。
在一种可能的设计中,根据所述目标光源在所述第二时刻的物理位置、所述摄像装置在所述第二时刻的物理位置,确定所述第二位置信息,包括:根据所述目标光源在所述第二时刻的物理位置、所述摄像装置在所述第二时刻的物理位置,确定在所述第二时刻在相机坐标系中的第三位置信息;其中,所述相机坐标系是以所述摄像装置为中心的坐标系;将所述第三位置信息转变为所述第二位置信息。
通过该设计,电子设备可以通过相机标定法,将目标光源在相机坐标系中的坐标位置,转变为目标光源在第二时刻即将拍摄的第二图像中的第二位置信息,使得电子设备能够根据即将拍摄的第二图像中的第二位置信息,生成预测图像,进而能调整摄像装置的曝光参数。
在一种可能的设计中,所述获取所述目标光源的运动速度,包括:获取摄像装置拍摄的第一时刻之前的至少一幅第三图像,根据所述第一图像以及所述第三图像,确定所述目标光源的运动速度;或者接收其他设备发送的所述目标光源的运动速度;或者接收传感器发送的传感器数据,根据所述传感器数据确定所述目标光源的运动速度。
通过该设计,可以接收来自不同方式确定的运动速度,既可以根据多张图像(第一图像和第三图像)预测目标光源的运动速度;还可以接收其他设备发送的所述目标光源的运动速度,如目标光源为其他车辆的车灯时,该运动速度即为该车辆的运动速度;还可以由电子设备上的传感器检测目标光源的运动速度,如:利用毫米波雷达或激光雷达来感知目标光源并预测运动速度。此外,若在多种方式下都确定了同一目标光源的运动速度时,还可以多种方式发送的目标光源的运动速度进行融合分析,根据不同确定方式在不同场景下的特性,给予不同确定方式设置不同的权重值,从而得到目标光源更精确的运动速度。
在一种可能的设计中,所述根据所述第一图像和所述第二位置信息,生成所述第二图像的预测图像,包括:确定所述预测图像的初始化图像,其中,所述初始化图像与所述第一图像相同;在所述初始化图像中,确定所述第二位置信息所指示的区域;根据所述第二位置信息所指示的区域,确定灰度调整区域,其中,所述灰度调整区域包含所述第二位置信息所指示的区域;将所述初始化图像中的所述灰度调整区域包含的像素点的灰度值调整为设定灰度值,得到所述预测图像。
通过该设计,电子设备可以根据所述第二位置信息,在初始化图像中,确定所述第二位置信息所指示的区域,并且由于在第一时刻和第二时刻,所述目标光源距离摄像装置的距离也不同,因此,呈现在预测图像中,根据所述第二位置信息所指示的区域,确定灰度调整区域的大小也不同,其中,第二位置信息对应的区域可以为以该像素坐标点为中心并向四周扩展形成的区域,扩展形成的区域的形状可以为:圆形区域、矩形区域、不规则的多边形区域等等。相应的,所述目标光源距离所述摄像装置越远,所述第二位置信息对应灰度调整区域越小,所述目标光源距离所述摄像装置越近,所述第二位置信息对应的灰度调整区域越大。此外,灰度调整区域的灰度值的调整值为设定灰度值,而设定灰度值可以为灰度值中的最大值(255)或最小值(0),采用此种方式,能使得在根据第一图像和预测图像的灰度值调整曝光参数时,调整的效果更明显。
在一种可能的设计中,当所述第一位置信息指示所述目标光源在所述第一图像中的位置时,所述设定灰度值为所述第一图像中所述第一位置信息所指示的区域包含的像素点的灰度值。
通过该设计,电子设备可以在生成预测图像时,根据第一图像中目标光源的灰度值,确定预测图像中灰度调整区域中像素点的灰度值,使得在根据第一图像和预测图像的灰度值调整曝光参数时调整的曝光参数更准确。
在一种可能的设计中,所述第一图像的灰度值为所述第一图像中所有像素点的灰度值的平均值;所述预测图像的灰度值为所述预测图像中所有像素点的灰度值的平均值。
通过该设计,电子设备可以根据第一图像的灰度平均值和预测图像的灰度平均值的变化,调整曝光参数。此外,所述第一图像的灰度值也可以为所述第一图像中所述目标光源对应的各个像素点的灰度值的众数值。
在一种可能的设计中,所述曝光参数包含曝光时长;根据所述灰度差值,调整所述摄像装置的曝光参数,包括:当所述灰度差值不小于第一差值时,减少所述摄像装置的曝光时长;或者当所述灰度差值不大于第二差值时,增加所述摄像装置的曝光时长;或者当所述灰度差值大于第二差值且小于所述第一差值时,将所述摄像装置的图像信号处理器调整为自动调节曝光时间模式;其中,所述第一差值为正数,所述第二差值为负数。
通过该设计,电子设备可以对应所述灰度差值区间建立对应的曝光时间调节表,本领域技术人员可以通过实验获得不同车速、不同灰度值下的曝光时间曲线,根据所述曝光时间曲线建立所述曝光时间调节表,电子设备根据所述灰度差值所在的所述灰度差值区间,在所述曝光时间调节表中确定对应的曝光时间调节值。采用此种方式,当所述灰度差值不小于第一差值时,表明第二时刻摄像装置会受到的目标光源的照射范围大,此时应减少摄像头的曝光时间,防止过曝;当所述灰度差值大于第二差值时,表明第二时刻摄像装置由被目标光源照射的情况变为黑暗的环境,此时增加曝光时间,防止欠曝;当所述灰度差值大于第二差值且小于所述第一差值时,表明,环境光线变化不明显,可以将所述摄像装置的图像信号处理器调整为自动调节曝光时间模式,自动调节曝光时间。
在一种可能的设计中,所述曝光参数包含曝光时长;根据所述灰度差值,调整所述摄像装置的曝光参数,包括:根据所述灰度差值与所述第一图像的灰度值,确定灰度变化率;当所述灰度变化率不小于第一阈值时,减少所述摄像装置的曝光时长;或者当所述灰度变化率不大于第二阈值时,增加所述摄像装置的曝光时长;或者当所述灰度差值大于第二阈值且小于所述第一阈值时,将所述摄像装置的图像信号处理器调整为自动调节曝光时间模式;其中,所述第一阈值为正数,所述第二阈值为负数。
通过该设计,电子设备同样可以对应所述灰度变化率区间建立对应的曝光时间调节表,本领域技术人员可以通过实验获得不同车速、不同灰度值下的曝光时间曲线,根据所述曝光时间曲线建立所述曝光时间调节表。并且根据灰度变化率,相比现有技术只考虑当前的图像灰度,调节的曝光值能更适合变化的场景,调节后的摄像装置拍摄的图像质量更好。此外,上述设计中,调整所述摄像装置的曝光参数并不限于曝光时间,还可以为光圈大小等等曝光参数。在一种可能的设计中,当所述第一图像与所述第二图像之间的灰度差值或灰度变化率变化过大时,还可以通过扩大或缩小光圈的方式,调整摄像装置拍摄的图像质量。并且调节所述曝光参数中的曝光时间、光圈大小、感光度。调整曝光参数的主要目的为增加或减少摄像装置的进光量,进而防止所述摄像装置拍摄的图像产生过曝或欠曝的问题。
第二方面,本申请实施例提供了一种曝光参数调节装置,包括用于执行以上第一方面中各个步骤的单元。
第三方面,本申请实施例提供了一种曝光参数调节装置,包括至少一个处理元件和至少一个存储元件,其中该至少一个存储元件用于存储程序和数据,该至少一个处理元件用于执行本申请第一方面中提供的方法。
第四方面,本申请实施例还提供了一种计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行上述第一方面提供的方法。
第五方面,本申请实施例还提供了一种计算机存储介质,所述计算机存储介质中存储有计算机程序,当所述计算机程序被计算机执行时,使得所述计算机执行上述第一方面提供的方法。
第六方面,本申请实施例还提供了一种芯片,所述芯片用于读取存储器中存储的计算机程序,执行上述第一方面提供的方法。
第七方面,本申请实施例还提供了一种芯片系统,该芯片系统包括处理器,用于支持计算机装置实现上述第一方面提供的方法。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器用于保存该计算机装置必要的程序和数据。该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
附图说明
图1为一种车载系统的架构示意图;
图2为一种曝光参数调节方法的流程示意图;
图3a为第一车辆在第一时刻的空间示意图;
图3b为第一车辆在第二时刻的预测交汇示意图;
图4为第一车辆执行曝光参数调节方法的流程示意图;
图5a为摄像装置在第一时刻拍摄到的第一图像;
图5b为摄像装置在第二时刻即将拍摄的第二图像;
图5c为光源预测模块预测生成的预测图像;
图5d为一种预测图像的生成示意图;
图6为一种曝光参数调节装置的单元结构图;
图7为一种曝光参数调节装置的结构图。
具体实施方式
本申请提供一种曝光参数调节方法及装置,用于通过预测光源的位置,来确定光源的位置对摄像装置的影响,从而提前调节摄像装置的曝光参数。在面对光线剧烈变化的场景时,能及时调节曝光参数以得到清晰的图像,以保证驾驶的安全。其中,方法和装置是基于同一技术构思的,由于方法及装置解决问题的原理相似,因此装置与方法的实施可以相互参见,重复之处不再赘述。
以下,对本申请中的部分用语进行解释说明,以便本领域技术人员理解。
1)、卡尔曼滤波(kalman filtering),是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统的状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响,所以最优估计也可看作是滤波过程。
2)、相机标定(camera calibration),是将一个物体的物理坐标,转化为以摄像装置为中心建立的相机坐标系中的坐标,再将物体在相机坐标系中的坐标转换为摄像装置所拍摄图像的像素坐标的过程。
3)、曝光参数,是摄像装置在拍摄图像时设置的参数。曝光参数可以用于指示摄像装置在拍摄景物时,接收景物发出的光线的总量。曝光参数可以包括快门时间、感光度(international standardization organization,ISO)及光圈等。
其中,快门时间,也称为曝光时间,快门为控制进光时间的阈门。例如,曝光时间较长较大,则摄像装置在拍摄图像时的进光量较大,所以拍摄的图像的亮度较大。如果曝光时间较短,则摄像装置在拍摄图像时的进光量较小,所以拍摄的图像的亮度较小。
感光度,是摄像装置的感光元件对光线的灵敏度,灵敏度由ISO值来度量。
光圈用于控制透过摄像装置的镜头进入机身的进光量。若光圈增大,则进光量增多,摄像装置拍摄得到的图像更亮;若光圈减小,则进光量减少,摄像装置拍摄得到的图像更暗。
4)、毫米波雷达,是工作在毫米波(millimeter wave)波段探测的雷达。工作频段一般为30GHz~300GHz,波长1~10mm,介于微波和厘米波之,其基本原理是利用高频电路产生特定调制频率的电磁波(锥形),并通过天线发送电磁波和接收从目标反射回来的电磁波,通过发送和接收电磁波的参数来计算目标的各个参数。
5)、激光雷达,是以发射激光束探测目标的位置、速度、距离、大小等信息的雷达系统,激光雷达通过发射激光光束来探测目标,并通过搜集反射回来的光束来形成点云数据,这些数据经光电处理后可称为精确地三维立体图像,可以准确的获取高精度的物理空间环境信息,测距精度可达厘米级。
6)、多传感器融合算法,是充分利用不同时间与空间的多传感器数据资源,采用计算机技术对按时间序列获得的多传感器数据,在一定准则下进行分析、综合、支配和使用,获得对被测对象的一致性解释和描述。
需要说明的是,本申请实施例涉及的像素,可以为一幅图像上的最小成像单元。一个像素可以对应图像上的一个坐标点。像素可以对应一个参数(比如灰度),也可以是多个参数的集合(比如灰度、颜色等)。如果像素对应一个参数,那么像素值就是该参数的取值,如果像素是多个参数的集合,那么像素值包括所述集合中每个参数的取值。
本申请实施例的第一图像、第二图像及第三图像,是摄像装置的输出图像,即摄像装置将采集的物体反射的光信息转化为数字图像信号而得到的原始图像数据,该原始数据未经过加工处理。比如,原始数据可以是raw格式数据。该raw格式数据中可以包括物体的信息和摄像装置的参数。而本申请实施例中的预测图像是以第一图像为初始化图像进行灰度调整的图像。若一个像素点对应的灰度取值为255时,该像素点呈现白色;一个像素点对应的灰度取值为0时,该像素点呈现黑色。应理解,一帧图像上一个像素点对应一个灰度值,灰度值即亮度级别(比如灰度值0-255),灰度值较高的,表示亮度较大,灰度值较低的,表示亮度较小。因此,一个像素点也可以对应一个亮度值(即灰度值)。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。且在本申请实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
下面结合附图对本申请实施例进行具体说明。
本申请实施例提供的曝光参数调节方法可以应用于多种系统中,例如单摄影机系统、单摄影机的光学图像稳定器(optical image stabilizer,OIS)系统、多摄影下的光学图像稳定器系统等等。本申请实施例中的摄像装置可为具有摄像功能的设备,比如具有摄像功能的手机、电脑、平板电脑等等。本申请实施例中可以基于摄像装置的相机坐标系进行介绍,相机坐标系是以摄像装置为中心制定的坐标系统。具体实施中,本申请实施例也可适用于其它几种坐标系,比如世界坐标系等等。其中,世界坐标系也可称为真实或现实世界坐标系,是客观世界的绝对坐标。
此外,本申请实施例提供的方法还可以应用于车辆100的智能驾驶/自动驾驶的车载系统中。具体的,该曝光参数调节方法可以承载在一个单独的车载电子设备中(还可以称为车辆控制设备)中,或者耦合到高级驾驶辅助系统(advanced driving assistancesystem,ADAS)等自动驾驶辅助系统中,本申请对此不作限定。
参阅图1所示的车载系统的架构,该车载系统中可以包含:N个操作装置(1011~101N)、自动驾驶装置102、整车控制装置103、感应装置104、通信装置105。
其中,所述操作装置(1011~101N)具体可以包含方向盘、油门踏板、手动档位摇杆等等,上述操作装置用于接收驾驶员的驾驶意图,生成相应的车辆控制命令。其中,驾驶员可以通过控制方向盘转动角度、方向盘的转速等,从而控制车辆转向,以及控制车辆转向速度。驾驶员还可以通过控制油门踏板的开度、开闭速度等等,从而控制车辆行驶加速,以及控制车辆加速时的加速度。驾驶员还可以通过控制手动档位的方向,如前进档、后退档,从而控制车辆的行驶方向。
需要指出的是,本申请实施例中的操作装置(1011~101N)可以分为机械操作部分和控制器两部分。其中,在车辆具备自动驾驶功能时,控制器可以接收自动驾驶装置102发送的自动驾驶指令,并根据自动驾驶指令来控制机械操作部分。例如,控制器可以在接收指示油门踏板的开闭速度的自动驾驶指令后,控制油门踏板的开闭速度。具体来说,所述自动驾驶指令还包括车辆加速度信息,油门踏板的控制器可以将所述加速度信息转换为油门踏板的开闭速度,进而根据所得到的油门踏板的开闭速度控制机械操作部分进行开闭。
自动驾驶装置102,又可以称为自动驾驶大脑,可以是能够执行自动驾驶算法的人工智能(artificial intelligence,AI)芯片、图形处理器(graphics processing unit,GPU)芯片、中央处理器(central processing unit,CPU)等芯片,也可以是由其中多种芯片构成的系统,本申请实施例对此并不多作限制。自动驾驶装置102可以接收感应装置104提供的感应数据,并根据感应数据生成自动驾驶指令。
整车控制装置103,用于接收操作装置(1011~101N)发送的车辆控制命令以及自动驾驶装置102发送的控制指令,从而对车辆100进行控制。在一些实施例中,整车控制装置103还可以通过多传感器融合算法,对感应装置104中的多类传感器发送的传感数据进行融合分析,根据不同传感器在不同场景下的特性,给予不同传感器设置不同的权重值,例如:摄像装置对低矮路沿的场景检测的效果好,则在低矮路沿场景下,增加摄像装置的权重值,以提高摄像装置的置信度等等。
感应装置104,可以包括激光雷达、毫米波雷达、摄像装置、速度传感器及GPS(global positioning system)传感器等等。例如,所述速度传感器用于实时采集车辆的速度,所述GPS传感器用于获取当前车辆的位置信息,所述摄像装置用于采集车辆周围的环境图像。
通信装置105,用于通过车联网或车到万物(vehicle to everything,V2X)系统,与其他车辆、车联网中的车载单元(on board unit,OBU)、路侧单元(road side unit,RSU)、路侧设备(road side equipment,RSE)、车载电控制单元(electronic controlunit,ECU)进行通信。需要说明的是,在本申请提供的车到万物系统中,通信装置105可以通过V2X通信网络与应用服务器建立通信连接,进行通信交互。示例性地,通信装置105与应用服务器建立连接后,通信装置105可以从车联网服务器中获取车联网中的任一组员的车辆信息。所述车辆信息包括车辆速度、车辆位置、车辆前照灯及尾灯的光照度等信息。车辆的通信装置105通过连接控制器局域网络(controller area network,CAN)总线上连接的电子控制单元(electronic control unit,ECU)节点,并通过ECU节点获取所述车辆的各类信息。
需要说明的是,图1所示的系统架构并不构成对本申请实施例提供的实现车辆智能驾驶/自动驾驶的车载系统的限定,上述车载系统中的车辆还可以包含更多或更少的部件。例如,当上述车辆不具备自动驾驶功能时,其内部可以不包含自动驾驶装置102。
本申请实施例提供了一种曝光参数调节方法,所述方法可以由管理所述摄像装置的电子设备(也可以为摄像装置本身)执行。该设备可以为如图1所示的车载系统中的整车控制装置103,也可以为独立于整车控制装置103的一个独立电子设备,还可以是耦合有控制所述摄像装置曝光参数供的各种车载设备。在以下实施例中,将管理所述摄像装置的设备简称为电子设备为例进行说明。并且将所述摄像装置被布置在智能驾驶/自动驾驶车辆100上用于采集环境图像来感知周围环境为示例进行描述。在本实施例中,物理位置为物体在世界坐标系中的坐标位置。所述摄像装置的速度与车辆的速度可以视为相同的取值,类似的,所述摄像装置的加速度与车辆的加速度也可以视为相同的取值。
参阅图2所示,该方法具体包括以下步骤:
S201:电子设备获取摄像装置在第一时刻拍摄的第一图像。
其中,所述摄像装置被布置在车辆上,因此,若不考虑摄像装置与车辆的相对位置关系,则所述摄像装置在第一时刻拍摄第一图像时,可以采用以所述车辆为中心制定坐标系中,以车辆的第一视角拍摄第一图像。若考虑摄像装置与车辆的相对位置关系,在确定所述车辆的物理位置后,根据所述摄像装置与车辆的相对位置,以及所述车辆的物理位置,确定所述摄像装置的物理位置,然后,所述摄像装置在第一时刻拍摄第一图像时,可以采用以所述摄像装置为中心制定相机坐标系,最后以所述摄像装置的第一视角拍摄第一图像。
具体的,所述电子设备获取的所述摄像装置拍摄的第一图像也并不限定为一张,也可以为多张图像,例如,若所述摄像装置是具有连拍功能的摄像机,则所述电子设备获取的图像可以为所述摄像装置在第一时刻拍摄的多张图像,所述电子设备可以将所述图像中的一张或多张确定为所述第一图像。
S202:电子设备确定目标光源,获取目标光源的第一位置信息,其中,第一位置信息用于指示目标光源在第一图像中的位置,或者指示目标光源在第一时刻的物理位置;根据第一位置信息,预测所述摄像装置在第二时刻即将拍摄的第二图像中所述目标光源的第二位置信息。其中,所述第二时刻位于所述第一时刻之后。
在本申请实施例中,所述第二时刻为所述摄像装置下次拍摄的时刻,而所述第一时刻既可以为当前时刻,也可以为当前时刻之前的任意时刻。例如,若所述第二时刻为2020年10月19日10:10:15,当前时刻为2020年10月19日10:10:14,则所述第一时刻既可以为2020年10月19日10:10:14,也可以为2020年10月19日10:10:14之前的任一时刻(如2020年10月19日10:10:13等等)。
其中,所述目标光源可以是任何可以发光或具有光反射能力的物体。例如,所述目标光源可以为自然光源(太阳)、对侧车辆的前照灯、同侧车辆的尾灯、路边的路灯及隧道内的探照灯等等。此外,所述目标光源还可以为发光LED屏幕、反光材质的交通标识牌等等。
所述第一位置信息,既可以指示所述目标光源在世界坐标系的坐标位置(即目标光源的物理位置),也可以指示所述目标光源在相机坐标系的坐标位置,还可以指示所述目标光源在以任意指定物体为中心制定的坐标系中的坐标位置,还可以指示所述目标光源在第一图像中的像素位置坐标,这里不做具体的限定。
所述第二位置信息用于指示所述目标光源在第二图像中的像素位置坐标,但所述像素位置坐标并不限定于单一坐标值,亦可以为一个包含多个像素位置坐标点的区域(坐标集合),这里不做限定。由于第二时刻为即将拍摄的下一时刻,因此,所述目标光源在第二图像中的像素位置坐标需要通过预测的方式进行确定。
在本申请实施例中,所述电子设备可以但不限于采用以下方法,预测所述摄像装置在第二时刻即将拍摄的第二图像中所述目标光源的第二位置信息:
方法一、电子设备可以根据目标光源与摄像装置之间的相对速度目标光源在第一时刻的物理位置,以及第一时刻和第二时刻的时间差,确定目标光源在第二时刻的物理位置。根据目标光源在第二时刻的物理位置,预测所述摄像装置在第二时刻即将拍摄的第二图像中所述目标光源的像素位置坐标。
其中,由于摄像装置可能处于移动的状态,并且目标光源也可能处于移动的状态。我们了解,当摄像装置移动或目标光源移动时,所述摄像装置以相机坐标系拍摄的目标光源在图像中的像素坐标位置也会随之发生变化。因此,在本申请实施例中,电子设备可以通过所述目标光源与摄像装置之间的相对速度,以及所述目标光源在第一时刻的物理位置,预测所述目标光源在第二时刻的物理位置,并根据所述目标光源的在第二时刻的物理位置,确定所述目标光源在第二图像中的像素位置坐标。其中,上述确定方法具体可以包含以下步骤:
A1、电子设备获取摄像装置的运动速度以及目标光源的运动速度。
在步骤A1中,所述电子设备可以将车辆当前时刻的速度视作所述摄像装置的运动速度。在一些实施例中,车辆的速度可以从车辆仪表盘上直接获取。在另一些实施例中,所述电子设备接收感知装置104中的各类传感器发送的传感器数据,根据所述传感器数据确定所述车辆的速度。具体的,各类传感器能采集车辆在当前时刻的纵向加速度、侧向加速度以及车轮轮速等传感器数据,所述电子设备可以根据所述传感器数据,估算当前时刻所述车辆的速度,进而确定所述摄像装置的运动速度。
在一些实施例中,所述电子设备还可以根据所述传感器数据确定所述目标光源的运动速度及位置。其中,各类传感器但不限于为:毫米波雷达、激光雷达等等。具体的,所述毫米波雷达通过发射特定调制频率的电磁波,确定所述目标光源的运动速度。所述激光雷达通过发射激光束,并搜集反射回来的光束,确定点云数据,根据所述点云数据形成包含所述目标光源的三维立体图像的变化情况,确定所述目标光源的运动速度。
在另一些实施例中,所述电子设备还可以通过通信装置105接收其他设备发送的所述目标光源的运动速度。例如,当所述目标光源为其他车辆上的光源时,所述电子设备可以从其他车辆的V2X(vehicle to X,车用无线通信技术)系统中获取所述目标光源(其他车辆)的运动速度。
此外,在另一些实施例中,在所述摄像装置持续拍摄图像的场景中,所述电子设备还可以获取所述摄像装置在第一时刻之前拍摄的至少一幅第三图像,根据所述第三图像中目标光源的像素坐标位置,以及所述第一图像中目标光源的像素坐标位置,通过神经网络预测所述目标光源的运动速度。具体的,可以将所述第一图像和所述第三图像输入第一神经网络模型中,由第一神经网络模型输出得到所述第一图像中所述目标光源的运动速度,其中,所述第一神经网络模型是通过多张输出具有同一物体的图像,预测出该物体的运动速度的神经网络模型。
A2、电子设备确定目标光源与摄像装置之间的相对速度。
其中,所述电子设备在获取到所述摄像装置的运动速度以及所述目标光源的运动速度后,根据所述摄像装置的运动速度大小以及运动方向,以及所述目标光源的运动速度大小以及运动方向,确定所述目标光源与摄像装置之间的相对速度。本申请并不限定于二维的坐标系中的运动速度方向,亦可以为三维的坐标系中的运动速度方向,以下以二维的坐标系中的运动速度方向进行举例,便于理解。
A3、电子设备根据目标光源与摄像装置之间的相对速度,以及目标光源在第一时刻的物理位置,确定目标光源在第二时刻的物理位置,根据所述目标光源的在第二时刻的物理位置,预测所述摄像装置在第二时刻即将拍摄的第二图像中所述目标光源的像素位置坐标。
其中,所述电子设备确定所述目标光源在所述第一时刻的物理位置的方式可以但不限于为以下方式:
方式(1):电子设备接收其他设备发送的所述目标光源的位置。
例如,电子设备可以接收其他支持V2X系统的设备发送的所述目标光源第一时刻的物理位置。具体的,当所述目标光源为其他车辆的前照灯和尾灯时,所述电子设备可以接收其他车辆的V2X系统广播车辆的车辆信息,所述车辆信息中包括其他车辆的物理位置,以及其他车辆上前照灯和尾灯相对车辆的位置。所述电子设备根据前照灯和尾灯相对车辆的位置,以及其他车辆的物理位置,确定其他车辆的前照灯和尾灯的物理位置。又例如,所述电子设备还可以将该其他车辆的位置作为所述目标光源的位置。
方式(2):电子设备接收传感器发送的传感器数据,根据所述传感器数据确定所述目标光源的位置。具体的,电子设备可以接收所述毫米波雷达通过发射特定调制频率的电磁波,确定的所述目标光源的物理位置,电子设备可以利用所述激光雷达通过发射激光束,并搜集反射回来的光束,确定所述目标光源的物理位置。
方式(3):电子设备利用所述第一图像中目标光源的像素坐标位置,确定所述目标光源在第一时刻的物理位置。
示例性的,在方式(3)中,所述电子设备可以但不限于通过以下方法确定所述目标光源在第一时刻的物理位置:利用相机标定法,将在所述目标光源在第一图像中的像素坐标位置转化为所述目标光源在第一时刻的物理位置。具体的,将所述目标光源在第一图像中的像素坐标位置,转化为所述目标光源在以摄像装置为中心建立的相机坐标系中的坐标位置。其中,将所述目标光源在第一图像中的像素坐标位置,转化为所述相机坐标系中的坐标位置的方法可以但不限于使用以下公式进行计算:
Figure BDA0002783965690000111
其中,u为所述目标光源在垂直方向的像素位置坐标,a为所述摄像装置拍摄的图像在垂直方向的像素分辨率,a为所述摄像装置在垂直方向的方向角,xm为所述目标光源在相机坐标系中的x轴坐标值,zm为所述目标光源在相机坐标系中的z轴坐标.。将图像水平方向的水平像素位置坐标,转化为相机坐标系中的水平坐标的公式,和上述公式基于同一构思,这里不再赘述。
所述电子设备确定所述目标光源在相机坐标系中的坐标位置后,将所述坐标位置转化为所述目标光源在世界坐标系中的物理位置。具体的,电子设备可以确定所述摄像装置的物理位置,以及所述目标光源在相机坐标系中的坐标位置,将所述目标光源在相机坐标系中的坐标位置,转化为所述目标光源在以世界坐标系中的物理位置。
所述电子设备在确定所述目标光源的在第二时刻的物理位置,以及所述目标光源与所述摄像装置之间的相对速度后,可以预测所述目标光源在第二图像中的像素位置坐标。其中,预测所述目标光源在第二时刻的物理位置的方法可以但不限于为以下方法:卡尔曼滤波法、多贝叶斯估计法、比例、积分、微分(proportion integral differential,PID)算法等等,这里以卡尔曼滤波法作为一种预测的示例进行介绍。
卡尔曼滤波法,主要利用卡尔曼滤波器,将预测的所述目标光源在第二时刻的物理位置,以及在第二时刻由传感器检测、其他设备发送的所述目标光源的物理位置相结合,得到的第二时刻所述目标光源的物理位置估计值,该物理位置估计值,相比所有仅来自传感器检测的、其他设备发送的,或预测得到的物理位置更准确。例如,根据所述目标光源的在第一时刻的物理位置、所述目标光源与所述摄像装置之间的相对速度,以及第一时刻与第二时刻之间的时间差,预测所述目标光源的在第二时刻的物理位置。在已知所述目标光源的在第一时刻的物理位置P、所述目标光源与摄像装置之间的相对速度V,以及第一时刻和第二时刻之间的时间差Δt后,建立所述目标光源的在第一时刻的第一状态向量X1(PX1,PY1,VX,VY)。其中,所述PX1为所述目标光源的在第一时刻的物理位置的横坐标,所述PY1为所述目标光源的在第一时刻的物理位置的纵坐标,所述VX为所述目标光源与所述摄像装置的横向相对速度,所述VY为所述目标光源与所述摄像装置的纵向相对速度。在得到所述目标光源的第一状态向量X1后,可以利用带有过程噪声的运动模型,预测所述目标光源的在第二时刻的物理位置,可以但不限于使用如下方式预测第二状态向量,根据第二状态向量确定所述目标光源在第二时刻的物理位置:
Figure BDA0002783965690000121
其中,X2为所述目标光源在第二时刻的第二状态向量,A为过程噪声。例如,过程噪声可以为车辆顺风逆风产生的加减速度、道路斜坡产生的加减速度、人为加减速度等等,Δt为第一时刻和第二时刻的时间差值。此外,上述过程噪声还可以采用协方差矩阵来表示,本领域技术人员应当知晓,这里不做过多赘述。
所述电子设备通过运动模型能预测所述目标光源的在第二时刻的物理位置;所述电子设备还能通过传感器检测,或其他设备发送的能确定所述目标光源在第二时刻的物理位置,但由于通过传感器检测,或其他设备发送的所述目标光源的物理位置并不一定准确。因此,可以利用所述传感器检测,或其他设备发送的所述目标光源在第二时刻的物理位置,修正本次预测得到的所述目标光源的在第二时刻的物理位置,从而结合形成一个新的运动模型。因此,在每次预测物理位置时,都使用上次新形成的运动模型,来预测所述目标光源的物理位置,从而能更精准的预测所述目标光源的物理位置。
所述电子设备在预测得到所述目标光源在第二时刻的物理位置后,根据所述目标光源在第二时刻的物理位置,确定所述目标光源在第二时刻在相机坐标系中的坐标位置。并再次利用相机标定法,将所述目标光源在第二时刻在相机坐标系中的坐标位置,转化为在所述第二时刻所述目标光源在所述摄像装置拍摄的第二图像中的第二位置信息。其中,本申请实施例中的坐标转化的方式与上述实施例提供的坐标转化的方式基于同一构思,这里不再赘述。
方法二、电子设备根据目标光源的运动速度,确定目标光源在第二图像中的像素位置坐标。
其中,所述电子设备获取所述目标光源运动速度的方法与方式一中提供的方式相同,这里不再赘述。在所述第一位置信息为所述目标光源在第一时刻的物理位置时,所述电子设备可以根据所述目标光源的运动速度,以及所述目标光源在第一时刻的物理位置,预测所述目标光源在第二时刻的物理位置,预测所述目标光源在第二时刻的物理位置的方法可以但不限于上述方式一中提供的卡尔曼滤波法等等。
然后,所述电子设备获取所述摄像装置在所述第二时刻的物理位置,并根据所述目标光源在所述第二时刻的物理位置、所述摄像装置在所述第二时刻的物理位置,确定所述第二位置信息。
在一些实施例中,电子设备根据所述目标光源在所述第二时刻的物理位置、所述摄像装置在所述第二时刻的物理位置,确定在所述第二时刻在相机坐标系中的第三位置信息;其中,所述相机坐标系是以所述摄像装置为中心的坐标系;并利用所述第三位置信息,根据相机标定法确定所述第二位置信息。
方法三、电子设备根据目标光源与摄像装置之间的相对速度,以及目标光源在第一图像中的像素位置坐标,确定目标光源在第二图像中的像素位置坐标。
其中,所述电子设备获取所述目标光源与所述摄像装置的相对速度的方法与方式一中提供的方式相同,这里不做过多介绍。在电子设备确定所述目标光源与所述摄像装置的相对速度后,还可以利用卡尔曼滤波法,根据所述目标光源在第一图像中的像素位置坐标,确定目标光源在第二图像中的像素位置坐标,或者,也可以将所述目标光源在第一图像中的像素位置坐标,以及所述目标光源与所述摄像装置的相对速度,共同输入第二神经网络模型,所述第二神经网络模型是以第一时刻光源在所述图像中像素位置坐标,以及所述光源与摄像装置的相对速度作为输入,以第二时刻光源在所述图像中像素位置坐标为输出进行训练的神经网络模型。
S203:电子设备根据第一图像和第二位置信息,生成第二图像的预测图像。
电子设备在获取到所述目标光源的第二位置信息后,生成所述第二图像的预测图像。其中,所述生成第二图像的预测图像的方法可以但不限于包括以下方法:
方法一、电子设备在初始化图像中确定所述第二位置信息所指示的区域,根据所述第二位置信息所指示的区域,确定灰度调整区域,将所述初始化图像中的所述灰度调整区域中包含的像素点的灰度值调整为第一图像中目标光源的灰度值,得到所述第二图像。其中,其中,所述初始化图像与所述第一图像相同,预测图像是在第一图像(初始化图像)的基础上生成的,所述灰度调整区域包含所述第二位置信息所指示的区域;
该方法具体可以包含以下步骤:
B1、电子设备在初始化图像中确定所述第二位置信息所指示的区域,根据所述第二位置信息所指示的区域。其中,当所述第二位置信息所指示的区域为初始化图像中的一个像素点时,所述灰度调整区域可以为以该像素坐标点为中心并向四周扩展形成的区域,扩展形成的区域的形状可以为:圆形区域、矩形区域、不规则的多边形区域等等。在一些可能的实施例中,所述灰度调整区域可以根据所述目标光源距离所述摄像装置的距离大小确定,相应的,所述目标光源距离所述摄像装置越远,所述灰度调整区域越小,所述目标光源距离所述摄像装置越近,所述灰度调整区域越大。
在另一些可能的实施例中,所述灰度调整区域还可以根据所述目标光源的光照度大小确定。其中,所述目标光源的光照度,既可以为所述摄像装置拍摄后确定的,也可以是从所述包含V2X系统的其他设备上广播接收的,还可以为传感器检测得到的。相应的,所述目标光源的光照度越弱,所述灰度调整区域越小,所述目标光源的光照度越强,所述灰度调整区域越大。上述确定所述灰度调整区域的方式,既可以独立实施,也可以结合共同实施,即所述目标光源距离所述摄像装置越近,光照度越强,所述灰度调整区域越大,所述目标光源距离所述摄像装置越远,光照度越低,所述灰度调整区域越小。
B2、电子设备确定第一图像中目标光源的灰度值。具体的,所述电子设备可以先在所述第一图像中确定所述目标光源的灰度值。其中,所述第一图像中所述目标光源的灰度值,既可以为所述第一图像中所述目标光源对应的各个像素点的灰度值的平均值,也可以为所述第一图像中所述目标光源对应的各个像素点的灰度值的众数值。
B3、电子设备将初始化图像中所述灰度调整区域调整为第一图像中目标光源的灰度值,生成第二图像。此外,所述电子设备还可以将所述灰度调整区域中各个像素点的灰度值直接调整为设定的灰度值,例如,所述电子设备将所述灰度调整区域中各个像素点的灰度值调整为255,以表示初始化图像中所述灰度调整区域被所述目标光源完全照射。
方法二、电子设备在初始化图像中确定所述第二位置信息所指示的区域,根据所述第二位置信息所指示的区域,确定灰度调整区域,根据所述目标光源与所述摄像装置之间的距离及所述目标光源的光照度,确定预测灰度值,将所述灰度调整区域包含的像素点的灰度值调整为预测灰度值。
其中,在所述第一时刻拍摄的所述第一图像中,所述目标光源可能未出现,即在所述第一时刻,所述目标光源未出现在所述摄像装置的拍摄范围中,但所述电子设备预测所述摄像装置在第二时刻即将拍摄的第二图像中出现。因此,所述电子设备无法根据所述第一图像确定未出现的所述目标光源的灰度值,生成第二图像。所述电子设备可以在所述第二时刻根据所述目标光源与所述摄像装置的距离,以及所述目标光源的光照度,预测所述目标光源应在第二图像中出现时的预测灰度值。其中,可以预先建立所述目标光源与所述摄像装置的距离以及所述光照度与预测灰度值的对应关系。例如,所述目标光源与所述摄像装置之间的距离为100m,所述目标光源的光照度为20lux,则所述目标光源的预测灰度值为240。最终将所述灰度调整区域包含的像素点的灰度值调整为预测灰度值。
此外,生成的预测图像既可以用图像格式(如jpg、jpeg等等)进行保存,还可以直接以各像素位置坐标+灰度值的组合作为数组进行存储,例如采用数组(1,1,255)来表示第1行第1列的像素点的灰度值为255。
S204:电子设备计算第一图像的灰度值和预测图像的灰度值。
其中,所述第一图像的灰度值可以为第一图像中所有像素点的灰度值的平均值,所述预测图像的灰度值可以为所述预测图像中所有像素点的灰度值的平均值。此外,所述电子设备通过所述第一图像的灰度直方图中各灰度的分布情况,加权计算所述第一图像的灰度值,这里不做限定。
S205:根据第一图像的灰度值和预测图像的灰度值,调整摄像装置的曝光参数。
其中,所述电子设备可以根据所述第一图像的灰度值和所述预测图像的灰度值,在到达第二时刻之前,调整所述摄像装置的曝光参数的方法可以但不限于如下方法:
方式一、电子设备计算所述第一图像的灰度值减所述预测图像的灰度值,得到的灰度差值;例如,所述第一图像的灰度值可以表示为YA,所述预测图像的灰度值可以表示为YB。
当所述灰度差值(YA-YB)不小于第一差值时,减少所述摄像装置的曝光时长。
当所述灰度差值(YA-YB)不大于第二差值时,增加所述摄像装置的曝光时长。
当所述灰度差值大于第二差值且小于所述第一差值时,电子设备将所述摄像装置的图像信号处理器调整为自动调节曝光时间的模式;其中,所述第一差值为正数,所述第二差值为负数。或者,对应所述灰度差值区间建立对应的曝光时间调节表,所述曝光时间调节表参阅下表1,本领域技术人员可以通过实验获得不同车速、不同灰度值下的曝光时间曲线,根据所述曝光时间曲线建立所述曝光时间调节表,电子设备根据所述灰度差值所在的所述灰度差值区间,在所述曝光时间调节表中确定对应的曝光时间调节值。本领域技术人员应当了解,所述曝光时间调节表中提供的曝光时间调节值与灰度差值区间的对应关系,仅是作为示例,并不会对本申请提供的内容进行限定。
表1
Figure BDA0002783965690000151
方式二、电子设备计算所述第一图像的灰度值减所述预测图像的灰度值,得到灰度差值,根据所述灰度差值与所述第一图像的灰度值的比值,确定灰度变化率。具体的,所述第一图像的灰度值可以表示为YA,所述预测图像的灰度值可以表示为YB。所述灰度变化率可以表示为(YA-YB)/YB。
当所述灰度变化率不小于第一阈值时,减少所述摄像装置的曝光时长。
当所述灰度变化率不大于第二阈值时,增加所述摄像装置的曝光时长。
当所述灰度差值大于第二阈值且小于所述第一阈值时,所述电子设备将所述摄像装置的图像信号处理器调整为自动调节曝光时间的模式;
其中,所述第一阈值为正数,所述第二阈值为负数。
或者,对应所述灰度变化率区间存在对应的曝光时间调节表,所述曝光时间调节表参阅下表2,本领域技术人员可以通过实验获得不同车速、不同灰度值变化率下的曝光时间曲线,根据所述曝光时间曲线建立所述曝光时间调节表,根据所述灰度变化率所在的所述灰度差值区间在所述曝光时间调节表中寻找对应的曝光时间调节值。所述电子设备通过图像的灰度值变化率,确定的曝光时间调节值相比于只考虑当前图像的灰度值,曝光时间调节值能更好的适合当前的场景,调节后的摄像装置拍摄的图像质量更好,本领域技术人员应当了解,所述曝光时间调节表中提供的曝光时间调节值与灰度变化率区间的对应关系,仅是作为示例,并不会对本申请提供的内容进行限定。
表2
Figure BDA0002783965690000152
所述电子设备在得到所述曝光时间调节值后,在到达所述第二时刻之前,调整所述摄像装置的曝光时间。
此外,调整所述摄像装置的曝光参数并不限于曝光时间,还可以为光圈大小等等参数。例如,当所述第一图像与所述预测图像之间的灰度值变化过大时,还可以扩大或缩小光圈,上述调节所述曝光参数中的曝光时间、光圈大小、感光度的目的主要为增加或减少摄像装置的进光量,防止所述摄像装置拍摄的图像产生过曝或欠曝的问题。
在一些实施例中,电子设备在获取所述目标光源在所述第一时刻的第一位置信息之前,还需要获取至少一个光源的亮度信息。其中,所述至少一个光源在所述第一时刻的亮度信息,用于表示在所述摄像装置的拍摄范围中的任意光源在所述第一时刻的亮度;所述电子设备根据所述至少一个光源在所述第一时刻的亮度信息,在所述至少一个光源中确定亮度超过设定亮度阈值的光源为所述目标光源。
我们了解,不同的光源亮度会对曝光参数产生不同的影响,当光源的亮度过低时,即使光源在第一时刻和第二时刻时间产生了位置变化,其最终对曝光参数的影响也很小,可以忽略不计。因此,所述电子设备在获取所述目标光源时,需要首先获取至少一个光源在所述第一时刻的亮度信息。所述至少一个光源为在所述摄像装置的拍摄范围中所有光源,在所述至少一个光源中选择亮度超过设定亮度阈值的所述目标光源,或筛选掉亮度低于亮度阈值的所述目标光源,避免计算无效的光源的位置信息变化,降低了计算量,能够更快的调整曝光参数。
在一些实施例中,电子设备获取至少一个光源在所述第一时刻的亮度信息的方法可以但不限于如下方式:
方式一、电子设备在所述第一图像中确定所述至少一个光源,根据在所述第一图像中所述至少一个光源所在区域的灰度值,确定所述至少一个光源在所述第一时刻的亮度信息。具体的,所述电子设备首先在第一图像中确定该图像中存在的至少一个光源,并确定所述至少一个光源所在区域的灰度值,所述灰度值越大,表明光源的亮度越高,所述第一时刻的亮度信息越大。
方式二、电子设备接收其他设备发送的所述至少一个光源在所述第一时刻的亮度信息。
其中,电子设备可以但不限于采用如下方式接收其他设备发送的所述至少一个光源在所述第一时刻的亮度信息:接收其他车辆的V2X系统广播的车辆的各类信息,从所述车辆的各类信息中,确定所述至少一个光源在所述第一时刻的位置信息及光照度。首先根据所述至少一个光源在所述第一时刻的位置信息及所述摄像装置的拍摄范围,确定所述至少一个光源是否在所述摄像装置的拍摄范围中,若光源在所述范围中,根据所述位置信息及光照度确定至少一个光源在所述第一时刻的亮度信息。所述光源距离所述摄像装置越远,光照度越低,亮度也就越低,或者,电子设备还可以接收所述摄像装置中设置的感光元件采集的传感数据,根据所述传感数据表示的亮度,确定所述至少一个光源在所述第一时刻的亮度信息。
基于以上的实施例,本申请提供一种曝光参数调节方法的实例,参阅图3a及3b所示,该方法可以应用于布置有摄像装置的第一车辆301之上。
图3a为第一车辆在第一时刻的空间示意图;其中,所述第一时刻对应当前时刻,此时,所述第一车辆301正行驶在道路上时,在第二时刻会与开启前照灯的第二车辆302、开启尾灯的第三车辆303、路灯304进行交汇。
图3b为第一车辆在第二时刻的预测交汇示意图,所述第二时刻为即将交汇的时刻。在第二时刻,上述车辆及路灯的灯光会影响所述第一车辆301的摄像装置的图像拍摄质量。利用现有技术,所述第一车辆301上的摄像装置在第二时刻下,无法及时的调整曝光参数,从而难以得到清晰的图像。
其中,所述第一车辆301上的电子设备包括信息获取模块、光源预测模块、图像生成模块及曝光调节模块。下面分别对第一车辆中的各个模块的功能进行说明:
所述信息获取模块,用于确定所述第一车辆301上的摄像装置拍摄范围内的至少一个光源的位置、速度以及灯光信息。
所述光源预测模块,用于根据所述信息获取模块获取的至少一个光源的位置、速度以及灯光信息,确定目标光源,并预测在第二时刻所述目标光源的位置。
所述图像生成模块,用于根据所述光源预测模块预测的在所述第二时刻所述目标光源的位置以及摄像装置在第一时刻拍摄的第一图像的初始化图像,生成在第二时刻即将拍摄的第二图像的预测图像。
所述曝光调节模块,用于根据所述第一图像的灰度值和所述预测图像的灰度值,调整所述摄像装置的曝光参数。
下面参阅图4所示的流程图,对在第一车辆301执行曝光参数调节方法的步骤进行具体描述:
S401:信息获取模块获取摄像装置在第一时刻拍摄的第一图像。其中,第一时刻既可以为当前时刻,也可以为当前时刻之前的任意时刻。参阅图5a所示,为第一图像的示意图,其中,所述第一图像中显示的内容包括:开启前照灯的第二车辆302、开启尾灯的第三车辆303、路灯304。在本实例中,所述第一图像为所述第一车辆301上的所述摄像装置拍摄,且在第一时刻拍摄得到的图像。
S402:信息获取模块获取至少一个光源在的亮度信息,根据至少一个光源在第一时刻的亮度信息,在至少一个光源中确定亮度超过设定亮度阈值的光源为目标光源。所述摄像装置在拍摄时,在道路场景下可能存在至少一个光源,但并非所有的光源都会影响所述摄像装置的拍摄质量。例如,所述信息获取模块能获取到多个光源:第二车辆302的前照灯、第三车辆303的尾灯、路灯304、发光的道路指示牌以及远端的LED屏幕等等,需要在上述光源中选择大于亮度阈值的光源后,再预测光源在第二时刻的位置,在本实例中,大于亮度阈值的光源为第二车辆302的前照灯、第三车辆303的尾灯、路灯304。
在一种可能的实施例中,所述信息获取模块还包括:V2X系统、图像检测模块及感知模块。其中,所述V2X系统用于接收由第二车辆302及第三车辆303发送的车灯信息以及位置信息,而所述图像检测模块用于检测所述摄像装置拍摄范围内的存在的光源,并利用所述感知模块进一步确定范围内存在的光源距离所述摄像装置的位置。所述信息获取模块能够根据所述车灯信息以及所述位置信息,或根据所述光源距离所述摄像装置的位置,在所述至少一个光源中确定所述目标光源。步骤S402既可以在步骤S401之前执行,也可以在步骤S403之前执行,这里不作执行顺序的限定。
S403:信息获取模块获取目标光源在第一时刻的第一位置信息,将第一位置信息发送至光源预测模块,所述光源预测模块根据第一位置信息,预测所述摄像装置在第二时刻即将拍摄的第二图像中所述目标光源的第二位置信息。在一种可能的实施例中,所述信息获取模块中的所述V2X系统用于接收所述第二车辆302及所述第三车辆303,发送的所述目标光源在所述第一时刻的第一位置信息、速度信息及灯光信息。其中,所述第一位置信息表示所述第二车辆302的前照灯和所述第三车辆303的尾灯的在第一时刻的物理位置;所述速度信息表示所述第二车辆302和所述第三车辆303的行驶速度;所述灯光信息用于表示第二车辆302的前照灯和所述第三车辆303的尾灯的光照度大小。而所述图像检测模块用于确定所述路灯304的光照度,并通过所述感知模块确定所述路灯304在第一时刻的物理位置及速度。
所述光源预测模块根据所述第二车辆302的前照灯、第三车辆303的尾灯及路灯304在第一时刻的物理位置,确定在第二时刻所述目标光源在所述摄像装置拍摄的第二图像中的第二位置信息。具体的,所述光源预测模块,可以利用卡尔曼滤波法,根据所述目标光源的运动速度及所述目标光源在所述第一时刻的物理位置,预测所述目标光源在所述第二时刻的物理位置,并根据所述第二时刻摄像装置的物理位置,确定在所述第二时刻所述目标光源的在以所述摄像装置为中心的坐标系中的位置坐标。所述光源预测模块最终利用相机标定法,根据所述目标光源的在以所述摄像装置为中心的坐标系中的位置坐标,确定在所述第二时刻所述目标光源在所述摄像装置拍摄的第二图像中的第二位置信息。
S404:图像生成模块根据第一图像和第二位置信息,生成所述第二图像的预测图像。
所述图像生成模块确定所述预测图像的初始化图像,其中,所述初始化图像与所述第一图像相同,确定所述第二位置信息所指示的区域,并根据所述第二位置信息所指示的区域,确定灰度调整区域,将所述灰度调整区域包含的像素点的灰度值调整为第一图像中目标光源的灰度值,生成所述第二图像。
图5a为所述摄像装置在第一时刻拍摄到的第一图像。图5b为预测所述摄像装置在第二时刻即将拍摄的第二图像的示意图。利用预测得到的目标光源位置,确定所述目标光源在第二时刻的第二位置信息,扩大或缩小所述灰度调整区域。在一些可能的实施例中,所述灰度调整区域可以根据所述目标光源距离所述摄像装置的距离大小确定。
所述图像生成模块在确定所述第一图像中所述目标光源的灰度值后,将所述灰度调整区域,调整为所述第一图像中目标光源的灰度值。从图5a到图5b之间的变化可以看出,该场景下第一车辆301和第三车辆303同向行驶逐渐靠近、第一车辆301和第二车辆302对向行驶逐渐靠近,因此,第二车辆302的前照灯、第三车辆303的尾灯及路灯304在所述第二时刻的位置,相较于所述第一时刻的位置,与所述摄像装置的距离都有所接近。因此,在生成的预测图像中,需要以确定所述第二位置信息所指示的区域为基准,扩大所指示的区域的大小得到灰度调整区域。其中,在第一图像中所述第二车辆302上的前照灯的灰度值为Y1、所述第三车辆303上的尾灯的灰度值为Y2、所述路灯304的灰度值为Y3,根据所述第一图像中所述目标光源的灰度值,生成第二图像的预测图像。参阅图5c所示,为所述光源预测模块生成的第二图像的预测图像,其中,车辆在行驶过程中目标光源与摄像装置接近,因此,在所述摄像装置的拍摄范围内,所述目标光源照射范围也会增大,相应的,在第二图像中所述灰度调整区域也会变大。
此外,若所述目标光源在所述灰度调整区域,与所述初始化图像中的第一位置信息所指示的区域不完全重合或不重合时,可以将初始化图像中所述第一位置信息所指示的区域中的未重合区域的像素点的灰度值,调整为所述初始化图像的灰度平均值,以减小计算预测图像的灰度值的误差。参阅图5d所示,初始化图像中的第一位置信息所指示的区域501和预测图像中的灰度调整区域502不完全重合,则可以将初始化图像中第一位置信息所指示的区域501和预测图像中的灰度调整区域502不重合部分的像素点的灰度值调整为所述初始化图像的灰度平均值,以减小计算预测图像的灰度值的误差。
S405:图像生成模块计算第一图像的灰度值和预测图像的灰度值。
所述第一图像的灰度值为第一图像中所有像素点的灰度值的平均值YA,所述预测图像的灰度值为所述预测图像中所有像素点的灰度值的平均值YB。
S406:根据所述第一图像的灰度值和所述预测图像的灰度值,调整所述摄像装置的曝光参数。
具体的,所述图像生成模块计算所述第一图像的灰度值YA减所述预测图像的灰度值YB,并得到灰度差值(YA-YB)后,根据所述灰度差值与所述第一图像的灰度值的比值(YA-YB)/YB,确定灰度变化率:
当所述灰度变化率不小于第一阈值时,说明摄像装置在第二时刻会受到的灯光照射范围大,影响大,因此减少所述摄像装置的曝光时长。
当所述灰度变化率不大于第二阈值时,说明摄像装置在第二时刻由被灯光照射的情况变为黑暗的环境,因此,增加所述摄像装置的曝光时长。
当所述灰度差值大于第二阈值且小于所述第一阈值时,将所述摄像装置的图像信号处理器调整为自动调节曝光时间模式;
其中,所述第一阈值为正数,所述第二阈值为负数。
具体的,增加或减少的曝光时长可以由当前车速及灰度值变化率所决定的,通过采集不同车速、不同灰度值变化率下的曝光时间曲线,能确定具体的曝光调节时间。
基于以上实施例,本申请实施例还提供了一种曝光参数调节装置600,所述装置可以应用于图1所示的车辆中,用于实现以上实施例提供的曝光参数调节方法。参阅图6所示,所述装置可以包括:
第一图像获取单元601,用于获取摄像装置在第一时刻拍摄的第一图像;
目标光源位置确定单元602,用于确定目标光源,获取所述目标光源的第一位置信息,其中,所述第一位置信息用于指示所述目标光源在所述第一图像中的位置,或者指示所述目标光源在所述第一时刻的物理位置;
预测位置单元603,用于根据所述第一位置信息,预测所述摄像装置在第二时刻即将拍摄的第二图像中所述目标光源的第二位置信息;其中,所述第二时刻位于所述第一时刻之后;
预测图像生成单元604,用于根据所述第一图像和所述第二位置信息,生成所述第二图像的预测图像;
曝光参数调整单元605,用于计算所述第一图像的灰度值和所述预测图像的灰度值;根据所述第一图像的灰度值和所述预测图像的灰度值,调整所述摄像装置的曝光参数。
在一种实施方式中,曝光参数调节装置600还包括:
目标光源确定单元606,用于在确定目标光源之前,获取至少一个光源的亮度信息,其中,任一光源在所述第一时刻的亮度信息用于表示所述光源在所述第一时刻的亮度;
根据所述至少一个光源的亮度信息,在所述至少一个光源中确定亮度超过设定亮度阈值的所述目标光源。
在一种实施方式中,所述目标光源确定单元606,还用于:根据在所述第一图像中所述至少一个光源所在区域的灰度值,确定所述至少一个光源在所述第一时刻的亮度信息;或者
接收其他设备发送的所述至少一个光源在所述第一时刻的亮度信息。
在一种实施方式中,所述第一位置信息用于指示所述目标光源在所述第一图像中的位置;
所述预测位置单元603,还用于:获取所述目标光源与所述摄像装置之间的相对速度;
根据所述第一时刻与第二时刻的时间差值、所述第一位置信息,以及所述相对速度,确定所述第二位置信息。
在一种实施方式中,所述第一位置信息用于指示所述目标光源在第一时刻的物理位置;
所述预测位置单元603,还用于:获取所述目标光源的运动速度;
根据所述目标光源的运动速度以及第一位置信息,确定所述目标光源在所述第二时刻的物理位置;
根据所述目标光源在所述第二时刻的物理位置、所述摄像装置在所述第二时刻的物理位置,确定所述第二位置信息。
在一种实施方式中,所述预测位置单元603,还用于:根据所述目标光源在所述第二时刻的物理位置、所述摄像装置在所述第二时刻的物理位置,确定在所述第二时刻在相机坐标系中的第三位置信息;其中,所述相机坐标系是以所述摄像装置为中心的坐标系;
将所述第三位置信息转变为所述第二位置信息。
在一种实施方式中,所述预测位置单元603,还用于:获取摄像装置拍摄的第一时刻之前的至少一幅第三图像,根据所述第一图像以及所述第三图像,确定所述目标光源的运动速度;或者
接收其他设备发送的所述目标光源的运动速度;或者
接收传感器发送的传感器数据,根据所述传感器数据确定所述目标光源的运动速度。
在一种实施方式中,所述预测图像生成单元604,还用于:确定所述预测图像的初始化图像,其中,所述初始化图像与所述第一图像相同;
在所述初始化图像中,确定所述第二位置信息所指示的区域;
根据所述第二位置信息所指示的区域,确定灰度调整区域,其中,所述灰度调整区域包含所述第二位置信息所指示的区域;
将所述初始化图像中的所述灰度调整区域包含的像素点的灰度值调整为设定灰度值,得到所述预测图像。
在一种实施方式中,当所述第一位置信息指示所述目标光源在所述第一图像中的位置时,所述设定灰度值为所述第一图像中所述第一位置信息所指示的区域包含的像素点的灰度值。
在一种实施方式中,所述第一图像的灰度值为所述第一图像中所有像素点的灰度值的平均值;所述预测图像的灰度值为所述预测图像中所有像素点的灰度值的平均值。
在一种实施方式中,所述曝光参数调整单元605,还用于:计算所述第一图像的灰度值与所述预测图像的灰度值之间的灰度差值;
根据所述灰度差值,调整所述摄像装置的曝光参数。
在一种实施方式中,所述曝光参数包含曝光时长;
所述曝光参数调整单元605,还用于:
当所述灰度差值不小于第一差值时,减少所述摄像装置的曝光时长;或者
当所述灰度差值不大于第二差值时,增加所述摄像装置的曝光时长;或者
当所述灰度差值大于第二差值且小于所述第一差值时,将所述摄像装置的图像信号处理器调整为自动调节曝光时间模式;
其中,所述第一差值为正数,所述第二差值为负数。
在一种实施方式中,所述曝光参数包含曝光时长;
所述曝光参数调整单元605,还用于:
根据所述灰度差值与所述第一图像的灰度值,确定灰度变化率;
当所述灰度变化率不小于第一阈值时,减少所述摄像装置的曝光时长;或者
当所述灰度变化率不大于第二阈值时,增加所述摄像装置的曝光时长;或者
当所述灰度差值大于第二阈值且小于所述第一阈值时,将所述摄像装置的图像信号处理器调整为自动调节曝光时间模式;
其中,所述第一阈值为正数,所述第二阈值为负数。
需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
基于以上实施例本申请实施例还提供了一种曝光参数调节装置,所述装置可以应用于图1所示的车辆中,用于实现上述曝光参数调节方法,且具有图6所示的装置的功能。参阅图7所示,所述装置700中包括:通信模块701、处理器702,以及存储器703。
所述通信模块701和所述存储器703与所述处理器702之间相互连接。可选的,所述通信模块701和所述存储器703与所述处理器702之间可以通过总线相互连接;所述总线可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
所述通信模块701用于与其他设备通信。示例性的,所述通信模块701中可以包含通信接口和无线通信模块。其中,所述通信接口用于与所述车辆中的其他部件通信。例如,所述车载设备可以通过所述通信接口从感应装置、操作装置等部件中获取各种数据。所述无线通信模块可以包括:蓝牙模块、WiFi模块,RF电路等。
所述处理器702用于实现如图2所示的实施例提供的曝光参数调节方法,具体可以参见上述实施例中的描述,此处不再赘述。可选的,所述处理器702可以是中央处理器(central processing unit,CPU),或者其他硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmablelogic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gatearray,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。所述处理器702在实现上述功能时,可以通过硬件实现,当然也可以通过硬件执行相应的软件实现。
所述存储器703用于存放程序指令和数据等。具体地,程序指令可以包括程序代码,该程序代码包括计算机操作的指令。存储器703可能包含随机存取存储器(randomaccess memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。所述处理器702执行所述存储器703所存放的程序,并通过上述各个部件,实现上述功能,从而最终实现以上实施例提供的曝光参数调节方法。
可以理解,本申请图7中的存储器703可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
基于以上实施例,本申请实施例还提供了一种计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行以上实施例提供的曝光参数调节方法。
基于以上实施例,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,所述计算机程序被计算机执行时,使得计算机执行以上实施例提供的曝光参数调节方法。
其中,存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于:计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
基于以上实施例,本申请实施例还提供了一种芯片,所述芯片用于读取存储器中存储的计算机程序,实现以上实施例提供的曝光参数调节方法。
基于以上实施例,本申请实施例提供了一种芯片系统,该芯片系统包括处理器,用于支持计算机装置实现以上实施例中业务设备、转发设备或站点设备所涉及的功能。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器用于保存该计算机装置必要的程序和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。
综上所述,利用本申请提供的一种曝光参数调节方法及装置,解决了现有技术在光线剧烈变化的场景下,摄像装置无法及时调整到合适的曝光参数,使得曝光参数的调节滞后,因此在调节过程中拍摄的图像质量相对比较差的问题。本申请通过获取摄像装置在第一时刻拍摄的第一图像,并生成在第二时刻即将拍摄的第二图像的预测图像,根据第一图像的灰度值和预测图像的灰度值,调整所述摄像装置的曝光参数。进一步的,根据目标光源在第一时刻的第一位置信息,能预测目标光源在第二时刻的第二位置信息,从而能根据第二位置信息生成预测图像,并能通过第一图像的灰度值和预测图像的灰度值的变化情况,调整摄像装置的曝光参数。本申请能通过预测目标光源位置的方式,来确定目标光源的位置对摄像装置的影响。在面对光线剧烈变化的场景如类似对向来车远光灯等场景下,引起的图像过曝或欠曝的问题,能及时调节曝光参数以得到清晰的图像,以保证驾驶的安全。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (30)

1.一种曝光参数调节方法,其特征在于,包括:
获取摄像装置在第一时刻拍摄的第一图像;
确定目标光源,获取所述目标光源的第一位置信息,其中,所述第一位置信息用于指示所述目标光源在所述第一图像中的位置,或者指示所述目标光源在所述第一时刻的物理位置;
根据所述第一位置信息,预测所述摄像装置在第二时刻即将拍摄的第二图像中所述目标光源的第二位置信息;其中,所述第二时刻位于所述第一时刻之后;
根据所述第一图像和所述第二位置信息,生成所述第二图像的预测图像;
计算所述第一图像的灰度值和所述预测图像的灰度值;
根据所述第一图像的灰度值和所述预测图像的灰度值,调整所述摄像装置的曝光参数。
2.根据权利要求1所述的方法,其特征在于,在确定目标光源之前,所述方法还包括:
获取至少一个光源的亮度信息,其中,任一光源在所述第一时刻的亮度信息用于表示所述光源在所述第一时刻的亮度;
根据所述至少一个光源的亮度信息,在所述至少一个光源中确定亮度超过设定亮度阈值的所述目标光源。
3.根据权利要求2所述的方法,其特征在于,获取至少一个光源的亮度信息,包括:
根据在所述第一图像中所述至少一个光源所在区域的灰度值,确定所述至少一个光源在所述第一时刻的亮度信息;或者
接收其他设备发送的所述至少一个光源在所述第一时刻的亮度信息。
4.根据权利要求1~3任一所述的方法,其特征在于,所述第一位置信息用于指示所述目标光源在所述第一图像中的位置;所述根据所述第一位置信息,预测所述摄像装置在第二时刻即将拍摄的第二图像中所述目标光源的第二位置信息,包括:
获取所述目标光源与所述摄像装置之间的相对速度;
根据所述第一时刻与第二时刻的时间差值、所述第一位置信息,以及所述相对速度,确定所述第二位置信息。
5.根据权利要求1~3任一所述的方法,其特征在于,所述第一位置信息用于指示所述目标光源在第一时刻的物理位置;所述根据所述第一位置信息,预测所述摄像装置在第二时刻即将拍摄的第二图像中所述目标光源的第二位置信息,包括:
获取所述目标光源的运动速度;
根据所述目标光源的运动速度以及第一位置信息,确定所述目标光源在所述第二时刻的物理位置;
根据所述目标光源在所述第二时刻的物理位置、所述摄像装置在所述第二时刻的物理位置,确定所述第二位置信息。
6.根据权利要求5所述的方法,其特征在于,根据所述目标光源在所述第二时刻的物理位置、所述摄像装置在所述第二时刻的物理位置,确定所述第二位置信息,包括:
根据所述目标光源在所述第二时刻的物理位置、所述摄像装置在所述第二时刻的物理位置,确定在所述第二时刻在相机坐标系中的第三位置信息;其中,所述相机坐标系是以所述摄像装置为中心的坐标系;
将所述第三位置信息转变为所述第二位置信息。
7.根据权利要求5或6所述的方法,其特征在于,所述获取所述目标光源的运动速度,包括:
获取摄像装置拍摄的第一时刻之前的至少一幅第三图像,根据所述第一图像以及所述第三图像,确定所述目标光源的运动速度;或者
接收其他设备发送的所述目标光源的运动速度;或者
接收传感器发送的传感器数据,根据所述传感器数据确定所述目标光源的运动速度。
8.根据权利要求1~7任一所述的方法,其特征在于,所述根据所述第一图像和所述第二位置信息,生成所述第二图像的预测图像,包括:
确定所述预测图像的初始化图像,其中,所述初始化图像与所述第一图像相同;
在所述初始化图像中,确定所述第二位置信息所指示的区域;
根据所述第二位置信息所指示的区域,确定灰度调整区域,其中,所述灰度调整区域包含所述第二位置信息所指示的区域;
将所述初始化图像中的所述灰度调整区域包含的像素点的灰度值调整为设定灰度值,得到所述预测图像。
9.根据权利要求8所述的方法,其特征在于,当所述第一位置信息指示所述目标光源在所述第一图像中的位置时,所述设定灰度值为所述第一图像中所述第一位置信息所指示的区域包含的像素点的灰度值。
10.根据权利要求1~9任一所述的方法,其特征在于,所述第一图像的灰度值为所述第一图像中所有像素点的灰度值的平均值;所述预测图像的灰度值为所述预测图像中所有像素点的灰度值的平均值。
11.根据权利要求1~10任一所述的方法,其特征在于,根据所述第一图像的灰度值和所述预测图像的灰度值,调整所述摄像装置的曝光参数,包括:
计算所述第一图像的灰度值与所述预测图像的灰度值之间的灰度差值;
根据所述灰度差值,调整所述摄像装置的曝光参数。
12.根据权利要求11所述的方法,其特征在于,所述曝光参数包含曝光时长;根据所述灰度差值,调整所述摄像装置的曝光参数,包括:
当所述灰度差值不小于第一差值时,减少所述摄像装置的曝光时长;或者
当所述灰度差值不大于第二差值时,增加所述摄像装置的曝光时长;或者
当所述灰度差值大于第二差值且小于所述第一差值时,将所述摄像装置的图像信号处理器调整为自动调节曝光时间模式;
其中,所述第一差值为正数,所述第二差值为负数。
13.根据权利要求11所述的方法,其特征在于,所述曝光参数包含曝光时长;根据所述灰度差值,调整所述摄像装置的曝光参数,包括:
根据所述灰度差值与所述第一图像的灰度值,确定灰度变化率;
当所述灰度变化率不小于第一阈值时,减少所述摄像装置的曝光时长;或者
当所述灰度变化率不大于第二阈值时,增加所述摄像装置的曝光时长;或者
当所述灰度差值大于第二阈值且小于所述第一阈值时,将所述摄像装置的图像信号处理器调整为自动调节曝光时间模式;
其中,所述第一阈值为正数,所述第二阈值为负数。
14.一种曝光参数调节装置,其特征在于,包括:
第一图像获取单元,用于获取摄像装置在第一时刻拍摄的第一图像;
目标光源位置确定单元,用于确定目标光源,获取所述目标光源的第一位置信息,其中,所述第一位置信息用于指示所述目标光源在所述第一图像中的位置,或者指示所述目标光源在所述第一时刻的物理位置;
预测位置单元,用于根据所述第一位置信息,预测所述摄像装置在第二时刻即将拍摄的第二图像中所述目标光源的第二位置信息;其中,所述第二时刻位于所述第一时刻之后;
预测图像生成单元,用于根据所述第一图像和所述第二位置信息,生成所述第二图像的预测图像;
曝光参数调整单元,用于计算所述第一图像的灰度值和所述预测图像的灰度值;根据所述第一图像的灰度值和所述预测图像的灰度值,调整所述摄像装置的曝光参数。
15.根据权利要求14所述的装置,其特征在于,所述装置还包括:
目标光源确定单元,用于在确定目标光源之前,获取至少一个光源的亮度信息,其中,任一光源在所述第一时刻的亮度信息用于表示所述光源在所述第一时刻的亮度;
根据所述至少一个光源的亮度信息,在所述至少一个光源中确定亮度超过设定亮度阈值的所述目标光源。
16.根据权利要求15所述的装置,其特征在于,
所述目标光源确定单元,还用于:根据在所述第一图像中所述至少一个光源所在区域的灰度值,确定所述至少一个光源在所述第一时刻的亮度信息;或者
接收其他设备发送的所述至少一个光源在所述第一时刻的亮度信息。
17.根据权利要求14~16任一所述的装置,其特征在于,所述第一位置信息用于指示所述目标光源在所述第一图像中的位置;
所述预测位置单元,还用于:获取所述目标光源与所述摄像装置之间的相对速度;
根据所述第一时刻与第二时刻的时间差值、所述第一位置信息,以及所述相对速度,确定所述第二位置信息。
18.根据权利要求14~16任一所述的装置,其特征在于,所述第一位置信息用于指示所述目标光源在第一时刻的物理位置;
所述预测位置单元,还用于:获取所述目标光源的运动速度;
根据所述目标光源的运动速度以及第一位置信息,确定所述目标光源在所述第二时刻的物理位置;
根据所述目标光源在所述第二时刻的物理位置、所述摄像装置在所述第二时刻的物理位置,确定所述第二位置信息。
19.根据权利要求18所述的装置,其特征在于,
所述预测位置单元,还用于:根据所述目标光源在所述第二时刻的物理位置、所述摄像装置在所述第二时刻的物理位置,确定在所述第二时刻在相机坐标系中的第三位置信息;其中,所述相机坐标系是以所述摄像装置为中心的坐标系;
将所述第三位置信息转变为所述第二位置信息。
20.根据权利要求18或19所述的装置,其特征在于,
所述预测位置单元,还用于:获取摄像装置拍摄的第一时刻之前的至少一幅第三图像,根据所述第一图像以及所述第三图像,确定所述目标光源的运动速度;或者
接收其他设备发送的所述目标光源的运动速度;或者
接收传感器发送的传感器数据,根据所述传感器数据确定所述目标光源的运动速度。
21.根据权利要求14~20任一所述的装置,其特征在于,
所述预测图像生成单元,还用于:确定所述预测图像的初始化图像,其中,所述初始化图像与所述第一图像相同;
在所述初始化图像中,确定所述第二位置信息所指示的区域;
根据所述第二位置信息所指示的区域,确定灰度调整区域,其中,所述灰度调整区域包含所述第二位置信息所指示的区域;
将所述初始化图像中的所述灰度调整区域包含的像素点的灰度值调整为设定灰度值,得到所述预测图像。
22.根据权利要求21所述的装置,其特征在于,当所述第一位置信息指示所述目标光源在所述第一图像中的位置时,所述设定灰度值为所述第一图像中所述第一位置信息所指示的区域包含的像素点的灰度值。
23.根据权利要求14~22任一所述的装置,其特征在于,所述第一图像的灰度值为所述第一图像中所有像素点的灰度值的平均值;所述预测图像的灰度值为所述预测图像中所有像素点的灰度值的平均值。
24.根据权利要求14~23任一所述的装置,其特征在于,
所述曝光参数调整单元,还用于:计算所述第一图像的灰度值与所述预测图像的灰度值之间的灰度差值;
根据所述灰度差值,调整所述摄像装置的曝光参数。
25.根据权利要求24所述的装置,其特征在于,所述曝光参数包含曝光时长;
所述曝光参数调整单元,还用于:
当所述灰度差值不小于第一差值时,减少所述摄像装置的曝光时长;或者
当所述灰度差值不大于第二差值时,增加所述摄像装置的曝光时长;或者
当所述灰度差值大于第二差值且小于所述第一差值时,将所述摄像装置的图像信号处理器调整为自动调节曝光时间模式;
其中,所述第一差值为正数,所述第二差值为负数。
26.根据权利要求24所述的装置,其特征在于,所述曝光参数包含曝光时长;
所述曝光参数调整单元,还用于:
根据所述灰度差值与所述第一图像的灰度值,确定灰度变化率;
当所述灰度变化率不小于第一阈值时,减少所述摄像装置的曝光时长;或者
当所述灰度变化率不大于第二阈值时,增加所述摄像装置的曝光时长;或者
当所述灰度差值大于第二阈值且小于所述第一阈值时,将所述摄像装置的图像信号处理器调整为自动调节曝光时间模式;
其中,所述第一阈值为正数,所述第二阈值为负数。
27.一种曝光参数调节装置,其特征在于,包括:
存储器,用于存储程序指令;
通信模块,用于接收和发送数据;
处理器,用于调用存储在所述存储器中的所述程序指令,执行如权利要求1~13任一项所述的方法。
28.一种计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1~13任一项所述的方法。
29.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有计算机程序,当所述计算机程序被计算机执行时,使得所述计算机执行如权利要求1~13任一项所述的方法。
30.一种芯片,其特征在于,所述芯片用于读取存储器中存储的计算机程序,执行如权利要求1~13任一项所述的方法。
CN202011291411.2A 2020-11-18 2020-11-18 一种曝光参数调节方法及装置 Active CN114520880B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011291411.2A CN114520880B (zh) 2020-11-18 2020-11-18 一种曝光参数调节方法及装置
PCT/CN2021/117598 WO2022105381A1 (zh) 2020-11-18 2021-09-10 一种曝光参数调节方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011291411.2A CN114520880B (zh) 2020-11-18 2020-11-18 一种曝光参数调节方法及装置

Publications (2)

Publication Number Publication Date
CN114520880A true CN114520880A (zh) 2022-05-20
CN114520880B CN114520880B (zh) 2023-04-18

Family

ID=81595463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011291411.2A Active CN114520880B (zh) 2020-11-18 2020-11-18 一种曝光参数调节方法及装置

Country Status (2)

Country Link
CN (1) CN114520880B (zh)
WO (1) WO2022105381A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115657404A (zh) * 2022-12-12 2023-01-31 合肥安迅精密技术有限公司 改善相机光源线性度的调光方法及系统、存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225820B (zh) * 2022-07-28 2023-05-26 东集技术股份有限公司 拍摄参数自动调整方法、装置、存储介质及工业相机
CN115633259B (zh) * 2022-11-15 2023-03-10 深圳市泰迅数码有限公司 基于人工智能的智能摄像头自动调控方法及系统
CN116503369B (zh) * 2023-05-06 2024-01-26 北京思莫特科技有限公司 结构体的变形监测方法、图像曝光参数调整方法
CN117333483A (zh) * 2023-11-30 2024-01-02 中科慧远视觉技术(洛阳)有限公司 一种用于金属凹陷结构底部的缺陷检测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005300855A (ja) * 2004-04-09 2005-10-27 Fuji Xerox Co Ltd 画像形成装置およびその階調処理方法
US20080068491A1 (en) * 2006-09-14 2008-03-20 Casio Computer Co., Ltd. Imaging apparatus with automatic exposure adjusting function
JP2010191266A (ja) * 2009-02-19 2010-09-02 Acutelogic Corp 撮像装置及び撮像方法
JP2013152219A (ja) * 2011-12-26 2013-08-08 Japan Traffic Management Technology Association 速度計測システム、速度計測方法及びプログラム
CN108156369A (zh) * 2017-12-06 2018-06-12 广东欧珀移动通信有限公司 图像处理方法和装置
CN109624666A (zh) * 2018-12-26 2019-04-16 侯力宇 一种汽车智能防炫目方法及系统
CN110753178A (zh) * 2018-07-24 2020-02-04 杭州海康威视数字技术股份有限公司 一种曝光时间调整方法及装置、摄像机
CN111448529A (zh) * 2017-12-12 2020-07-24 索尼公司 信息处理装置、移动物体、控制系统、信息处理方法以及程序

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006050236A1 (de) * 2006-10-18 2008-04-24 Schefenacker Vision Systems Germany Gmbh Scheinwerfersystem für Fahrzeuge, vorzugsweise für Kraftfahrzeuge
CN103196550A (zh) * 2012-01-09 2013-07-10 西安智意能电子科技有限公司 一种对发射光源的成像信息进行筛选处理的方法与设备
CN111460865B (zh) * 2019-01-22 2024-03-05 斑马智行网络(香港)有限公司 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质
CN111246091B (zh) * 2020-01-16 2021-09-03 北京迈格威科技有限公司 一种动态自动曝光控制方法和装置及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005300855A (ja) * 2004-04-09 2005-10-27 Fuji Xerox Co Ltd 画像形成装置およびその階調処理方法
US20080068491A1 (en) * 2006-09-14 2008-03-20 Casio Computer Co., Ltd. Imaging apparatus with automatic exposure adjusting function
JP2010191266A (ja) * 2009-02-19 2010-09-02 Acutelogic Corp 撮像装置及び撮像方法
JP2013152219A (ja) * 2011-12-26 2013-08-08 Japan Traffic Management Technology Association 速度計測システム、速度計測方法及びプログラム
CN108156369A (zh) * 2017-12-06 2018-06-12 广东欧珀移动通信有限公司 图像处理方法和装置
CN111448529A (zh) * 2017-12-12 2020-07-24 索尼公司 信息处理装置、移动物体、控制系统、信息处理方法以及程序
CN110753178A (zh) * 2018-07-24 2020-02-04 杭州海康威视数字技术股份有限公司 一种曝光时间调整方法及装置、摄像机
CN109624666A (zh) * 2018-12-26 2019-04-16 侯力宇 一种汽车智能防炫目方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115657404A (zh) * 2022-12-12 2023-01-31 合肥安迅精密技术有限公司 改善相机光源线性度的调光方法及系统、存储介质

Also Published As

Publication number Publication date
CN114520880B (zh) 2023-04-18
WO2022105381A1 (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN114520880B (zh) 一种曝光参数调节方法及装置
US11409303B2 (en) Image processing method for autonomous driving and apparatus thereof
CN111212756B (zh) 用于控制载运工具的照明系统的方法和设备
CN109963744B (zh) 照明装置
JP6657925B2 (ja) 車載カメラ・システム並びに画像処理装置
CN107852465B (zh) 车载环境识别装置
US10552688B2 (en) Method and device for detecting objects in the surroundings of a vehicle
JP6176028B2 (ja) 車両制御システム、画像センサ
US10634317B2 (en) Dynamic control of vehicle lamps during maneuvers
JP5820843B2 (ja) 周囲環境判定装置
CN111727135B (zh) 自动照明系统
JP2013147112A (ja) 車両の走行環境認識装置
US10965878B2 (en) Vehicle illumination system and vehicle
US20200074639A1 (en) Method and apparatus for evaluating a vehicle travel surface
JPWO2019194256A1 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
JP6468568B2 (ja) 物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラム
WO2016194296A1 (en) In-vehicle camera system and image processing apparatus
CN110293973B (zh) 驾驶支援系统
US20230342894A1 (en) Converting input image data from a plurality of vehicle cameras of a surround-view system into optimised output image data
US10462378B2 (en) Imaging apparatus
JP2019139471A (ja) 画像処理装置、方法及びプログラム
US20230394844A1 (en) System for avoiding accidents caused by wild animals crossing at dusk and at night
JP2022092925A (ja) 車両の周辺環境認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant