CN109873981A - 车载360环视系统四路智能曝光策略 - Google Patents

车载360环视系统四路智能曝光策略 Download PDF

Info

Publication number
CN109873981A
CN109873981A CN201910085760.XA CN201910085760A CN109873981A CN 109873981 A CN109873981 A CN 109873981A CN 201910085760 A CN201910085760 A CN 201910085760A CN 109873981 A CN109873981 A CN 109873981A
Authority
CN
China
Prior art keywords
camera
value
ccd camera
vehicle
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910085760.XA
Other languages
English (en)
Inventor
潘钰华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Daxuan Information Technology Co., Ltd.
Original Assignee
Jiangsu Yulan Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yulan Mdt Infotech Ltd filed Critical Jiangsu Yulan Mdt Infotech Ltd
Priority to CN201910085760.XA priority Critical patent/CN109873981A/zh
Publication of CN109873981A publication Critical patent/CN109873981A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本发明的一种车载360环视系统四路智能曝光策略,包括以下步骤:S1:实时获取车辆四路摄像头的3A数据;S2:计算快门时间和模拟增益值;S3:将快门时间和模拟增益值反馈至四路摄像头中,并控制四路摄像头,实现四路摄像头的快门时间和模拟增益值一致;S4:分别计算四路摄像头的亮度补偿值;S5:将四路摄像头的亮度补偿值分别加入到四路摄像头的原图像中,并拼接生成环视图像。具有能实时生成到颜色、亮度均衡的拼接环视图像的优点。

Description

车载360环视系统四路智能曝光策略
技术领域
本发明涉及汽车技术领域,具体涉及汽车影像技术。
背景技术
随着汽车的广泛应用,汽车辅助驾驶类功能需要越来越多,技术的更新进步,演化出的一系列的新功能。其中,全景环视系统(Around View Monitoring,AVM)在汽车装配中越来越常见。通过在车辆的前后左右四个方向各自安装一颗鱼眼镜头,结合拼接技术,生成环视拼接图像。驾驶员可以根据环视拼接图像实时的查看车辆四周的环境,既可以预防碰撞,还能更方便完成倒车入库等比较困难的操作。
随着汽车影像的发展,用户对传统的360全景环视影像要求越来越高。传统360全景影像根据安装在车身上的4个摄像头,能实时地显示车身周围的信息,但无法看见的四个方向的画呈现四个视觉亮度,形成了一定的视觉差。
目前已有很多研究是关于多sensor同步曝,比如《一种多CMOS图像传感器同步曝光方法的研究与实现》,该论文为了实现多个传感器同步曝光,采用将配置参数同步写入多传感器寄存器的方式来完成的。
上诉方式主要采用了CMOS传感器中的SVGA模式中的寄存器,直接写硬件串行读写模块给多个CMOS进行参数配置。这种依赖硬件来完成同步曝光的完成,不能灵活的修改曝光的模式,以及重点区域的选择。另外如果不能实时的对四路摄像头进行曝光处理,每幅图像的的曝光时间长短不一,会导致接收端接到的数据不在同一个时间段。因此会带来同一帧数据,前镜头和左右镜头拍摄场景交融部分会出现不同图像数据。
因此要想获取相同时间同一帧的相同图像,四路同时曝光是目前解决问题的唯一方法。
发明内容
本发明所要解决的技术问题是如何实时生成颜色、亮度一致的车辆环视拼接影像。
本发明的一个目的在于提供的一种利用四路摄像头,采用ECU算法计算出合理的的曝光数值,并同时作用在四路摄像头中,再结合亮度均衡算法,实时生成到颜色、亮度均衡的拼接环视图像的车载360环视系统四路智能曝光策略。
为达到以上目的,本发明采用的技术方案为:一种车载360环视系统四路智能曝光策略,其特征在于:包括以下步骤:
S1:实时获取车辆四路摄像头的3A数据;
S2:计算快门时间和模拟增益值;
S3:将快门时间和模拟增益值反馈至四路摄像头中,并控制四路摄像头,实现四路摄像头的快门时间和模拟增益值一致;
S4:分别计算四路摄像头的亮度补偿值;
S5:将四路摄像头的亮度补偿值分别加入到四路摄像头的原图像中,并拼接生成环视图像。
不同于传统的相机的曝光,只需要将当个镜头的数据,统计完成后传递给AE算法,经过AE法计算得出相应的快门曝光时间与模拟增益值。本发明的技术方案需要实时的,且有选择的进行AE处理,这样不仅能够兼顾着车身四周的画面,同时能够针对某些感兴趣区域进行着重曝光。实时控制四路同时曝光,根据权重来控制选择区域。因此,上述S2的计算过程包括以下步骤:
S21:分别对每一路摄像头分配曝光权重表,并分别将每一路摄像头的原图像平均分为若干块,每一块设置一个权重值lens_weight_tab[i][20];根据公式1,计算得出每个镜头的平均亮度值
其中,Wij表示第j个摄像头的曝光权重值,ui为摄像头内任一像素点,Iij为该像素点当前通道的亮度值;
S22:根据公式2,计算得出四路摄像头的加权平均亮度
其中,为公式1计算得出;weight_tab[j]为对应第j个摄像头的所设置的权重系数;
S23:比较与设定好的目标亮度,通过AE算法,计算出当下时刻车辆状态下合适的快门时间和模拟增益。
进一步的,上述S23中AE算法包括以下步骤:更新历史的每一帧值,判断有无达到目标亮度值,判断后通过计算调整率,得出AE是向上调整增大曝光值,还是向下调整减少曝光值;通过上述过程,平均亮度Y趋向目标亮度,并输出曝光参数,实现自动曝光的功能。
具体的,上述S4的计算过程包括以下步骤:将四路摄像头的3A数据经过查找变,找出融合区域;根据融合区域的亮度信息,计算出每个摄像头的亮度差值;通过均衡算法计算各个摄像头的补偿值。
作为优选,上述S5中渐进式的将补偿值加到四路摄像头的原图像中。
作为优选,四路摄像头分别安装于汽车车标处、汽车后备箱按钮处以及汽车左右后视镜处。
作为优选,上述S21中将每一路摄像头的原图像平均分成5*4块,每一块的默认权重值为1,越感兴趣区域设置权重数值越大。
需要补充说明的是,3A技术即自动对焦(AF)、自动曝光(AE)和自动白平衡(AWB)。3A数字成像技术利用了AF自动对焦算法、AE自动曝光算法及AWB自动白平衡算法来实现图像对比度最大、改善主体拍摄物过曝光或曝光不足情况、使画面在不同光线照射下的色差得到补偿,从而呈现较高画质的图像信息。采用了3A数字成像技术的摄像机能够很好的保障图像精准的色彩还原度,呈现完美的日夜监控效果。因此四路摄像头中的3A数据指的是采用上述技术的数据。
与现有技术相比,本发明的优点在于:通过车身周围安装4个摄像头,对每个摄像头的3A统计数据进行统计分析,将四路3A数据进行加权计算,得出合理的曝光数值(包括快门时间shutter和模拟增益值gain),并将曝光数值重新写到四个摄像头的sensor ISP模块,实现四路摄像头实时的同步曝光。将同步曝光作用生效后的的四路图像,通过计算融合区域的亮度差异,做一次亮度补偿,达到四路图像亮度一致。最后经过拼接算法,拼接生成颜色、亮度均衡的四路环视拼接图,提高用户的视觉体验。
附图说明
图1是根据本发明的一个优选实施例中四路摄像头的布置示意图;
图2是根据本发明的一个优选实施例中摄像头的图像分割示意图;
图3是根据本发明的一个优选实施例的流程图;
图4是根据本发明的一个优选实施例中计算快门时间和模拟增益值的流程图;
图5是根据本发明的一个优选实施例中亮度平衡算法的流程图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。
在本发明的描述中,需要说明的是,对于方位词,如有术语“中心”,“横向”、“纵向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示方位和位置关系为基于附图所示的方位或位置关系,仅是为了便于叙述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定方位构造和操作,不能理解为限制本发明的具体保护范围。
首先,在汽车的四周安装四个广角鱼眼摄像头。摄像头的安装角度十分重要,对后期的成像效果有很大的影响。如附图1所示,F、B、L、R分别表示前摄像头、后摄像头、左摄像头、右摄像头。前摄像头安装在汽车车标处,后摄像头安装在汽车后备箱按钮处,左、右摄像头分别安装在汽车后视镜处。
F、B、L、R四个摄像头能够获取到车周身的影像,四路摄像头的视角范围不一样,所以他们拍摄的场景不一样。在某种场景下,四路摄像头自主曝光,那么他们的快门时间(shutter)、模拟增益值(gain)会有很大差别,后期在拼接过程中就会出现某一路视频图像噪声明显而其他路无噪声的现象,出现画面不一致。为了避免这种现象,本实施例通过控制器ECU同时控制四路摄像头曝光,并通过亮度均衡算法得到亮度颜色一致的图像。下面结合附图3对本本实施例做进一步的详细说明,具体步骤如下:
步骤1:实时获取四路摄像头的3A数据
通过全景影像控制器与整车的四路摄像头链接,通过I2C协议,实时地获取车辆的四路摄像头的统计数据。
步骤2:计算shutter与gain
传统的自动曝光算法,根据镜头的的3A数据统计,计算镜头每一帧的图像整体的平均Y值,对比计算出的平均Y值和我们设置的目标亮度值(targetbrightness)做比较,通过调整镜头的快门时间shutter与模拟增益值gain,使上面的两个值趋于相等,从而达到自动曝光AE的功能。比较传统的AE设计思路,本实施例要同时控制四路摄像头的曝光,这样工作效率会有所下降,且汽车行业大多用的鱼眼相机,视野范围比较广,包含了太多无效像素。本实施例针对这个问题,采用感兴趣模块数据统计(可以动态设置),将感兴趣的模块数据统计出来,并计算其平均Y值。这种方式可以有效的解决因数据量大带来的工作效率低的问题,并且通过对感兴趣区域数据分析计算得到较好的图像效果。计算过程分为下面几个步骤:
(1)分别对每一路摄像头分配曝光权重表。将相机的一整福画面分为5*4块(可以增加减少),每一块设置一个权重值lens_weight_tab[i][20],默认都为1。当选择感兴趣区域时,将感兴趣的区域曝光权重加大,其他区域权重设为零,得到我们感兴趣的模块,如附图2所示,越感兴趣区域设置权重数值越大。根据公式1,计算得出每个镜头的平均亮度值
其中,其中,Wij表示第j个相机的曝光权重值,ui为相机内任一像素点,Iij为该像素点当前通道的亮度值。由公式1易知,即为第j个相机亮度平均均值。
(2)根据计算得出的再与每个镜头的在AE算法中占的权重weight_tab[4](weight_tab[0]+weight_tab[1]+weight_tab[2]+weight_tab[3=1])相乘。根据公式2,得到最终每一帧的四路镜头的加权平均值
公式2:
其中,为公式1计算得出,weight_tab[j]为对应j摄像头的所设置的权重系数,侧重哪个摄像头,那个系数设置大。通过计算得出四路摄像头的加权平均亮度
(3)比较与设定好的目标亮度值,AE算法计算出当下时刻车辆状态下合适的快门时间和模拟增益。AE的处理流程如附图4所示,判断计算出的平均Y值有无达到目标亮度值,判断后得出AE是向上调整增大曝光还是向下调整减少曝光值。通过这个过程,平均亮度Y趋向目标亮度targetbrightness实现自动曝光的功能。
通过上述的自动曝光AE过程,计算出相应的快门时间shutter及模拟增益gain值,并将它们写到思路摄像头中,实现自动曝光的功能。
步骤3:控制四路曝光
将步骤2计算得到的shutter与gain,写到四路摄像机中中,确保四路快门曝光时间和模拟增益值一致。
步骤4:计算四路摄像头的亮度补偿值
经过上述步骤后,得到同等快门曝光时间、相同模拟增益的的四副画面。由于四个镜头对应的环境不太一样,可能有一定的亮度差异。为了解决掉这个亮度差异,还需要做一下四路图像的亮度均衡。将四路摄像头的数据经过查找变,找出融合区域,根据融合区域的亮度信息,计算出每个摄像头的亮度差值,经过均衡算法计算各个摄像头的补偿值。本发明中,应用到亮度平衡算法,此算法分三步骤完成,如附图5所示,分别统计出八个个融合区域的亮度平均值Y[i],通过最小化各融合区域均值误差,即可求得各摄像头各通道颜色值的补偿系数。
步骤5:亮度补偿值渐进式生效
实时的计算亮度补偿值存在一个风险,当车辆进出地库或者光照的抖动或融合区域存在突起物等因素会导致四路摄像头出现很大的亮度差异。这样计算出的的亮度补偿值也相应的会有大变化。如果将值直接作用到四路摄像头上,当异常情况结束后,就会需要反向调整,带来图像闪烁抖动问题。因此,对帧间亮度补偿值神效需要加一限制,用渐进式小步经补偿四路镜头的方式实现,以屏蔽上述干扰因素带来的影响。
将加权的gain值作用的四路摄像头的每个像素中,使四路摄像头数据差异化最低。最终通过环视拼接算法生成亮度颜色一致的环视拼接图像,提高用户的视觉体验。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (7)

1.一种车载360环视系统四路智能曝光策略,其特征在于:包括以下步骤:
S1:实时获取车辆四路摄像头的3A数据;
S2:计算快门时间和模拟增益值;
S3:将快门时间和模拟增益值反馈至四路摄像头中,并控制四路摄像头,实现四路摄像头的快门时间和模拟增益值一致;
S4:分别计算四路摄像头的亮度补偿值;
S5:将四路摄像头的亮度补偿值分别加入到四路摄像头的原图像中,并拼接生成环视图像。
2.根据权利要求1所述的车载360环视系统四路智能曝光策略,其特征在于:上述S2的计算过程包括以下步骤:
S21:分别对每一路摄像头分配曝光权重表,并分别将每一路摄像头的原图像平均分为若干块,每一块设置一个权重值lens_weight_tab[i][20];根据公式1,计算得出每个镜头的平均亮度值
其中,Wij表示第j个摄像头的曝光权重值,ui为摄像头内任一像素点,Iij为该像素点当前通道的亮度值;
S22:根据公式2,计算得出四路摄像头的加权平均亮度Y;
其中,为公式1计算得出;weight_tab[j]为对应第j个摄像头的所设置的权重系数;
S23:比较与设定好的目标亮度,通过AE算法,计算出当下时刻车辆状态下合适的快门时间和模拟增益。
3.根据权利要求2所述的车载360环视系统四路智能曝光策略,其特征在于:上述S23中AE算法包括以下步骤:更新历史的每一帧值,判断有无达到目标亮度值,判断后通过计算调整率,得出AE是向上调整增大曝光值,还是向下调整减少曝光值;通过上述过程,平均亮度趋向目标亮度,并输出曝光参数,实现自动曝光的功能。
4.根据权利要求1所述的车载360环视系统四路智能曝光策略,其特征在于:上述S4的计算过程包括以下步骤:将四路摄像头的3A数据经过查找变,找出融合区域;根据融合区域的亮度信息,计算出每个摄像头的亮度差值;通过均衡算法计算各个摄像头的补偿值。
5.根据权利要求1所述的车载360环视系统四路智能曝光策略,其特征在于:上述S5中渐进式的将补偿值加到四路摄像头的原图像中。
6.根据权利要求1所述的车载360环视系统四路智能曝光策略,其特征在于:四路摄像头分别安装于汽车车标处、汽车后备箱按钮处以及汽车左右后视镜处。
7.根据权利要求2所述的车载360环视系统四路智能曝光策略,其特征在于:上述S21中将每一路摄像头的原图像平均分成5*4块,每一块的默认权重值为1,越感兴趣区域设置权重数值越大。
CN201910085760.XA 2019-01-29 2019-01-29 车载360环视系统四路智能曝光策略 Pending CN109873981A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910085760.XA CN109873981A (zh) 2019-01-29 2019-01-29 车载360环视系统四路智能曝光策略

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910085760.XA CN109873981A (zh) 2019-01-29 2019-01-29 车载360环视系统四路智能曝光策略

Publications (1)

Publication Number Publication Date
CN109873981A true CN109873981A (zh) 2019-06-11

Family

ID=66918325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910085760.XA Pending CN109873981A (zh) 2019-01-29 2019-01-29 车载360环视系统四路智能曝光策略

Country Status (1)

Country Link
CN (1) CN109873981A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738724A (zh) * 2019-09-06 2020-01-31 惠州市德赛西威汽车电子股份有限公司 一种自动调整车模光照效果的方法及其系统
CN111614865A (zh) * 2020-05-13 2020-09-01 展讯通信(上海)有限公司 多摄亮度同步方法、设备、装置及存储介质
CN112954194A (zh) * 2021-01-27 2021-06-11 深圳市博维远景科技有限公司 一种图像采集装置调整方法、系统、终端及介质
CN114092319A (zh) * 2021-11-09 2022-02-25 英博超算(南京)科技有限公司 一种汽车360全景显示的亮度均衡方法
CN115883938A (zh) * 2022-12-23 2023-03-31 星宸科技股份有限公司 图像系统
CN110738724B (zh) * 2019-09-06 2024-05-31 惠州市德赛西威汽车电子股份有限公司 一种自动调整车模光照效果的方法及其系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223010A1 (en) * 2002-06-04 2003-12-04 Michael Kaplinsky Method and apparatus for automatic gain and exposure control for maintaining target image brightness in video imager systems
US20100097492A1 (en) * 2008-10-22 2010-04-22 Samsung Electro-Mechanics Co., Ltd. Apparatus and method for controlling auto exposure
CN106341617A (zh) * 2016-11-16 2017-01-18 信利光电股份有限公司 一种摄像头串扰补偿的方法及装置
CN107424179A (zh) * 2017-04-18 2017-12-01 微鲸科技有限公司 一种图像均衡方法及装置
CN108053805A (zh) * 2018-01-25 2018-05-18 电子科技大学 一种双通道相机左右两通道图像的亮度校正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223010A1 (en) * 2002-06-04 2003-12-04 Michael Kaplinsky Method and apparatus for automatic gain and exposure control for maintaining target image brightness in video imager systems
US20100097492A1 (en) * 2008-10-22 2010-04-22 Samsung Electro-Mechanics Co., Ltd. Apparatus and method for controlling auto exposure
CN106341617A (zh) * 2016-11-16 2017-01-18 信利光电股份有限公司 一种摄像头串扰补偿的方法及装置
CN107424179A (zh) * 2017-04-18 2017-12-01 微鲸科技有限公司 一种图像均衡方法及装置
CN108053805A (zh) * 2018-01-25 2018-05-18 电子科技大学 一种双通道相机左右两通道图像的亮度校正方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738724A (zh) * 2019-09-06 2020-01-31 惠州市德赛西威汽车电子股份有限公司 一种自动调整车模光照效果的方法及其系统
CN110738724B (zh) * 2019-09-06 2024-05-31 惠州市德赛西威汽车电子股份有限公司 一种自动调整车模光照效果的方法及其系统
CN111614865A (zh) * 2020-05-13 2020-09-01 展讯通信(上海)有限公司 多摄亮度同步方法、设备、装置及存储介质
CN112954194A (zh) * 2021-01-27 2021-06-11 深圳市博维远景科技有限公司 一种图像采集装置调整方法、系统、终端及介质
CN114092319A (zh) * 2021-11-09 2022-02-25 英博超算(南京)科技有限公司 一种汽车360全景显示的亮度均衡方法
CN114092319B (zh) * 2021-11-09 2024-05-14 英博超算(南京)科技有限公司 一种汽车360全景显示的亮度均衡方法
CN115883938A (zh) * 2022-12-23 2023-03-31 星宸科技股份有限公司 图像系统

Similar Documents

Publication Publication Date Title
CN109873981A (zh) 车载360环视系统四路智能曝光策略
CN108419023B (zh) 一种生成高动态范围图像的方法以及相关设备
US8896625B2 (en) Method and system for fusing images
US11700350B2 (en) Multi camera image processing
JP4706466B2 (ja) 撮像装置
US6816676B2 (en) Adaptive control of LCD display utilizing imaging sensor measurements
CN105979238B (zh) 一种多摄像头全局成像一致性控制方法
US7139412B2 (en) Image synthesis display method and apparatus for vehicle camera
JP3035434B2 (ja) 複眼撮像装置
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
US20210144354A1 (en) Color balance method and device, on-board equipment and storage medium
CN109493273B (zh) 一种色彩一致性调节方法
CN110213494A (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
CN105957499A (zh) 控制方法、控制装置及电子装置
CN109691091A (zh) 用于在多视图模式下显示图像的方法
CN107370910B (zh) 基于最优曝光的最小包围曝光集合获取方法
CN107509044A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN108833802A (zh) 曝光控制方法、装置和电子设备
CN108900785A (zh) 曝光控制方法、装置和电子设备
CN107846556A (zh) 成像方法、装置、移动终端和存储介质
CN108337446A (zh) 基于双摄像头的高动态范围图像获取方法、装置及设备
CN109166076B (zh) 多相机拼接的亮度调整方法、装置及便携式终端
CN105635603A (zh) 一种采用两路视频间亮度和色偏对视频拼接的系统
CN107801011A (zh) 全景拍摄的白平衡处理方法、装置及设备
CN104780322B (zh) 摄像装置、摄像方法、图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220810

Address after: Room 1606, Youte Headquarters Building, No. 88, Xingye Road, Xiangzhou District, Zhuhai City, Guangdong Province, 519000

Applicant after: Zhuhai Daxuan Information Technology Co., Ltd.

Address before: Management Committee of Yizheng Automobile Industrial Park, Yangzhou City, Jiangsu Province

Applicant before: JIANGSU YULAN INFORMATION TECHNOLOGY CO.,LTD.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190611