CN105704372A - 车载高动态范围图像合成方法 - Google Patents

车载高动态范围图像合成方法 Download PDF

Info

Publication number
CN105704372A
CN105704372A CN201610057525.8A CN201610057525A CN105704372A CN 105704372 A CN105704372 A CN 105704372A CN 201610057525 A CN201610057525 A CN 201610057525A CN 105704372 A CN105704372 A CN 105704372A
Authority
CN
China
Prior art keywords
image
vehicle
pixel
range
high dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610057525.8A
Other languages
English (en)
Other versions
CN105704372B (zh
Inventor
陈振兴
苏晓聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUHAN KOTEI TECHNOLOGY Corp
Original Assignee
WUHAN KOTEI TECHNOLOGY Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHAN KOTEI TECHNOLOGY Corp filed Critical WUHAN KOTEI TECHNOLOGY Corp
Priority to CN201610057525.8A priority Critical patent/CN105704372B/zh
Publication of CN105704372A publication Critical patent/CN105704372A/zh
Application granted granted Critical
Publication of CN105704372B publication Critical patent/CN105704372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Abstract

本发明提供了一种车载高动态范围图像合成方法，通过建立智能汽车高速运行时摄像头的时间空间成像模型，对摄像头连续输出的两帧图像进行同一场景下的合成。使得车载摄像头输出的图像具有更好的亮度范围和更丰富的细节内容，而后续依赖图像感知结果的智能驾驶汽车模块也会得到更好的效果。

Description

车载高动态范围图像合成方法
技术领域
本发明涉及智能驾驶领域或者安全辅助驾驶技术，尤其涉及一种车载高动态范围图像合成方法。
背景技术
高动态范围(HighDynamicRangeHDR)图像合成是指将拍摄于同一场景的，不同曝光量的，多幅低动态范围(LawDynamicRangeLDR)图像合成同一幅图像的技术。通过HDR合成的图像，可以在同一幅图里同时显示很暗和很亮的场景，图像的细节表达能力被增强。
在传统的HDR图像合成方法中，被拍摄场景和摄像头都是静止不动，摄像头对同一场景采用不同的曝光值进行采样得到多幅LDR图像，然后通过函数将多幅LDR图像合成起来。然而，在智能驾驶中，由于摄像头随着智能汽车高速移动，即使是拍摄速度很快的摄像头，也无法保证连续两次采样得到的图像是针对同一场景。这对于传统的HDR图像合成方法是无法解决的。
发明内容
本发明的目的是提供一种对高速移动的摄像头拍摄的LDR图像进行HDR图像合成、输出的HDR合成图像具有更好的亮度范围和细节表达能力的车载高动态范围图像合成方法。
为了达到上述目的，本发明提供了一种车载高动态范围图像合成方法，其包括以下步骤：
S1，获取车载摄像头在Δt时间内连续输出的两幅图像，分别标记为Image(T)，Image(T+Δt)，图像分辨率为m×n，以及拍摄图像时的车速值V；
S2，获取车载摄像头景深D，建立以下空间模型：假设图像Image(T)与其拍摄点A之间的距离为D，拍摄点A与图像Image(T)在Δt时间内沿中心轴方向按直线匀速行驶距离V*Δt分别得到新的拍摄点B和图像Image(T+Δt)，图像Image(T+Δt)与新的拍摄点B的连线在图像Image(T)上的投影区域为图像Image(T’)，图像Image(T’)的分辨率为a×b；
S3，对步骤S2得到的图像Image(T’)采用线性内插法进行图像内插，得到新的(2a-1)×(2b-1)分辨率的图像，确保内插得到的图像分辨率大于m×n；
S4，以图像Image(T+Δt)为基准图像，用HDR图像合成方法对Image(T+Δt)和步骤S3得到的(2a-1)×(2b-1)图像进行合成。
本发明的有益效果是：本发明通过建立智能汽车高速运行时摄像头的时间空间成像模型，对摄像头连续输出的两帧图像进行同一场景下的合成。使得车载摄像头输出的图像具有更好的亮度范围和更丰富的细节内容，而后续依赖图像感知结果的智能驾驶汽车模块也会得到更好的效果。
附图说明
图1为本发明步骤S2中空间模型的示意图；
图2为本发明步骤S3中采用线性内插法进行图像内插的示意图。
具体实施方式
本发明提供了一种车载高动态范围图像合成方法，其包括以下步骤：
S1，获取车载摄像头在Δt时间内连续输出的两幅图像，分别标记为Image(T)，Image(T+Δt)，图像分辨率为m×n，以及拍摄图像时的车速值V；
S2，获取车载摄像头景深D，建立以下空间模型：假设图像Image(T)与其拍摄点A之间的距离为D，拍摄点A与图像Image(T)在Δt时间内沿中心轴方向按直线匀速行驶距离V*Δt分别得到新的拍摄点B和图像Image(T+Δt)，图像Image(T+Δt)与新的拍摄点B的连线在图像Image(T)上的投影区域为图像Image(T’)，图像Image(T’)的分辨率为a×b；
S3，对步骤S2得到的图像Image(T’)采用线性内插法进行图像内插，得到新的(2a-1)×(2b-1)分辨率的图像，确保内插得到的图像分辨率大于m×n；
S4，以图像Image(T+Δt)为基准图像，用HDR图像合成方法对Image(T+Δt)和步骤S3得到的(2a-1)×(2b-1)图像进行合成。
优选的，所述车载摄像头每秒拍摄帧数为10-30由于本车载高动态范围图像合成方法基于相邻Δt时间内连续输出的两幅图像位于同一水平线上拍摄的假设建立时间空间模型，而现实中，如果Δt时间过长，可能导致上述假设不成立，经发明人验证，在车载摄像头每秒拍摄帧数为10-30时本发明的车载高动态范围图像合成方法效果更逼真。
优选的，所述步骤S3中线性内插法进行图像内插过程中，选取相邻的两个原始图像像素之平均像素值作为新合成的中间像素点，选取相邻的四个新合成的中间像素点之平均像素值作为新合成的中心像素点。
优选的，所述步骤S4中以Image(T+Δt)中的每个像素为基准点，合成时寻找内插图像中和基准像素最近的像素作为匹配像素。
以下结合附图对本发明所述的车载高动态范围图像合成方法作进一步说明。
如图1所示，假设在A拍摄点，车载摄像头得到图像Image(T)，拍摄点A与图像Image(T)的距离为车载摄像头景深D；
由于车载摄像头拍摄相邻两张照片的时间间隔Δt极短，在此时间内，车载摄像头可视作沿中心轴方向按直线匀速行驶距离V*Δt，即拍摄点A移动到拍摄点B，并在此处得到图像Image(T+Δt)，其中V为车速。图像Image(T+Δt)与新的拍摄点B的连线在图像Image(T)上的投影区域为图像Image(T’)，图像Image(T’)与图像Image(T+Δt)所显示的拍摄场景内容相同，只是像素存在区别；
通过对步骤图像Image(T’)采用线性内插法进行图像内插，得到新的(2a-1)×(2b-1)分辨率的图像，其中，如图2所示，选取相邻的两个原始图像像素之平均像素值作为新合成的中间像素点，选取相邻的四个新合成的中间像素点之平均像素值作为新合成的中心像素点；
最后，以图像Image(T+Δt)为基准图像，用HDR图像合成方法对Image(T+Δt)和步骤S3得到的(2a-1)×(2b-1)图像进行合成。
以上所述仅为本发明的较佳实施方式，并不用以限制发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种车载高动态范围图像合成方法，其特征在于：其包括以下步骤：
S1，获取车载摄像头在Δt时间内连续输出的两幅图像，分别标记为Image(T)，Image(T+Δt)，图像分辨率为m×n，以及拍摄图像时的车速值V；
S2，获取车载摄像头景深D，建立以下空间模型：假设图像Image(T)与其拍摄点A之间的距离为D，拍摄点A与图像Image(T)在Δt时间内沿中心轴方向按直线匀速行驶距离V*Δt分别得到新的拍摄点B和图像Image(T+Δt)，图像Image(T+Δt)与新的拍摄点B的连线在图像Image(T)上的投影区域为图像Image(T’)，图像Image(T’)的分辨率为a×b；
S3，对步骤S2得到的图像Image(T’)采用线性内插法进行图像内插，得到新的(2a-1)×(2b-1)分辨率的图像，确保内插得到的图像分辨率大于m×n；
S4，以图像Image(T+Δt)为基准图像，用HDR图像合成方法对Image(T+Δt)和步骤S3得到的(2a-1)×(2b-1)图像进行合成。
2.如权利要求1所述的车载高动态范围图像合成方法，其特征在于：所述车载摄像头每秒拍摄帧数为10-30。
3.如权利要求1所述的车载高动态范围图像合成方法，其特征在于：所述步骤S3中线性内插法进行图像内插过程中，选取相邻的两个原始图像像素之平均像素值作为新合成的中间像素点，选取相邻的四个新合成的中间像素点之平均像素值作为新合成的中心像素点。
4.如权利要求1所述的车载高动态范围图像合成方法，其特征在于：所述步骤S4中，以Image(T+Δt)中的每个像素为基准点，合成时寻找内插图像中和基准像素最近的像素作为匹配像素。
CN201610057525.8A 2016-01-28 2016-01-28 车载高动态范围图像合成方法 Active CN105704372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610057525.8A CN105704372B (zh) 2016-01-28 2016-01-28 车载高动态范围图像合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610057525.8A CN105704372B (zh) 2016-01-28 2016-01-28 车载高动态范围图像合成方法

Publications (2)

Publication Number Publication Date
CN105704372A true CN105704372A (zh) 2016-06-22
CN105704372B CN105704372B (zh) 2019-05-03

Family

ID=56228814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610057525.8A Active CN105704372B (zh) 2016-01-28 2016-01-28 车载高动态范围图像合成方法

Country Status (1)

Country Link
CN (1) CN105704372B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833748A (zh) * 2018-06-06 2018-11-16 钧捷科技（北京）有限公司 一种高动态单目cmos摄像机系统及其运行方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090457A (zh) * 2006-06-16 2007-12-19 三星电子株式会社 产生图像的设备和方法
CN103201766A (zh) * 2010-11-03 2013-07-10 伊斯曼柯达公司 产生高动态范围图像的方法
CN103973989A (zh) * 2014-04-15 2014-08-06 北京理工大学 获取高动态图像的方法及系统
CN104967829A (zh) * 2015-07-15 2015-10-07 河南蓝信科技股份有限公司 高速列车视频辅助驾驶系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090457A (zh) * 2006-06-16 2007-12-19 三星电子株式会社 产生图像的设备和方法
CN103201766A (zh) * 2010-11-03 2013-07-10 伊斯曼柯达公司 产生高动态范围图像的方法
CN103973989A (zh) * 2014-04-15 2014-08-06 北京理工大学 获取高动态图像的方法及系统
CN104967829A (zh) * 2015-07-15 2015-10-07 河南蓝信科技股份有限公司 高速列车视频辅助驾驶系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833748A (zh) * 2018-06-06 2018-11-16 钧捷科技（北京）有限公司 一种高动态单目cmos摄像机系统及其运行方法
CN108833748B (zh) * 2018-06-06 2021-01-29 钧捷科技（北京）有限公司 一种高动态单目cmos摄像机系统及其运行方法

Also Published As

Publication number Publication date
CN105704372B (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
CN110728648B (zh) 图像融合的方法、装置、电子设备及可读存储介质
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
CN103366352B (zh) 用于产生背景被虚化的图像的设备和方法
US20200065986A1 (en) Image Processing Method, Non-Transitory Computer-Readable Storage Medium, and Electronic Apparatus
CN103973989B (zh) 获取高动态图像的方法及系统
WO2019109805A1 (zh) 图像处理方法和装置
CN110651301A (zh) 用于自动为夜视图像着色的方法和系统
EP3281400A1 (en) Automated generation of panning shots
CN105282421B (zh) 一种去雾图像获取方法、装置及终端
US20190035064A1 (en) Multiplexed High Dynamic Range Images
CN103986875A (zh) 一种图像获取装置、方法、终端及视频获取方法
CN105376473A (zh) 一种拍照方法、装置及设备
CN101893804A (zh) 曝光控制方法及装置
CN108012078A (zh) 图像亮度处理方法、装置、存储介质和电子设备
CN103914810A (zh) 用于动态后视镜的图像超分辨率
CN105488777A (zh) 一种基于移动前景下全景图实时生成系统及其方法
CN103973963A (zh) 图像获取装置及其图像处理方法
CN108156369A (zh) 图像处理方法和装置
CN107948511A (zh) 图像亮度处理方法、装置、存储介质和电子设备
CN108600631B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US20190318456A1 (en) Images for perception modules of autonomous vehicles
CN111491103B (zh) 一种图像亮度的调节方法、监控设备及存储介质
CN116801093B (zh) 图像处理方法、设备及存储介质
US20230033956A1 (en) Estimating depth based on iris size
CN105704372A (zh) 车载高动态范围图像合成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant